Repository Public
1// Modèles : modèle actif, version épinglée, moteurs, rapports de benchmark, rechargement contrôlé du moteur.23import { ApiError, errorMessage, get, isSilent, post } from "../api.js";4import { h, icon, mount } from "../dom.js";5import { DASH, bytes, duration, has, ms, num, pct } from "../format.js";6import { busy, confirmDialog, empty, note, toast } from "../ui.js";7import { card, dl, load, pill, table } from "./common.js";89const CAPS = { chat: "Chat", streaming: "Flux SSE", tools: "Appels d'outils", thinking: "Raisonnement", json_mode: "Sorties JSON" };1011function benchCard(b) {12 const sm = b.summary;13 const meta = b.meta || {};14 const sub = [meta.date, meta.host, meta.chip, meta.mlx ? `mlx ${meta.mlx}` : null, meta.mlx_lm ? `mlx-lm ${meta.mlx_lm}` : null].filter(Boolean).join(" · ");15 if (!sm) {16 return card({ title: b.file, sub, body: empty("Rapport sans résumé", "Ce fichier ne contient pas de section « summary » exploitable.", "info") });17 }18 const conc = sm.concurrency || [];19 return card({20 title: sm.model || b.file, sub: sub || b.file,21 body: [22 dl([23 ["Requête seule — premier jeton", ms(sm.single?.ttft_ms)],24 ["Requête seule — débit", has(sm.single?.tokens_per_second) ? `${num(sm.single.tokens_per_second, 1)} jetons/s` : null],25 ["Pic de mémoire", bytes(sm.peak_memory_bytes)],26 ["Simultanéité recommandée", has(sm.recommended?.max_active) ? num(sm.recommended.max_active) : null],27 ["Fichier", h("span", { class: "mono" }, b.file)],28 ]),29 conc.length ? table([30 { label: "Clients", lead: true, render: (r) => `${num(r.clients)} client${r.clients > 1 ? "s" : ""}` },31 { label: "Débit agrégé", cls: "n", render: (r) => (has(r.aggregate_tps) ? `${num(r.aggregate_tps, 1)} j/s` : DASH) },32 { label: "Par requête", cls: "n", render: (r) => (has(r.per_request_tps) ? `${num(r.per_request_tps, 1)} j/s` : DASH) },33 { label: "TTFT p50", cls: "n", render: (r) => ms(r.ttft_p50_ms) },34 { label: "TTFT p95", cls: "n", render: (r) => ms(r.ttft_p95_ms) },35 { label: "Latence p95", cls: "n", render: (r) => ms(r.latency_p95_ms) },36 { label: "Erreurs", cls: "n", render: (r) => (has(r.error_rate) ? pct(r.error_rate * 100, 1) : DASH) },37 ], conc) : null,38 ],39 });40}4142export default {43 title: "Modèles",44 sub: "Modèle servi, moteurs et benchmarks",45 mount(ctx) {46 const host = h("div", { class: "stack" });47 mount(ctx.root, host);4849 async function reload(button) {50 const ok = await confirmDialog({51 title: "Recharger le moteur d'inférence ?",52 message: "Le processus moteur va être arrêté proprement puis relancé, et le modèle rechargé en mémoire.",53 details: note("warn", h("b", null, "Interruption de service. "), "Les requêtes en cours seront interrompues et les nouvelles recevront une erreur 503 (engine_unavailable) jusqu'au retour du modèle — généralement quelques dizaines de secondes à quelques minutes selon sa taille."),54 confirmLabel: "Recharger le moteur", danger: true,55 });56 if (!ok) return;57 await busy(button, async () => {58 try {59 const out = await post("/admin/api/engine/reload");60 toast(`Rechargement demandé (${(out.engines || []).join(", ") || "moteur"}). Le modèle revient dans quelques instants.`);61 setTimeout(refresh, 2500);62 } catch (err) {63 if (err instanceof ApiError && err.code === "reauth_cancelled") toast("Action annulée.", "info");64 else if (!isSilent(err)) toast(errorMessage(err), "danger");65 }66 });67 }6869 function render(d) {70 const models = d.models || [];71 const benches = d.benchmarks || [];72 const reloadBtn = h("button", { class: "btn btn-danger btn-sm", type: "button" }, icon("refresh", "icon-sm"), "Recharger le moteur");73 reloadBtn.addEventListener("click", () => reload(reloadBtn));7475 const modelCards = models.length ? models.map((m) => {76 const engines = m.engines || [];77 const stats = m.engine_stats || {};78 const mem = engines.reduce((a, e) => a + (stats[e.id]?.mlx?.active_bytes || 0), 0);79 const anyStats = engines.some((e) => stats[e.id]);80 const caps = Object.entries(m.capabilities || {}).filter(([, v]) => v).map(([k]) => pill(CAPS[k] || k, "", "plain"));81 return card({82 title: m.display_name || m.id,83 sub: m.description || null,84 actions: m.available ? pill("Actif", "ok") : pill("Indisponible", "danger"),85 body: [86 dl([87 ["Identifiant API", h("span", { class: "mono" }, m.id)],88 ["Dépôt source", m.source?.repo ? h("span", { class: "mono" }, m.source.repo) : null],89 ["Révision épinglée", m.source?.revision ? h("span", { class: "mono" }, m.source.revision) : null],90 ["Quantification", m.quantization],91 ["Fenêtre de contexte", has(m.context_window) ? `${num(m.context_window)} jetons` : null],92 ["Sortie maximale", has(m.max_output_tokens) ? `${num(m.max_output_tokens)} jetons` : null],93 ["Licence", m.license],94 ["Mémoire utilisée par le moteur", anyStats ? bytes(mem) : null],95 ["Capacités", caps.length ? h("span", { style: { display: "inline-flex", gap: "6px", "flex-wrap": "wrap", "justify-content": "flex-end" } }, caps) : null],96 ]),97 h("h3", { style: { "font-size": "var(--text-sm)", margin: "18px 0 4px", color: "var(--text-2)" } }, "Moteurs"),98 engines.length ? table([99 { label: "Moteur", lead: true, render: (e) => h("span", { class: "mono" }, e.id) },100 { label: "Santé", render: (e) => (e.healthy ? pill("Sain", "ok") : h("span", null, pill("Hors service", "danger"), e.last_error ? h("span", { class: "sub" }, e.last_error) : null)) },101 { label: "En cours", cls: "n", render: (e) => `${num(e.active)} / ${num(e.capacity)}` },102 { label: "Servies", cls: "n", render: (e) => num(e.served) },103 { label: "Mémoire active", cls: "n", render: (e) => bytes(stats[e.id]?.mlx?.active_bytes) },104 { label: "Pic", cls: "n", render: (e) => bytes(stats[e.id]?.mlx?.peak_bytes) },105 { label: "En service", cls: "n", render: (e) => duration(stats[e.id]?.uptime_s) },106 ], engines) : empty("Aucun moteur", "Aucun processus moteur ne sert ce modèle.", "cube"),107 ],108 });109 }) : [card({ body: empty("Aucun modèle au catalogue", "Le fichier de catalogue ne déclare aucun modèle.", "cube") })];110111 mount(host,112 ...modelCards,113 card({114 title: "Rechargement contrôlé", sub: "Redémarre le processus moteur et recharge le modèle",115 actions: reloadBtn,116 body: h("div", { class: "prose" },117 h("p", null, "À utiliser après une mise à jour du modèle ou si le moteur se comporte anormalement. Pendant le rechargement, l'API répond ", h("code", null, "503 engine_unavailable"), " avec un en-tête ", h("code", null, "Retry-After"), " ; la passerelle, les clés et les statistiques ne sont pas affectées."),118 h("p", null, "Cette action exige une confirmation récente par clé d'accès et elle est inscrite au journal d'audit.")),119 }),120 h("div", { class: "section-title" }, h("div", null, h("h2", null, "Benchmarks"), h("p", null, "Rapports mesurés sur cette machine"))),121 benches.length122 ? h("div", { class: "cols" }, benches.map(benchCard))123 : card({ body: empty("Aucun rapport de benchmark", "Aucune mesure n'a encore été enregistrée sur ce serveur. Les rapports apparaîtront ici après l'exécution du banc d'essai ; aucun chiffre n'est affiché en attendant.", "stats") }),124 card({125 title: "Ajouter un modèle", sub: "Prévu par l'architecture, pas encore pilotable depuis cette interface",126 actions: pill("Non disponible ici", "", "plain"),127 body: h("div", { class: "prose" },128 h("p", null, "L'architecture accepte plusieurs modèles : chacun est déclaré dans le catalogue ", h("code", null, "config/models.json"), " (identifiant, dépôt et révision épinglée, quantification, fenêtre de contexte) et servi par ", h("b", null, "son propre processus moteur"), ", vers lequel la passerelle route les requêtes."),129 h("p", null, "L'ajout se fait aujourd'hui sur le Mac mini : modifier le catalogue, télécharger le modèle, déclarer son moteur, puis redémarrer le service. Aucun formulaire n'est proposé ici tant que cette opération n'est pas réellement exécutable depuis le Dashboard.")),130 }));131 }132133 async function refresh() {134 await load(host, () => get("/admin/api/models"), render);135 }136 refresh();137 ctx.poll(() => (document.querySelector("dialog[open]") || host.querySelector(":focus-visible") ? null : get("/admin/api/models").then(render)), 10_000);138 },139};140