SPB Git

Repository Public

models.js 8.8 KB 140 lines javascript

1// Modèles : modèle actif, version épinglée, moteurs, rapports de benchmark, rechargement contrôlé du moteur.23import { ApiError, errorMessage, get, isSilent, post } from "../api.js";4import { h, icon, mount } from "../dom.js";5import { DASH, bytes, duration, has, ms, num, pct } from "../format.js";6import { busy, confirmDialog, empty, note, toast } from "../ui.js";7import { card, dl, load, pill, table } from "./common.js";89const CAPS = { chat: "Chat", streaming: "Flux SSE", tools: "Appels d'outils", thinking: "Raisonnement", json_mode: "Sorties JSON" };1011function benchCard(b) {12  const sm = b.summary;13  const meta = b.meta || {};14  const sub = [meta.date, meta.host, meta.chip, meta.mlx ? `mlx ${meta.mlx}` : null, meta.mlx_lm ? `mlx-lm ${meta.mlx_lm}` : null].filter(Boolean).join(" · ");15  if (!sm) {16    return card({ title: b.file, sub, body: empty("Rapport sans résumé", "Ce fichier ne contient pas de section « summary » exploitable.", "info") });17  }18  const conc = sm.concurrency || [];19  return card({20    title: sm.model || b.file, sub: sub || b.file,21    body: [22      dl([23        ["Requête seule — premier jeton", ms(sm.single?.ttft_ms)],24        ["Requête seule — débit", has(sm.single?.tokens_per_second) ? `${num(sm.single.tokens_per_second, 1)} jetons/s` : null],25        ["Pic de mémoire", bytes(sm.peak_memory_bytes)],26        ["Simultanéité recommandée", has(sm.recommended?.max_active) ? num(sm.recommended.max_active) : null],27        ["Fichier", h("span", { class: "mono" }, b.file)],28      ]),29      conc.length ? table([30        { label: "Clients", lead: true, render: (r) => `${num(r.clients)} client${r.clients > 1 ? "s" : ""}` },31        { label: "Débit agrégé", cls: "n", render: (r) => (has(r.aggregate_tps) ? `${num(r.aggregate_tps, 1)} j/s` : DASH) },32        { label: "Par requête", cls: "n", render: (r) => (has(r.per_request_tps) ? `${num(r.per_request_tps, 1)} j/s` : DASH) },33        { label: "TTFT p50", cls: "n", render: (r) => ms(r.ttft_p50_ms) },34        { label: "TTFT p95", cls: "n", render: (r) => ms(r.ttft_p95_ms) },35        { label: "Latence p95", cls: "n", render: (r) => ms(r.latency_p95_ms) },36        { label: "Erreurs", cls: "n", render: (r) => (has(r.error_rate) ? pct(r.error_rate * 100, 1) : DASH) },37      ], conc) : null,38    ],39  });40}4142export default {43  title: "Modèles",44  sub: "Modèle servi, moteurs et benchmarks",45  mount(ctx) {46    const host = h("div", { class: "stack" });47    mount(ctx.root, host);4849    async function reload(button) {50      const ok = await confirmDialog({51        title: "Recharger le moteur d'inférence ?",52        message: "Le processus moteur va être arrêté proprement puis relancé, et le modèle rechargé en mémoire.",53        details: note("warn", h("b", null, "Interruption de service. "), "Les requêtes en cours seront interrompues et les nouvelles recevront une erreur 503 (engine_unavailable) jusqu'au retour du modèle — généralement quelques dizaines de secondes à quelques minutes selon sa taille."),54        confirmLabel: "Recharger le moteur", danger: true,55      });56      if (!ok) return;57      await busy(button, async () => {58        try {59          const out = await post("/admin/api/engine/reload");60          toast(`Rechargement demandé (${(out.engines || []).join(", ") || "moteur"}). Le modèle revient dans quelques instants.`);61          setTimeout(refresh, 2500);62        } catch (err) {63          if (err instanceof ApiError && err.code === "reauth_cancelled") toast("Action annulée.", "info");64          else if (!isSilent(err)) toast(errorMessage(err), "danger");65        }66      });67    }6869    function render(d) {70      const models = d.models || [];71      const benches = d.benchmarks || [];72      const reloadBtn = h("button", { class: "btn btn-danger btn-sm", type: "button" }, icon("refresh", "icon-sm"), "Recharger le moteur");73      reloadBtn.addEventListener("click", () => reload(reloadBtn));7475      const modelCards = models.length ? models.map((m) => {76        const engines = m.engines || [];77        const stats = m.engine_stats || {};78        const mem = engines.reduce((a, e) => a + (stats[e.id]?.mlx?.active_bytes || 0), 0);79        const anyStats = engines.some((e) => stats[e.id]);80        const caps = Object.entries(m.capabilities || {}).filter(([, v]) => v).map(([k]) => pill(CAPS[k] || k, "", "plain"));81        return card({82          title: m.display_name || m.id,83          sub: m.description || null,84          actions: m.available ? pill("Actif", "ok") : pill("Indisponible", "danger"),85          body: [86            dl([87              ["Identifiant API", h("span", { class: "mono" }, m.id)],88              ["Dépôt source", m.source?.repo ? h("span", { class: "mono" }, m.source.repo) : null],89              ["Révision épinglée", m.source?.revision ? h("span", { class: "mono" }, m.source.revision) : null],90              ["Quantification", m.quantization],91              ["Fenêtre de contexte", has(m.context_window) ? `${num(m.context_window)} jetons` : null],92              ["Sortie maximale", has(m.max_output_tokens) ? `${num(m.max_output_tokens)} jetons` : null],93              ["Licence", m.license],94              ["Mémoire utilisée par le moteur", anyStats ? bytes(mem) : null],95              ["Capacités", caps.length ? h("span", { style: { display: "inline-flex", gap: "6px", "flex-wrap": "wrap", "justify-content": "flex-end" } }, caps) : null],96            ]),97            h("h3", { style: { "font-size": "var(--text-sm)", margin: "18px 0 4px", color: "var(--text-2)" } }, "Moteurs"),98            engines.length ? table([99              { label: "Moteur", lead: true, render: (e) => h("span", { class: "mono" }, e.id) },100              { label: "Santé", render: (e) => (e.healthy ? pill("Sain", "ok") : h("span", null, pill("Hors service", "danger"), e.last_error ? h("span", { class: "sub" }, e.last_error) : null)) },101              { label: "En cours", cls: "n", render: (e) => `${num(e.active)} / ${num(e.capacity)}` },102              { label: "Servies", cls: "n", render: (e) => num(e.served) },103              { label: "Mémoire active", cls: "n", render: (e) => bytes(stats[e.id]?.mlx?.active_bytes) },104              { label: "Pic", cls: "n", render: (e) => bytes(stats[e.id]?.mlx?.peak_bytes) },105              { label: "En service", cls: "n", render: (e) => duration(stats[e.id]?.uptime_s) },106            ], engines) : empty("Aucun moteur", "Aucun processus moteur ne sert ce modèle.", "cube"),107          ],108        });109      }) : [card({ body: empty("Aucun modèle au catalogue", "Le fichier de catalogue ne déclare aucun modèle.", "cube") })];110111      mount(host,112        ...modelCards,113        card({114          title: "Rechargement contrôlé", sub: "Redémarre le processus moteur et recharge le modèle",115          actions: reloadBtn,116          body: h("div", { class: "prose" },117            h("p", null, "À utiliser après une mise à jour du modèle ou si le moteur se comporte anormalement. Pendant le rechargement, l'API répond ", h("code", null, "503 engine_unavailable"), " avec un en-tête ", h("code", null, "Retry-After"), " ; la passerelle, les clés et les statistiques ne sont pas affectées."),118            h("p", null, "Cette action exige une confirmation récente par clé d'accès et elle est inscrite au journal d'audit.")),119        }),120        h("div", { class: "section-title" }, h("div", null, h("h2", null, "Benchmarks"), h("p", null, "Rapports mesurés sur cette machine"))),121        benches.length122          ? h("div", { class: "cols" }, benches.map(benchCard))123          : card({ body: empty("Aucun rapport de benchmark", "Aucune mesure n'a encore été enregistrée sur ce serveur. Les rapports apparaîtront ici après l'exécution du banc d'essai ; aucun chiffre n'est affiché en attendant.", "stats") }),124        card({125          title: "Ajouter un modèle", sub: "Prévu par l'architecture, pas encore pilotable depuis cette interface",126          actions: pill("Non disponible ici", "", "plain"),127          body: h("div", { class: "prose" },128            h("p", null, "L'architecture accepte plusieurs modèles : chacun est déclaré dans le catalogue ", h("code", null, "config/models.json"), " (identifiant, dépôt et révision épinglée, quantification, fenêtre de contexte) et servi par ", h("b", null, "son propre processus moteur"), ", vers lequel la passerelle route les requêtes."),129            h("p", null, "L'ajout se fait aujourd'hui sur le Mac mini : modifier le catalogue, télécharger le modèle, déclarer son moteur, puis redémarrer le service. Aucun formulaire n'est proposé ici tant que cette opération n'est pas réellement exécutable depuis le Dashboard.")),130        }));131    }132133    async function refresh() {134      await load(host, () => get("/admin/api/models"), render);135    }136    refresh();137    ctx.poll(() => (document.querySelector("dialog[open]") || host.querySelector(":focus-visible") ? null : get("/admin/api/models").then(render)), 10_000);138  },139};140
Files main
Menu

Theme