Repository Public
1# Benchmarks — mesures réelles23Généré par `scripts/publish_bench.py` à partir des rapports bruts de `docs/bench-reports/` (date des mesures : 2026-11-19 10:24:14). Machine : Apple M4 Pro, 48 Go, macOS 26.5.1, MLX 0.32.4, MLX-LM 0.32.2. Aucun chiffre n'est estimé.45Reproduire : `bench/compare.sh <label> <dossier-modèle>` (qualité + vitesse d'un candidat), `bench/bench.py --base http://127.0.0.1:8810 --model maclustr-qwen3 --key … --label production` (production), `bench/memtest.py` (mémoire).67## 1. Choix du modèle89Qualité : 41 items à correction automatique (`bench/quality.py`), température 0.1011| Candidat | Total | fr | en | reasoning | code | tools | instructions | s / réponse |12|---|---|---|---|---|---|---|---|---|13| `instruct-2507-4bit` | **40/41** | 6/6 | 5/5 | 9/9 | 6/7 | 7/7 | 7/7 | 4.03 |14| `qwen3-30b-a3b-4bit-think` | **38/41** | 4/6 | 5/5 | 8/9 | 7/7 | 7/7 | 7/7 | 25.03 |15| `qwen3-30b-a3b-4bit-nothink` | **37/41** | 3/6 | 5/5 | 9/9 | 6/7 | 7/7 | 7/7 | 3.19 |16| `qwen3-8b-4bit-nothink` | **36/41** | 2/6 | 5/5 | 9/9 | 7/7 | 7/7 | 6/7 | 3.69 |1718Vitesse (moteur seul, lot de 16) :1920| Candidat | tokens/s (1 flux) | 1er token | agrégé à 8 | agrégé à 16 | pic mémoire MLX |21|---|---|---|---|---|---|22| `instruct-2507-4bit` | 80.1 | 106.6 ms | 156.7 t/s | 180.6 t/s | 21.6 Go |23| `qwen3-30b-a3b-4bit-nothink` | 80.6 | 131.4 ms | 157.2 t/s | 179.2 t/s | 20.2 Go |24| `qwen3-30b-a3b-4bit-think` | 81.3 | 120.3 ms | — t/s | — t/s | 28.2 Go |25| `qwen3-8b-4bit-nothink` | 51.7 | 165.6 ms | 112.9 t/s | 143.6 t/s | 9.1 Go |2627**Retenu : `mlx-community/Qwen3-30B-A3B-Instruct-2507-4bit`** (révision `e9675aa3ca5f`, apache-2.0) — meilleur score, seul candidat sans faute en français, même vitesse que la version d'origine. Le mode raisonnement de la version d'origine n'apporte pas de gain sur cette suite et multiplie le temps de réponse. Qwen3-8B est plus lent par flux et moins bon en français : **aucun modèle secondaire n'est servi**.2829## 2. Production (à travers la passerelle)3031| Scénario | Requêtes | 1er token p50 | 1er token p95 | tokens/s p50 | Latence p50 | Prompt (tokens) | En cache | Erreurs |32|---|---|---|---|---|---|---|---|---|33| Question courte, réponse de 128 tokens. | 5 | 110.7 ms | 146.3 ms | 80.6 | 1687.1 ms | 30 | 13 | 0.0 |34| Génération longue de 1 024 tokens. | 3 | 140.9 ms | 187.9 ms | 76.3 | 13539.1 ms | 40 | 12 | 0.0 |35| Prompt d'environ 4 000 tokens (jamais vu), réponse de 128 tokens. | 3 | 4646.0 ms | 4650.4 ms | 63.4 | 6645.0 ms | 3042 | 4 | 0.0 |36| Contexte d'environ 16 000 tokens (jamais vu), réponse de 128 tokens. | 2 | 27428.6 ms | 27637.8 ms | 42.9 | 30394.3 ms | 12275 | 4 | 0.0 |37| Programmation : fonction Python avec tests. | 3 | 83.2 ms | 338.3 ms | 78.1 | 6640.3 ms | 46 | 27 | 0.0 |38| Raisonnement en plusieurs étapes. | 3 | 242.7 ms | 256.3 ms | 78.2 | 5339.9 ms | 60 | 6 | 0.0 |39| Appel d'outil (get_weather) attendu. | 3 | 453.3 ms | 586.2 ms | — | 465.3 ms | 181 | 112 | 0.0 |40| Conversation de 5 tours (préfixe réutilisé d'un tour à l'autre). | 5 | 118.9 ms | 170.0 ms | 77.8 | 1937.2 ms | 343 | 325 | 0.0 |41| Préfixe système commun d'environ 3 000 tokens, 5 questions différentes après un premier appel à froid. | 5 | 147.2 ms | 149.5 ms | 69.9 | 391.1 ms | 2304 | 2288 | 0.0 |4243Cache de préfixes : premier appel avec un préfixe de 2304 tokens → 1er token en **3564.2 ms** ; appels suivants avec le même préfixe → **147.2 ms** (2288 tokens servis depuis le cache).4445### Concurrence4647| Clients simultanés | Débit agrégé | Débit par requête | 1er token p50 | 1er token p95 | Latence p95 | Erreurs | Pression mémoire |48|---|---|---|---|---|---|---|---|49| 1 | 75.1 t/s | 78.7 t/s | 145.9 ms | 204.9 ms | 3427.6 ms | 0.0 | normal |50| 2 | 102.8 t/s | 53.4 t/s | 194.4 ms | 196.3 ms | 4979.2 ms | 0.0 | normal |51| 4 | 125.6 t/s | 32.6 t/s | 321.6 ms | 330.2 ms | 8155.2 ms | 0.0 | normal |52| 8 | 155.8 t/s | 20.4 t/s | 547.5 ms | 695.1 ms | 13278.9 ms | 0.0 | normal |53| 16 | 156.8 t/s | 20.5 t/s | 13280.4 ms | 13924.6 ms | 26152.4 ms | 0.0 | normal |5455Réglage retenu : **8 générations actives**, le reste en file d'attente à priorités. À 16 actives le débit agrégé ne gagne qu'environ 15 % (voir le tableau « moteur seul ») alors que chaque requête tombe à ~12 tokens/s ; à 8, chaque utilisateur garde ~20 tokens/s et le premier token reste sous la seconde.5657## 3. Mémoire5859Mémoire MLX au repos (modèle chargé) : **17.2 Go**. Contextes tous différents (aucun cache).6061| Requêtes × contexte | Tokens en vol | Pic MLX | Au-dessus du repos | octets / token | Prefill | Pression | Swap |62|---|---|---|---|---|---|---|---|63| 1 × 2524 | 2524 | 18.1 Go | 0.9 Go | 354244 | 664 t/s | normal | 0 |64| 1 × 10122 | 10122 | 19.5 Go | 2.2 Go | 220925 | 489 t/s | normal | 0 |65| 4 × 10170 | 40678 | 29.6 Go | 12.3 Go | 303264 | 488 t/s | normal | 0 |66| 8 × 5109 | 40870 | 25.8 Go | 8.6 Go | 210441 | 601 t/s | normal | 0 |67| 1 × 39087 | 39087 | 28.6 Go | 11.3 Go | 289749 | 231 t/s | normal | 0 |68| 4 × 20554 | 82216 | 33.9 Go | 16.6 Go | 202203 | 352 t/s | normal | 0 |6970Lecture : un token en contexte coûte **0,2 à 0,35 Mo** de mémoire au pic. Avec 48 Go, un budget de **48000 tokens en vol** (`token_budget`) borne le pic autour de 30 Go, sans swap et sous pression « normale », en laissant la marge de macOS. Le cache de préfixes est plafonné à 2 Go ; la mémoire réellement retenue après de très gros lots dépasse ce plafond comptable (tampons KV alloués par paliers), d'où un budget volontairement prudent.7172## 4. Limites constatées7374- Le prefill est le goulot : ~450 à 650 tokens/s, moins sur les très grands contextes. Un prompt de 12 000 tokens jamais vu attend ~27 s son premier token ; le même préfixe réutilisé répond en ~0,15 s.75- Le lot continu d'un modèle Mixture-of-Experts passe mal à l'échelle : le débit agrégé double à peine entre 1 et 8 flux.76- Fenêtre de contexte servie : 32 768 tokens (le modèle en accepte davantage, mais le prefill et la mémoire le rendent peu praticable sur cette machine).77