Benchmarks — mesures réelles
Généré par scripts/publish_bench.py à partir des rapports bruts de docs/bench-reports/ (date des mesures : 2026-11-19 10:24:14). Machine : Apple M4 Pro, 48 Go, macOS 26.5.1, MLX 0.32.4, MLX-LM 0.32.2. Aucun chiffre n'est estimé.
Reproduire : bench/compare.sh <label> <dossier-modèle> (qualité + vitesse d'un candidat), bench/bench.py --base http://127.0.0.1:8810 --model maclustr-qwen3 --key … --label production (production), bench/memtest.py (mémoire).
1. Choix du modèle
Qualité : 41 items à correction automatique (bench/quality.py), température 0.
| Candidat | Total | fr | en | reasoning | code | tools | instructions | s / réponse |
|---|---|---|---|---|---|---|---|---|
instruct-2507-4bit |
40/41 | 6/6 | 5/5 | 9/9 | 6/7 | 7/7 | 7/7 | 4.03 |
qwen3-30b-a3b-4bit-think |
38/41 | 4/6 | 5/5 | 8/9 | 7/7 | 7/7 | 7/7 | 25.03 |
qwen3-30b-a3b-4bit-nothink |
37/41 | 3/6 | 5/5 | 9/9 | 6/7 | 7/7 | 7/7 | 3.19 |
qwen3-8b-4bit-nothink |
36/41 | 2/6 | 5/5 | 9/9 | 7/7 | 7/7 | 6/7 | 3.69 |
Vitesse (moteur seul, lot de 16) :
| Candidat | tokens/s (1 flux) | 1er token | agrégé à 8 | agrégé à 16 | pic mémoire MLX |
|---|---|---|---|---|---|
instruct-2507-4bit |
80.1 | 106.6 ms | 156.7 t/s | 180.6 t/s | 21.6 Go |
qwen3-30b-a3b-4bit-nothink |
80.6 | 131.4 ms | 157.2 t/s | 179.2 t/s | 20.2 Go |
qwen3-30b-a3b-4bit-think |
81.3 | 120.3 ms | — t/s | — t/s | 28.2 Go |
qwen3-8b-4bit-nothink |
51.7 | 165.6 ms | 112.9 t/s | 143.6 t/s | 9.1 Go |
Retenu : mlx-community/Qwen3-30B-A3B-Instruct-2507-4bit (révision e9675aa3ca5f, apache-2.0) — meilleur score, seul candidat sans faute en français, même vitesse que la version d'origine. Le mode raisonnement de la version d'origine n'apporte pas de gain sur cette suite et multiplie le temps de réponse. Qwen3-8B est plus lent par flux et moins bon en français : aucun modèle secondaire n'est servi.
2. Production (à travers la passerelle)
| Scénario | Requêtes | 1er token p50 | 1er token p95 | tokens/s p50 | Latence p50 | Prompt (tokens) | En cache | Erreurs |
|---|---|---|---|---|---|---|---|---|
| Question courte, réponse de 128 tokens. | 5 | 110.7 ms | 146.3 ms | 80.6 | 1687.1 ms | 30 | 13 | 0.0 |
| Génération longue de 1 024 tokens. | 3 | 140.9 ms | 187.9 ms | 76.3 | 13539.1 ms | 40 | 12 | 0.0 |
| Prompt d'environ 4 000 tokens (jamais vu), réponse de 128 tokens. | 3 | 4646.0 ms | 4650.4 ms | 63.4 | 6645.0 ms | 3042 | 4 | 0.0 |
| Contexte d'environ 16 000 tokens (jamais vu), réponse de 128 tokens. | 2 | 27428.6 ms | 27637.8 ms | 42.9 | 30394.3 ms | 12275 | 4 | 0.0 |
| Programmation : fonction Python avec tests. | 3 | 83.2 ms | 338.3 ms | 78.1 | 6640.3 ms | 46 | 27 | 0.0 |
| Raisonnement en plusieurs étapes. | 3 | 242.7 ms | 256.3 ms | 78.2 | 5339.9 ms | 60 | 6 | 0.0 |
| Appel d'outil (get_weather) attendu. | 3 | 453.3 ms | 586.2 ms | — | 465.3 ms | 181 | 112 | 0.0 |
| Conversation de 5 tours (préfixe réutilisé d'un tour à l'autre). | 5 | 118.9 ms | 170.0 ms | 77.8 | 1937.2 ms | 343 | 325 | 0.0 |
| Préfixe système commun d'environ 3 000 tokens, 5 questions différentes après un premier appel à froid. | 5 | 147.2 ms | 149.5 ms | 69.9 | 391.1 ms | 2304 | 2288 | 0.0 |
Cache de préfixes : premier appel avec un préfixe de 2304 tokens → 1er token en 3564.2 ms ; appels suivants avec le même préfixe → 147.2 ms (2288 tokens servis depuis le cache).
Concurrence
| Clients simultanés | Débit agrégé | Débit par requête | 1er token p50 | 1er token p95 | Latence p95 | Erreurs | Pression mémoire |
|---|---|---|---|---|---|---|---|
| 1 | 75.1 t/s | 78.7 t/s | 145.9 ms | 204.9 ms | 3427.6 ms | 0.0 | normal |
| 2 | 102.8 t/s | 53.4 t/s | 194.4 ms | 196.3 ms | 4979.2 ms | 0.0 | normal |
| 4 | 125.6 t/s | 32.6 t/s | 321.6 ms | 330.2 ms | 8155.2 ms | 0.0 | normal |
| 8 | 155.8 t/s | 20.4 t/s | 547.5 ms | 695.1 ms | 13278.9 ms | 0.0 | normal |
| 16 | 156.8 t/s | 20.5 t/s | 13280.4 ms | 13924.6 ms | 26152.4 ms | 0.0 | normal |
Réglage retenu : 8 générations actives, le reste en file d'attente à priorités. À 16 actives le débit agrégé ne gagne qu'environ 15 % (voir le tableau « moteur seul ») alors que chaque requête tombe à ~12 tokens/s ; à 8, chaque utilisateur garde ~20 tokens/s et le premier token reste sous la seconde.
3. Mémoire
Mémoire MLX au repos (modèle chargé) : 17.2 Go. Contextes tous différents (aucun cache).
| Requêtes × contexte | Tokens en vol | Pic MLX | Au-dessus du repos | octets / token | Prefill | Pression | Swap |
|---|---|---|---|---|---|---|---|
| 1 × 2524 | 2524 | 18.1 Go | 0.9 Go | 354244 | 664 t/s | normal | 0 |
| 1 × 10122 | 10122 | 19.5 Go | 2.2 Go | 220925 | 489 t/s | normal | 0 |
| 4 × 10170 | 40678 | 29.6 Go | 12.3 Go | 303264 | 488 t/s | normal | 0 |
| 8 × 5109 | 40870 | 25.8 Go | 8.6 Go | 210441 | 601 t/s | normal | 0 |
| 1 × 39087 | 39087 | 28.6 Go | 11.3 Go | 289749 | 231 t/s | normal | 0 |
| 4 × 20554 | 82216 | 33.9 Go | 16.6 Go | 202203 | 352 t/s | normal | 0 |
Lecture : un token en contexte coûte 0,2 à 0,35 Mo de mémoire au pic. Avec 48 Go, un budget de 48000 tokens en vol (token_budget) borne le pic autour de 30 Go, sans swap et sous pression « normale », en laissant la marge de macOS. Le cache de préfixes est plafonné à 2 Go ; la mémoire réellement retenue après de très gros lots dépasse ce plafond comptable (tampons KV alloués par paliers), d'où un budget volontairement prudent.
4. Limites constatées
- Le prefill est le goulot : ~450 à 650 tokens/s, moins sur les très grands contextes. Un prompt de 12 000 tokens jamais vu attend ~27 s son premier token ; le même préfixe réutilisé répond en ~0,15 s.
- Le lot continu d'un modèle Mixture-of-Experts passe mal à l'échelle : le débit agrégé double à peine entre 1 et 8 flux.
- Fenêtre de contexte servie : 32 768 tokens (le modèle en accepte davantage, mais le prefill et la mémoire le rendent peu praticable sur cette machine).