SPB Git

Repository Public

BENCHMARKS.md 6.0 KB

# Benchmarks — mesures réelles

Généré par scripts/publish_bench.py à partir des rapports bruts de docs/bench-reports/ (date des mesures : 2026-11-19 10:24:14). Machine : Apple M4 Pro, 48 Go, macOS 26.5.1, MLX 0.32.4, MLX-LM 0.32.2. Aucun chiffre n'est estimé.

Reproduire : bench/compare.sh <label> <dossier-modèle> (qualité + vitesse d'un candidat), bench/bench.py --base http://127.0.0.1:8810 --model maclustr-qwen3 --key … --label production (production), bench/memtest.py (mémoire).

# 1. Choix du modèle

Qualité : 41 items à correction automatique (bench/quality.py), température 0.

Candidat Total fr en reasoning code tools instructions s / réponse
instruct-2507-4bit 40/41 6/6 5/5 9/9 6/7 7/7 7/7 4.03
qwen3-30b-a3b-4bit-think 38/41 4/6 5/5 8/9 7/7 7/7 7/7 25.03
qwen3-30b-a3b-4bit-nothink 37/41 3/6 5/5 9/9 6/7 7/7 7/7 3.19
qwen3-8b-4bit-nothink 36/41 2/6 5/5 9/9 7/7 7/7 6/7 3.69

Vitesse (moteur seul, lot de 16) :

Candidat tokens/s (1 flux) 1er token agrégé à 8 agrégé à 16 pic mémoire MLX
instruct-2507-4bit 80.1 106.6 ms 156.7 t/s 180.6 t/s 21.6 Go
qwen3-30b-a3b-4bit-nothink 80.6 131.4 ms 157.2 t/s 179.2 t/s 20.2 Go
qwen3-30b-a3b-4bit-think 81.3 120.3 ms — t/s — t/s 28.2 Go
qwen3-8b-4bit-nothink 51.7 165.6 ms 112.9 t/s 143.6 t/s 9.1 Go

Retenu : mlx-community/Qwen3-30B-A3B-Instruct-2507-4bit (révision e9675aa3ca5f, apache-2.0) — meilleur score, seul candidat sans faute en français, même vitesse que la version d'origine. Le mode raisonnement de la version d'origine n'apporte pas de gain sur cette suite et multiplie le temps de réponse. Qwen3-8B est plus lent par flux et moins bon en français : aucun modèle secondaire n'est servi.

# 2. Production (à travers la passerelle)

Scénario Requêtes 1er token p50 1er token p95 tokens/s p50 Latence p50 Prompt (tokens) En cache Erreurs
Question courte, réponse de 128 tokens. 5 110.7 ms 146.3 ms 80.6 1687.1 ms 30 13 0.0
Génération longue de 1 024 tokens. 3 140.9 ms 187.9 ms 76.3 13539.1 ms 40 12 0.0
Prompt d'environ 4 000 tokens (jamais vu), réponse de 128 tokens. 3 4646.0 ms 4650.4 ms 63.4 6645.0 ms 3042 4 0.0
Contexte d'environ 16 000 tokens (jamais vu), réponse de 128 tokens. 2 27428.6 ms 27637.8 ms 42.9 30394.3 ms 12275 4 0.0
Programmation : fonction Python avec tests. 3 83.2 ms 338.3 ms 78.1 6640.3 ms 46 27 0.0
Raisonnement en plusieurs étapes. 3 242.7 ms 256.3 ms 78.2 5339.9 ms 60 6 0.0
Appel d'outil (get_weather) attendu. 3 453.3 ms 586.2 ms — 465.3 ms 181 112 0.0
Conversation de 5 tours (préfixe réutilisé d'un tour à l'autre). 5 118.9 ms 170.0 ms 77.8 1937.2 ms 343 325 0.0
Préfixe système commun d'environ 3 000 tokens, 5 questions différentes après un premier appel à froid. 5 147.2 ms 149.5 ms 69.9 391.1 ms 2304 2288 0.0

Cache de préfixes : premier appel avec un préfixe de 2304 tokens → 1er token en 3564.2 ms ; appels suivants avec le même préfixe → 147.2 ms (2288 tokens servis depuis le cache).

# Concurrence

Clients simultanés Débit agrégé Débit par requête 1er token p50 1er token p95 Latence p95 Erreurs Pression mémoire
1 75.1 t/s 78.7 t/s 145.9 ms 204.9 ms 3427.6 ms 0.0 normal
2 102.8 t/s 53.4 t/s 194.4 ms 196.3 ms 4979.2 ms 0.0 normal
4 125.6 t/s 32.6 t/s 321.6 ms 330.2 ms 8155.2 ms 0.0 normal
8 155.8 t/s 20.4 t/s 547.5 ms 695.1 ms 13278.9 ms 0.0 normal
16 156.8 t/s 20.5 t/s 13280.4 ms 13924.6 ms 26152.4 ms 0.0 normal

Réglage retenu : 8 générations actives, le reste en file d'attente à priorités. À 16 actives le débit agrégé ne gagne qu'environ 15 % (voir le tableau « moteur seul ») alors que chaque requête tombe à ~12 tokens/s ; à 8, chaque utilisateur garde ~20 tokens/s et le premier token reste sous la seconde.

# 3. Mémoire

Mémoire MLX au repos (modèle chargé) : 17.2 Go. Contextes tous différents (aucun cache).

Requêtes × contexte Tokens en vol Pic MLX Au-dessus du repos octets / token Prefill Pression Swap
1 × 2524 2524 18.1 Go 0.9 Go 354244 664 t/s normal 0
1 × 10122 10122 19.5 Go 2.2 Go 220925 489 t/s normal 0
4 × 10170 40678 29.6 Go 12.3 Go 303264 488 t/s normal 0
8 × 5109 40870 25.8 Go 8.6 Go 210441 601 t/s normal 0
1 × 39087 39087 28.6 Go 11.3 Go 289749 231 t/s normal 0
4 × 20554 82216 33.9 Go 16.6 Go 202203 352 t/s normal 0

Lecture : un token en contexte coûte 0,2 à 0,35 Mo de mémoire au pic. Avec 48 Go, un budget de 48000 tokens en vol (token_budget) borne le pic autour de 30 Go, sans swap et sous pression « normale », en laissant la marge de macOS. Le cache de préfixes est plafonné à 2 Go ; la mémoire réellement retenue après de très gros lots dépasse ce plafond comptable (tampons KV alloués par paliers), d'où un budget volontairement prudent.

# 4. Limites constatées

  • Le prefill est le goulot : ~450 à 650 tokens/s, moins sur les très grands contextes. Un prompt de 12 000 tokens jamais vu attend ~27 s son premier token ; le même préfixe réutilisé répond en ~0,15 s.
  • Le lot continu d'un modèle Mixture-of-Experts passe mal à l'échelle : le débit agrégé double à peine entre 1 et 8 flux.
  • Fenêtre de contexte servie : 32 768 tokens (le modèle en accepte davantage, mais le prefill et la mémoire le rendent peu praticable sur cette machine).
Files main
Menu

Theme