Rapport de tests — SP Chat 2.0.0 (2) « Next Generation » — 19 novembre 2026
Machine : MacBook Pro Apple M5 Max, macOS 27.0, Xcode 27.2 (Swift 6.4). Backend de test : build d'API figé du backend
1.0 sur M4M64c:8510, base de développement (tunnel SSH). La production n'a pas été touchée. La 2.0.0 n'a été ni
installée dans /Applications, ni notarisée, ni publiée : le binaire Release a seulement été construit et contrôlé.
Résultats 2.0
| Suite | Commande | Résultat |
|---|---|---|
| Cœur, unitaires (Swift Testing) | Scripts/build.sh core-test |
167 / 167 (173 listés, dont 6 d'intégration inactifs sans serveur) en ~1,1 s |
| Cœur, intégration backend 1.0 | Scripts/integration-test.sh |
5 / 5 (≈ 31 s, vrais appels de modèles, dont un tour sur la route locale) |
| Cœur, parcours v1 (enrôlement WebAuthn) | Scripts/integration-test.sh --journey |
échec partiel — lancé une fois : 3 attentes en échec à l'étape « arrêt » (voir plus bas) |
| App, tests hébergés (XCTest) | Scripts/build.sh app-test |
65 / 65 (≈ 43 s) |
| Interface (XCUITest) | Scripts/ui-test.sh |
3 / 3 (≈ 63 s) |
| En-têtes de fichiers | Scripts/check-headers.sh |
OK |
| Build Release signé (non notarisé) | Scripts/release.sh puis Scripts/verify-release.sh |
voir « Build Release » |
Ce que couvrent les nouveaux tests
Unitaires (94 nouveaux). Route locale MacLustr AI (modèle local:, faits locaux, ordre et filtre de route, libellé de coût « local · 0 $ », fournisseur local et sa clé) ; Décodage tolérant du catalogue (champs 1.0, valeurs inconnues de fournisseur / statut /
route / type conservées, ligne malformée ignorée, ancien format complété depuis l'identifiant, aller-retour par le
cache) ; filtres, tris (valeurs manquantes en dernier) et recherche de ModelQuery ; fournisseurs et gestion des clés
sur transport scripté (pose, 403 reauth_required → ré-authentification une fois → rejeu, 422 avec message,
révocation avec repli) ; fiche de modèle ; options de tour (recherche web, sous-ensemble d'outils, identifiants or:) ;
événements followups, citation, meta.servedBy, usage.exactCost ; réducteur de synchronisation (entités,
suppression, lot rejoué, flux tronqué, fusion) et client de flux (reconnexion, reprise au dernier numéro de
séquence, session terminée) ; arbitrage des brouillons hors ligne ; variables de prompt et déclencheurs / et @ ;
décodage contexte / chronologie / arbre / lentilles sur charges réelles, accumulateur de lentille, curseur de
relecture ; événements et accumulateur d'Arena sur un vrai run capturé ; constellation et mise en page de graphe
(déterministe, bornée, sans NaN).
Intégration backend 1.0 (5). Route locale : routes=local, fournisseur local, « Tester » sur local et sur un fournisseur direct, tour réel sur local:maclustr-qwen3 (coût 0, non facturé) ; Catalogue direct vs routes=all (> 300 modèles OpenRouter, statut catalog),
recherche et filtres sur le vrai catalogue, fournisseurs (indice de clé ≤ 8 caractères), test Tavily, fiche d'un
modèle OpenRouter (points de terminaison) et d'un modèle direct (jumeau), suggestion de route, dock posé puis rétabli ;
tour réel sur un modèle or: avec recherche web (appel web_search, cartes de sources, servedBy, coût facturé,
suites proposées, même vérité dans les lignes stockées) ; changement de modèle au tour suivant ; chronologie (dont
model_switch), contexte, bifurcation nommée et arbre, renommage de branche ; lentille « résumé » réelle créée puis
supprimée ; recherche avancée par fournisseur ; constellation (lien de bifurcation) ; utilisation par route ; flux de
synchronisation en tirage et en continu ; arrêt d'une génération (texte partiel conservé, état cancelled) ;
Arena sur deux routes avec préférence, historique et exports Markdown / JSON.
Hébergés (38 nouveaux). Route locale (sections, identité, libellés, tour avec identifiant local:) ; Sections du catalogue, dock et favoris (mutations optimistes annulées sur erreur) ; charge
utile d'un tour avec recherche web et outils ; avis de paramètres ignorés ; régénération avec un autre modèle ;
commandes / et mentions @ ; Centre de commandes ; coordinateur de synchronisation (seul ce qui a changé est
relu, conversation ouverte relue, conversation supprimée ailleurs retirée du cache) ; boîte d'envoi des brouillons ;
Explorateur, comparaison, fournisseurs ; Arena ; utilisation ; constellation ; quatre onglets du panneau contextuel ;
rendus hors écran clair / sombre ; présence des 70 logos dans le catalogue d'assets.
Interface (1 nouveau). Sur la vraie app et le vrai backend : commandes /, sélecteur de modèles (⇧⌘M) avec
recherche dans le catalogue, bascule Recherche web, Centre de commandes → Explorateur, ⌥⌘A Arena, ⌥⌘G Constellation,
⌥⌘T panneau contextuel. Les deux tests de la 1.0 passent sans modification.
Parcours v1 (--journey) : échec partiel, non relancé
Lancé une fois contre le backend 1.0 : enrôlement, connexion, conversation, régénération, versions et modification
passent ; à l'étape « arrêter une longue réponse » (envoyée juste après un tour de modification dans la même
conversation), 3 attentes échouent (stopped, état cancelled, texte partiel). La cause n'a pas été établie. Le même
arrêt, dans une conversation neuve, passe dans la suite backend 1.0. Ce parcours déconnecte toutes les autres
sessions de la base de développement (enrôlement par code de récupération) : il a interrompu une fois les sessions
de développement en cours et n'a pas été relancé ; il n'est plus exécuté par défaut.
Build Release
Scripts/release.sh (archive Release, identité Developer ID existante, profil « SP Chat Developer ID ») : dist/SP Chat.app
2.0.0 (2), universel (arm64 + x86_64), 26 Mo. Scripts/verify-release.sh : 13 contrôles, 0 échec (signature,
runtime durci, horodatage, bac à sable, domaine associé, profil embarqué, aucun moteur web, aucune ressource web, aucun
secret). Non lancé (même identifiant que l'app installée), non notarisé, non agrafé, pas de DMG, rien de publié.
Captures (docs/img/v2/, clair + sombre)
Prises sur le build Debug contre le backend de développement par Scripts/screenshots.sh : chat-sources,
composer-commands, composer-mention, composer-new, model-picker, command-center, explorer,
explorer-detail, arena, lens, timeline, context, branches, usage, constellation, providers.
Performances 2.0 (build Debug, même méthode que la 1.0)
| Mesure | 1.0.0 | 2.0.0 | Méthode |
|---|---|---|---|
| Lancement → fenêtre à l'écran (Debug, sans session) | 454–632 ms | 472–722 ms | Scripts/perf.sh launch <app Debug>, 5 lancements, même machine le même jour |
| Mémoire au repos, connecté, catalogue de 611 modèles chargé | 61–65 Mo (Release, modèles vérifiés seuls) | 70 Mo d'empreinte, RSS 96 Mo (Debug) | footprint, ps — builds différents, non comparables terme à terme |
| Streaming d'un exposé de 1 500 mots | CPU moyen 29 %, pic 39 %, mémoire max 154 Mo | CPU moyen 35,8 %, pic 44,2 %, mémoire max 161 Mo | Scripts/perf.sh stream : Debug non optimisé + Instruments attaché ; chiffre 1.0 repris du rapport du 17 nov. |
Lecture : le streaming coûte environ 7 points de CPU de plus qu'en 1.0 dans ces conditions (ligne Lumen et marque du modèle animées pendant la génération, machine par ailleurs chargée par d'autres builds pendant la mesure). Pas de mesure Release, pas de mesure à 120 Hz, pas de profil Instruments analysé pour la 2.0.
Non vérifié en 2.0
- Pose, rotation et révocation réelles d'une clé OpenRouter / Tavily (transport scripté seulement), et la ré-authentification Touch ID qui les précède dans le binaire signé.
- Animations : jugées sur captures fixes ; aucune vérification à 120 Hz ni sous « Réduire les animations » à l'écran.
- Lentille
verifylancée depuis l'app ; reprise d'une lentille après coupure (non implémentée). - Retour de réseau réel pour les brouillons hors ligne ; synchronisation observée avec un vrai second appareil (constatée seulement avec les conversations créées par d'autres clients de développement pendant les essais).
- Gestes de la Constellation, panneau d'enregistrement des exports, dépôt de fichiers sur la fenêtre et sur l'icône du Dock, popover de recherche avancée, onglet Assistant (instructions permanentes), « modèle suggéré » à l'écran, aperçus d'artefacts JSON / CSV / LaTeX, chat rapide V2.
- VoiceOver et « Augmenter le contraste » : libellés et jetons posés, aucun audit.
- Tout ce que le rapport 1.0 listait déjà comme non vérifié (ci-dessous) reste vrai.
Rapport de tests — SP Chat 1.0.0 (1) — 17 novembre 2026
Machine : MacBook Pro Apple M5 Max, macOS 27.0, Xcode 27.2 (Swift 6.4). Backend de test : instance de développement
(M4M64c:~/work/csa-v3, base chat_spboucher_dev, joint par tunnel SSH). La production n'a servi qu'à la validation
manuelle de la connexion Touch ID.
Résultats
| Suite | Commande | Résultat |
|---|---|---|
| Cœur, unitaires (Swift Testing) | Scripts/build.sh core-test |
73 / 73 en ~1 s |
| Cœur, intégration bout en bout | Scripts/integration-test.sh |
1 / 1 (≈ 15–18 s, vrais appels de modèle) |
| App, tests hébergés (XCTest) | Scripts/build.sh app-test |
27 / 27 |
| Interface (XCUITest) | Scripts/ui-test.sh |
2 / 2 (≈ 45 s) |
| Contrôles du binaire signé | Scripts/verify-release.sh |
13 contrôles, 0 échec |
| En-têtes de fichiers | Scripts/check-headers.sh |
OK |
Ce que chaque suite prouve
Unitaires du cœur — décodage des charges réelles du serveur (colonnes numériques en chaînes, parties inconnues
conservées) ; analyseur SSE découpé à chaque octet y compris au milieu d'un caractère UTF-8 ; tous les événements du
serveur ; accumulation du message (rejeu après reconnexion sans doublon) ; pot de cookies (jeton dans le magasin secret
seulement, rotation, expiration) ; HTTPS obligatoire hors boucle locale ; Origin sur les mutations ; session
verrouillée → jeton effacé ; ré-authentification unique sans boucle ; moteur de génération : clé d'idempotence identique
sur les nouvelles tentatives, texte rendu quand rien n'est parti, refus non réessayés, coupure en pleine réponse
reprise à after=<index> sans perte ni doublon, run disparu, connexion muette abandonnée, annulation ; cérémonies
WebAuthn avec un authentificateur logiciel ; cache SQLite (ordre, filtres, recherche plein texte sans diacritiques,
entrée hostile, effacement vérifié dans le fichier, 4 000 messages) ; Markdown (tableaux, math protégée, monnaie ≠ math,
$ dans le code, HTML jamais interprété, découpage stable pendant le streaming) ; politique de liens ; coloration ;
détection de type de fichier ; rédaction des journaux ; exports.
Intégration (vrai backend de développement) — API verrouillée sans session ; mauvais code refusé ; enrôlement d'une
passkey (signature P-256 réellement vérifiée par le serveur) ; déconnexion → l'ancien jeton est refusé ; reconnexion par
passkey ; passkeys, appareils, codes de récupération, journal ; catalogue ; téléversement (fichier binaire refusé en
415) ; message réel streamé utilisant la pièce jointe ; régénération et versions ; modification ; arrêt en cours
de génération (texte partiel conservé, état cancelled) ; renommer, épingler, favori, recherche, brouillon, export,
lecture du fichier ; cache hors ligne ; branche, archive, suppression ; révocation de l'appareil → session terminée.
Hébergés dans l'app — envoi → streaming → état final → cache ; 3 000 événements de jetons ne provoquent pas plus de ~30 mises à jour d'écran par seconde ; texte et fichiers rendus au compositeur quand rien n'est parti ; refus 402 affiché ; arrêt ; régénération avec un autre modèle, versions, modification ; rattachement à une génération encore en cours ; ouverture hors ligne depuis le cache puis rafraîchissement ; changement de modèle entre conversations, profil ; approbation d'outil ; préparation des pièces jointes (photo de 3000 × 2000 réduite à 2048 px) ; session : lancement sans session, connexion, session expirée ou révoquée → déconnexion et cache vidé, enrôlement par code ; liste : cache d'abord, repli hors ligne, renommage optimiste annulé sur erreur ; recherche serveur puis locale ; liens profonds strictement validés ; deux fenêtres partageant une conversation avec navigation propre ; palette floue ; préférences persistées sans secret ; PDF paginé à texte sélectionnable ; copie RTF ; composition LaTeX à la bonne taille ; rendu hors écran des vues (Markdown clair / sombre, sélecteur de modèles non tronqué, accueil, transcription).
Interface (vraie app, vrais événements clavier) — historique listé ; frappe et envoi par Retour ; réponse streamée puis stabilisée ; commandes de menu activées selon la conversation ; ⌘K → palette → écran Utilisation ; ⌘N ; ⌘F ; ⌘, ; ⇧⌘N (seconde fenêtre) ; lancement avec serveur injoignable : app utilisable, indicateur hors ligne, échec expliqué et texte rendu au compositeur.
Validation manuelle sur la production
| Point | Preuve |
|---|---|
| Connexion par clé d'accès avec Touch ID dans le binaire signé | Faite par le propriétaire le 17 nov. 2026 à 23 h 23 ; journal du serveur de production : login.ok … {"passkey":"MacBook"} |
| Historique du site visible dans l'app | Constaté à l'écran (liste des conversations de production) |
| Session conservée entre deux lancements (trousseau) | Relance de l'app installée : ouverture directe sur l'historique, sans nouvelle vérification |
| Installation depuis le DMG | App copiée du DMG monté vers /Applications, lancée, connectée |
Signature et notarisation
| Identité | Developer ID Application: Simon-Pierre Boucher (3YM54G49SN) — certificat existant, aucun créé |
| Profil | « SP Chat Developer ID » (MAC_APP_DIRECT, Associated Domains), embarqué, expire en 2044 |
| Notarisation de l'app | 156eb403-41f2-495e-abd2-a04f87a54f3e — Accepted |
| Notarisation du DMG | 3f351d56-a850-4342-84f9-61a1231468d0 — Accepted |
| Agrafage | stapler validate : OK pour l'app et le DMG |
| Gatekeeper | spctl : accepted, source=Notarized Developer ID (app, DMG, app du DMG monté) |
| DMG | dist/SPChat-1.0.0.dmg, 10,6 Mo, SHA-256 4fb90defeba390a155678e0f5fa7c48debd6899c6277b42bd72d9d2c1c3310a5 |
Performances (Instruments / mesures)
| Mesure | Résultat | Méthode |
|---|---|---|
| Lancement à froid → fenêtre à l'écran | 690–715 ms (premier lancement après installation : 1 054 ms) | Scripts/perf.sh launch, build Release notarisé, 5 lancements |
| Empreinte mémoire au repos, connecté | 61–65 Mo (RSS 122–126 Mo) | footprint, ps |
| Streaming d'un exposé de 1 500 mots (titres, tableau, code) | CPU moyen 29 % d'un cœur, pic 39 % ; mémoire max 154 Mo | Scripts/perf.sh stream : build Debug non optimisé avec Instruments attaché (majorant) |
| Répartition du temps CPU pendant ce streaming | SwiftUI (graphe, mise en page) ≈ 6,1 s sur 34 s ; code de l'app négligeable : analyse Markdown 0,38 s, modèle de vue 0,13 s, SSE 0,05 s, coloration 0,01 s | trace xctrace Time Profiler (build/perf-stream.trace), 12 489 échantillons |
| Fenêtre présente après arrêt forcé puis relance | 10 / 10 | boucle kill -9 + open |
Lecture : le coût pendant le streaming est celui de la mise en page SwiftUI du dernier bloc, à 30 images/s ; rien n'est recalculé pour les messages et blocs déjà affichés. Aucune mesure de fuite mémoire avec l'instrument Leaks n'a été faite.
Non vérifié
- Autre Mac / autre version de macOS : testé sur une seule machine (macOS 27, Apple Silicon). La tranche Intel du binaire universel et macOS 15 / 26 n'ont jamais été exécutés.
- Écrans de l'espace de travail (projets, prompts, profils, fichiers, mémoire, modèles, comparer, recherche approfondie, images) : compilés et relus, non exercés contre le serveur, sauf Utilisation (ouvert par le test d'interface).
- Dictée et lecture à voix haute (aucun essai audio), notifications, icône de barre des menus, chat rapide et raccourci global, glisser-déposer et collage d'images, ouverture d'artefact dans le navigateur, Coup d'œil des pièces jointes.
- Restauration des fenêtres après un redémarrage, plein écran, onglets de fenêtres.
- VoiceOver : libellés posés sur les contrôles, aucun audit avec le lecteur d'écran.
- Enrôlement d'une passkey dans le binaire signé (seule la connexion l'a été ; l'enrôlement est couvert par l'authentificateur logiciel) ; connexion par clé de sécurité matérielle.
- Fournisseurs OpenAI et xAI en conversation réelle depuis l'app (tests réels faits avec Anthropic).
- Instrument Leaks, mesure d'énergie, conversations réelles de plusieurs milliers de messages à l'écran (testé au niveau données : 2 000 et 4 000 messages).