SPB Git

Repository Public

TEST_REPORT.md 17.2 KB

# Rapport de tests — SP Chat 2.0.0 (2) « Next Generation » — 19 novembre 2026

Machine : MacBook Pro Apple M5 Max, macOS 27.0, Xcode 27.2 (Swift 6.4). Backend de test : build d'API figé du backend 1.0 sur M4M64c:8510, base de développement (tunnel SSH). La production n'a pas été touchée. La 2.0.0 n'a été ni installée dans /Applications, ni notarisée, ni publiée : le binaire Release a seulement été construit et contrôlé.

# Résultats 2.0

Suite Commande Résultat
Cœur, unitaires (Swift Testing) Scripts/build.sh core-test 167 / 167 (173 listés, dont 6 d'intégration inactifs sans serveur) en ~1,1 s
Cœur, intégration backend 1.0 Scripts/integration-test.sh 5 / 5 (≈ 31 s, vrais appels de modèles, dont un tour sur la route locale)
Cœur, parcours v1 (enrôlement WebAuthn) Scripts/integration-test.sh --journey échec partiel — lancé une fois : 3 attentes en échec à l'étape « arrêt » (voir plus bas)
App, tests hébergés (XCTest) Scripts/build.sh app-test 65 / 65 (≈ 43 s)
Interface (XCUITest) Scripts/ui-test.sh 3 / 3 (≈ 63 s)
En-têtes de fichiers Scripts/check-headers.sh OK
Build Release signé (non notarisé) Scripts/release.sh puis Scripts/verify-release.sh voir « Build Release »

# Ce que couvrent les nouveaux tests

Unitaires (94 nouveaux). Route locale MacLustr AI (modèle local:, faits locaux, ordre et filtre de route, libellé de coût « local · 0 $ », fournisseur local et sa clé) ; Décodage tolérant du catalogue (champs 1.0, valeurs inconnues de fournisseur / statut / route / type conservées, ligne malformée ignorée, ancien format complété depuis l'identifiant, aller-retour par le cache) ; filtres, tris (valeurs manquantes en dernier) et recherche de ModelQuery ; fournisseurs et gestion des clés sur transport scripté (pose, 403 reauth_required → ré-authentification une fois → rejeu, 422 avec message, révocation avec repli) ; fiche de modèle ; options de tour (recherche web, sous-ensemble d'outils, identifiants or:) ; événements followups, citation, meta.servedBy, usage.exactCost ; réducteur de synchronisation (entités, suppression, lot rejoué, flux tronqué, fusion) et client de flux (reconnexion, reprise au dernier numéro de séquence, session terminée) ; arbitrage des brouillons hors ligne ; variables de prompt et déclencheurs / et @ ; décodage contexte / chronologie / arbre / lentilles sur charges réelles, accumulateur de lentille, curseur de relecture ; événements et accumulateur d'Arena sur un vrai run capturé ; constellation et mise en page de graphe (déterministe, bornée, sans NaN).

Intégration backend 1.0 (5). Route locale : routes=local, fournisseur local, « Tester » sur local et sur un fournisseur direct, tour réel sur local:maclustr-qwen3 (coût 0, non facturé) ; Catalogue direct vs routes=all (> 300 modèles OpenRouter, statut catalog), recherche et filtres sur le vrai catalogue, fournisseurs (indice de clé ≤ 8 caractères), test Tavily, fiche d'un modèle OpenRouter (points de terminaison) et d'un modèle direct (jumeau), suggestion de route, dock posé puis rétabli ; tour réel sur un modèle or: avec recherche web (appel web_search, cartes de sources, servedBy, coût facturé, suites proposées, même vérité dans les lignes stockées) ; changement de modèle au tour suivant ; chronologie (dont model_switch), contexte, bifurcation nommée et arbre, renommage de branche ; lentille « résumé » réelle créée puis supprimée ; recherche avancée par fournisseur ; constellation (lien de bifurcation) ; utilisation par route ; flux de synchronisation en tirage et en continu ; arrêt d'une génération (texte partiel conservé, état cancelled) ; Arena sur deux routes avec préférence, historique et exports Markdown / JSON.

Hébergés (38 nouveaux). Route locale (sections, identité, libellés, tour avec identifiant local:) ; Sections du catalogue, dock et favoris (mutations optimistes annulées sur erreur) ; charge utile d'un tour avec recherche web et outils ; avis de paramètres ignorés ; régénération avec un autre modèle ; commandes / et mentions @ ; Centre de commandes ; coordinateur de synchronisation (seul ce qui a changé est relu, conversation ouverte relue, conversation supprimée ailleurs retirée du cache) ; boîte d'envoi des brouillons ; Explorateur, comparaison, fournisseurs ; Arena ; utilisation ; constellation ; quatre onglets du panneau contextuel ; rendus hors écran clair / sombre ; présence des 70 logos dans le catalogue d'assets.

Interface (1 nouveau). Sur la vraie app et le vrai backend : commandes /, sélecteur de modèles (⇧⌘M) avec recherche dans le catalogue, bascule Recherche web, Centre de commandes → Explorateur, ⌥⌘A Arena, ⌥⌘G Constellation, ⌥⌘T panneau contextuel. Les deux tests de la 1.0 passent sans modification.

# Parcours v1 (--journey) : échec partiel, non relancé

Lancé une fois contre le backend 1.0 : enrôlement, connexion, conversation, régénération, versions et modification passent ; à l'étape « arrêter une longue réponse » (envoyée juste après un tour de modification dans la même conversation), 3 attentes échouent (stopped, état cancelled, texte partiel). La cause n'a pas été établie. Le même arrêt, dans une conversation neuve, passe dans la suite backend 1.0. Ce parcours déconnecte toutes les autres sessions de la base de développement (enrôlement par code de récupération) : il a interrompu une fois les sessions de développement en cours et n'a pas été relancé ; il n'est plus exécuté par défaut.

# Build Release

Scripts/release.sh (archive Release, identité Developer ID existante, profil « SP Chat Developer ID ») : dist/SP Chat.app 2.0.0 (2), universel (arm64 + x86_64), 26 Mo. Scripts/verify-release.sh : 13 contrôles, 0 échec (signature, runtime durci, horodatage, bac à sable, domaine associé, profil embarqué, aucun moteur web, aucune ressource web, aucun secret). Non lancé (même identifiant que l'app installée), non notarisé, non agrafé, pas de DMG, rien de publié.

# Captures (docs/img/v2/, clair + sombre)

Prises sur le build Debug contre le backend de développement par Scripts/screenshots.sh : chat-sources, composer-commands, composer-mention, composer-new, model-picker, command-center, explorer, explorer-detail, arena, lens, timeline, context, branches, usage, constellation, providers.

# Performances 2.0 (build Debug, même méthode que la 1.0)

Mesure 1.0.0 2.0.0 Méthode
Lancement → fenêtre à l'écran (Debug, sans session) 454–632 ms 472–722 ms Scripts/perf.sh launch <app Debug>, 5 lancements, même machine le même jour
Mémoire au repos, connecté, catalogue de 611 modèles chargé 61–65 Mo (Release, modèles vérifiés seuls) 70 Mo d'empreinte, RSS 96 Mo (Debug) footprint, ps — builds différents, non comparables terme à terme
Streaming d'un exposé de 1 500 mots CPU moyen 29 %, pic 39 %, mémoire max 154 Mo CPU moyen 35,8 %, pic 44,2 %, mémoire max 161 Mo Scripts/perf.sh stream : Debug non optimisé + Instruments attaché ; chiffre 1.0 repris du rapport du 17 nov.

Lecture : le streaming coûte environ 7 points de CPU de plus qu'en 1.0 dans ces conditions (ligne Lumen et marque du modèle animées pendant la génération, machine par ailleurs chargée par d'autres builds pendant la mesure). Pas de mesure Release, pas de mesure à 120 Hz, pas de profil Instruments analysé pour la 2.0.

# Non vérifié en 2.0

  • Pose, rotation et révocation réelles d'une clé OpenRouter / Tavily (transport scripté seulement), et la ré-authentification Touch ID qui les précède dans le binaire signé.
  • Animations : jugées sur captures fixes ; aucune vérification à 120 Hz ni sous « Réduire les animations » à l'écran.
  • Lentille verify lancée depuis l'app ; reprise d'une lentille après coupure (non implémentée).
  • Retour de réseau réel pour les brouillons hors ligne ; synchronisation observée avec un vrai second appareil (constatée seulement avec les conversations créées par d'autres clients de développement pendant les essais).
  • Gestes de la Constellation, panneau d'enregistrement des exports, dépôt de fichiers sur la fenêtre et sur l'icône du Dock, popover de recherche avancée, onglet Assistant (instructions permanentes), « modèle suggéré » à l'écran, aperçus d'artefacts JSON / CSV / LaTeX, chat rapide V2.
  • VoiceOver et « Augmenter le contraste » : libellés et jetons posés, aucun audit.
  • Tout ce que le rapport 1.0 listait déjà comme non vérifié (ci-dessous) reste vrai.

# Rapport de tests — SP Chat 1.0.0 (1) — 17 novembre 2026

Machine : MacBook Pro Apple M5 Max, macOS 27.0, Xcode 27.2 (Swift 6.4). Backend de test : instance de développement (M4M64c:~/work/csa-v3, base chat_spboucher_dev, joint par tunnel SSH). La production n'a servi qu'à la validation manuelle de la connexion Touch ID.

# Résultats

Suite Commande Résultat
Cœur, unitaires (Swift Testing) Scripts/build.sh core-test 73 / 73 en ~1 s
Cœur, intégration bout en bout Scripts/integration-test.sh 1 / 1 (≈ 15–18 s, vrais appels de modèle)
App, tests hébergés (XCTest) Scripts/build.sh app-test 27 / 27
Interface (XCUITest) Scripts/ui-test.sh 2 / 2 (≈ 45 s)
Contrôles du binaire signé Scripts/verify-release.sh 13 contrôles, 0 échec
En-têtes de fichiers Scripts/check-headers.sh OK

# Ce que chaque suite prouve

Unitaires du cœur — décodage des charges réelles du serveur (colonnes numériques en chaînes, parties inconnues conservées) ; analyseur SSE découpé à chaque octet y compris au milieu d'un caractère UTF-8 ; tous les événements du serveur ; accumulation du message (rejeu après reconnexion sans doublon) ; pot de cookies (jeton dans le magasin secret seulement, rotation, expiration) ; HTTPS obligatoire hors boucle locale ; Origin sur les mutations ; session verrouillée → jeton effacé ; ré-authentification unique sans boucle ; moteur de génération : clé d'idempotence identique sur les nouvelles tentatives, texte rendu quand rien n'est parti, refus non réessayés, coupure en pleine réponse reprise à after=<index> sans perte ni doublon, run disparu, connexion muette abandonnée, annulation ; cérémonies WebAuthn avec un authentificateur logiciel ; cache SQLite (ordre, filtres, recherche plein texte sans diacritiques, entrée hostile, effacement vérifié dans le fichier, 4 000 messages) ; Markdown (tableaux, math protégée, monnaie ≠ math, $ dans le code, HTML jamais interprété, découpage stable pendant le streaming) ; politique de liens ; coloration ; détection de type de fichier ; rédaction des journaux ; exports.

Intégration (vrai backend de développement) — API verrouillée sans session ; mauvais code refusé ; enrôlement d'une passkey (signature P-256 réellement vérifiée par le serveur) ; déconnexion → l'ancien jeton est refusé ; reconnexion par passkey ; passkeys, appareils, codes de récupération, journal ; catalogue ; téléversement (fichier binaire refusé en 415) ; message réel streamé utilisant la pièce jointe ; régénération et versions ; modification ; arrêt en cours de génération (texte partiel conservé, état cancelled) ; renommer, épingler, favori, recherche, brouillon, export, lecture du fichier ; cache hors ligne ; branche, archive, suppression ; révocation de l'appareil → session terminée.

Hébergés dans l'app — envoi → streaming → état final → cache ; 3 000 événements de jetons ne provoquent pas plus de ~30 mises à jour d'écran par seconde ; texte et fichiers rendus au compositeur quand rien n'est parti ; refus 402 affiché ; arrêt ; régénération avec un autre modèle, versions, modification ; rattachement à une génération encore en cours ; ouverture hors ligne depuis le cache puis rafraîchissement ; changement de modèle entre conversations, profil ; approbation d'outil ; préparation des pièces jointes (photo de 3000 × 2000 réduite à 2048 px) ; session : lancement sans session, connexion, session expirée ou révoquée → déconnexion et cache vidé, enrôlement par code ; liste : cache d'abord, repli hors ligne, renommage optimiste annulé sur erreur ; recherche serveur puis locale ; liens profonds strictement validés ; deux fenêtres partageant une conversation avec navigation propre ; palette floue ; préférences persistées sans secret ; PDF paginé à texte sélectionnable ; copie RTF ; composition LaTeX à la bonne taille ; rendu hors écran des vues (Markdown clair / sombre, sélecteur de modèles non tronqué, accueil, transcription).

Interface (vraie app, vrais événements clavier) — historique listé ; frappe et envoi par Retour ; réponse streamée puis stabilisée ; commandes de menu activées selon la conversation ; ⌘K → palette → écran Utilisation ; ⌘N ; ⌘F ; ⌘, ; ⇧⌘N (seconde fenêtre) ; lancement avec serveur injoignable : app utilisable, indicateur hors ligne, échec expliqué et texte rendu au compositeur.

# Validation manuelle sur la production

Point Preuve
Connexion par clé d'accès avec Touch ID dans le binaire signé Faite par le propriétaire le 17 nov. 2026 à 23 h 23 ; journal du serveur de production : login.ok … {"passkey":"MacBook"}
Historique du site visible dans l'app Constaté à l'écran (liste des conversations de production)
Session conservée entre deux lancements (trousseau) Relance de l'app installée : ouverture directe sur l'historique, sans nouvelle vérification
Installation depuis le DMG App copiée du DMG monté vers /Applications, lancée, connectée

# Signature et notarisation

Identité Developer ID Application: Simon-Pierre Boucher (3YM54G49SN) — certificat existant, aucun créé
Profil « SP Chat Developer ID » (MAC_APP_DIRECT, Associated Domains), embarqué, expire en 2044
Notarisation de l'app 156eb403-41f2-495e-abd2-a04f87a54f3e — Accepted
Notarisation du DMG 3f351d56-a850-4342-84f9-61a1231468d0 — Accepted
Agrafage stapler validate : OK pour l'app et le DMG
Gatekeeper spctl : accepted, source=Notarized Developer ID (app, DMG, app du DMG monté)
DMG dist/SPChat-1.0.0.dmg, 10,6 Mo, SHA-256 4fb90defeba390a155678e0f5fa7c48debd6899c6277b42bd72d9d2c1c3310a5

# Performances (Instruments / mesures)

Mesure Résultat Méthode
Lancement à froid → fenêtre à l'écran 690–715 ms (premier lancement après installation : 1 054 ms) Scripts/perf.sh launch, build Release notarisé, 5 lancements
Empreinte mémoire au repos, connecté 61–65 Mo (RSS 122–126 Mo) footprint, ps
Streaming d'un exposé de 1 500 mots (titres, tableau, code) CPU moyen 29 % d'un cœur, pic 39 % ; mémoire max 154 Mo Scripts/perf.sh stream : build Debug non optimisé avec Instruments attaché (majorant)
Répartition du temps CPU pendant ce streaming SwiftUI (graphe, mise en page) ≈ 6,1 s sur 34 s ; code de l'app négligeable : analyse Markdown 0,38 s, modèle de vue 0,13 s, SSE 0,05 s, coloration 0,01 s trace xctrace Time Profiler (build/perf-stream.trace), 12 489 échantillons
Fenêtre présente après arrêt forcé puis relance 10 / 10 boucle kill -9 + open

Lecture : le coût pendant le streaming est celui de la mise en page SwiftUI du dernier bloc, à 30 images/s ; rien n'est recalculé pour les messages et blocs déjà affichés. Aucune mesure de fuite mémoire avec l'instrument Leaks n'a été faite.

# Non vérifié

  • Autre Mac / autre version de macOS : testé sur une seule machine (macOS 27, Apple Silicon). La tranche Intel du binaire universel et macOS 15 / 26 n'ont jamais été exécutés.
  • Écrans de l'espace de travail (projets, prompts, profils, fichiers, mémoire, modèles, comparer, recherche approfondie, images) : compilés et relus, non exercés contre le serveur, sauf Utilisation (ouvert par le test d'interface).
  • Dictée et lecture à voix haute (aucun essai audio), notifications, icône de barre des menus, chat rapide et raccourci global, glisser-déposer et collage d'images, ouverture d'artefact dans le navigateur, Coup d'œil des pièces jointes.
  • Restauration des fenêtres après un redémarrage, plein écran, onglets de fenêtres.
  • VoiceOver : libellés posés sur les contrôles, aucun audit avec le lecteur d'écran.
  • Enrôlement d'une passkey dans le binaire signé (seule la connexion l'a été ; l'enrôlement est couvert par l'authentificateur logiciel) ; connexion par clé de sécurité matérielle.
  • Fournisseurs OpenAI et xAI en conversation réelle depuis l'app (tests réels faits avec Anthropic).
  • Instrument Leaks, mesure d'énergie, conversations réelles de plusieurs milliers de messages à l'écran (testé au niveau données : 2 000 et 4 000 messages).
Files main
Menu

Theme