SPB Git

Repository Public

test-report.md 20.9 KB

# SP Mail — rapport de tests

Statuts : PASS (observé), FAIL, BLOCKED (accès ou approbation manquants), NON FAIT. Aucune preuve n'est fabriquée ; les secrets et les contenus de messages sont absents. Environnements : prod-bordure = Stalwart 1.1.1 sur BHS64 ; prod-backend = M4M64c via https://mail.spboucher.ai ; recette = domaine stg.spboucher.ai sur les mêmes serveurs ; dev = backend local + Stalwart réel par tunnel SSH.

# 2026-11-18 (soir, HE) — bordure, DNS de recette, backend

# Test (spec §11) Env. Procédure Résultat observé Statut
T1a DNS autoritatif du lot 1 DNS dig @ns23/ns24.domaincontrol.com mx1 A 51.161.112.61 ; stg MX 10 mx1.spboucher.ai. ; stg TXT v=spf1 ip4:51.161.112.61 -all ; 2 TXT DKIM (v1-ed25519-20261119, v1-rsa-20261119, RSA comparée octet pour octet à la clé du serveur) ; _dmarc.stg p=none PASS
T1b DNS de l'apex : SPF + DKIM (lot 2) DNS dig @ns23/ns24 après modification GoDaddy SPF unique v=spf1 ip4:51.161.112.61 include:secureserver.net -all ; 2 TXT DKIM apex publiés, RSA identique à la clé du serveur PASS
T1b' DNS de l'apex : MX + DMARC (lot 3) DNS dig @ns23/ns24 et 1.1.1.1 / 8.8.8.8 / 9.9.9.9 le 2026-11-19 MX 10 mx1.spboucher.ai. ; _dmarc p=none avec rapports vers dmarc@spboucher.ai ; cli dns : mx, spf, dkim, dmarc, mxHost, ptr tous ok pour spboucher.ai PASS
T1c PTR 51.161.112.61 → mx1.spboucher.ai (aller-retour) OVH POST /ip/51.161.112.61%2F32/reverse dans la session du manager, puis dig -x sur 1.1.1.1, 8.8.8.8, 9.9.9.9 et dig mx1 A mx1.spboucher.ai. sur les trois résolveurs ; mx1 A 51.161.112.61 PASS
T1d TLS SMTP prod-bordure openssl s_client -starttls smtp -connect 127.0.0.1:25 -servername mx1.spboucher.ai CN=mx1.spboucher.ai, Let's Encrypt, Verify return code: 0, TLS 1.3, expire le 2027-02-17 ; renouvellement : unité sp-mail-cert.path (non encore observée sur un vrai renouvellement) PASS (renouvellement : NON OBSERVÉ)
T1e TLS web prod-backend curl https://mail.spboucher.ai/api/health/ready {"ok":true,"version":"0.1.0","mail_server":"reachable"}, HSTS + CSP présents PASS
T2a Port 25 sortant prod-bordure connexion TCP 25 vers Gmail, Outlook, iCloud 3 bannières 220 PASS
T2b Port 25 entrant depuis l'extérieur prod-bordure journal Stalwart connexion d'une IP tierce (102.220.163.13, EHLO invalide refusé) à 02:45 UTC, 14 min après l'ouverture PASS — le test depuis le laptop a échoué (délai) : le FAI résidentiel bloque le 25 sortant
T2c Refus de relais prod-bordure session SMTP sur 51.161.112.61:25 : MAIL FROM:<someone@example.org>, RCPT TO:<victim@gmail.com> 550 5.7.1 Relay not allowed. ; destinataire local inconnu : 550 5.1.1 Mailbox does not exist. (pas de catch-all) ; pas d'AUTH annoncé sur le 25 PASS
T2d Limites de débit prod-bordure — valeurs par défaut Stalwart actives (5 connexions/s par IP ; bannissements 24 h) ; non éprouvées par un test de charge NON FAIT
T3a Envoi réel vers un fournisseur externe recette tests/integration/jmap_send.py : recette@stg.spboucher.ai → iCloud du propriétaire soumission acceptée ; deliveryStatus : delivered: yes, réponse iCloud 250 2.1.5 Ok — accepté par iCloud ; le propriétaire confirme l'arrivée en boîte de réception (PTR encore générique à ce moment) PASS
T3b Réception réelle d'une réponse externe recette réponse du propriétaire depuis iCloud au message T3a ; tests/integration/jmap_inbox.py + journal Stalwart reçue le 2026-11-19 03:06 UTC d'un serveur Apple (57.103.66.53, TLS 1.3) ; dkim=pass (icloud.com), spf=pass, iprev=pass, dmarc=pass ; livrée en boîte de réception, non classée spam (trusted-reply) PASS
T3c Plusieurs fournisseurs — — une seule boîte de test autorisée (iCloud) NON FAIT
T4 En-têtes d'authentification et alignement DMARC côté destinataire recette lecture des en-têtes du message T3a dans iCloud non lisible par l'agent BLOCKED (le propriétaire doit transmettre Authentication-Results)
T5 Pièces jointes, Unicode, HTML + texte, fil, brouillons → envoyés, téléchargement recette pnpm test (« envoi réel A → B … ») 40 ko binaires relus à l'identique ; sujet/corps accentués, CJK, emoji intacts ; attachment + CSP: sandbox PASS
T6 Passkey (enrôlement à usage unique, connexion), session native distincte, révocation à distance, récupération dev pnpm test (authentificateur WebAuthn logiciel) 11/11 tests PASS — vraie passkey Touch ID / Face ID : NON FAIT
T7a Redémarrage du serveur de courrier prod-bordure 6 arrêts/redémarrages pendant l'installation et la sauvegarde service active, écouteurs revenus, comptes intacts PASS
T7b Coupure réseau, disque plein, certificat expiré, file bloquée, corruption de cache — — — NON FAIT
T8a CSRF, accès intercomptes, élévation vers la gestion du serveur dev pnpm test 403 intersite ; 404 sur la boîte d'autrui ; forbidden_capability / forbidden_method PASS
T8b SSRF par le mandataire d'images dev pnpm test 7 destinations internes/illégales refusées (400/403) PASS
T8c Pièce jointe malveillante prod-bordure SMTP local avec EICAR en pièce jointe 550 5.7.1 Message refuse : contenu malveillant detecte (Eicar-Test-Signature) ; message sain accepté PASS
T8d Antispam sans perte silencieuse prod-bordure message non authentifié depuis un hôte sans SPF livré dans Indésirables (X-Spam-Status: Yes), pas supprimé PASS
T8e Force brute — — bannissement automatique configuré, non éprouvé NON FAIT
T10 Restauration complète en environnement séparé prod-bordure sudo sp-mail-restore-test archive chiffrée 1,4 Mo → seconde instance Stalwart → 2 domaines, 6 comptes relus, écart avec la production : aucun ; arrêt de production pour la sauvegarde : 1 s PASS
T10b Copie hors machine M4M64c infra/backup/pull-edge.sh sans agent SSH {"ok":true,…,"bytes":1366320} ; la clé ne peut exécuter aucune autre commande (un id; sudo cat … renvoie l'archive) PASS

Tests du webmail (XSS HTML, E2E, accessibilité, responsive), des apps natives et de performance : sections ajoutées ci-dessous à mesure qu'ils sont exécutés.

# 2026-11-18 — apps natives (~/Desktop/Cluster/apple/SPMail, spbgit sp-mail-apple.git)

Exécutés par l'agent de construction contre sa propre pile de dev (backend local + Stalwart réel, boîtes apple-*@stg.spboucher.ai purgées ensuite) ; les lignes marquées † ont été revérifiées directement.

# Test Procédure Résultat observé Statut
A1 Socle SPMailCore — unitaires Scripts/test-core.sh 32/32 (dont pagination sur 12 000 messages) PASS
A2 Socle — intégration réelle Scripts/test-core.sh --integration 11/11 : envoi A→B avec pièce jointe et Unicode, réception par delta et EventSource, drapeaux/déplacements, brouillons, recherche en ligne et hors ligne, file d'envoi hors ligne rejouée, conflit « le serveur gagne », cache chiffré au repos, 401 après révocation avec brouillons conservés PASS
A3 macOS — auto-test de l'app Scripts/run-dev.sh --selftest 21/21 (lancement → synchro → rédaction → acceptation serveur → état de remise → lecture → pièce jointe → isolation du rendu HTML → réponse → déconnexion) PASS
A4 iOS — auto-test en simulateur (iPhone 17 Pro, iOS 26.5) même scénario 21/21 PASS
A5 † macOS — signature et notarisation spctl -a -vv, codesign -d --entitlements, stapler validate accepted, Notarized Developer ID, bac à sable + webcredentials:mail.spboucher.ai ; DMG agrafé ; installée dans /Applications PASS
A6 † Associated Domains nscurl https://app-site-association.cdn-apple.com/a/v1/mail.spboucher.ai les deux App ID servis par le CDN d'Apple PASS
A7 † iOS — distribution de test fiche App Store Connect 6836619195 créée, altool --upload-app « UPLOAD SUCCEEDED » ; build 1.0.0 (1) VALID, READY_FOR_BETA_TESTING ; groupe interne « Interne » avec le propriétaire PASS
A8 Connexion par vraie passkey (Touch ID / Face ID), macOS et iOS — jamais exécutée NON FAIT (propriétaire)
A9 Sur appareil réel : glisser-déposer, Quick Look, gestes, verrou biométrique, notifications, rafraîchissement en arrière-plan, iPad, VoiceOver, Dynamic Type — compilé, jamais exercé NON FAIT
A10 Notifications push APNs — l'app enregistre son jeton ; aucun émetteur côté serveur NON FAIT

Non implémenté dans les apps : extension de partage ; texte riche limité (gras/italique/barré/code, macOS 26 / iOS 26+) ; ouverture du message depuis une notification ; quota, règles Sieve et réponse automatique (disponibles dans le webmail).

Correctif issu de ces tests : POST …/upload/… renvoyait 500 pour text/plain et application/json → téléversement en flux pour tous les types (test d'intégration ajouté, 11/11). Comportement Stalwart à connaître : au-delà d'environ 25 messages/heure vers un même destinataire, la soumission est « créée » mais la remise échoue (452 4.4.5 Rate limit exceeded dans deliveryStatus) — d'où l'obligation pour chaque client de lire deliveryStatus.

# 2026-11-18 — webmail (version déployée 36b6da1)

Relancés directement avant le déploiement, contre le vrai Stalwart (boîtes web-*@stg.spboucher.ai, purgées en fin de suite).

# Test Procédure Résultat observé Statut
W1 Typage et build pnpm typecheck, pnpm build propres ; JS principal 476 ko (150 ko gzip), Réglages et Administration en fragments séparés PASS
W2 Logique pure, dont l'assainisseur HTML pnpm test:web 29/29, corpus XSS de 80 cas (scripts, gestionnaires, javascript:, SVG, iframe srcdoc, formulaires, meta refresh, base, CSS url()/@import, pixels) en lecture et en citation PASS
W3 Bout en bout, bureau (Chromium, authentificateur virtuel) pnpm test:e2e 19/19 : enrôlement, connexion, création de boîtes par l'admin, rédaction avec pièce jointe et accents, « accepté pour livraison » puis état par destinataire, échec 550 affiché, réception en direct, message HTML piégé rendu inerte (aucun script, aucune requête vers l'extérieur avant « Afficher », puis seulement via /api/img), réponse, fil, recherche, drapeaux/archive/corbeille avec annulation, clavier, brouillon conservé après rechargement, règle Sieve appliquée par le serveur, révocation de session, hors ligne PASS
W4 Bout en bout, mobile (390×844) pnpm test:e2e 5/5, sans débordement horizontal PASS
W5 Accessibilité axe-core dans la suite 27 écrans, 0 violation grave ou critique ; le cadre isolé du message n'est pas analysable PASS (partiel)
W6 Grande boîte 10 000 messages créés par JMAP < 60 lignes dans le DOM, pire image 19 ms au défilement PASS
W7 Production curl https://mail.spboucher.ai/ 200, application servie ; /api/health/ready ok PASS
W8 Vraie passkey dans Safari, courrier externe réel dans l'interface (pastilles SPF/DKIM/DMARC) — jamais exécuté NON FAIT (propriétaire)

Écrit mais jamais exercé de bout en bout : enrôlement par invitation/récupération, ajout/retrait de passkey, alias/détachement/purge/file/audit de l'administration, images cid:, avertissements de pièces jointes dangereuses, actions groupées autres que « non lu », raccourcis r a f c, export ZIP, interface anglaise au-delà d'une page. Non implémenté : annulation d'envoi ; service worker (le hors-ligne ne vaut que pour un onglet déjà ouvert) ; images d'arrière-plan CSS ; barre de quota (le serveur ne définit pas de quota). Défauts connus : la hauteur du cadre d'un message peut être mal mesurée si ses règles @media changent à la largeur du volet. Corrigé à la suite de ces tests : purge d'une boîte (le compte de courrier est détruit avant le détachement), délai de 20 s de l'administration quand le serveur de courrier est injoignable (6 s, erreur 502 propre), routes PUT /api/profile et GET /api/usage.

# 2026-11-19 — après la bascule du MX (lot 3)

# Test Procédure Résultat observé Statut
M1 Réception externe réelle sur info@spboucher.ai message envoyé par le propriétaire depuis iCloud ; journal Stalwart 06:12:31 UTC, serveur Apple 57.103.65.223, dkim=pass (icloud.com), dmarc=pass, classé légitime, déposé en boîte de réception PASS
M2 Réception externe réelle sur contact@spboucher.ai (auparavant chez Microsoft 365) idem 06:12:49 UTC, serveur Apple 57.103.67.76, classé légitime, déposé en boîte de réception de SP Mail PASS
M3 Les 28 adresses (8 boîtes, 20 alias) sont acceptées par le serveur ; une adresse inconnue est refusée RCPT TO sans envoi, sur BHS64 28/28 en 250, inconnue en 550 PASS
M4 Réception externe réelle sur chaque alias et chaque nouvelle boîte ; envoi depuis chaque identité — — NON FAIT

# 2026-11-19 — API universelle /api/v1 et studio de modèles (backend f433f8c, version 0.2.0)

# Test Procédure Résultat observé Statut
U1 Suite d'intégration complète (vrai PostgreSQL, vrai Stalwart, domaine de recette) pnpm test relancé directement avant déploiement 66 tests : 65 PASS, 0 FAIL, 1 ignoré (essai IA payant) — cycle de vie des adresses avec livraison réelle sur alias puis suspension (550), matrice portées × adresses des clés, rotation/révocation/expiration, idempotence, limites, pièces jointes et image en ligne, réponse/transfert, brouillons, liste unifiée paginée, recherche, synchronisation incrémentale, programmation et annulation, approbation des envois externes, webhooks signés (reprise après erreur, rejeu, refus SSRF), ré-authentification, reprise après redémarrage (message programmé et webhook en attente terminés, message soumis une seule fois), cohérence OpenAPI, adresses protégées PASS
U2 Modèles : assainisseur et rendu node --import tsx --test server/src/template-sanitize.test.ts 4/4 (19 vecteurs de contenu actif retirés ; styles, mode sombre et commentaires Outlook conservés ; valeurs échappées, URL contrôlées) PASS
U3 Modèles : génération puis retouche par IA à travers la route en flux SPMAIL_TEST_AI=1 … templates.test.ts (2 appels réels à claude-opus-5-5) création 82 s / 10 133 jetons, retouche 59 s / 8 197 jetons, version 2 créée, version 1 conservée PASS
U4 Envoi réel par modèle via une clé tests/integration/v1-templates.test.ts mise en page conservée à la réception (<style>, tables), valeurs échappées, lien javascript: neutralisé, variables manquantes/inconnues refusées, modèle d'un autre utilisateur introuvable PASS
U5 Déploiement en production sauvegarde vérifiée de la base, git pull, build, pm2 restart migrations 002_api, 003_templates appliquées ; 28 adresses synchronisées (8 boîtes, 20 alias, 5 protégées) ; /api/v1/health : base, serveur de courrier et files actives PASS
U6 Essai réel en production avec une clé temporaire (envoi seul, notifications@) curl sur https://mail.spboucher.ai/api/v1 lecture refusée (403) ; envoi au nom de info@ refusé (from_not_allowed) ; destinataire externe → pending_approval (rien n'est parti, demande rejetée ensuite) ; envoi interne vers info@ : sent puis delivered (250 2.1.5 OK) ; rejeu avec la même clé d'idempotence → même identifiant ; clé révoquée → 401 PASS
U7 Événements message.deferred / message.failed, corrélation des rebonds reçus plus tard par DSN, réception pendant un arrêt du backend — non provoqués / non couverts NON FAIT
U8 Délivrabilité externe des envois par API vers plusieurs fournisseurs — — NON FAIT

Limites déclarées de l'API : docs/API.md § 14 (téléversement multipart non interprété, réception détectée par interrogation toutes les 5 s, événements de lecture/suppression au mieux, envoi « au moins une fois » en cas de panne entre l'acceptation par Stalwart et l'enregistrement, limite par minute en mémoire).

# 2026-11-19 — version 0.3.0 : studio de modèles, console d'administration, boîte unifiée, MCP et SDK

Suites relancées directement avant chaque déploiement, contre le vrai Stalwart (domaine de recette), boîtes d'essai purgées.

# Test Procédure Résultat observé Statut
V1 Backend complet pnpm test 66 tests : 65 PASS, 1 ignoré (IA payante) PASS
V2 Webmail, logique pnpm test:web 177/177 PASS
V3 Studio de modèles, navigateur npx playwright test -c tests/e2e/studio/playwright.config.ts 24 PASS, 1 ignoré ; modèle piégé inerte (miniature et éditeur), images distantes seulement via /api/img, axe 0 grave/critique PASS
V4 Administration, boîte unifiée, alias, navigateur npx playwright test -c tests/e2e/admin/playwright.config.ts 34 PASS (30 bureau, 4 téléphone) : envoi depuis un alias avec From vérifié à la réception, signature qui suit l'identité, boîte unifiée (ordre, pastilles, arrivée en direct), assistant de clé (secret montré une fois, jeton utilisé puis révoqué → 401), ré-authentification passkey + reprise, approbation/rejet d'un envoi externe simulé, webhook reçu avec signature valide + rejeu, API Explorer (jeton jamais affiché), envoi réel d'un modèle (mise en page conservée), message programmé annulé PASS
V5 Webmail historique suite 8751 (exécutée par l'agent de construction, non relancée ensuite) 24 PASS PASS (rapporté)
V6 Serveur MCP et SDK pnpm test:sdk 31/31 : SDK TypeScript 17, Python (23 tests unittest), Swift (8 tests + exécutable d'exemple), MCP 11 (enveloppe « non fiable », message d'injection sans effet, envoi externe → « NON ENVOYÉ », clé en lecture seule sans outil d'envoi) PASS
V7 Production curl /api/v1/health : version 0.3.0, base, serveur de courrier et files actifs ; /, /admin, /templates servis PASS
V8 Écrans d'administration et studio avec le compte réel du propriétaire ; disposition iPad ; purge/détachement de boîte et droits partagés depuis l'interface ; graphiques vérifiés à l'œil — — NON FAIT

Défauts du backend trouvés par ces tests et corrigés avant déploiement : PATCH d'une clé d'API qui remettait les champs omis à leurs valeurs par défaut ; mise à jour du transfert qui pouvait écraser un script Sieve écrit à la main ; variable requise vide acceptée à l'envoi d'un modèle ; modification des seules variables sans nouvelle version ; approbations expirées encore listées. Restent ouverts : journal d'utilisation d'une clé non paginé (200 derniers appels) ; les listes de messages programmés ne portent pas l'objet ; le webmail décode les identifiants msg_… pour ouvrir un message de la boîte unifiée dans le lecteur.

# 2026-11-19 — apps natives 1.1.0 (4)

# Test Procédure Résultat observé Statut
N1 Socle : unitaires + intégration réelle Scripts/test-core.sh --integration (rapport de l'agent) 67 tests : modèles (CRUD, versions, rendu, flux enregistré), envoi par modèle (mise en page conservée), boîte unifiée sur deux boîtes, envoi depuis un alias avec From vérifié à la réception (y compris après mise en file hors ligne), programmation et annulation PASS (rapporté)
N2 Génération + retouche par IA réelles depuis le socle test dédié 65 s pour la génération, 110 s au total PASS (rapporté)
N3 Auto-test macOS et simulateur iPhone Scripts/run-dev.sh --selftest, Scripts/run-sim.sh 40/40 chacun ; rendu des modèles isolé (JavaScript inactif, image distante seulement via /api/img) PASS (rapporté)
N4 macOS : signature, notarisation, installation spctl -a -vv "/Applications/SP Mail.app" relancé directement accepted, Notarized Developer ID, version 1.1.0 (4) PASS
N5 iOS : TestFlight journal altool relu directement « UPLOAD SUCCEEDED », build 1.1.0 (4) PASS
N6 Vraie passkey, appareil réel, iPad, gestes, VoiceOver, mise en arrière-plan pendant une génération — jamais exercés NON FAIT

Limites des apps : studio, messages programmés et envoi de modèles en ligne seulement ; boîte unifiée sans recherche ni sélection multiple ; administration sur le web uniquement. Corrigé côté serveur à la suite de ces tests : l'idempotence comparait les corps textuellement (un même JSON aux clés ordonnées autrement donnait 409) → empreinte sur JSON canonique.

Files main
Menu

Theme