SPB Git

Repository Public

VALIDATION_PLAN.md 13.1 KB

# Plan de validation et résultats mesurés

Tous les chiffres ci-dessous ont été mesurés le 2026-10-28 sur le nœud de production M2U64 (Mac Studio M2 Ultra, 24 cœurs, 64 Go, SQLite WAL, Next.js 16 en mode production, requêtes curl locales sur 127.0.0.1:8150). Aucun chiffre n'est estimé.

# 1. Tests automatisés (Vitest)

Fichier Tests Couverture
src/lib/metre/engine.test.ts 18 unités (m²↔pi², yd³, po↔pi, refus inter-dimensions), géométrie (lacet, polyligne, auto-intersection, calibration et incertitude, pente de toit), mesures (aire, volume, toit, mur brut/net, déduction unique des ouvertures vérifiées, plafond, périmé), argent (demi vers le haut, somme de 1 000 cents, arrondis), recettes (direct = matériaux × (1 + pertes) + heures × taux + équipement + autres ÷ sortie ; installé ; imbrication sans double pertes ; cycle refusé), moteur (ordre des majorations, taxes non composées, facteur régional par composante, actualisation, arrondi au dollar, facteur d'ajustement, conversion d'unités, exclusions, hypothèses, déterminisme), méthode du coût (âge-vie, double déduction évitée, plafonds)
src/lib/metre/services.test.ts 13 authentification (codes env/générés, inconnu, épuisé, désactivé, sessions), isolation (404 pour un projet invisible, 403 pour droit insuffisant, membres, gabarits), téléversement (signature refusée), calibration révisionnée, mesures/vérification/périmé/recalcul, estimation (quantité relue du registre, hypothèse, révision hachée, immuabilité, scénarios, sensibilité, refus si périmé), évaluation liée, validations d'entrée, analyseurs SEAO/permis/barème, import idempotent + licence obligatoire + QA, journal d'audit
src/lib/metre/examples.test.ts 5 trois exemples résidentiels québécois à quantités vérifiées à la main (§4)
src/lib/metre/dxf.test.ts 3 lecteur DXF (entités, calques, $INSUNITS, entités ignorées, bornes), projection (Y inversé, marge, calibration exacte), SVG, fichiers sans unités / vides
src/lib/metre/ai.test.ts 5 assistance IA avec fournisseur simulé : filtrage des codes et cibles invalides, suggestion en attente et étiquetée, cache par empreinte, revue (accepter/refuser), postes manquants, explication, anomalies déterministes (z robuste, hypothèse sans note, facteur inhabituel) + commentaire, classification MasterFormat (divisions invalides filtrées, application seulement après acceptation), absence de clé API, audit ; import DXF de bout en bout (page, calibration exacte, objets, mesure 12 × 9 = 108 m²)
src/lib/metre/scale.test.ts 1 catalogue synthétique de 10 000 articles : recherche, prix canoniques et contexte de devis chronométrés (§5)
src/lib/metre/plan.test.ts 9 géométrie d'architecte : décalage des murs (onglets, anneaux fermés), projection sur polyligne, insertion d'ouvertures, cotations, aimant, quantités d'un plan, pages sans fichier (vierge, gabarit, carte)
src/lib/metre/qs.test.ts 43 38 gabarits générés (un test par gabarit : niveaux attendus, ouvertures à < 1 cm de leur mur, pièces dans l'empreinte, ≥ 2 pièces et ≥ 3 ouvertures par niveau habitable, murs > 10 m) ; relevé des quantités pur (bungalow 12,2 × 9,1 m : 33 codes attendus, empreinte/périmètre/chambres/salles de bain, fenêtres depuis le plan, murs ext. > périmètre × 2,44 m, fondation = périmètre × hauteur ; fiche dalle/thermopompe/toit plat ; refus sans calibration) ; service (cottage → 3 niveaux → relevé → estimation chiffrée > 100 000 $, regénération sans doublon, duplication des plans)
src/lib/metre/rsmeans.test.ts 7 unités RSMeans → module (diviseurs M.S.F., C.L.F., Sq., S.Y.), prix extrait vs national × facteur (section puis division, repli entre types de MO), substitution de MO signalée, localisation d'un projet (municipalité → région → défaut), recherche FTS/numéro, devis d'une ligne « rsmeans » (coûts bare, provenance « barème publié »), moteur complet (m² → pi², majorations sur le bare)
src/lib/metre/rsmeans-map.test.ts 4 correspondance relevé → RSMeans : couverture de toutes les familles, numéros/facteurs/unités valides ; contre la base installée : chaque ligne existe, a un prix national et une unité compatible ; cottage à Gatineau tarifé RSMeans (> 40 lignes, 100 % chiffrées, total plausible, regénération sans doublon)
src/lib/export-generic.test.ts 6 exports universels de la plateforme : feuilles (résumé, tableaux, tableaux imbriqués hissés, libellés bilingues, exclusions), CSV (BOM, mention UQO Éval, échappement), XLSX (feuille de couverture UQO Éval), PDF valide, JSON enveloppé, ligatures JetBrains Mono neutralisées (« // », « .. », « -- » faisaient planter fontkit)
existants (engine, cost/engine, cost/ai, cost/connectors) 69 régression : inchangés et verts
Total unitaires/intégration 183 npx vitest run : 15 fichiers, 183 tests verts (2026-10-28 soir) ; tsc --noEmit propre ; ESLint 0 erreur
Bout en bout (Playwright, Chromium) e2e/metre.spec.ts + e2e/exports.spec.ts 5 (5) RSMeans Québec : explorateur du catalogue (lignes à 12 chiffres, recherche « asphalt shingles laminated » → section 07 31 13), cas d'étude Cas 1 tarifé RSMeans (lignes « RSMeans NNNNNNNNNNNN », paramètres ville/MO RSMeans, PDF FR de la révision figée > 30 Ko) ; (3) exports serveur : estimation, parc, stats, province, marché, municipalité en CSV/XLSX/JSON/PDF (type MIME, taille, mention UQO Éval, 400/404) ; (4) export client (POST d'un résultat calculé) + boutons visibles sur /stats, /stats/marche, /municipalite/gatineau + téléchargement réel d'un CSV (uqo-eval_l-immobilier-a-gatineau_….csv). npx playwright test : 4 passed (7,0 s) le 2026-10-28. (1) régression : /, /cout, /a-vendre, /stats, /methodologie, /hedonique en 200 et lien « Métré » présent ; (2) parcours complet dans un vrai navigateur : connexion par code → projet → téléversement PNG → calibration par deux clics (400 px = 4 m) → tracé d'une pièce 4 × 3 m → mesure (12 m²) → vérification au registre → estimation (ligne liée + hypothèse 1 500 $) → révision figée → PDF téléchargé (%PDF, > 20 Ko) → suppression. npx playwright test : 2 passed (6,4 s) le 2026-10-28

# 2. Tests d'intégration bout en bout (API, production)

Scénario exécuté après déploiement : connexion admin → projet → mesure manuelle (120 m²) → estimation (ligne catalogue INT-DRYWALL-1/2-FINISHED liée + ligne hypothèse 3 × 1 500 $ installée) → calcul (gypse 4 385,99 $ localisé, provenance observed, conversion m² → pi² journalisée ; plomberie 4 500 $ assumption) → révision figée → PDF (60 Ko), CSV, XLSX générés → accès anonyme au projet : 401 → pages existantes /, /cout, /a-vendre, /stats, /methodologie : 200 → https://www.uqo-eval.app/metre : 200.

Pipeline catalogue : import CSV → QA → publication → observations vérifiées (test services.test.ts). Ingestions réelles exécutées en production le 2026-10-28 : SEAO (2 semaines, 1 306 totaux de contrats « works » 2013-06 → 2026-10, 3 652 releases non-travaux et 648 sans octroi ignorées), permis Montréal (1 267 agrégats annuels de valeur déclarée 1990 → 2026 ; détail sans valeur résumé). Trois gabarits d'exemple créés par scripts/metre-seed-examples.mts (r1 : 78 334,34 $ ; 115 971,27 $ taxes incluses ; 844 001,58 $ + méthode du coût).

# 3. Sécurité

Vérification Résultat
Accès inter-projets (autre étudiant) 404 (existence non révélée) — test automatisé
Séparation des rôles (étudiant → gabarit, recette partagée, codes, ingestion, corrigé) 403 / corrigé jamais sélectionné — tests + revue de code
Téléversement malveillant (texte renommé .pdf, PNG forgé) signature magique + ré-encodage sharp ; refus 415 — test automatisé
Injection SQL requêtes paramétrées uniquement (better-sqlite3)
Exposition de données sensibles corrigés, IP (masquées pour l'enseignant), fichiers hors public/, cookies HttpOnly
Force brute sur les codes 10 tentatives / 10 min / IP ; codes à 8 caractères alphanumériques (≈ 2,8 × 10¹²) hachés

# 4. QA humaine — trois estimations résidentielles québécoises

Hypothèses de prix explicites et pédagogiques (classe user_assumption) ; quantités calculées à la main puis vérifiées par examples.test.ts.

Exemple Métré vérifié à la main Résultat moteur
1. Bungalow 1 étage, Gatineau — plan 12,2 m × 9,1 m (calibration 100 px/m) dalle 12,2 × 9,1 × 0,10 = 11,102 m³ ; plancher 111,02 m² ; toit pente 4/12 : 111,02 × 1,0541 = 117,03 m² ; murs bruts (12,2 + 9,1) × 2 × 2,44 = 103,94 m² direct 3 164,07 + 17 150,10 + 5 618,40 + 34 416,20 = 60 348,77 $ ; CG 8 % 4 827,90 ; FG 7 % 4 562,37 ; profit 8 % 5 579,13 ; contingence 5 % 3 017,44 ; total ≈ 78 336 $ (100 % hypothèses, affiché)
2. Cottage 2 étages + garage, Montréal (impérial) — 40 × 28 pi par étage, garage 22 × 22 pi, calibration 10 px/pi plancher 1 120 pi²/étage (104,05 m²) ; dalle de garage 484 pi² × 0,125 m = 5,621 m³ 2 240 pi² × 28 $ = 62 720 $ ; avec facteur 1,05 = 65 856 $ (avertissement « facteur ») ; taxes : 100 000 $ → TPS 5 000 + TVQ 9 975 = 114 975 $
3. Triplex 1965, Québec — 320 m² × 2 150 $/m² (benchmark de classe, hypothèse) direct 688 000 $ ; CG/FG/profit 6 % en cascade ; actualisation 3 % coût à neuf (avant taxes) ≈ 843 909 $ ; base remplacement −5 % ; site +15 000 ; physique 35/70 = 50 % ; cuisines (45 000, éliminées par le remplacement) non déduites ; stationnement −20 000 ; externe −10 000 ; terrain 210 000 → valeur indiquée calculée et vérifiée (test)

# 5. Performance (mesurée)

Charge Latence mesurée
Estimation de 1 000 lignes (catalogue, 8 assemblages) : PATCH avec recalcul complet, réponse 1,1 Mo 25–61 ms (3 essais)
GET estimation 1 000 lignes (recalcul) 19–30 ms
Figer une révision (1 000 lignes, instantané de prix) 32 ms
Rapport PDF 1 000 lignes (≈ 205 Ko) 1,03 s
Export CSV / XLSX 1 000 lignes 8 ms / 121 ms
Recherche catalogue (99 assemblages chiffrés + 184 articles) 12–14 ms
Scénarios + sensibilité (6 recalculs) 144 ms
20 requêtes dashboard concurrentes 82 ms au total
Téléversement de 20 pages 2 000 × 1 500 px (ré-encodage sharp) 250 ms
Image de page (48 Ko) 2,5 ms
Création de 300 objets (300 requêtes séquentielles) 2,86 s (≈ 9,5 ms/objet)
300 mesures (300 requêtes séquentielles) 3,31 s (≈ 11 ms/mesure)
Recalcul de 300 mesures périmées après recalibration (une requête) 198 ms
Lecture complète d'un projet (300 mesures) 3–15 ms

| Catalogue de 10 000 articles (synthétique, scale.test.ts) : recherche LIKE | 3,9 ms | | Prix canoniques des 10 000 articles (loadPrices) | 19 ms | | Contexte de devis complet sur 10 000 articles (buildQuoteContext) | 16 ms | | Ingestion SEAO réelle : 2 fichiers hebdomadaires (≈ 19 Mo chacun, 8 490 releases) → 1 306 observations | ≈ 25 s au total (téléchargement compris) | | Ingestion permis Montréal réelle : statistiques (1 673 lignes → 1 267 observations) + détail 187 Mo résumé (76 595 permis depuis 2023) | ≈ 70 s (téléchargement compris) | | Appel IA réel (explain, claude-haiku-5-5, exemple 1) | 0,004 $ US, réponse en français structurée | | Sauvegarde quotidienne (metre-backup.sh) : base 5,4 Mo + fichiers 213 Mo | < 5 s |

Non mesuré : charge de 100+ utilisateurs simultanés (hors périmètre d'un cours).

# 6. Qualité des données

Contrôle Implémentation
Doublons de sources UNIQUE(source_key, content_hash) documents, UNIQUE(source_key, external_id) observations, INSERT OR IGNORE
Unités contradictoires convertQuantity refuse les dimensions différentes ; ligne non chiffrée + avertissement
Licence absente import manuel refusé sans licence ; registre metre_sources.license
Indices périmés actualisation impossible → avertissement explicite, aucune actualisation appliquée
Prix aberrants hérité de cost.db (MAD, bornes) ; observations externes : verification_status, drapeaux metre_quality_flags
Estimations de modèle non vérifiées aucun modèle de prix déployé ; classe modeled réservée et étiquetée

# 7. Limites connues

  • Le test Playwright couvre un parcours nominal ; les cas limites d'interaction (tactile, annuler/rétablir, calques) restent validés manuellement.
  • Le rendu PDF côté client dépend du navigateur (pdfjs) ; les PDF chiffrés/protégés échouent avec un message.
  • Les prix du catalogue reposent pour ≈ 39 % (part non observée dans l'estimation de 1 000 lignes mesurée ci-dessus : 61 % observé) sur des prix de référence internes étiquetés « hypothèse ».
Files main
Menu

Theme