SPB Git

Repository Public

DATA_SOURCES_AND_LICENSES.md 10.2 KB

# Sources de données québécoises et canadiennes — audit, licences, décisions

Vérifications effectuées le 2026-10-28 (accès réseau depuis le laptop, le nœud M2U64 et la passerelle OVH BHS64). Le registre machine correspondant est SOURCE_REGISTRY dans src/lib/metre/db.ts (table metre_sources).

# 1. Classes d'évidence (jamais mélangées silencieusement)

Classe Signification Exemples Utilisable comme prix de ligne ?
published_schedule barème publié par un organisme DTNI-11A/11B (Montréal), MTMD, grilles APCHQ oui, avec étiquette (infrastructure ≠ résidentiel)
awarded_unit_bid prix unitaire d'une soumission retenue (bordereau) bordereaux publiés oui, étiqueté
supplier_quote prix de fournisseur / détaillant observé Canac, BMR, Patrick Morin (cost.db) oui (catalogue)
contractor_quote soumission d'entrepreneur saisie par l'utilisateur oui, étiqueté
awarded_contract_total montant total d'un contrat octroyé SEAO non (contexte seulement)
permit_declared_value valeur déclarée des travaux au permis permis Montréal non (contexte seulement)
modeled estimation de modèle — (aucun modèle de prix n'est déployé) étiqueté « modèle »
user_assumption hypothèse explicite ligne « prix supposé » oui, avec justification

# 2. Sources auditées

Source Accès vérifié Licence Décision Classe
SEAO — Système électronique d'appel d'offres, Données Québec (systeme-electronique-dappel-doffres-seao) ✅ ingéré en production le 2026-10-28 (2 fichiers hebdomadaires) ; API CKAN + fichiers JSON hebdomadaires au standard OCDS 1.1 (439 ressources ; p. ex. hebdo_20261019_20261025.json, 18,7 Mo, 4 352 releases dont 1 019 « works » et 681 avec octroi) ; items classés UNSPSC ; acheteurs avec drapeau municipal ; fournisseurs avec localité CC-BY 4.0 (donneesquebec.ca/fr/licence/#cc-by) Adaptateur implémenté (sources/seao.ts, ingestion ingestSeao) : releases « works » avec octroi/contrat → observations awarded_contract_total (montant, date, UNSPSC, acheteur, fournisseur, nb de soumissionnaires, URL de l'avis). Jamais converti en prix unitaire. awarded_contract_total
Ville de Montréal — permis de construction, transformation et démolition (donnees.montreal.ca/dataset/permis-construction) ✅ deux ressources CSV (téléchargement avec User-Agent de navigateur ; 403 sinon) : statistiques-permis-de-construction.csv (92 Ko : annee, arrondissement, code_type_base_demande, nombre_permis_emis, cout_permis_emis, cout_travaux_estimes) et permis-construction.csv (187 Mo, 562 748 permis depuis 1990, sans colonne de valeur : dates, emplacement, arrondissement, type, catégorie de bâtiment, nature des travaux, logements, coordonnées) CC-BY 4.0 Adaptateur v2 implémenté et ingéré (sources/permits.ts) : chaque ligne des statistiques → observation permit_declared_value (montant = valeur déclarée totale de l'année, lignage = nombre de permis et moyenne par permis) ; le détail est conservé (hash) et résumé (années, catégories, types) sans créer d'observation. La Ville précise que ces coûts n'ont « aucune valeur légale ». permit_declared_value
Ville de Montréal — DTNI-11A « Répertoire des prix unitaires » et DTNI-11B « Taux horaires de machinerie et main-d'œuvre » (site ville.montreal.qc.ca/executiontravaux, famille 11, versions juin 2026) ❌ HTTP 403 pour tout accès automatisé (laptop et OVH) ; aucun jeu équivalent sur donnees.montreal.ca (recherche CKAN « prix unitaires », « DTNI », « bordereau » sans résultat) ; l'« Annexe P » a été abolie le 2024-09-30 documents publics de la Ville (conditions du site) ; pas de licence ouverte explicite Import manuel : un administrateur télécharge le PDF/XLSX, le transcrit en CSV, indique la licence/les droits et importe (importScheduleCsv) ; fichier brut conservé avec hash ; observations published_schedule étiquetées infrastructure municipale (≠ résidentiel installé) et soumises à QA. published_schedule
MTMD — prix unitaires / bordereaux d'infrastructure routière ❌ aucun jeu de prix unitaires trouvé sur Données Québec (requête « prix unitaires transports » : résultats hors sujet) à confirmer registre créé inactif ; même chemin d'import manuel que DTNI ; prix d'infrastructure, jamais résidentiels published_schedule
Statistique Canada 18-10-0289-01 — indices des prix de la construction de bâtiments (Montréal, Québec RMR, Ottawa-Gatineau ; résidentiel) ✅ déjà ingéré par le connecteur statcan de cost.db (1 084 points, API WDS) Licence ouverte de Statistique Canada utilisé pour l'actualisation (escalationFactor) et l'indexation des prix anciens published_schedule (indice)
APCHQ — grilles « Coût horaire de la main-d'œuvre » (conventions CCQ) ✅ déjà ingéré (3 404 taux, dernier 2026-04-26) documents publics de l'association (valeurs + URL) taux employeur complets par métier, utilisés par les recettes published_schedule
CCQ — salaires conventionnés ✅ connecteur de détection de changement public redondant avec APCHQ —
Détaillants (Canac, BMR, Patrick Morin) ✅ 4 827 observations, 130 articles observés prix affichés publiquement, robots.txt respectés prix matériaux du catalogue supplier_quote
Altus Group — Canadian Cost Guide formulaire d'inscription restreint import manuel de benchmarks $/pi² (existant) benchmark
RSMeans / Gordian licence payante licencié import CSV seulement, jamais redistribué ; inactif référence
OpenConstructionERP / CWICR (catalogue Toronto) lu dans le dépôt licence PENDING, marque restreinte, données reprisées non observées non importé (voir audit) —
Rôle d'évaluation foncière (MAMH) ✅ vraiprix.db données ouvertes préremplissage des projets, valeur du terrain —
Catalogues de fabricants / prix de fournisseurs non intégrés droits à obtenir au cas par cas import CSV supplier_quote/contractor_quote avec licence obligatoire —

# 3. Pipeline d'ingestion (src/lib/metre/sources/ingest.ts)

discover (CKAN package_show) → download (User-Agent identifié, délai 120 s, 200 Mo max) → conservation brute (data/metre-files/_sources/<clé>/<sha256>.<ext>) → parse (version d'analyseur) → normalize (montant, unité, devise, dates) → classify (UNSPSC pour SEAO ; catégorie pour permis/barèmes) → validate (montants > 0, en-têtes requis) → dedupe (UNIQUE (source, hash) pour les documents, (source, identifiant externe) pour les observations) → publish (statut QA new → parsed/published → rejected, verification_status des observations).

Chaque document enregistre : URL, identifiant, titre, éditeur, date de publication, date d'effet, date de récupération, licence, hash, chemin brut, taille, version d'analyseur, statut et notes QA. Chaque observation : description et unité/montant d'origine, unité/montant normalisés, devise, inclusions matériau/MO/équipement, base de taxes, géographie, région, acheteur, schéma/code/libellé de classification, base de date, intervalle d'effet, licence, méthode d'extraction, lignage JSON, statut de vérification, note d'incertitude (jamais un intervalle de confiance fabriqué).

Exécutions : table metre_ingest_runs (documents, enregistrements, ignorés, erreurs, journal) ; idempotentes et rejouables ; drapeaux de qualité (metre_quality_flags).

# 4. Respect des conditions d'utilisation

  • Aucun contournement de protection (403 → import manuel documenté).
  • robots.txt et conditions des détaillants déjà respectés par les connecteurs existants.
  • Aucune redistribution de documents : seuls des valeurs, métadonnées et liens sont stockés et affichés ; les fichiers bruts restent sur le serveur à des fins d'audit.
  • Aucune donnée personnelle ingérée : SEAO (entités), permis (adresses civiques agrégées par arrondissement ; l'adresse brute reste dans la description pour la traçabilité mais n'est pas indexée publiquement — le module est derrière connexion).
  • Vie privée des étudiants : nom d'affichage seulement, pas de courriel ; projets isolés ; journal d'audit visible par les enseignants uniquement pour leurs cours ; conservation 30 jours des sessions.

# 5. Assistance IA et données

Le module peut soumettre à un modèle de langage (Claude, clé ANTHROPIC_API_KEY du serveur, modèle METRE_AI_MODEL, défaut claude-haiku-5-5) : des noms de mesures, des descriptions de lignes, des totaux déjà calculés, des libellés d'observations importées. Il ne transmet jamais : plans, fichiers, noms d'utilisateurs, adresses civiques de permis, clés. Aucune donnée tierce sous licence restrictive n'est envoyée (les barèmes importés manuellement sont envoyés uniquement sous forme de libellés, pour classification, à l'initiative d'un administrateur). Les sorties sont stockées avec le modèle, la version de prompt, l'empreinte d'entrée et le coût estimé ; aucune n'est appliquée sans revue humaine.

# RSMeans Online (Gordian) — ajouté le 2026-10-28

Élément Valeur
Source RSMeans Online, abonnement UQO, version 2026 T4, MasterFormat 2018, coûts unitaires (pas d'assemblages)
Couverture moyenne nationale + 17 villes du Québec (indices de coût de ville) ; livres commercial (STD/OPN), rénovation (STD/OPN), résidentiel (RES), entretien (FMR)
Classe d'évidence published_schedule (barème publié) ; nature official ; confiance 85 (prix extrait) / 72 (national × facteur de section)
Licence données sous licence Gordian : usage pédagogique interne, pas de redistribution brute (recherche limitée, pas d'export de masse), mention de source sur chaque prix ; convention d'utilisateur RSMeans Online
Méthode extraction reproductible depuis la session Web (grille interne, jeton anti-CSRF), validation des facteurs de localisation à l'arrondi près ; RSMEANS.md
Files main
Menu

Theme