SPB Git

Repository Public

DATA_SOURCES_AND_LICENSES.md 10.2 KB 66 lines markdown

1# Sources de données québécoises et canadiennes — audit, licences, décisions23> Vérifications effectuées le 2026-10-28 (accès réseau depuis le laptop, le nœud M2U64 et la passerelle OVH BHS64). Le registre machine correspondant est `SOURCE_REGISTRY` dans `src/lib/metre/db.ts` (table `metre_sources`).45## 1. Classes d'évidence (jamais mélangées silencieusement)67| Classe | Signification | Exemples | Utilisable comme prix de ligne ? |8|---|---|---|---|9| `published_schedule` | barème publié par un organisme | DTNI-11A/11B (Montréal), MTMD, grilles APCHQ | oui, avec étiquette (infrastructure ≠ résidentiel) |10| `awarded_unit_bid` | prix unitaire d'une soumission retenue (bordereau) | bordereaux publiés | oui, étiqueté |11| `supplier_quote` | prix de fournisseur / détaillant observé | Canac, BMR, Patrick Morin (cost.db) | oui (catalogue) |12| `contractor_quote` | soumission d'entrepreneur | saisie par l'utilisateur | oui, étiqueté |13| `awarded_contract_total` | **montant total** d'un contrat octroyé | SEAO | **non** (contexte seulement) |14| `permit_declared_value` | valeur **déclarée** des travaux au permis | permis Montréal | **non** (contexte seulement) |15| `modeled` | estimation de modèle | — (aucun modèle de prix n'est déployé) | étiqueté « modèle » |16| `user_assumption` | hypothèse explicite | ligne « prix supposé » | oui, avec justification |1718## 2. Sources auditées1920| Source | Accès vérifié | Licence | Décision | Classe |21|---|---|---|---|---|22| **SEAO** — Système électronique d'appel d'offres, Données Québec (`systeme-electronique-dappel-doffres-seao`) | ✅ **ingéré en production le 2026-10-28** (2 fichiers hebdomadaires) ; API CKAN + fichiers JSON hebdomadaires au standard **OCDS 1.1** (439 ressources ; p. ex. `hebdo_20261019_20261025.json`, 18,7 Mo, 4 352 releases dont 1 019 « works » et 681 avec octroi) ; items classés **UNSPSC** ; acheteurs avec drapeau municipal ; fournisseurs avec localité | **CC-BY 4.0** (`donneesquebec.ca/fr/licence/#cc-by`) | **Adaptateur implémenté** (`sources/seao.ts`, ingestion `ingestSeao`) : releases « works » avec octroi/contrat → observations `awarded_contract_total` (montant, date, UNSPSC, acheteur, fournisseur, nb de soumissionnaires, URL de l'avis). Jamais converti en prix unitaire. | `awarded_contract_total` |23| **Ville de Montréal — permis de construction, transformation et démolition** (`donnees.montreal.ca/dataset/permis-construction`) | ✅ deux ressources CSV (téléchargement avec User-Agent de navigateur ; 403 sinon) : `statistiques-permis-de-construction.csv` (92 Ko : `annee, arrondissement, code_type_base_demande, nombre_permis_emis, cout_permis_emis, cout_travaux_estimes`) et `permis-construction.csv` (187 Mo, 562 748 permis depuis 1990, **sans colonne de valeur** : dates, emplacement, arrondissement, type, catégorie de bâtiment, nature des travaux, logements, coordonnées) | **CC-BY 4.0** | **Adaptateur v2 implémenté et ingéré** (`sources/permits.ts`) : chaque ligne des statistiques → observation `permit_declared_value` (montant = valeur déclarée totale de l'année, lignage = nombre de permis et moyenne par permis) ; le détail est conservé (hash) et résumé (années, catégories, types) sans créer d'observation. La Ville précise que ces coûts n'ont « aucune valeur légale ». | `permit_declared_value` |24| **Ville de Montréal — DTNI-11A « Répertoire des prix unitaires » et DTNI-11B « Taux horaires de machinerie et main-d'œuvre »** (site `ville.montreal.qc.ca/executiontravaux`, famille 11, versions juin 2026) | ❌ **HTTP 403** pour tout accès automatisé (laptop et OVH) ; aucun jeu équivalent sur donnees.montreal.ca (recherche CKAN « prix unitaires », « DTNI », « bordereau » sans résultat) ; l'« Annexe P » a été abolie le 2024-09-30 | documents publics de la Ville (conditions du site) ; **pas de licence ouverte explicite** | **Import manuel** : un administrateur télécharge le PDF/XLSX, le transcrit en CSV, indique la licence/les droits et importe (`importScheduleCsv`) ; fichier brut conservé avec hash ; observations `published_schedule` étiquetées **infrastructure municipale** (≠ résidentiel installé) et soumises à QA. | `published_schedule` |25| **MTMD** — prix unitaires / bordereaux d'infrastructure routière | ❌ aucun jeu de prix unitaires trouvé sur Données Québec (requête « prix unitaires transports » : résultats hors sujet) | à confirmer | registre créé **inactif** ; même chemin d'import manuel que DTNI ; **prix d'infrastructure, jamais résidentiels** | `published_schedule` |26| **Statistique Canada 18-10-0289-01** — indices des prix de la construction de bâtiments (Montréal, Québec RMR, Ottawa-Gatineau ; résidentiel) | ✅ déjà ingéré par le connecteur `statcan` de `cost.db` (1 084 points, API WDS) | Licence ouverte de Statistique Canada | utilisé pour l'**actualisation** (`escalationFactor`) et l'indexation des prix anciens | `published_schedule` (indice) |27| **APCHQ** — grilles « Coût horaire de la main-d'œuvre » (conventions CCQ) | ✅ déjà ingéré (3 404 taux, dernier 2026-04-26) | documents publics de l'association (valeurs + URL) | taux employeur complets par métier, utilisés par les recettes | `published_schedule` |28| **CCQ** — salaires conventionnés | ✅ connecteur de détection de changement | public | redondant avec APCHQ | — |29| **Détaillants** (Canac, BMR, Patrick Morin) | ✅ 4 827 observations, 130 articles observés | prix affichés publiquement, robots.txt respectés | prix matériaux du catalogue | `supplier_quote` |30| **Altus Group — Canadian Cost Guide** | formulaire d'inscription | restreint | import manuel de benchmarks $/pi² (existant) | benchmark |31| **RSMeans / Gordian** | licence payante | licencié | import CSV seulement, **jamais redistribué** ; inactif | référence |32| **OpenConstructionERP / CWICR** (catalogue Toronto) | lu dans le dépôt | **licence PENDING**, marque restreinte, données reprisées non observées | **non importé** (voir audit) | — |33| **Rôle d'évaluation foncière (MAMH)** | ✅ `vraiprix.db` | données ouvertes | préremplissage des projets, valeur du terrain | — |34| Catalogues de fabricants / prix de fournisseurs | non intégrés | droits à obtenir au cas par cas | import CSV `supplier_quote`/`contractor_quote` avec licence obligatoire | — |3536## 3. Pipeline d'ingestion (`src/lib/metre/sources/ingest.ts`)3738`discover` (CKAN package_show) → `download` (User-Agent identifié, délai 120 s, 200 Mo max) → **conservation brute** (`data/metre-files/_sources/<clé>/<sha256>.<ext>`) → `parse` (version d'analyseur) → `normalize` (montant, unité, devise, dates) → `classify` (UNSPSC pour SEAO ; catégorie pour permis/barèmes) → `validate` (montants > 0, en-têtes requis) → `dedupe` (UNIQUE `(source, hash)` pour les documents, `(source, identifiant externe)` pour les observations) → `publish` (statut QA `new → parsed/published → rejected`, `verification_status` des observations).3940Chaque document enregistre : URL, identifiant, titre, éditeur, date de publication, date d'effet, date de récupération, licence, hash, chemin brut, taille, version d'analyseur, statut et notes QA. Chaque observation : description et unité/montant d'origine, unité/montant normalisés, devise, inclusions matériau/MO/équipement, base de taxes, géographie, région, acheteur, schéma/code/libellé de classification, base de date, intervalle d'effet, licence, méthode d'extraction, lignage JSON, statut de vérification, **note d'incertitude** (jamais un intervalle de confiance fabriqué).4142Exécutions : table `metre_ingest_runs` (documents, enregistrements, ignorés, erreurs, journal) ; idempotentes et rejouables ; drapeaux de qualité (`metre_quality_flags`).4344## 4. Respect des conditions d'utilisation4546- Aucun contournement de protection (403 → import manuel documenté).47- `robots.txt` et conditions des détaillants déjà respectés par les connecteurs existants.48- Aucune redistribution de documents : seuls des valeurs, métadonnées et liens sont stockés et affichés ; les fichiers bruts restent sur le serveur à des fins d'audit.49- Aucune donnée personnelle ingérée : SEAO (entités), permis (adresses civiques agrégées par arrondissement ; l'adresse brute reste dans la description pour la traçabilité mais n'est pas indexée publiquement — le module est derrière connexion).50- Vie privée des étudiants : nom d'affichage seulement, pas de courriel ; projets isolés ; journal d'audit visible par les enseignants uniquement pour leurs cours ; conservation 30 jours des sessions.5152## 5. Assistance IA et données5354Le module peut soumettre à un modèle de langage (Claude, clé `ANTHROPIC_API_KEY` du serveur, modèle `METRE_AI_MODEL`, défaut `claude-haiku-5-5`) : des noms de mesures, des descriptions de lignes, des totaux déjà calculés, des libellés d'observations importées. Il ne transmet jamais : plans, fichiers, noms d'utilisateurs, adresses civiques de permis, clés. Aucune donnée tierce sous licence restrictive n'est envoyée (les barèmes importés manuellement sont envoyés uniquement sous forme de libellés, pour classification, à l'initiative d'un administrateur). Les sorties sont stockées avec le modèle, la version de prompt, l'empreinte d'entrée et le coût estimé ; aucune n'est appliquée sans revue humaine.5556## RSMeans Online (Gordian) — ajouté le 2026-10-285758| Élément | Valeur |59|---|---|60| Source | RSMeans Online, abonnement UQO, version 2026 T4, MasterFormat 2018, coûts unitaires (pas d'assemblages) |61| Couverture | moyenne nationale + 17 villes du Québec (indices de coût de ville) ; livres commercial (STD/OPN), rénovation (STD/OPN), résidentiel (RES), entretien (FMR) |62| Classe d'évidence | `published_schedule` (barème publié) ; nature `official` ; confiance 85 (prix extrait) / 72 (national × facteur de section) |63| Licence | données sous licence Gordian : usage pédagogique interne, pas de redistribution brute (recherche limitée, pas d'export de masse), mention de source sur chaque prix ; convention d'utilisateur RSMeans Online |64| Méthode | extraction reproductible depuis la session Web (grille interne, jeton anti-CSRF), validation des facteurs de localisation à l'arrondi près ; `RSMEANS.md` |6566
Files main
Menu

Theme