REVIEW REPORT — editorial board, révision scientifique complète (2026-10-17)
Papier : UQO Working Paper No. 2, Decoding Real Estate Descriptions: Semantic Embeddings and Hedonic Pricing of
Residential Properties in Quebec (S.-P. Boucher). Version examinée : 1.1 (mai 2026, 53 p., 86 réf., SSRN 7626640).
Version produite : 1.2 (octobre 2026). Journal d'audit : docs/CHANGELOG-REVISION.md.
Verdict global. Le papier pose une question réelle (le texte des annonces contient-il de l'information de prix que les variables hédoniques structurées omettent, et peut-on l'extraire sous une forme interprétable ?) et y répond avec un pipeline reproductible. La v1.1 souffrait toutefois de trois faiblesses de fond, non détectées par les audits antérieurs : (i) un confondant de langue majeur et non contrôlé — 40 % du corpus est en anglais, les références sont en français, l'encodeur est anglophone ; (ii) une lecture sur-confiante des coefficients individuels dans un bloc de 20 régresseurs corrélés à 0,66–0,97 (signes contre-intuitifs non discutés, et un énoncé de la discussion contredit par la table des quantiles) ; (iii) l'absence de toute validation hors échantillon et de tout contrôle de localisation alors que les coordonnées et codes postaux sont dans les données. La révision corrige les trois points à partir de réanalyses exécutées localement, conserve les chiffres de la v1.1 comme baseline, et réécrit l'argument autour de ce qui est robuste (information au niveau du bloc et de cinq dimensions) et de ce qui ne l'est pas.
1. Diagnostic par section
Résumé / Introduction
- Forces : positionnement clair à l'intersection hédonique / text-as-data / ML interprétable ; contribution en trois points.
- Faiblesses : résumé en « I » vs corps en « we » ; « predominantly in French » (faux : 40 % anglais) ; « comparable to the gains from adding neighborhood controls (Sirmans et al. 2006) » — affirmation chiffrée (3–8 pp) absente de la source ; chiffres annoncés sans aucune qualification ; aucune validation hors échantillon annoncée.
- Corrigé : résumé et introduction réécrits ; contributions reformulées (information confirmée OOS ; part de la langue ; évaluation de l'interprétabilité) ; paragraphe explicite sur ce qui change par rapport à la v1.1.
Revue de littérature
- Forces : couverture large et vérifiée (86 réf.) après l'audit d'août 2026 ; arc dictionnaire → topic → embedding.
- Faiblesses : rien sur la dépendance contextuelle des dictionnaires (Nowak, Price & Smith 2021 absent) ; rien sur l'inférence groupée ni la validation spatiale ; encodeurs multilingues absents ; « resolves the depth-interpretability tension » trop fort.
- Corrigé : 8 références ajoutées et intégrées à l'argument (voir §3) ; « resolves » → « addresses » ; phrase sur la distinction entre « features nommées » et « coefficients stables ».
Méthodologie
- Forces : pipeline clair ; Éq. des modèles A–E ; identification en trois canaux déjà prudente.
- Faiblesses : interprétation « par écart-type » sans formule ni retransformation explicite ; test F sans degrés de liberté et sous homoscédasticité alors que BP rejette ; « dimensional specificity » revendiquée mais violée par les textes de référence eux-mêmes (chevauchements lisibles en Annexe A) ; aucune équation pour les EF, le clustering, la validation OOS ; le canal « persuasion » ignorait que le texte est écrit après la fixation du prix par le même agent (endogénéité structurelle du texte).
- Corrigé : Éq. (impact) 100(e^γ−1) par σ_s et γ/σ_s par unité de cosinus ; F(21, 17 059) + Wald robustes/groupés ; nouvelle §3.7 (modèle à EF, clustering, R² OOS, MdAPE) ; identification réécrite (prix → texte, prix affichés = comportement du vendeur) ; chevauchements des références reconnus.
Données
- Faiblesses : date d'extraction absente (7 janvier 2026) ; langue non décrite ; « Lot size (sq. ft.) » alors que 61 % des valeurs sont en m² (champ à unités mixtes, max 7,2×10⁸) ; superficie habitable (36 % des annonces) ignorée ; neuf prix < 50 000 $ non signalés ; les corrélations bivariées négatives attribuées à la longueur (corr 0,20) alors que la langue en explique 86 %.
- Corrigé : §4.1 (snapshot, RTA, municipalités), §4.2 (unités, prix extrêmes, superficie), nouvelle §4.3 Langue + Table « language », §4.4 réinterprétée.
Résultats (baseline)
- Forces : tables générées par le pipeline ; chiffres reproduits à l'identique.
- Faiblesses : décomposition du R² (88,3/2,4/9,3 %) présentée sans dire qu'elle est séquentielle ; 4 signes contre-intuitifs (Entry-Level +, Premium Location −, Energy Efficient −, Bright & Spacious −) passés sous silence ; gradient par quintile attribué à la longueur.
- Corrigé : ordre de la décomposition explicité ; anomalies discutées (colinéarité, r = 0,97 Entry-Level/Motivated) et renvoyées aux inversions de signe de §7 ; renvoi systématique vers les spécifications étendues.
Robustesse (v1.1)
- Forces : batterie honnête depuis l'audit d'août (VIF, Lasso, PCA).
- Faiblesses : « Modern remarkably stable across quantiles » contredit la Table 6 (« high at both tails ») ; bootstrap par paires présenté comme validation complète (ignore la dépendance spatiale) ; pas de clustering.
- Corrigé : textes alignés sur les tables ; limites du bootstrap énoncées ; retrait de l'énoncé faux sur New Construction.
Nouvelle §7 Extended Specifications and Validation (ajoutée)
Langue ; EF RTA/municipalité + erreurs groupées ; terrain en m² et superficie habitable ; tests par domaine ; validation croisée aléatoire et spatiale ; sensibilité au libellé des références ; encodeur multilingue. 6 tables + 1 figure générées.
Discussion / Conclusion
- Faiblesses : comparaison Motivated Seller (−8,5 %) vs Levitt–Syverson (3,7 %) bâtie sur un coefficient non robuste ; New Construction « soutenu par les quantiles » (faux) ; Sirmans 3–8 pp (non vérifiable) ; liste à puces dans la conclusion.
- Corrigé : discussion réécrite en « ce qui est établi / ce qui ne l'est pas / la langue comme confondant / relation à la littérature / implications / limites » ; conclusion en prose, message recalibré.
2. Méthodologie — verdict sur chaque point du §3 du master prompt
| Point | Verdict | Motif |
|---|---|---|
| Spécification justifiée | Partiellement (v1.1) → oui (v1.2) | semi-log justifié ; absence de localisation et de superficie non justifiée en v1.1 ; EF + superficie ajoutés |
| Hypothèses d'estimation explicites | Non → oui | hétéroscédasticité (HC3) OK, mais indépendance intra-zone supposée tacitement ; clustering RTA ajouté |
| Variables correctement définies | Non → oui | « Lot size (sq. ft.) » faux (unités mixtes) ; langue non définie ; corrigé |
| Effets fixes appropriés | Absents → RTA (415) et municipalité (1 061) | identifiants disponibles dans les données brutes |
| Dépendance spatiale/temporelle | Non traitée → EF + clustering + CV spatiale | pas de dimension temporelle (snapshot) |
| Erreurs-types | HC3 seul → HC3 + cluster RTA | SE sémantiques +50 % en moyenne sous clustering |
| Construction de l'échantillon | Transparente | 17 087 reproduits ; date ajoutée |
| Robustesse contre menaces réelles | Non (menaces = langue, localisation, mesure) → oui | §7 |
| Interprétation des coefficients | Formule absente → Éq. (impact) ; signes anomaux ignorés → discutés | — |
| Significativité statistique vs économique | Mélangées → distinguées | gain OOS en MdAPE < 1 pt ; localisation ≫ texte |
| Affirmations causales | Texte prudent mais « urgency discount », « penalizes prices », « command premiums » ; « comparable to neighborhood controls » | reformulé en associations ; séquence prix → texte explicitée |
3. Littérature
- 86 → 94 références, toutes vérifiées (86 par l'audit OpenAlex d'août 2026 ; les 8 nouvelles + 10 références clés re-vérifiées le 2026-10-17 via Crossref et résolution DOI, détails dans le changelog §3).
- Ajoutées : Nowak–Price–Smith 2021 (dictionnaires immobiliers variant dans l'espace/temps) ; Reimers–Gurevych 2020 (encodeurs multilingues par distillation) ; Cameron–Miller 2015 et Abadie et al. 2023 (clustering) ; Roberts et al. 2017 (validation croisée spatiale) ; Hastie–Tibshirani–Friedman 2009 (CV) ; García–Hu–Rohrer 2023 (dictionnaires financiers) ; Kelly et al. 2021 (similarité textuelle des brevets).
- Non ajoutée : « Hausman–Taddy » (aucune publication conjointe trouvée).
- Corrections d'usage : Sirmans et al. (2005, 2006) ne sont plus cités à l'appui de chiffres qu'ils ne contiennent pas.
4. Résultats — incohérences trouvées et traitement
- Langue : η² = 0,862 de la similarité moyenne ; EN 0,204 vs FR 0,434 ; prix médian EN 749 900 $ vs FR 499 900 $. Le gain sémantique ΔR² passe de 0,047 à 0,017 avec deux indicatrices de langue. Plus de la moitié du « gain sémantique » de la v1.1 est de la langue.
- New Construction / quantiles : énoncé de la v1.1 contredit par
robustness_results.csv(−0,068/−0,079/−0,142). Retiré. - Motivated Seller : −8,5 % → −2,9 % (n.s.) avec langue ; 0,4 % avec encodeur multilingue. Dimension non robuste ; comparaison avec Levitt–Syverson retirée.
- Sensibilité aux références : similarités quasi inchangées (corr. 0,93–0,99) mais vecteur de coefficients corrélé à 0,63 / 0,02 / 0,81 avec le baseline ; accord de signe 81 / 62 / 88 % ; ΔR² du bloc stable (0,042–0,054).
- Encodeur multilingue : ΔR² 0,057 (brut), 0,038 (langue), 0,039 (EF RTA), 0,028 (+ terrain m²) ; meilleure performance OOS (R² 0,551 / 0,545) ; inversions de signe : Entry-Level (−4,9 %), New Construction (+7,2 %), Energy Efficient, Bright & Spacious. Cinq dimensions stables partout : Luxury, Land & Nature, Family-Friendly, Quiet & Peaceful, Needs Renovation.
- Terrain : champ brut inutilisable (t = 0,00 ; R² OOS = −1,04 quand une valeur extrême tombe dans le pli test) ; log(m²) → +40 % par écart-type intra-RTA, plus gros coefficient structurel ; Land & Nature passe de +15,2 à +4,2 %.
- Hors échantillon : gain in-sample confirmé (R² OOS 0,489 → 0,528 aléatoire ; 0,484 → 0,522 spatial) ; MdAPE 27,1 → 26,9 % (26,4 % multilingue) — gain réel mais modeste en valeur d'évaluation.
- Décomposition du R² : séquentielle (ordre structure → longueur → sémantique) ; précisé.
- Cohérence résumé/texte/tables/README : rétablie (0,452 → 0,511 conservé comme baseline ; chiffres nets ajoutés partout).
5. Limites restantes
- Prix affichés (snapshot du 7 janvier 2026), pas de transactions ni de dates de vente → pas de « forward-in-time holdout ».
- Identification : texte écrit après le prix par le même agent ; EF n'absorbent que la localisation inter-zones.
- Superficie habitable pour 36 % des annonces seulement.
- Références à vocabulaires chevauchants ; dépendance des coefficients individuels au libellé non résolue (quantifiée).
- Détection de langue heuristique (stop-words) ; une classification par modèle de langue serait plus fine (2,7 % « mixed »).
- Colinéarité intrinsèque au design (20 projections du même vecteur).
6. Analyses recommandées, non exécutées
- Références redessinées à vocabulaires disjoints, puis orthogonalisées dans l'espace d'embedding (Gram–Schmidt sur R) ; comparer la stabilité des coefficients.
- Encodeur français dédié ou domaine-adapté (CamemBERT/FlauBERT fine-tuné en similarité) ; agrégation sur plusieurs paraphrases par dimension (moyenne de 5–10 libellés).
- Prix de transaction (Centris/JLR) → écart liste/vente en fonction du texte.
- Variation intra-propriété (annonces successives) et expériences de plateforme.
- Imputation ou collecte de la superficie habitable pour l'échantillon complet.
- Classification de langue par modèle (fastText/langdetect) et interactions langue × dimension.
- Erreurs-types par bootstrap en grappes (Cameron–Gelbach–Miller) si le nombre de RTA devenait faible dans des sous-échantillons.
7. Maturité pour publication
- État : working paper solide et honnête après révision ; contribution principale désormais méthodologique (ce que la projection sur références peut et ne peut pas livrer ; la langue comme confondant dans les applications text-as-data bilingues), avec une application hédonique sérieuse.
- Revues cibles : Journal of Real Estate Research ou Journal of Housing Research (adéquation thématique forte, tradition des « agent remarks ») ; Journal of Property Research ; en version plus méthodologique, Real Estate Economics ou Journal of Real Estate Finance and Economics (exigeront probablement des prix de transaction).
- Risques de rejet : (i) prix affichés et non de transaction ; (ii) absence de superficie habitable sur 64 % de l'échantillon ; (iii) gain prédictif modeste (< 1 pt de MdAPE) ; (iv) coefficients individuels instables — le papier doit être vendu sur le bloc, la langue et la méthode, pas sur « 20 prix implicites » ; (v) encodeur baseline anglophone sur corpus bilingue (atténué par les estimations multilingues, désormais présentées comme préférées).
- Ce qui est vérifié vs proposé : tout chiffre du papier provient de
results/*.csv(scripts 03–08) ; les analyses du §6 ci-dessus sont proposées et non exécutées.