Rapport de l'editorial board — WP 11 « Half a Million Prices, Twenty Models » (2026-10-17)
Révision v1.0 (August 2026, 23 p.) → v1.1 (October 2026). Journal d'audit détaillé : docs/CHANGELOG-REVISION.md.
Comité : économie immobilière, économétrie appliquée, économétrie spatiale, évaluation foncière, apprentissage
automatique, édition scientifique. Revue cible : Journal of Housing Economics (repli JRER / IJF).
1. Diagnostic général
Le papier pose une question nette et utile — quels choix de spécification hédonique comptent réellement pour la précision hors échantillon — et y répond par un dispositif expérimental propre (un jeu d'attributs, quatre axes, un seul scoreboard, deux holdouts) sur un échantillon rare par sa taille et la qualité des descripteurs (rôle d'évaluation). La contribution est réelle et conservée. Trois faiblesses structurelles de la v1.0 ont été identifiées et corrigées :
- Le résultat phare était un artefact. Les modèles linéaires en log étaient retransformés par smearing de Duan et les ensembles d'arbres non. Dans le split temporel, le smearing (facteur ≈ 1.06) compense une partie de la staleness du niveau dans un marché haussier ; c'est ce qui produisait « A6 19.1 % vs D4 21.2 % » et le « renversement » affiché en abstract. Sous une règle uniforme, le boosting reste devant (21.2 vs 21.7, écart non significatif). Correction intégrale (code, tables, texte) ; la v1.1 le dit explicitement.
- Aucune inférence. Des différences de 0.2 à 0.6 point étaient interprétées comme des résultats. Ajout d'un bootstrap par grappes (municipalités) et de tests Diebold–Mariano/Giacomini–White groupés sur toutes les comparaisons. Plusieurs affirmations tombent (grille 5.5 km > municipalités ; mois ≈ trimestre) ou se précisent.
- Mécanisme du « generalization gap » non identifié. La v1.0 confondait difficulté de la période test et staleness du modèle. Décomposition ajoutée (même période, biais de niveau, re-nivellement, horizon par trimestre) : la compétence relative des ensembles transfère intacte (écart re-nivelé 2.9 pts ≈ 3.5 en random), c'est le niveau qui ne transfère pas, un peu plus pour les arbres (feuille terminale en t). Ce résultat est plus faible que le « renversement » mais plus utile et défendable.
2. Diagnostic par section
| Section | Forces | Faiblesses / erreurs trouvées | Action |
|---|---|---|---|
| Abstract | clair, chiffré | chiffres issus du scoreboard asymétrique ; « reverses », « identical R² » faux ; trop long pour la page 2 (débordait sur une page blanche) | réécrit, 4 leçons reformulées, mention de la correction |
| 1 Introduction | bonne mise en situation Rosen → ML | « 13 % improvement » (vrai : 18 %) ; « 27.9 vs 17.5 » (comparait C1 à C3 au lieu du backbone) ; aucune mention de l'inférence ni des fuites | réécrit ; renvoi à la nouvelle §7 |
| 2 Literature | couvre les trois courants | mince (33 réf., 29 citées) ; manquaient Hill–Scholz, Pace–Hayunga, Lorenz et al., Diewert–Shimizu, Kuminoff et al., DM/GW, Bergmeir–Benítez, Roberts et al., Dubé–Legros ; deux entrées non citées et défectueuses | +27 réf. vérifiées, −2 retirées ; Mayer et al. 2019 identifié comme antécédent direct (updating) |
| 3 Data | cascade d'échantillon transparente | moyenne/médiane des prix fausses dans le texte (462k/399k vs 440k/397k) ; 86 ventes « other » omises ; nettoyage des lots > P99.5 non documenté ; bornes âge/étages non dites | corrigé ; répartition annuelle ; repeat sales et coordonnées partagées quantifiés |
| 4 Methodology | design clair | aucune équation ; Duan non écrit ; inversion Box–Cox sans discussion du biais ; « clamped month counter » inexact (rien n'est écrêté ; arbres constants par morceaux) ; catégories non vues → référence arbitraire non dit ; hyper-paramètres « a priori » sans analyse | 13 équations ; règles médiane/moyenne ; carry-forward ; holdouts groupés ; inférence ; décomposition niveau/skill |
| 5 Results | lecture par axe efficace | « seventeen K sales » (17) ; ordre A sous split temporel non discuté (A1 gagne par coïncidence de biais) ; différences non testées | réécrit avec IC/tests ; §5.5 refondue (décomposition) |
| 6 Extensions | objets économiques pertinents | « all five agree within a few points » (indice GB −9 pts) ; « within a tenth of a log point » (0.10–0.13 systématique, profil plus plat) ; learning/segments chiffrés sous scoreboard asymétrique | affirmations ramenées aux chiffres ; mécanismes de l'écart d'indice discutés |
| 7 Robustness | — (n'existait pas) | — | nouvelle section : retransformation, fuites, FE emboîtés, Box–Cox fin, hyper-paramètres HGB |
| 8 Discussion | hiérarchie utile | liste à puces ; « the machines lose their edge » (faux) ; « 3–7 points » sans mécanisme | prose ; hiérarchie révisée ; mécanisme niveau vs skill ; implications réécrites |
| 9 Conclusion | synthèse pratique | reprenait le renversement ; « within two points of the frontier in deployment » | réécrite |
3. Méthodologie — verdict motivé (§3 du master prompt)
- Spécification justifiée : oui, le design par axes est la force du papier ; la v1.1 le formalise (éq. 1–9).
- Hypothèses d'estimation explicites : désormais oui (OLS via ridge α = 10⁻⁶, solution de norme minimale ; encodage one-hot avec référence ; splines : 6 nœuds uniformes, 8 fonctions de base ; RF/HGB : paramètres listés).
- Variables définies : oui (notation unifiée §4.1 ; bornes et nettoyages §3.2).
- Effets fixes appropriés : oui, avec la nuance majeure trouvée en révision : les FE fins doivent être emboîtés (C4′ 17.3 % = meilleure spécification linéaire ; C4 seule 21.0 %). Le repli « cellule de référence » pour les cellules non vues est désormais documenté et corrigé par l'emboîtement.
- Dépendance spatiale/temporelle : traitée par l'inférence groupée (municipalités) et par les holdouts temporel, par parcelle et par bâtiment. Limite : pas de holdout bloqué spatialement (déclaré).
- Erreurs-types : absentes en v1.0 → bootstrap par grappes + DM groupé (éq. 13). Le DM sur la perte APE teste la MAPE, pas la MdAPE ; le bootstrap couvre la médiane — distinction explicitée.
- Construction de l'échantillon transparente : oui (cascade 745 119 → 514 212, reproduite à l'identique).
- Robustesse : cinq analyses ajoutées (§7) ; toutes exécutées, aucune revendiquée sans sortie.
- Interprétation : « 18 % improvement » = (17.6−14.4)/17.6 ; « ten points » = 28.8 − 19.2 ; profils en log-points.
- Significativité statistique vs économique : distinguée systématiquement (ex. C3 vs C2, D2 vs A6, D4 vs A6 forward : non significatifs ; D4 vs A6 random : −3.2 [−4.7, −1.9]).
- Langage causal : aucun ; le papier est prédictif/descriptif.
4. Résultats — incohérences trouvées et état des réanalyses
- Toutes les incohérences texte/table de la v1.0 sont listées au CHANGELOG §1.1, 1.5, 1.8, 1.9, 1.11.
- Nouveaux résultats (tous issus de
results/reproduced/*.csv) :- Scoreboard uniforme (Tables 2–3) ; IC et tests (Tables 4–5) ; décomposition (Tables 8–9, Fig. 6) ; retransformation (Table 12) ; splits groupés (Table 13) ; vu/non vu (Table 14) ; FE emboîtés (Table 15) ; sensibilité HGB (Table 16) ; Box–Cox fin (texte §7.4).
- Sensibilité HGB : quatre configurations alternatives (shallow, deep, régularisée, early stopping sur les 10 % derniers mois) donnent 14.3–14.7 % (random) et 21.2–21.6 % (forward) contre 14.4 / 21.2 pour le baseline ; le classement et la décomposition ne dépendent pas des hyper-paramètres fixés a priori.
- Vérifications de cohérence finales : abstract ↔ §1 ↔ §5 ↔ §8–9 ↔ README ↔ tables (chiffres relus un à un après régénération des tables ; voir CHANGELOG §1.1 pour la liste ancien → nouveau).
5. Littérature
33 entrées en v1.0 → 58 en v1.1 ; 100 % vérifiées sur Crossref avec DOI (sauf LightGBM, actes NIPS non indexés, référence standard). 2 entrées retirées (non citées, défectueuses), 5 corrigées, 27 ajoutées et intégrées à l'argument (fonctionnelle : Kuminoff et al. 2010, Bishop et al. 2020, Khoshnoud et al. 2023 ; spatial : Pace et al. 1998, Clapp 2003, Fik et al. 2003, Bourassa et al. 2003/2007, Goodman–Thibodeau 2003, Pace–Hayunga 2020, Dubé–Legros 2013 ; indices : Hill et al. 2009, Hill–Scholz 2018, Diewert et al. 2015, Diewert–Shimizu 2016 ; ML/AVM : Zurada et al. 2011, Antipov–Pokryshevskaya 2012, McCluskey et al. 2013, Schulz et al. 2014, Pérez-Rave et al. 2019, Lorenz et al. 2023, Thibodeau 2003 ; validation : Diebold–Mariano 1995, Giacomini–White 2006, Bergmeir–Benítez 2012, Roberts et al. 2017 ; retransformation : Manning–Mullahy 2001).
6. Limites restantes
- Un seul régime temporel testé (reprise 2025-26, +15 % en 18 mois) ; l'ordre des coûts de staleness entre familles pourrait différer dans un marché plat ou baissier.
- Le re-nivellement utilise le ratio médian du test (oracle) : borne supérieure de ce qu'un indice publié permettrait.
- Pas de modèle linéaire à surface spatiale continue (krigeage, splines bivariées) ni d'effets hiérarchiques proprement estimés ; l'emboîtement C4′ est un pooling partiel implicite (norme minimale), pas un modèle hiérarchique explicite.
- Les holdouts groupés neutralisent reventes et bâtiments partagés, pas le voisinage immédiat.
- Attributs du rôle seulement (pas de qualité intérieure, texte d'annonce, photos) ; l'avantage ML mesuré est celui de la flexibilité spatiale sur cet ensemble d'attributs.
- La règle « lots > P99.5 → 0 » héritée du pipeline est documentée mais discutable.
- Longueur : 40 pages avec 16 tables et 10 figures ; pour la soumission, les Tables 4–5, 12–16 iraient en annexe.
7. Analyses recommandées non exécutées
Voir CHANGELOG §4 : surface spatiale linéaire (krigeage / splines lat-lng / hiérarchique bayésien) ; holdout bloqué spatialement ; re-nivellement par indice externe ; fenêtres temporelles alternatives (rolling origin) ; variante « médiane calibrée » ; LightGBM/XGBoost natifs et réseaux de neurones ; coût de retraining mensuel (course glissante) — cette dernière est la plus importante pour la revue cible.
8. Maturité pour publication
- Verdict : manuscrit désormais défendable en revue (JHE) sous réserve d'une coupe (annexes) et, idéalement, d'une course glissante (retraining mensuel) qui transformerait la §5.5 en recommandation opérationnelle chiffrée.
- Risques de rejet : (i) « un seul marché, une seule période » — mitigé par l'échelle provinciale et la décomposition ; (ii) absence d'un modèle linéaire spatialement sophistiqué comme concurrent (un rapporteur spatial le demandera) ; (iii) la correction d'un résultat phare publié en v1.0 sur SSRN doit être assumée explicitement (fait dans l'abstract et §7.1) — c'est un point d'intégrité, pas une faiblesse.
- Points forts pour la revue : taille et qualité des données, design expérimental, inférence complète, décomposition niveau/compétence inédite dans la littérature AVM, résultat « hierarchy, not coarseness » sur les FE spatiaux.