SPB Git

spb/wp11_uqo

Public

UQO Working Paper No. 11 — Half a million prices, twenty models: a systematic assessment of hedonic specifications.

11.3 KB · 119 lines markdown
1# Rapport de l'editorial board — WP 11 « Half a Million Prices, Twenty Models » (2026-10-17)23Révision v1.0 (August 2026, 23 p.) → v1.1 (October 2026). Journal d'audit détaillé : `docs/CHANGELOG-REVISION.md`.4Comité : économie immobilière, économétrie appliquée, économétrie spatiale, évaluation foncière, apprentissage5automatique, édition scientifique. Revue cible : *Journal of Housing Economics* (repli JRER / IJF).67## 1. Diagnostic général89Le papier pose une question nette et utile — quels choix de spécification hédonique comptent réellement pour la10précision hors échantillon — et y répond par un dispositif expérimental propre (un jeu d'attributs, quatre axes, un11seul scoreboard, deux holdouts) sur un échantillon rare par sa taille et la qualité des descripteurs (rôle12d'évaluation). La contribution est réelle et conservée. Trois faiblesses structurelles de la v1.0 ont été13identifiées et corrigées :14151. **Le résultat phare était un artefact.** Les modèles linéaires en log étaient retransformés par smearing de Duan16   et les ensembles d'arbres non. Dans le split temporel, le smearing (facteur ≈ 1.06) compense une partie de la17   staleness du niveau dans un marché haussier ; c'est ce qui produisait « A6 19.1 % vs D4 21.2 % » et le18   « renversement » affiché en abstract. Sous une règle uniforme, le boosting reste devant (21.2 vs 21.7, écart non19   significatif). Correction intégrale (code, tables, texte) ; la v1.1 le dit explicitement.202. **Aucune inférence.** Des différences de 0.2 à 0.6 point étaient interprétées comme des résultats. Ajout d'un21   bootstrap par grappes (municipalités) et de tests Diebold–Mariano/Giacomini–White groupés sur toutes les22   comparaisons. Plusieurs affirmations tombent (grille 5.5 km > municipalités ; mois ≈ trimestre) ou se précisent.233. **Mécanisme du « generalization gap » non identifié.** La v1.0 confondait difficulté de la période test et24   staleness du modèle. Décomposition ajoutée (même période, biais de niveau, re-nivellement, horizon par25   trimestre) : la compétence relative des ensembles transfère intacte (écart re-nivelé 2.9 pts ≈ 3.5 en random),26   c'est le niveau qui ne transfère pas, un peu plus pour les arbres (feuille terminale en t). Ce résultat est plus27   faible que le « renversement » mais plus utile et défendable.2829## 2. Diagnostic par section3031| Section | Forces | Faiblesses / erreurs trouvées | Action |32|---|---|---|---|33| Abstract | clair, chiffré | chiffres issus du scoreboard asymétrique ; « reverses », « identical R² » faux ; trop long pour la page 2 (débordait sur une page blanche) | réécrit, 4 leçons reformulées, mention de la correction |34| 1 Introduction | bonne mise en situation Rosen → ML | « 13 % improvement » (vrai : 18 %) ; « 27.9 vs 17.5 » (comparait C1 à C3 au lieu du backbone) ; aucune mention de l'inférence ni des fuites | réécrit ; renvoi à la nouvelle §7 |35| 2 Literature | couvre les trois courants | mince (33 réf., 29 citées) ; manquaient Hill–Scholz, Pace–Hayunga, Lorenz et al., Diewert–Shimizu, Kuminoff et al., DM/GW, Bergmeir–Benítez, Roberts et al., Dubé–Legros ; deux entrées non citées et défectueuses | +27 réf. vérifiées, −2 retirées ; Mayer et al. 2019 identifié comme antécédent direct (updating) |36| 3 Data | cascade d'échantillon transparente | moyenne/médiane des prix fausses dans le texte (462k/399k vs 440k/397k) ; 86 ventes « other » omises ; nettoyage des lots > P99.5 non documenté ; bornes âge/étages non dites | corrigé ; répartition annuelle ; repeat sales et coordonnées partagées quantifiés |37| 4 Methodology | design clair | aucune équation ; Duan non écrit ; inversion Box–Cox sans discussion du biais ; « clamped month counter » inexact (rien n'est écrêté ; arbres constants par morceaux) ; catégories non vues → référence arbitraire non dit ; hyper-paramètres « a priori » sans analyse | 13 équations ; règles médiane/moyenne ; carry-forward ; holdouts groupés ; inférence ; décomposition niveau/skill |38| 5 Results | lecture par axe efficace | « seventeen K sales » (17) ; ordre A sous split temporel non discuté (A1 gagne par coïncidence de biais) ; différences non testées | réécrit avec IC/tests ; §5.5 refondue (décomposition) |39| 6 Extensions | objets économiques pertinents | « all five agree within a few points » (indice GB −9 pts) ; « within a tenth of a log point » (0.10–0.13 systématique, profil plus plat) ; learning/segments chiffrés sous scoreboard asymétrique | affirmations ramenées aux chiffres ; mécanismes de l'écart d'indice discutés |40| 7 Robustness | — (n'existait pas) | — | nouvelle section : retransformation, fuites, FE emboîtés, Box–Cox fin, hyper-paramètres HGB |41| 8 Discussion | hiérarchie utile | liste à puces ; « the machines lose their edge » (faux) ; « 3–7 points » sans mécanisme | prose ; hiérarchie révisée ; mécanisme niveau vs skill ; implications réécrites |42| 9 Conclusion | synthèse pratique | reprenait le renversement ; « within two points of the frontier in deployment » | réécrite |4344## 3. Méthodologie — verdict motivé (§3 du master prompt)4546- **Spécification justifiée** : oui, le design par axes est la force du papier ; la v1.1 le formalise (éq. 1–9).47- **Hypothèses d'estimation explicites** : désormais oui (OLS via ridge α = 10⁻⁶, solution de norme minimale ;48  encodage one-hot avec référence ; splines : 6 nœuds uniformes, 8 fonctions de base ; RF/HGB : paramètres listés).49- **Variables définies** : oui (notation unifiée §4.1 ; bornes et nettoyages §3.2).50- **Effets fixes appropriés** : oui, avec la nuance majeure trouvée en révision : les FE fins doivent être emboîtés51  (C4′ 17.3 % = meilleure spécification linéaire ; C4 seule 21.0 %). Le repli « cellule de référence » pour les52  cellules non vues est désormais documenté et corrigé par l'emboîtement.53- **Dépendance spatiale/temporelle** : traitée par l'inférence groupée (municipalités) et par les holdouts54  temporel, par parcelle et par bâtiment. Limite : pas de holdout bloqué spatialement (déclaré).55- **Erreurs-types** : absentes en v1.0 → bootstrap par grappes + DM groupé (éq. 13). Le DM sur la perte APE teste la56  MAPE, pas la MdAPE ; le bootstrap couvre la médiane — distinction explicitée.57- **Construction de l'échantillon transparente** : oui (cascade 745 119 → 514 212, reproduite à l'identique).58- **Robustesse** : cinq analyses ajoutées (§7) ; toutes exécutées, aucune revendiquée sans sortie.59- **Interprétation** : « 18 % improvement » = (17.6−14.4)/17.6 ; « ten points » = 28.8 − 19.2 ; profils en log-points.60- **Significativité statistique vs économique** : distinguée systématiquement (ex. C3 vs C2, D2 vs A6, D4 vs A661  forward : non significatifs ; D4 vs A6 random : −3.2 [−4.7, −1.9]).62- **Langage causal** : aucun ; le papier est prédictif/descriptif.6364## 4. Résultats — incohérences trouvées et état des réanalyses6566- Toutes les incohérences texte/table de la v1.0 sont listées au CHANGELOG §1.1, 1.5, 1.8, 1.9, 1.11.67- Nouveaux résultats (tous issus de `results/reproduced/*.csv`) :68  - Scoreboard uniforme (Tables 2–3) ; IC et tests (Tables 4–5) ; décomposition (Tables 8–9, Fig. 6) ;69    retransformation (Table 12) ; splits groupés (Table 13) ; vu/non vu (Table 14) ; FE emboîtés (Table 15) ;70    sensibilité HGB (Table 16) ; Box–Cox fin (texte §7.4).71  - Sensibilité HGB : quatre configurations alternatives (shallow, deep, régularisée, early stopping sur les 10 % derniers mois) donnent 14.3–14.7 % (random) et 21.2–21.6 % (forward) contre 14.4 / 21.2 pour le baseline ; le classement et la décomposition ne dépendent pas des hyper-paramètres fixés a priori.72- Vérifications de cohérence finales : abstract ↔ §1 ↔ §5 ↔ §8–9 ↔ README ↔ tables (chiffres relus un à un après73  régénération des tables ; voir CHANGELOG §1.1 pour la liste ancien → nouveau).7475## 5. Littérature767733 entrées en v1.0 → 58 en v1.1 ; 100 % vérifiées sur Crossref avec DOI (sauf LightGBM, actes NIPS non indexés,78référence standard). 2 entrées retirées (non citées, défectueuses), 5 corrigées, 27 ajoutées et intégrées à79l'argument (fonctionnelle : Kuminoff et al. 2010, Bishop et al. 2020, Khoshnoud et al. 2023 ; spatial : Pace et al.801998, Clapp 2003, Fik et al. 2003, Bourassa et al. 2003/2007, Goodman–Thibodeau 2003, Pace–Hayunga 2020,81Dubé–Legros 2013 ; indices : Hill et al. 2009, Hill–Scholz 2018, Diewert et al. 2015, Diewert–Shimizu 2016 ;82ML/AVM : Zurada et al. 2011, Antipov–Pokryshevskaya 2012, McCluskey et al. 2013, Schulz et al. 2014, Pérez-Rave et al.832019, Lorenz et al. 2023, Thibodeau 2003 ; validation : Diebold–Mariano 1995, Giacomini–White 2006,84Bergmeir–Benítez 2012, Roberts et al. 2017 ; retransformation : Manning–Mullahy 2001).8586## 6. Limites restantes87881. Un seul régime temporel testé (reprise 2025-26, +15 % en 18 mois) ; l'ordre des coûts de staleness entre89   familles pourrait différer dans un marché plat ou baissier.902. Le re-nivellement utilise le ratio médian du test (oracle) : borne supérieure de ce qu'un indice publié91   permettrait.923. Pas de modèle linéaire à surface spatiale continue (krigeage, splines bivariées) ni d'effets hiérarchiques93   proprement estimés ; l'emboîtement C4′ est un pooling partiel implicite (norme minimale), pas un modèle94   hiérarchique explicite.954. Les holdouts groupés neutralisent reventes et bâtiments partagés, pas le voisinage immédiat.965. Attributs du rôle seulement (pas de qualité intérieure, texte d'annonce, photos) ; l'avantage ML mesuré est celui97   de la flexibilité spatiale sur cet ensemble d'attributs.986. La règle « lots > P99.5 → 0 » héritée du pipeline est documentée mais discutable.997. Longueur : 40 pages avec 16 tables et 10 figures ; pour la soumission, les Tables 4–5, 12–16 iraient en annexe.100101## 7. Analyses recommandées non exécutées102103Voir CHANGELOG §4 : surface spatiale linéaire (krigeage / splines lat-lng / hiérarchique bayésien) ; holdout bloqué104spatialement ; re-nivellement par indice externe ; fenêtres temporelles alternatives (rolling origin) ; variante105« médiane calibrée » ; LightGBM/XGBoost natifs et réseaux de neurones ; coût de retraining mensuel (course106glissante) — cette dernière est la plus importante pour la revue cible.107108## 8. Maturité pour publication109110- **Verdict** : manuscrit désormais défendable en revue (JHE) sous réserve d'une coupe (annexes) et, idéalement, d'une111  course glissante (retraining mensuel) qui transformerait la §5.5 en recommandation opérationnelle chiffrée.112- **Risques de rejet** : (i) « un seul marché, une seule période » — mitigé par l'échelle provinciale et la113  décomposition ; (ii) absence d'un modèle linéaire spatialement sophistiqué comme concurrent (un rapporteur114  spatial le demandera) ; (iii) la correction d'un résultat phare publié en v1.0 sur SSRN doit être assumée115  explicitement (fait dans l'abstract et §7.1) — c'est un point d'intégrité, pas une faiblesse.116- **Points forts pour la revue** : taille et qualité des données, design expérimental, inférence complète,117  décomposition niveau/compétence inédite dans la littérature AVM, résultat « hierarchy, not coarseness » sur les FE118  spatiaux.119
Files · main
Menu

Theme