spb/traite-evaluation-qc

1% Solutions du chapitre 14 — Nettoyage, géocodage et qualité des données2% Chiffres vérifiés par analysis/python/tests/test_ch14.py::test_solutions_exercices et par le script analysis/python/cases/ch14_nettoyage.py34\begin{solution}{ex:14:1}{Score robuste et score classique}5Les neuf prix unitaires triés sont \num{3080}, \num{3150}, \num{3190}, \num{3240}, \num{3260}, \num{3320}, \num{3370}, \num{3410} et \num{5980} \$/m\textsuperscript{2} ; la médiane est la cinquième valeur, \parmsq{3260}. Les écarts absolus à la médiane sont 180, 110, 70, 20, 0, 60, 110, 150 et \num{2720} ; triés, ils donnent 0, 20, 60, 70, 110, 110, 150, 180, \num{2720}, dont la médiane, l'écart absolu médian, vaut 110. L'échelle robuste est $1{,}4826 \times 110 = 163{,}1$. Le score robuste de la neuvième vente est $(5980 - 3260)/163{,}1 = 16{,}68$ ; celui des huit autres ne dépasse pas $180/163{,}1 = 1{,}10$ en valeur absolue. La moyenne est de \num{3555.6}, l'écart-type (avec $n - 1$) de 915,2, et le score classique de la neuvième vente vaut $(5980 - 3555{,}6)/915{,}2 = 2{,}65$, sous le seuil de 3,5 ; les huit autres ont des scores classiques compris entre $-0{,}52$ et $-0{,}16$. Seule la méthode robuste signale la vente. L'écart vient du masquage : la neuvième vente élève la moyenne de 296 \$/m\textsuperscript{2} et multiplie par plus de cinq l'écart-type, de sorte qu'elle se place elle-même à moins de trois écarts-types ; la médiane et le MAD, dont le point de rupture est de 50 \%, ne bougent pas.6\end{solution}78\begin{solution}{ex:14:2}{Règles et journal}9(a) Règle R4, prix inférieur à \dollars{5000} : exclusion ; journal « R4 ; exclusion ; prix symbolique ; prix\_vente ; 1 ; — ». (b) Règle R5 : la valeur dépasse \msq{450} et $1776/10{,}7639 = 165{,}0$ est comprise entre 40 et \msq{400}, ce qui est cohérent avec quatre chambres ; correction par division ; journal « R5 ; correction ; saisie en pi\textsuperscript{2} ; superficie\_habitable\_m2 ; 1776 ; 165 ». (c) Règle R2, acte antérieur à la promesse : permutation ; journal « R2 ; correction ; dates permutées ; date\_promesse ; 2026-05-02 ; 2026-03-15 » ; la date du prix devient le 15 mars 2026. (d) Règle R3 : prix net $515000 - 15000 = \dollars{500000}$ ; journal « R3 ; correction ; meubles retranchés ; prix\_vente ; 515000 ; 500000 » ; la vraisemblance des \dollars{15000} de meubles mérite d'être notée. (e) Règle R6 : coordonnées invalidées, puis géocodage de repli G1 avec une précision « centre de secteur » inscrite dans une colonne dédiée ; journal R6 (correction, « lat;lon », « 0;0 », vide) puis G1 (imputation, coordonnées de repli). (f) Règle R7 : exclusion de la vente déclarée successorale ; journal « R7 ; exclusion ; transaction non représentative ; type\_transaction ; succession ; — ». Si l'historique de courtage montrait une mise en marché normale, la vente pourrait être réintégrée avec une note, comme l'a discuté le \cref{ch:16}.10\end{solution}1112\begin{solution}{ex:14:3}{Levier, résidu studentisé et distance de Cook}13Résidu studentisé interne : $r_i = e_i/(s\sqrt{1 - h_{ii}}) = -0{,}25/(0{,}083 \times \sqrt{0{,}96}) = -0{,}25/0{,}08132 = -3{,}074$. Résidu externe, par la relation $t_i = r_i\sqrt{(n-k-1)/(n-k-r_i^2)}$ : $t_i = -3{,}074 \times \sqrt{583/(584 - 9{,}45)} = -3{,}074 \times \sqrt{583/574{,}55} = -3{,}097$. Distance de Cook : $D_i = r_i^2 h_{ii}/(k(1 - h_{ii})) = 9{,}45 \times 0{,}04/(16 \times 0{,}96) = 0{,}0246$, soit 3,7 fois le seuil $4/n = 0{,}0067$ mais très loin de 1. La vente dépasse de peu le seuil $|t_i| > 3$ : la règle E1 l'exclurait à la première itération. Avant de l'exclure, il faut chercher une explication en dehors du modèle : résidu de $-0{,}25$ en logarithme, soit un prix inférieur d'environ 22 \% à la prédiction, qui peut provenir d'une vente liée non déclarée, d'un état exceptionnel, d'une erreur de saisie non prévue par les règles ou d'une caractéristique omise du modèle ; si aucune n'est trouvée, l'exclusion doit être inscrite au journal avec son résidu, son levier et sa distance de Cook, et la sensibilité du résultat à sa réintégration mesurée.14\end{solution}1516\begin{solution}{ex:14:4}{Contamination et point de rupture}17Avec $\varepsilon = 0{,}05$ et $\delta = \ln 0{,}5 = -0{,}6931$, le biais de la moyenne des logarithmes est $\varepsilon\delta = -0{,}0347$, soit un niveau de prix sous-estimé de $\exp(-0{,}0347) - 1 = -3{,}4$ \%. La variance de l'échantillon contaminé vaut $\sigma^2 + \varepsilon(1 - \varepsilon)\delta^2 = 0{,}085^2 + 0{,}05 \times 0{,}95 \times 0{,}6931^2 = 0{,}007225 + 0{,}022821 = 0{,}030046$, d'où un écart-type de 0,173, plus du double de l'écart-type du marché. La médiane n'est pas affectée : le décalage ne touche que 5 \% des observations, toutes repoussées vers le bas, et la valeur centrale de la distribution reste celle des ventes sincères tant que la proportion contaminée est inférieure à 50 \% ; c'est le point de rupture de la médiane. Il faudrait donc plus d'une vente sur deux à la moitié du marché pour déplacer la médiane, alors qu'une seule vente d'ampleur suffisante déplace arbitrairement la moyenne.18\end{solution}1920\begin{solution}{ex:14:5}{Poids d'appariement de Fellegi--Sunter}21Poids de concordance : matricule $\log_2(0{,}98/0{,}001) = 9{,}94$ ; année $\log_2(0{,}95/0{,}05) = 4{,}25$ ; secteur $\log_2(0{,}90/0{,}20) = 2{,}17$. Poids de discordance : matricule $\log_2(0{,}02/0{,}999) = -5{,}64$ ; année $\log_2(0{,}05/0{,}95) = -4{,}25$ ; secteur $\log_2(0{,}10/0{,}80) = -3{,}00$. Paire dont les trois champs concordent : $9{,}94 + 4{,}25 + 2{,}17 = 16{,}35$, acceptée. Paire dont le matricule et l'année concordent mais pas le secteur : $9{,}94 + 4{,}25 - 3{,}00 = 11{,}18$, acceptée malgré la discordance du secteur, parce que le matricule est très discriminant ; un secteur mal codé est plus vraisemblable qu'une coïncidence de matricule et d'année. Paire dont le matricule discorde mais dont l'année et le secteur concordent : $-5{,}64 + 4{,}25 + 2{,}17 = 0{,}78$, entre les deux seuils, donc à vérifier manuellement : l'année et le secteur concordent trop souvent par hasard pour compenser la discordance du matricule, mais celle-ci peut être une faute de frappe.22\end{solution}2324\begin{solution}{ex:14:6}{Sensibilité aux seuils}25Les résultats proviennent de la fonction \texttt{sensibilite\_seuils} (\cref{tab:14:sensibilite}). Avec un seuil de score robuste de 3 et un seuil de résidu de 2,5, l'étape S1 exclut 11 ventes et l'étape E1 10 ; les six ventes liées non déclarées sont détectées et 7 ventes sincères sont exclues à tort ; l'échantillon final compte 566 ventes, l'écart-type résiduel 0,0796 et la prédiction du sujet \dollars{637527}. Avec 4 et 3, S1 exclut 3 ventes et E1 3 ; les six ventes liées sont encore détectées et aucune vente sincère n'est exclue ; 581 ventes, écart-type 0,0838, prédiction \dollars{637349}. La référence du chapitre (3,5 et 3) donne 579 ventes, deux faux positifs, 0,0837 et \dollars{637017}. Note. Dans un mandat réel, la table de vérité n'existe pas ; le seul guide est le compromis entre la détection, qui ne s'améliore plus au-delà d'un seuil modéré puisque le relais entre scores univariés et diagnostics conditionnels rattrape ce que l'un laisse passer, et les faux positifs, qui croissent vite quand les seuils baissent et qui réduisent artificiellement l'écart-type résiduel, donc l'incertitude rapportée. Je recommanderais un seuil de 3,5 pour le score robuste, dont la distribution par secteur est à queue épaisse même sur un marché sain, un seuil de 3 pour le résidu studentisé externe, qui a une distribution de référence connue et n'écarte qu'une ou deux ventes sincères sur six cents, au plus deux itérations, et l'obligation de documenter une raison extérieure au modèle pour chaque exclusion de l'étape E1 ; la sensibilité aux seuils voisins serait rapportée, et la fourchette de prédiction qui en résulte (ici 0,1 \%) ajoutée à l'incertitude du \cref{ch:20}.26\end{solution}2728\begin{solution}{ex:14:7}{Mécanisme de manque et imputation}29Lorsque les terrains manquants sont les vingt plus petits du jeu, le manque dépend de la valeur manquante elle-même : le mécanisme est MNAR. La variante est implantée dans la fonction \texttt{variante\_mnar\_terrain} du script (les vingt plus petits terrains parmi les lignes non altérées autrement sont effacés, les vingt manquants aléatoires d'origine étant restaurés), et ses résultats sont vérifiés par le test du chapitre. Sous ce mécanisme, la suppression par liste conserve 536 ventes et donne $\hat\beta_{\ln T} = 0{,}1007$ (erreur-type 0,0123) et une prédiction du sujet de \dollars{638976} ; l'imputation par la médiane conditionnelle donne 0,0977 et \dollars{636195}, la régression auxiliaire 0,0972 et \dollars{636224}, la méthode de l'indicateur 0,0978 et \dollars{638201}. Par rapport à la référence du jeu propre (0,0937 ; \dollars{637953}) et aux valeurs du \cref{tab:14:imputation} sous MCAR (0,0969 à 0,0945), tous les traitements s'écartent davantage, et c'est la suppression par liste qui s'écarte le plus (+0,6 erreur-type), parce qu'elle tronque le support du terrain par le bas et estime la pente sur une distribution amputée de sa queue inférieure. Les imputations sont biaisées pour une autre raison : elles attribuent aux vingt plus petits terrains une valeur médiane ou prédite très supérieure à la vérité, ce qui introduit une erreur de mesure sur le régresseur pour ces ventes ; l'effet sur la pente reste modeste ici parce que vingt ventes sur 580 pèsent peu, mais il irait croissant avec la proportion de manquants. Le coefficient de l'indicateur de terrain manquant passe de $-0{,}022$ (non significatif) sous MCAR à $-0{,}050$ avec une erreur-type de 0,014, soit un rapport de $-3{,}5$ : les ventes aux terrains manquants se vendent systématiquement moins cher que ce que leur terrain imputé laisse attendre, exactement parce que leur vrai terrain est petit. Ce coefficient est le signal qu'il faut rechercher la cause du manque avant d'imputer. Ni la suppression ni l'imputation par la médiane ne sont sans biais sous MNAR ; dans cette variante la suppression l'est le plus pour la pente, tandis que l'imputation par la médiane biaise les prix prédits des vingt ventes concernées. Une imputation qui modélise le mécanisme, par exemple un quantile bas de la cellule plutôt que sa médiane, ou l'imputation multiple avec un modèle de sélection, serait préférable ; la seule réponse vraiment satisfaisante est de retrouver la donnée à la source.30\end{solution}31