spb/traite-evaluation-qc

1\chapter{Nettoyage, géocodage et qualité des données}\label{ch:14}23Les méthodes des parties IV à VII supposent toutes une chose que le \cref{ch:13} a montrée fragile : que les ventes, les loyers et les attributs dont on dispose décrivent fidèlement des transactions sincères entre parties informées. Or une base de données immobilières, qu'elle provienne du registre foncier, d'un système de courtage ou d'un rôle d'évaluation, contient toujours des inscriptions en double, des prix qui ne sont pas des prix de marché, des superficies saisies dans la mauvaise unité, des dates permutées, des coordonnées impossibles et des champs vides. Laisser ces anomalies en place ne produit pas une estimation « un peu moins précise » : une poignée de ventes à un dollar suffit à réduire à néant le pouvoir explicatif d'un modèle hédonique estimé sur six cents observations, et une vente entre personnes liées glissée parmi cinq comparables déplace l'indication de valeur de plusieurs dizaines de milliers de dollars. Le présent chapitre traite le nettoyage comme une étape méthodologique à part entière, avec ses règles, ses statistiques, ses diagnostics et son journal, plutôt que comme une corvée préalable. Il construit, à partir du jeu propre du cas 1, un jeu « brut » dans lequel des anomalies de chaque type ont été injectées selon des lois déclarées, puis il montre comment une chaîne de traitement reproductible les détecte, les corrige ou les exclut, et dans quelle mesure le modèle hédonique de référence du \cref{ch:18} est retrouvé. Il traite ensuite du géocodage des adresses, de l'appariement des transactions avec le rôle d'évaluation et de l'imputation des valeurs manquantes, avant de conclure sur ce que la reproductibilité exige de l'évaluateur.45\begin{objectifs}6À la fin de ce chapitre, le lecteur sait :7\begin{itemize}8\item distinguer une erreur de saisie, une transaction non représentative, une valeur aberrante et une observation influente, et mesurer l'effet de chacune sur un estimateur ;9\item écrire des règles déterministes de validation (doublons, unités, dates, prix symboliques, coordonnées, conditions de vente) qui corrigent ce qui peut l'être et excluent le reste, en journalisant chaque décision ;10\item calculer et interpréter le score robuste fondé sur la médiane et l'écart absolu médian, comprendre pourquoi il résiste au masquage et choisir son seuil ;11\item dériver le levier, le résidu studentisé et la distance de Cook d'une régression et s'en servir pour repérer les ventes qui ne se conforment pas au marché sans « nettoyer vers le modèle » ;12\item décrire les sources québécoises de géocodage et la hiérarchie de précision des techniques, puis quantifier l'effet d'une erreur de position sur les variables de distance et de voisinage ;13\item apparier des transactions au rôle d'évaluation par clé exacte, par clé normalisée et par concordance d'attributs, et mesurer le taux d'appariement ;14\item traiter les valeurs manquantes par suppression, médiane conditionnelle, régression ou indicateur, en explicitant l'hypothèse sur le mécanisme de manque ;15\item tenir un journal d'exclusions et fixer graine, versions et seuils pour qu'un tiers reproduise exactement le jeu nettoyé.16\end{itemize}17\end{objectifs}1819\section{Pourquoi le nettoyage est une étape d'estimation}\label{sec:14:pourquoi}2021\subsection{Quatre choses que l'on confond sous le mot « aberrant »}2223Le vocabulaire courant range sous une même étiquette des phénomènes qui appellent des traitements différents. Il faut d'abord distinguer l'\motcle{erreur de donnée}, c'est-à-dire une valeur qui ne correspond pas à la réalité de la transaction (une superficie de \num{1776} notée dans un champ en mètres carrés alors qu'elle a été relevée en pieds carrés), de la \motcle{transaction non représentative}, c'est-à-dire une valeur exacte mais qui ne renseigne pas sur la valeur marchande (un prix de \dollars{1} dans un acte qui règle une donation entre conjoints, ou un prix de \dollars{250000} pour une maison cédée par un père à sa fille). La première se corrige quand la règle qui l'a produite est connue ; la seconde s'exclut, ou s'ajuste si l'effet des conditions de vente est mesurable, comme on l'a vu au \cref{ch:16}. Il faut ensuite distinguer la \motcle{valeur aberrante} (\emph{outlier}), observation dont la valeur est éloignée de la masse des autres observations sur une ou plusieurs variables, de l'\motcle{observation influente}, dont la présence modifie sensiblement les résultats d'une estimation. Une maison de \msq{280} vendue \dollars{850000} est aberrante par rapport à des voisines de \msq{130} sans être erronée ni non représentative, et elle peut être très influente dans une régression parce qu'elle tire la pente de la superficie ; à l'inverse, une vente à prix dérisoire au cœur du nuage de points est non représentative et influente sans être aberrante sur aucune variable prise isolément.2425\begin{definition}{Anomalie, aberration, influence}{anomalies}26Dans une base de ventes, on appelle \emph{anomalie} toute inscription dont au moins un champ viole une contrainte de validité (unité, domaine, cohérence interne, unicité) ou dont les conditions de vente ne satisfont pas la définition de la valeur marchande. Une observation est \emph{aberrante} si sa distance au centre de la distribution, mesurée dans une métrique robuste, dépasse un seuil déclaré ; elle est \emph{influente} si l'estimateur calculé sans elle diffère sensiblement de l'estimateur calculé avec elle. Les trois notions sont logiquement indépendantes : une anomalie peut n'être ni aberrante ni influente, et une observation influente peut être parfaitement exacte.27\end{definition}2829Ces distinctions commandent l'ordre des traitements. Les anomalies détectables par une règle, parce qu'elles violent une contrainte connue, se traitent d'abord et sans statistique : il serait absurde de calculer un score robuste sur des prix dont certains sont des prix de meubles compris et d'autres des prix nets. Les aberrations se détectent ensuite, variable par variable, puis conditionnellement au modèle, parce qu'une valeur plausible en soi peut être impossible étant donné les autres caractéristiques du bien. L'influence se mesure en dernier, sur le modèle qui servira effectivement à l'évaluation, et elle ne conduit à l'exclusion que si elle s'accompagne d'une raison, statistique ou documentaire, de croire que l'observation n'appartient pas au marché étudié. \textcite{krauseLipscomb2016} ont proposé un protocole de préparation des données immobilières dont l'esprit est le même : expliciter, dans l'ordre, les règles, les filtres et les décisions, et conserver la trace de chacune.3031\subsection{L'effet d'une contamination sur les estimateurs usuels}3233Pour comprendre pourquoi quelques anomalies suffisent à ruiner une estimation, considérons le modèle de contamination le plus simple. Une proportion $1 - \varepsilon$ des observations provient de la loi des ventes sincères, de moyenne $\mu$ et d'écart-type $\sigma$ en logarithme du prix, et une proportion $\varepsilon$ provient d'une loi décalée de $\delta$ (par exemple $\delta = \ln 0{,}5 \approx -0{,}693$ pour des ventes conclues à la moitié du marché). L'espérance de la moyenne arithmétique des logarithmes est alors34\begin{equation}\label{eq:14:contamination}35\E[\bar y] = (1 - \varepsilon)\,\mu + \varepsilon\,(\mu + \delta) = \mu + \varepsilon\,\delta,36\end{equation}37et sa variance par observation passe de $\sigma^2$ à $\sigma^2 + \varepsilon(1-\varepsilon)\delta^2$. Le biais $\varepsilon\delta$ est proportionnel à la part des observations contaminées et à l'ampleur du décalage, sans borne : il suffit d'un $\delta$ assez grand pour qu'une seule observation emporte la moyenne, ce qui est exactement ce que fait un prix de \dollars{1} dont le logarithme vaut zéro au milieu de valeurs proches de treize. On dit que la moyenne a un \motcle{point de rupture} nul. La médiane, au contraire, n'est pas affectée tant que $\varepsilon < 1/2$, quelle que soit l'ampleur du décalage : son point de rupture est de cinquante pour cent, le maximum possible pour un estimateur de position. Les travaux de Hampel sur la fonction d'influence, dans les années 1970, ont donné à cette intuition un cadre général dont la \cref{sec:14:robustes} tire le score robuste.3839Les moindres carrés ordinaires héritent de la fragilité de la moyenne, et l'aggravent : chaque observation pèse sur les coefficients en proportion de son résidu \emph{et} de l'éloignement de ses régresseurs, comme le montrera la \cref{sec:14:regression}. Le \cref{tab:14:modeles} de l'exemple intégral en donne la mesure sur le jeu brut du cas 1 : avec cinq prix à \dollars{1} parmi \num{573} lignes complètes, le coefficient de déterminatio\-n du modèle hédonique tombe de 0,853 à 0,039, l'écart-type résiduel passe de 0,083 à 1,231 et l'élasticité du prix à la superficie, qui vaut 0,54 sur le jeu propre, est estimée à 0,20. Un modèle estimé sur des données non nettoyées n'est pas approximativement bon ; il est sans valeur.4041\begin{synthetique}42Le jeu brut de ce chapitre, \texttt{data/synthetic/cas1\_gatineau\_ventes\_brut.csv}, est construit par le script \texttt{analysis/python/cases/ch14\_nettoyage.py} (graine 20261031) à partir des 600 ventes synthétiques du cas 1 (\texttt{cas1\_gatineau\_ventes.csv}, \cref{ch:16}). Le script tire sans remise 109 lignes qu'il altère selon les lois du \cref{tab:14:anomalies}, puis ajoute 18 copies d'inscriptions, ce qui donne 618 inscriptions et 127 anomalies. Il écrit aussi la table de vérité (\texttt{cas1\_gatineau\_anomalies\_injectees.csv}), un extrait de rôle fictif (\texttt{cas1\_gatineau\_role\_extrait.csv}) et, après traitement, le journal d'exclusions (\texttt{cas1\_gatineau\_journal\_exclusions.csv}). Les matricules et les adresses sont fictifs et ne correspondent à aucune unité d'évaluation réelle ; les proportions d'anomalies, environ 18 \% des lignes, sont volontairement élevées pour que chaque mécanisme soit visible et ne mesurent pas la fréquence des anomalies dans une source réelle. Le jeu brut conserve une colonne de traçabilité pédagogique (\texttt{id\_vente\_origine}) qu'un vrai fichier n'aurait pas et que le pipeline ne lit jamais. Les lois sont documentées dans \texttt{data/synthetic/README-brut.md} ; tous les chiffres du chapitre sont imprimés par le script et vérifiés par \texttt{analysis/python/tests/test\_ch14.py}.43\end{synthetique}4445\begin{table}[htbp]46\caption{Anomalies injectées dans le jeu brut du cas 1 (données synthétiques)}\label{tab:14:anomalies}47\centering48\small49\begin{tabularx}{\textwidth}{lS[table-format=2.0]YY}50\toprule51Anomalie & {$n$} & Loi d'injection & Détection attendue \\52\midrule53Doublon d'inscription & 18 & copie intégrale sous un nouvel identifiant ; pour 6 copies, date d'acte décalée de 1 à 3 jours & règle R1 \\54Prix symbolique & 5 & prix remplacé par \dollars{1} & règle R4 \\55Meubles inclus & 8 & montant de meubles $\sim U(\num{8000};\num{35000})$, arrondi à \dollars{500}, ajouté au prix & règle R3 (correction) \\56Superficie en pi\textsuperscript{2} & 12 & superficie habitable multipliée par 10,7639 & règle R5 (correction) \\57Dates inversées & 10 & permutation de la date de promesse et de la date d'acte & règle R2 (correction) \\58Coordonnées nulles & 9 & latitude et longitude mises à zéro & règle R6, puis géocodage de repli G1 \\59Coordonnées hors zone & 6 & signe de la longitude inversé ou latitude et longitude permutées & règle R6, puis G1 \\60Vente liée déclarée & 8 & prix multiplié par $U(0{,}40;0{,}60)$ ; champ « type de transaction » renseigné (personnes liées, succession) & règle R7 \\61Vente liée non déclarée & 6 & prix multiplié par $U(0{,}40;0{,}60)$ ; champ laissé à « ordinaire » & scores robustes S1 ou régression E1 \\62Terrain manquant & 20 & superficie du terrain effacée & imputation I1 \\63Qualité manquante & 15 & cote de qualité effacée & imputation I1 \\64Année manquante & 10 & année de construction effacée & imputation I1 \\65\bottomrule66\end{tabularx}67\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py, graine 20261031 ; lignes tirées sans remise, disjointes}}68\end{table}6970La \cref{fig:14:avant-apres} montre le jeu brut et le jeu nettoyé dans le plan superficie–prix. En échelle logarithmique, les cinq prix symboliques forment une ligne isolée tout en bas du graphique, les douze superficies en pieds carrés une grappe à droite ; les ventes liées, elles, se fondent dans la partie basse du nuage et ne se distinguent pas à l'œil. C'est la raison d'être des sections qui suivent : les anomalies grossières se voient et se règlent par des règles ; les anomalies fines exigent des statistiques conditionnelles.7172\begin{figure}[htbp]73\centering74\includegraphics[width=\textwidth]{ch14/ch14-fig-avant-apres.pdf}75\caption{Les 618 inscriptions du jeu brut (à gauche, échelles logarithmiques) et les 579 ventes du jeu nettoyé (à droite). Dans le jeu brut, les inscriptions corrigées par une règle (dates, meubles, unité, coordonnées) et celles qui seront exclues (doublons, prix symboliques, ventes non représentatives, aberrations) sont distinguées ; les prix à un dollar et les superficies saisies en pieds carrés sont immédiatement visibles, les ventes liées ne le sont pas.}\label{fig:14:avant-apres}76\figsource{\synth{analysis/python/figures/ch14\_figures.py, graine 20261031}}77\end{figure}7879\section{Les règles déterministes}\label{sec:14:regles}8081\subsection{Ce qu'une règle peut et ne peut pas faire}8283Une \motcle{règle de validation} est un test logique appliqué à chaque inscription, dont le résultat déclenche une action fixée d'avance : corriger, exclure, signaler. Sa force est d'être exacte, reproductible et explicable à un tiers ; sa limite est qu'elle ne détecte que ce qu'elle cherche. Une règle ne devrait corriger une valeur que lorsque le mécanisme de l'erreur est connu et que la correction est univoque : diviser par 10,7639 une superficie habitable de \msq{1776} suppose que l'on sait que cette valeur a été saisie en pieds carrés et non qu'il s'agit d'un manoir de \num{1776} mètres carrés ; dans le marché unifamilial du cas 1, où la plus grande maison du jeu propre mesure \msq{278}, le test « supérieure à \msq{450} et plausible une fois divisée » tranche sans ambiguïté, mais il devrait être reconsidéré pour un marché de propriétés de prestige. Lorsque le mécanisme n'est pas connu, la règle doit exclure ou signaler, jamais deviner.8485Le \cref{tab:14:regles} présente les sept règles appliquées au jeu brut du cas 1, dans l'ordre où elles le sont, avec leur effet sur le nombre d'inscriptions. L'ordre n'est pas indifférent. Les dates sont permutées avant que les doublons ne soient recherchés, parce que la clé de dédoublonnage contient la date de promesse ; la contrepartie des meubles est retranchée avant que le prix symbolique ne soit testé, parce qu'un prix de \dollars{15000} après meubles doit être comparé au même seuil que les autres ; l'unité de superficie est corrigée avant tout calcul de prix au mètre carré ; et les conditions de vente déclarées sont examinées en dernier, parce qu'elles excluent des inscriptions dont les autres champs ont pu servir, entre-temps, à repérer un doublon.8687\begin{table}[htbp]88\caption{Règles déterministes appliquées au jeu brut du cas 1 et effet sur le nombre d'inscriptions}\label{tab:14:regles}89\centering90\small91\begin{tabularx}{\textwidth}{l>{\hsize=1.35\hsize}Y>{\hsize=0.65\hsize}YS[table-format=2.0]S[table-format=3.0]}92\toprule93Règle & Test & Action & {Touchées} & {Conservées} \\94\midrule95{---} & lecture du fichier, typage, suppression des colonnes dérivées & {---} & {---} & 618 \\96R2 & date d'acte antérieure à la date de promesse & permutation des deux dates & 10 & 618 \\97R1 & même clé d'unité normalisée, même promesse, même prix ; puis mêmes attributs, même promesse, même prix & exclusion ; l'inscription la plus récente est conservée & 18 & 600 \\98R3 & montant de meubles non nul & prix net = prix déclaré $-$ meubles & 8 & 600 \\99R4 & prix net inférieur à \dollars{5000} & exclusion & 5 & 595 \\100R5 & superficie habitable supérieure à \msq{450} et comprise entre 40 et \msq{400} une fois divisée par 10,7639 & division par 10,7639 & 12 & 595 \\101R6 & coordonnées nulles ou hors de l'emprise du marché (latitude $45{,}20$--$45{,}80$, longitude $-76{,}10$ à $-75{,}20$) & invalidation, puis géocodage de repli (G1) & 15 & 595 \\102R7 & type de transaction déclaré autre qu'ordinaire (personnes liées, succession, reprise) & exclusion & 8 & 587 \\103\bottomrule104\end{tabularx}105\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py}}106\end{table}107108\subsection{Les pièges propres aux données de transaction}109110Les sept règles répondent à des pièges que le \cref{ch:13} a décrits et qu'il faut maintenant traduire en tests. Le \emph{doublon d'inscription} naît lorsqu'une même vente est saisie deux fois, par exemple parce que l'acte a été réinscrit après une correction ou parce que deux sources ont été fusionnées. La clé naturelle de dédoublonnage est l'unité d'évaluation, identifiée par son matricule, combinée à la date de la promesse et au prix ; mais le matricule est souvent absent ou saisi avec des séparateurs différents, de sorte qu'une seconde passe sur les attributs physiques est nécessaire, comme le montre la règle R1 qui, dans le jeu du cas 1, repère treize doublons par la clé normalisée et cinq autres par les attributs. L'\emph{inversion des dates} tient à la coexistence de deux dates dans toute vente : celle de l'acceptation de la promesse d'achat, qui fixe le prix, et celle de la signature de l'acte notarié, qui le publie. Le \cref{ch:16} a établi que la première est la date pertinente pour les conditions du marché ; une base qui ne contient que la date d'acte doit être corrigée d'un délai typique, et une base qui contient les deux doit vérifier leur ordre. Les \emph{meubles inclus} apparaissent lorsque l'acte déclare un prix global pour l'immeuble et des biens meubles ; la contrepartie attribuée aux meubles, souvent fixée pour des raisons fiscales, doit être retranchée avant toute comparaison, et sa vraisemblance vérifiée. Le \emph{prix symbolique} signale une donation, un transfert entre sociétés liées ou une régularisation de titre ; le seuil de \dollars{5000} retenu ici reprend la convention du règlement sur la proportion médiane, qui écarte des études de ratios les ventes d'un montant inférieur \parencite{reglpropmed}, et il est aussi celui qu'applique JLR dans ses statistiques tirées du registre foncier \parencite{jlr202609}. L'\emph{erreur d'unité} est la plus insidieuse des erreurs de saisie, parce que la valeur erronée est un nombre parfaitement plausible dans l'autre unité ; au Québec, où les fiches de courtage affichent couramment les superficies en pieds carrés et le rôle en mètres carrés, elle est fréquente lors des fusions de sources, et le \cref{ch:12} a montré qu'une erreur de superficie se propage directement à la valeur. Les \emph{coordonnées invalides} proviennent d'un géocodage échoué (zéro par défaut), d'une permutation des colonnes ou d'un signe perdu ; un test d'emprise suffit à les repérer, mais pas à les corriger, ce qui renvoie à la \cref{sec:14:geocodage}. Enfin, les \emph{conditions de vente déclarées} ne sont connues que si la source les enregistre : les déclarations faites dans l'acte aux fins des droits de mutation, l'historique de courtage ou l'entretien avec une partie peuvent révéler un lien entre les parties, une succession, une reprise de finance ; lorsque l'information existe, la règle R7 l'applique, et lorsqu'elle n'existe pas, seules les méthodes statistiques des sections suivantes peuvent repérer la vente.111112\begin{quebec}[Les sources québécoises et leurs champs de contrôle]113Le registre foncier publie l'acte de vente et son prix déclaré, les parties et la date de signature, mais ni la date de la promesse ni les inclusions ; sa consultation est tarifée à l'unité \parencite{registreFoncier}. En évaluation foncière municipale, le Manuel d'évaluation foncière du Québec impose la tenue d'un fichier des mutations immobilières (partie 2A) dont les ventes sont conservées au moins quatre ans, d'un dossier de propriété (2C) et d'un système d'information géographique fondé sur le matricule (2B) \parencite[art.~3--6]{reglrole}, de sorte que les données municipales comportent, par construction, une clé d'unité et une codification des conditions de vente qui facilitent les règles R1 et R7 ; le \cref{ch:09} décrit ce cadre. Le règlement sur la proportion médiane fournit, pour les études de ratios, une épuration codifiée : ventes d'au moins \dollars{5000}, puis retrait des ratios qui s'écartent de plus de deux écarts-types de la moyenne \parencite{reglpropmed}. Les données ouvertes du rôle diffusées par le ministère des Affaires municipales et de l'Habitation (1~140 fichiers XML, licence CC BY 4.0) contiennent les superficies, l'année de construction et les valeurs, mais les cadastres, les noms et les adresses postales des propriétaires y sont caviardés et leur réidentification est interdite \parencite{dqroles} ; elles servent de référence d'attributs, non de source d'adresses. Les statistiques de l'APCIQ et de JLR, enfin, sont diffusées sous des conditions d'utilisation qui exigent l'attribution et interdisent la reproduction des tableaux \parencite{apciqconditions,jlr202609}. Dates de consultation : 31 octobre 2026.114\end{quebec}115116\section{Les scores robustes}\label{sec:14:robustes}117118\subsection{Médiane, écart absolu médian et constante de cohérence}119120Une fois les règles appliquées, les anomalies restantes sont celles qu'aucune contrainte connue ne détecte : prix trop bas sans déclaration de lien, terrain anormalement petit ou grand pour son secteur, superficie incompatible avec le nombre de pièces. On les cherche d'abord variable par variable, en mesurant l'éloignement de chaque observation au centre de sa distribution. Le score classique $(x_i - \bar x)/s$ est inutilisable à cette fin, pour la raison vue à la \cref{sec:14:pourquoi} : les anomalies que l'on cherche gonflent $s$ et déplacent $\bar x$, de sorte qu'elles se masquent elles-mêmes et masquent leurs voisines. On remplace donc la moyenne par la médiane et l'écart-type par l'\motcle{écart absolu médian} (MAD, \emph{median absolute deviation}),121\begin{equation}\label{eq:14:mad}122\mathrm{MAD} = \operatorname{m\acute{e}d}_i \left| x_i - \operatorname{m\acute{e}d}_j x_j \right| ,123\end{equation}124qui a lui aussi un point de rupture de cinquante pour cent. Le \motcle{score robuste} d'une observation est alors125\begin{equation}\label{eq:14:zrobuste}126z_i = \frac{x_i - \operatorname{m\acute{e}d}_j x_j}{1{,}4826\;\mathrm{MAD}} .127\end{equation}128129\begin{proposition}{Constante de cohérence du MAD}{mad}130Si $X$ suit une loi normale d'écart-type $\sigma$, alors $\E[\mathrm{MAD}] \to \sigma\,\Phi^{-1}(3/4) \approx 0{,}6745\,\sigma$ lorsque $n \to \infty$, de sorte que $1{,}4826\,\mathrm{MAD}$ est un estimateur convergent de $\sigma$ et que le score \eqref{eq:14:zrobuste} se lit, sous normalité, comme un score en unités d'écart-type.131\end{proposition}132\begin{proof}133Pour une loi normale de moyenne $\mu$ et d'écart-type $\sigma$, la médiane est $\mu$ et $|X - \mu|/\sigma$ suit la loi normale repliée, dont la médiane $m$ vérifie $\Pr(|Z| \le m) = 1/2$, soit $2\Phi(m) - 1 = 1/2$ et $m = \Phi^{-1}(3/4) = 0{,}6745$. La médiane empirique des écarts absolus converge vers $0{,}6745\,\sigma$, et $1/0{,}6745 = 1{,}4826$.134\end{proof}135136La constante $1{,}4826$ ne rend pas le score « normal » : elle le rend comparable à un score classique lorsque la masse des données est à peu près normale, ce qui permet d'utiliser les mêmes seuils. Les seuils usuels sont $2{,}5$ (sévère), $3$ (moyen) et $3{,}5$ (tolérant), et le choix dépend du coût relatif d'un faux positif, c'est-à-dire d'une vente sincère écartée, et d'un faux négatif, c'est-à-dire d'une anomalie conservée ; Leys et ses coauteurs, dans une note de 2013 souvent citée, recommandent $2{,}5$ par défaut tout en soulignant que le seuil doit être déclaré avant l'examen des données. Rousseeuw et Croux ont proposé en 1993 des estimateurs d'échelle plus efficaces que le MAD pour des distributions asymétriques ; le MAD reste la référence par sa simplicité et son point de rupture maximal. La règle de Tukey fondée sur l'écart interquartile, qui déclare aberrante toute valeur hors de $[Q_1 - 1{,}5\,(Q_3 - Q_1);\ Q_3 + 1{,}5\,(Q_3 - Q_1)]$, procède du même esprit ; elle correspond, sous normalité, à un seuil d'environ $2{,}7$ écarts-types.137138Le choix de la variable sur laquelle calculer le score compte autant que le seuil. Le prix lui-même varie légitimement d'un facteur quatre dans le jeu du cas 1 selon la taille et le secteur ; le logarithme du prix au mètre carré, calculé par secteur, neutralise les deux premières sources de variation et laisse apparaître les prix anormalement bas pour ce qu'ils sont. De la même façon, le logarithme du terrain est examiné par secteur, parce que les terrains de Buckingham et de Masson-Angers sont, par construction du jeu, deux fois plus grands que ceux de Hull. Un score robuste calculé sur une variable mal choisie produit des faux positifs à la pelle.139140\subsection{L'effet de masquage, mesuré}141142Le \cref{tab:14:masquage} compare, secteur par secteur, le score classique et le score robuste du logarithme du prix au mètre carré sur le jeu du cas 1 après les règles R1 à R3, c'est-à-dire pendant que les cinq prix symboliques sont encore présents. À Hull, où deux ventes à \dollars{1} subsistent parmi 193 inscriptions, l'écart-type classique du logarithme vaut 1,395 alors que l'écart-type robuste $1{,}4826\,\mathrm{MAD}$ vaut 0,181 : les deux anomalies ont multiplié par près de huit l'échelle de référence. Le score classique ne dépasse $3{,}5$ en valeur absolue que pour ces deux ventes, dont le score vaut $-9{,}5$ ; toutes les autres observations, y compris les ventes liées non déclarées, sont ramenées à l'intérieur de l'intervalle d'acceptation par l'inflation de l'écart-type. Le score robuste, lui, place les deux prix symboliques à $-74$ et signale huit autres ventes, dont les ventes liées du secteur. La \cref{fig:14:scores} montre les deux distributions : à gauche, une masse écrasée autour de zéro et deux points isolés ; à droite, une distribution dont la forme est celle du marché et dont les anomalies sont rejetées dans la queue gauche.143144\begin{table}[htbp]145\caption{Effet de masquage : scores classique et robuste du logarithme du prix au mètre carré, par secteur, avant le retrait des prix symboliques (données synthétiques)}\label{tab:14:masquage}146\centering147\small\setlength{\tabcolsep}{4.5pt}148\begin{tabular}{lS[table-format=3.0]S[table-format=1.3]S[table-format=1.3]S[table-format=2.0]S[table-format=2.0]S[table-format=1.0]}149\toprule150Secteur & {$n$} & {$s$} & {$1{,}4826\,\mathrm{MAD}$} & {$|z_{\text{class.}}| > 3{,}5$} & {$|z_{\text{rob.}}| > 3{,}5$} & {Prix à 1 \$} \\151\midrule152Hull & 193 & 1.395 & 0.181 & 2 & 10 & 2 \\153Gatineau & 207 & 0.976 & 0.190 & 1 & 5 & 1 \\154Aylmer & 126 & 1.662 & 0.184 & 2 & 4 & 2 \\155Buckingham & 44 & 0.678 & 0.192 & 1 & 3 & 0 \\156Masson-Angers & 48 & 0.354 & 0.206 & 1 & 1 & 0 \\157\bottomrule158\end{tabular}159\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{illustration\_masquage}) ; jeu après R1--R3}}160\end{table}161162\begin{figure}[htbp]163\centering164\includegraphics[width=\textwidth]{ch14/ch14-fig-scores-robustes.pdf}165\caption{Distribution du score classique (à gauche) et du score robuste (à droite) du logarithme du prix au mètre carré pour les 193 inscriptions du secteur Hull après les règles R1 à R3, deux prix à un dollar compris ; les lignes tiretées marquent le seuil de $\pm 3{,}5$ et les scores sont tronqués à $\pm 8$. L'écart-type classique, gonflé par les deux anomalies, masque toutes les autres ; l'échelle robuste les révèle.}\label{fig:14:scores}166\figsource{\synth{analysis/python/figures/ch14\_figures.py}}167\end{figure}168169Dans la chaîne de traitement du cas 1, les scores robustes interviennent après les règles et l'imputation, sur le jeu de 587 inscriptions, et ils portent sur trois variables : le logarithme du prix au mètre carré par secteur, le logarithme de la superficie habitable et le logarithme du terrain par secteur, avec un seuil de $3{,}5$. Six inscriptions sont signalées (\cref{tab:14:exclus}) : quatre sont des ventes liées non déclarées, dont les prix au mètre carré sont inférieurs de 40 à 60 \% à la médiane de leur secteur ; deux sont des ventes sincères, l'une parce qu'une très grande maison de plain-pied de \msq{241} à Hull affiche un prix unitaire bas (ce qui est l'effet attendu d'une élasticité inférieure à un, vu au \cref{ch:16}), l'autre parce que son terrain est exceptionnellement petit pour le secteur Gatineau. Ces deux faux positifs illustrent la limite d'un score univarié : il ne sait pas qu'un prix unitaire bas est normal pour une grande maison. C'est le rôle de la régression de le savoir.170171\section{Les diagnostics de régression}\label{sec:14:regression}172173\subsection{La matrice chapeau et le levier}174175Le modèle hédonique de référence du cas 1, $\ln P_i = \mathbf{x}_i\T\boldsymbol\beta + \varepsilon_i$ avec les seize régresseurs décrits au \cref{ch:18} et estimé par \texttt{traite.cas1.hedonique}, fournit la métrique conditionnelle qui manquait aux scores univariés : une vente y est anormale si son prix s'écarte de ce que ses caractéristiques, sa localisation et sa date laissent attendre. Les valeurs ajustées s'écrivent $\hat{\mathbf y} = \mathbf H \mathbf y$, où176\begin{equation}\label{eq:14:chapeau}177\mathbf H = \mathbf X (\mathbf X\T \mathbf X)^{-1} \mathbf X\T, \qquad h_{ii} = \mathbf x_i\T (\mathbf X\T \mathbf X)^{-1} \mathbf x_i, \qquad \sum_{i=1}^n h_{ii} = \operatorname{tr} \mathbf H = k ,178\end{equation}179est la \motcle{matrice chapeau} et $h_{ii}$ le \motcle{levier} de l'observation $i$, compris entre $1/n$ et 1 lorsque le modèle contient une constante. Le levier mesure l'éloignement des régresseurs de l'observation par rapport au centre du nuage des régresseurs : une maison très grande, très vieille ou très excentrée a un levier élevé, indépendamment de son prix. Comme la trace vaut $k$, le levier moyen est $k/n$ et la pratique signale les observations dont le levier dépasse $2k/n$ ou $3k/n$ ; dans le jeu du cas 1, $k = 16$ et $n = 581$ à la première itération, de sorte que le seuil $2k/n$ vaut 0,055 et que dix-huit ventes le dépassent, sans qu'aucune ne soit pour autant erronée.180181\subsection{Les résidus studentisés}182183Le résidu brut $e_i = y_i - \hat y_i$ a pour variance $\sigma^2(1 - h_{ii})$ : les observations à fort levier ont des résidus mécaniquement plus petits, puisque la droite est attirée vers elles. Le \motcle{résidu studentisé interne} corrige cet effet,184\begin{equation}\label{eq:14:studentise}185r_i = \frac{e_i}{s\sqrt{1 - h_{ii}}}, \qquad s^2 = \frac{1}{n - k}\sum_{j=1}^n e_j^2 ,186\end{equation}187mais il utilise une estimation $s^2$ de la variance qui contient le résidu que l'on examine. Le \motcle{résidu studentisé externe} l'en retire :188\begin{equation}\label{eq:14:externe}189t_i = \frac{e_i}{s_{(i)}\sqrt{1 - h_{ii}}}, \qquad s_{(i)}^2 = \frac{(n-k)\,s^2 - e_i^2/(1 - h_{ii})}{n - k - 1}, \qquad t_i = r_i \sqrt{\frac{n - k - 1}{n - k - r_i^2}} ,190\end{equation}191où $s_{(i)}^2$ est la variance résiduelle du modèle estimé sans l'observation $i$. Sous normalité des erreurs, $t_i$ suit exactement une loi de Student à $n - k - 1$ degrés de liberté, ce qui justifie le seuil de $|t_i| > 3$ : la probabilité qu'une vente sincère le dépasse est d'environ 0,27 \%, soit une à deux fausses alertes attendues sur six cents ventes. La forme externe a un avantage pratique décisif pour le nettoyage : une anomalie énorme gonfle $s$ et se masque dans $r_i$, mais pas dans $t_i$, puisque $s_{(i)}$ ne la contient pas.192193\subsection{La distance de Cook}194195Le résidu dit si une vente est mal expliquée ; il ne dit pas si elle a pesé sur les coefficients. La \motcle{distance de Cook}, introduite par Cook en 1977, mesure le déplacement du vecteur des coefficients lorsque l'observation est retirée, dans la métrique de la précision de l'estimateur :196\begin{equation}\label{eq:14:cook}197D_i = \frac{(\hat{\boldsymbol\beta} - \hat{\boldsymbol\beta}_{(i)})\T\, \mathbf X\T \mathbf X\, (\hat{\boldsymbol\beta} - \hat{\boldsymbol\beta}_{(i)})}{k\, s^2} = \frac{r_i^2}{k}\cdot\frac{h_{ii}}{1 - h_{ii}} .198\end{equation}199200\begin{proposition}{Identité de la distance de Cook}{cook}201Les deux expressions de l'\cref{eq:14:cook} sont égales : la distance de Cook se calcule sans réestimer le modèle $n$ fois, comme le produit du carré du résidu studentisé interne par le rapport de levier $h_{ii}/(1 - h_{ii})$, divisé par $k$.202\end{proposition}203\begin{proof}204Soit $\mathbf A = \mathbf X\T\mathbf X$. Retirer la ligne $i$ donne $\mathbf A_{(i)} = \mathbf A - \mathbf x_i \mathbf x_i\T$, dont l'inverse, par la formule de Sherman--Morrison, est $\mathbf A^{-1} + \mathbf A^{-1}\mathbf x_i \mathbf x_i\T \mathbf A^{-1}/(1 - h_{ii})$. En écrivant $\hat{\boldsymbol\beta}_{(i)} = \mathbf A_{(i)}^{-1}(\mathbf X\T\mathbf y - \mathbf x_i y_i)$ et en développant, on obtient $\hat{\boldsymbol\beta} - \hat{\boldsymbol\beta}_{(i)} = \mathbf A^{-1}\mathbf x_i\, e_i/(1 - h_{ii})$. La forme quadratique du numérateur vaut alors $e_i^2\, \mathbf x_i\T \mathbf A^{-1}\mathbf A\mathbf A^{-1}\mathbf x_i/(1 - h_{ii})^2 = e_i^2 h_{ii}/(1 - h_{ii})^2$. En divisant par $k s^2$ et en reconnaissant $r_i^2 = e_i^2/(s^2(1 - h_{ii}))$, il vient $D_i = r_i^2 h_{ii}/(k(1 - h_{ii}))$.205\end{proof}206207L'identité éclaire la nature de l'influence : elle est le produit de l'anormalité du prix ($r_i^2$) et de l'éloignement des caractéristiques ($h_{ii}/(1-h_{ii})$). Une vente à prix dérisoire d'une maison ordinaire a un résidu énorme et un levier faible ; une maison exceptionnelle vendue au prix attendu a un levier élevé et un résidu nul ; aucune des deux n'est aussi influente qu'une maison exceptionnelle vendue à un prix inattendu. Les seuils courants sont $D_i > 4/n$ pour signaler, et $D_i > 1$ pour considérer qu'une observation déplace à elle seule les coefficients d'une erreur-type. La statistique voisine DFFITS, $t_i\sqrt{h_{ii}/(1-h_{ii})}$, mesure le déplacement de la valeur ajustée de l'observation elle-même. Le test \texttt{test\_ch14.py} vérifie numériquement l'identité en comparant, pour l'observation la plus influente du jeu propre, la forme fermée et la réestimation sans l'observation.208209\subsection{Nettoyer sans nettoyer « vers le modèle »}210211La règle de décision retenue dans la chaîne du cas 1 est d'exclure les ventes dont le résidu studentisé externe dépasse 3 en valeur absolue, de réestimer, et de répéter au plus une fois ; la distance de Cook et le levier sont calculés et journalisés, mais ne servent pas de critère d'exclusion. Ce choix mérite d'être justifié, parce qu'il touche à une objection sérieuse : écarter les observations que le modèle explique mal améliore mécaniquement l'ajustement du modèle, et un analyste qui exclurait sans retenue finirait par estimer un modèle parfait sur un échantillon qui ne ressemble plus au marché. Trois garde-fous répondent à l'objection. Le premier est le seuil : à $|t_i| > 3$, le nombre attendu de ventes sincères exclues est inférieur à deux sur six cents, et le \cref{tab:14:sensibilite} montre qu'abaisser le seuil à $2{,}5$ multiplie les faux positifs sans améliorer la détection. Le deuxième est le nombre d'itérations, limité à deux : une procédure qui converge vers un noyau d'observations parfaitement expliquées n'est plus un nettoyage. Le troisième est documentaire : chaque exclusion est inscrite au journal avec son résidu, sa distance de Cook et son levier, et l'évaluateur est tenu de chercher, pour chacune, une explication en dehors du modèle (vente liée, état exceptionnel, erreur de saisie non prévue) ; une vente qu'il ne peut expliquer autrement que par son résidu devrait être réintégrée, ou le modèle revu. Le levier et la distance de Cook, eux, servent à autre chose : ils désignent les ventes qui pèsent le plus sur les coefficients et qu'il faut donc vérifier avec le plus de soin, dans l'esprit de ce que le \cref{ch:16} disait des comparables les plus proches.212213La \cref{fig:14:levier} montre les 581 ventes de la première itération dans le plan levier–résidu, la taille des points étant proportionnelle à la distance de Cook. Deux ventes dépassent le seuil de résidu, avec des résidus externes de $-5{,}8$ et $-6{,}7$ ; ce sont les deux ventes liées non déclarées que les scores univariés avaient manquées, parce que leurs prix au mètre carré, bien que bas, restaient à l'intérieur de la dispersion de leur secteur. La plus influente des deux a une distance de Cook de 0,084, douze fois le seuil $4/n$, mais loin de 1 : aucune observation du jeu ne déplace à elle seule les coefficients de façon décisive, ce qui est attendu d'un jeu de six cents ventes homogènes. Les dix-huit ventes à levier élevé, à droite de la ligne pointillée, ont des résidus ordinaires : ce sont les maisons les plus grandes, les plus anciennes et les plus excentrées du jeu, exactes et conservées. Après exclusion des deux ventes, la seconde itération ne signale plus rien, et l'écart-type résiduel passe de 0,0897 à 0,0837.214215\begin{figure}[htbp]216\centering217\includegraphics[width=\textwidth]{ch14/ch14-fig-levier-cook.pdf}218\caption{Résidu studentisé externe en fonction du levier pour les 581 ventes soumises à la première itération du diagnostic de régression ; la taille des points est proportionnelle à la distance de Cook. Les deux ventes sous la ligne $t_i = -3$ sont les ventes liées non déclarées que les scores univariés n'avaient pas repérées ; les ventes à droite du seuil de levier $2k/n$ sont des maisons atypiques mais exactes.}\label{fig:14:levier}219\figsource{\synth{analysis/python/figures/ch14\_figures.py}}220\end{figure}221222\begin{table}[htbp]223\caption{Les huit ventes exclues par les scores robustes (S1) et par la régression (E1), avec leur nature réelle dans la table de vérité (données synthétiques)}\label{tab:14:exclus}224\centering225\let\small\footnotesize\setlength{\tabcolsep}{2.5pt}226\begin{tabular}{llS[table-format=3.0]S[table-format=6.0]S[table-format=-1.2]S[table-format=-1.2]S[table-format=-1.2]S[table-format=1.3]l}227\toprule228Inscr. & Secteur & {Sup. (m\textsuperscript{2})} & {Prix (\$)} & {$z$ prix/m\textsuperscript{2}} & {$z$ terrain} & {$t_i$} & {$D_i$} & Nature réelle \\229\midrule230\multicolumn{9}{l}{\textit{Étape S1 — scores robustes, seuil 3,5}} \\231B0173 & Hull & 121 & 155500 & -6.50 & 0.37 & {---} & {---} & liée, non déclarée \\232B0006 & Aylmer & 160 & 231500 & -5.47 & -0.34 & {---} & {---} & liée, non déclarée \\233B0105 & Hull & 116 & 179000 & -5.32 & 0.26 & {---} & {---} & liée, non déclarée \\234B0003 & Hull & 241 & 492000 & -3.51 & -2.06 & {---} & {---} & sincère (faux positif) \\235B0021 & Aylmer & 165 & 334000 & -3.50 & 1.05 & {---} & {---} & liée, non déclarée \\236B0558 & Gatineau & 174 & 622000 & 0.19 & -3.92 & {---} & {---} & sincère (faux positif) \\237\addlinespace238\multicolumn{9}{l}{\textit{Étape E1 — résidu studentisé externe, seuil 3, première itération ($n = 581$, $k = 16$)}} \\239B0410 & Hull & 99 & 249000 & {---} & {---} & -6.70 & 0.048 & liée, non déclarée \\240B0039 & Gatineau & 150 & 282500 & {---} & {---} & -5.84 & 0.084 & liée, non déclarée \\241\bottomrule242\end{tabular}243\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py ; les scores $z$ sont calculés par secteur sur le logarithme}}244\end{table}245246\section{Le géocodage}\label{sec:14:geocodage}247248\subsection{De l'adresse à la coordonnée}249250Les méthodes spatiales du \cref{ch:19}, la sélection par rayon du \cref{ch:16} et les variables de distance du modèle hédonique exigent que chaque vente ait des coordonnées. Le \motcle{géocodage} est l'opération qui associe une coordonnée à une adresse, et sa précision dépend de la technique et de la source. La technique la plus précise attribue à l'adresse un \emph{point d'adresse} relevé sur le bâtiment ou l'entrée ; la suivante prend le \emph{centroïde de la parcelle} cadastrale ; la troisième, historiquement la plus répandue, \emph{interpole} la position le long du segment de rue à partir des tranches de numéros civiques de ses deux extrémités ; la dernière, faute de mieux, affecte à l'adresse le centroïde de son \emph{code postal} ou d'une autre unité géographique. \textcite{zandbergen2008} a comparé ces techniques sur des adresses réelles et établi que l'erreur de position croît dans cet ordre, l'interpolation le long de la rue produisant des erreurs de plusieurs dizaines de mètres en milieu urbain et bien davantage en milieu rural, où les segments sont longs et les numéros irréguliers ; \textcite{ratcliffe2001} avait montré auparavant que ces erreurs suffisent à affecter une proportion non négligeable d'adresses à la mauvaise parcelle ou à la mauvaise unité de recensement. Pour l'évaluateur, la conséquence est double : une variable de distance (au centre, à une école, à une nuisance) hérite de l'erreur de position, et une structure de voisinage (les $k$ plus proches ventes, le rayon de recherche) peut changer de composition.251252\begin{quebec}[Les sources québécoises de géocodage]253Le ministère des Ressources naturelles et des Forêts diffuse sur Données Québec, sous licence CC BY 4.0, la gamme \emph{Adresses Québec}, géobase routière couvrant tout le territoire, qui comprend le réseau routier avec ses odonymes officiels (AQréseau), les adresses par tranches et par points, les codes postaux, un service Web d'adresses (AQgéobâti) et un service de géocodage ; la fiche du jeu de données annonce une transition de cette gamme vers le \emph{Référentiel québécois des adresses} et le \emph{Référentiel québécois du transport terrestre} jusqu'à la fin de 2026. Le Référentiel québécois des adresses, mis à jour mensuellement, rassemble l'ensemble des adresses municipales avec leur numéro, leur suffixe, leur unité, leur odonyme, leur municipalité, leur code postal, leur usage principal et leurs coordonnées ; il est produit avec les municipalités, Élections Québec, le ministère des Affaires municipales et de l'Habitation et le ministère des Transports et de la Mobilité durable (fiches Données Québec consultées le 31 octobre 2026 ; références complètes dans le registre du chapitre). Les versions géoréférencées du rôle d'évaluation en format ouvert (FGDB, GeoPackage, GeoJSON) fournissent la géométrie des unités d'évaluation, donc des centroïdes de parcelle, mais sans adresse de propriétaire \parencite{dqroles}. Les grandes villes publient en outre leurs propres jeux de points d'adresses, comme la Ville de Québec. Quant au code postal canadien, ses trois premiers caractères désignent une région de tri d'acheminement et les trois derniers une unité de distribution locale ; en milieu urbain dense, une unité de distribution correspond souvent à un côté d'îlot, en milieu rural à un vaste territoire, de sorte que la précision d'un centroïde de code postal varie de quelques dizaines de mètres à plusieurs kilomètres. Le fichier de conversion des codes postaux de Statistique Canada et les coordonnées de la Société canadienne des postes sont diffusés sous licence et n'ont pas été consultés pour cet ouvrage ; aucun chiffre de précision n'est donc avancé ici pour ces produits.254\end{quebec}255256\subsection{Une simulation sur les coordonnées du cas 1}257258Faute d'adresses réelles à géocoder, on peut mesurer ce que coûte une erreur de position en perturbant les coordonnées propres du cas 1 par un bruit gaussien isotrope d'écart-type $\sigma_g$ par axe, dont la norme suit une loi de Rayleigh de médiane $\sigma_g\sqrt{2\ln 2} \approx 1{,}177\,\sigma_g$. Les cinq valeurs de $\sigma_g$ du \cref{tab:14:geocodage}, de 5 mètres à 1 kilomètre, sont des hypothèses pédagogiques qui respectent la hiérarchie établie par \textcite{zandbergen2008} sans prétendre reproduire ses mesures. Trois conséquences sont calculées : la part des 600 ventes dont l'appartenance au rayon de 3 kilomètres autour du sujet (103 ventes dans le jeu propre) change ; la part des huit plus proches voisins de chaque vente, au sens de la matrice de poids du \cref{ch:19}, qui est conservée ; et le coefficient de la distance au centre dans le modèle hédonique.259260\begin{table}[htbp]261\caption{Effet simulé d'une erreur de position sur les variables spatiales du cas 1, par technique de géocodage (écarts-types hypothétiques)}\label{tab:14:geocodage}262\centering263\let\small\footnotesize\setlength{\tabcolsep}{2.5pt}264\begin{tabular}{lS[table-format=4.0]S[table-format=4.0]S[table-format=4.0]S[table-format=1.2]S[table-format=2.1]S[table-format=-1.4]}265\toprule266Technique & {$\sigma_g$ (m)} & {Méd. (m)} & {P95 (m)} & {Rayon (\%)} & {Voisins (\%)} & {$\hat\beta_{\text{dist}}$} \\267\midrule268Point d'adresse & 5 & 6 & 12 & 0.00 & 99.1 & -0.0036 \\269Centroïde de parcelle & 15 & 18 & 35 & 0.00 & 97.1 & -0.0036 \\270Interpolation le long de la rue & 40 & 47 & 97 & 0.33 & 93.1 & -0.0036 \\271Centroïde de code postal, urbain & 150 & 177 & 368 & 1.33 & 76.1 & -0.0036 \\272Centroïde de code postal, périurbain & 1000 & 1199 & 2364 & 6.67 & 17.6 & -0.0003 \\273\bottomrule274\end{tabular}275\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{simulation\_geocodage}) ; Méd. = erreur médiane, P95 = 95\textsuperscript{e} centile, Rayon = part des ventes dont l'appartenance au rayon de 3 km change, Voisins = part des huit plus proches voisins conservés ; coefficient de référence $-0{,}0036$ ; les $\sigma_g$ sont des hypothèses, non des mesures}}276\end{table}277278\begin{figure}[htbp]279\centering280\includegraphics[width=\textwidth]{ch14/ch14-fig-geocodage.pdf}281\caption{À gauche, fonction de répartition de l'erreur de position simulée pour cinq techniques de géocodage (écarts-types hypothétiques de 5 m à 1 km) ; à droite, part des 600 ventes dont les huit plus proches voisins sont conservés et dont l'appartenance au rayon de 3 km du sujet est inchangée. La structure de voisinage se dégrade bien avant que le coefficient de distance du modèle hédonique ne bouge.}\label{fig:14:geocodage}282\figsource{\synth{analysis/python/figures/ch14\_figures.py}}283\end{figure}284285La lecture du tableau tient en une phrase : les variables lisses résistent, les structures discrètes non. Le coefficient de la distance au centre, qui agit sur une échelle de kilomètres, est insensible à des erreurs de quelques dizaines de mètres et ne s'efface qu'avec le centroïde périurbain ; l'appartenance au rayon de recherche ne change que pour les ventes situées près de la frontière du cercle, soit moins de 2 \% jusqu'au centroïde urbain. Mais la composition des huit plus proches voisins, qui fonde les matrices de poids des modèles spatiaux, se dégrade dès l'interpolation de rue (7 \% des voisins remplacés) et s'effondre avec les centroïdes de code postal (un quart puis quatre cinquièmes des voisins remplacés). Un modèle spatial estimé sur des coordonnées de code postal mesure donc une dépendance spatiale entre de mauvais voisins ; la \cref{sec:14:journal} recommande de conserver, pour chaque vente, la technique de géocodage dans une colonne de précision, comme le fait le pipeline du cas 1 avec ses quinze coordonnées de repli placées au centre de leur secteur.286287\section{L'appariement des transactions au rôle}\label{sec:14:appariement}288289\subsection{Clés, normalisation et blocage}290291Une base de ventes gagne considérablement à être enrichie des attributs du rôle d'évaluation : superficies mesurées selon une convention uniforme, année de construction, nombre de logements, valeur au rôle qui servira d'indicateur de qualité au \cref{ch:09}. L'opération est un \motcle{appariement d'enregistrements} (\emph{record linkage}) entre deux fichiers qui ne partagent pas toujours une clé fiable. La clé idéale est le matricule de l'unité d'évaluation, identifiant unique au sein d'une municipalité ; mais il est saisi avec ou sans tirets, avec ou sans espaces, parfois tronqué ou mal frappé, et il manque dans une partie des transactions. L'adresse civique est la clé de rechange, dont la variabilité d'écriture est pire encore (abréviations, accents, numéros d'unité, odonymes renommés) ; les renvois d'odonymes du Référentiel québécois des adresses existent précisément pour suivre les changements de noms de rues.292293L'appariement procède par paliers de confiance décroissante. Le premier palier apparie sur la clé exacte. Le deuxième normalise la clé (chiffres seulement pour un matricule ; casse, accents, abréviations et ponctuation unifiées pour une adresse) et apparie sur la forme normalisée. Le troisième, lorsque la clé est absente ou erronée, compare les attributs : on restreint d'abord la recherche à un \motcle{bloc} de candidats plausibles (même secteur, même année de construction), puis on exige la concordance d'attributs continus à une tolérance près (superficie du terrain à 2 \% près), et l'on n'accepte l'appariement que s'il est unique. La théorie de Fellegi et Sunter, publiée en 1969, formalise ce troisième palier : pour chaque champ $j$, on note $m_j$ la probabilité que les deux enregistrements concordent s'ils décrivent la même unité et $u_j$ la probabilité qu'ils concordent par hasard s'ils décrivent des unités différentes ; le poids d'une paire est294\begin{equation}\label{eq:14:fellegi}295w = \sum_{j} w_j, \qquad w_j = \begin{cases} \log_2 \dfrac{m_j}{u_j} & \text{si le champ } j \text{ concorde,} \\[2ex] \log_2 \dfrac{1 - m_j}{1 - u_j} & \text{sinon,} \end{cases}296\end{equation}297et l'on déclare la paire appariée au-dessus d'un seuil supérieur, non appariée sous un seuil inférieur, et à vérifier manuellement entre les deux. Un champ très discriminant (le matricule, pour lequel $u_j$ est minuscule) apporte un poids élevé ; un champ peu discriminant (le secteur, que partagent des centaines d'unités) n'apporte presque rien. La variante déterministe du cas 1, qui exige la concordance de tous les champs du bloc et l'unicité du candidat, revient à fixer des poids infinis ; elle est plus simple à expliquer et suffit lorsque les attributs continus sont précis.298299\subsection{Résultats sur le cas 1}300301Le script du chapitre construit un extrait de rôle fictif de 600 unités et des transactions dont la clé est altérée dans 44 \% des cas (espaces, séparateurs absents, chiffre erroné, clé manquante). Le \cref{tab:14:appariement} donne le résultat des trois paliers sur les 618 inscriptions brutes : 59,4 \% s'apparient sur la clé exacte, 32,0 \% de plus sur la clé normalisée, 7,3 \% sur les attributs, et 1,3 \% restent sans appariement ; trois inscriptions ont trouvé plusieurs candidats au troisième palier et n'ont pas été appariées, conformément à la règle d'unicité. Parce que la vérité est connue, on peut vérifier qu'aucun des 610 appariements n'est faux : la normalisation et le blocage, lorsqu'ils sont stricts, ajoutent de la couverture sans ajouter d'erreur. Dans une base réelle, la vérité n'est pas connue ; on l'approche en vérifiant manuellement un échantillon de paires de chaque palier, et le taux de faux appariements de cet échantillon est inscrit au journal avec le taux de couverture.302303\begin{table}[htbp]304\caption{Appariement des 618 inscriptions brutes du cas 1 à l'extrait de rôle fictif, par palier (données synthétiques)}\label{tab:14:appariement}305\centering306\small307\begin{tabularx}{\textwidth}{lYS[table-format=3.0]S[table-format=2.1]S[table-format=1.0]}308\toprule309Palier & Critère & {Inscriptions} & {Part (\%)} & {Faux appar.} \\310\midrule3111 & matricule identique, caractère pour caractère & 367 & 59.4 & 0 \\3122 & matricule normalisé (chiffres seulement) & 198 & 32.0 & 0 \\3133 & secteur, année de construction et terrain à 2 \% près ; candidat unique & 45 & 7.3 & 0 \\314{---} & non apparié (dont 3 cas ambigus au palier 3) & 8 & 1.3 & {---} \\315\bottomrule316\end{tabularx}317\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{appariement\_role}) ; la vérité est connue par construction}}318\end{table}319320\begin{quebec}[Appariement et renseignements personnels]321Les rôles d'évaluation en format ouvert sont diffusés sans le nom ni l'adresse postale des propriétaires, en vertu d'une disposition réglementaire qui autorise cette diffusion caviardée \parencite[art.~20]{reglrole}, et la licence du jeu interdit expressément de réidentifier les renseignements personnels caviardés \parencite{dqroles}. Apparier une base de ventes nominative au rôle ouvert pour en tirer des attributs physiques est licite ; reconstituer le nom d'un propriétaire à partir du croisement ne l'est pas. L'évaluateur agréé est par ailleurs tenu par le règlement sur la tenue des dossiers de son ordre de conserver les dossiers au moins cinq ans et d'en assurer la confidentialité \parencite[art.~6--7]{tenuedossiersoeaq} ; le journal d'appariement, qui contient des clés d'unité, fait partie du dossier.322\end{quebec}323324\section{Les données manquantes}\label{sec:14:manquantes}325326\subsection{Trois mécanismes de manque}327328Les champs vides ne sont pas tous équivalents. La distinction introduite par Rubin en 1976 sépare les cas où la probabilité qu'une valeur manque ne dépend de rien (\emph{missing completely at random}, MCAR), les cas où elle dépend de variables observées mais pas de la valeur manquante elle-même (\emph{missing at random}, MAR),329\begin{equation}\label{eq:14:mar}330\Pr(R_i = 1 \mid y_i^{\text{obs}}, y_i^{\text{mis}}) = \Pr(R_i = 1 \mid y_i^{\text{obs}}),331\end{equation}332où $R_i$ indique le manque, et les cas où elle dépend de la valeur manquante (\emph{missing not at random}, MNAR). Dans une base de ventes, une superficie de terrain absente parce qu'un fichier source ne la transmettait pas pour un secteur entier est MAR conditionnellement au secteur ; une cote de qualité absente parce que l'inspecteur a jugé l'immeuble trop délabré pour la noter est MNAR, et aucune imputation fondée sur les autres champs ne la restituera sans biais. La suppression des lignes incomplètes (\emph{listwise deletion}) est sans biais sous MCAR seulement et perd de l'information dans tous les cas ; dans le jeu du cas 1, elle retire 45 ventes, près de 8 \% de l'échantillon, pour trois champs incomplets. \textcite{wooldridge2010} traite rigoureusement les conséquences de la sélection de l'échantillon sur les estimateurs, et \textcite{gelmanHill2007} donnent un exposé pratique des méthodes d'imputation.333334\subsection{Imputation par la médiane conditionnelle, par régression, avec indicateur}335336L'\motcle{imputation} remplace la valeur manquante par une valeur plausible. La plus simple est la \emph{médiane conditionnelle} : la médiane de la variable dans la cellule définie par des variables observées (ici le secteur et le type de bâtiment), qui respecte les différences de niveau entre cellules et résiste aux aberrations. La \emph{régression auxiliaire} prédit la valeur manquante à partir d'un modèle estimé sur les lignes complètes,337\begin{equation}\label{eq:14:imputation}338\hat x_{ij} = \mathbf z_i\T \hat{\boldsymbol\gamma}_j ,339\end{equation}340où $\mathbf z_i$ rassemble les autres caractéristiques (superficie, secteur, type, année, terrain) ; elle exploite plus d'information mais produit des valeurs trop régulières, puisqu'elle impute une espérance conditionnelle sans son bruit, ce qui réduit artificiellement la variance de la variable imputée et surestime la précision des coefficients qui en dépendent. L'\emph{indicateur de manquant} ajoute au modèle hédonique une variable binaire par champ imputé, qui absorbe un éventuel décalage systématique des ventes aux champs manquants et signale, par son coefficient, si le manque est informatif. L'imputation multiple, qui tire plusieurs valeurs imputées et combine les estimations, est la méthode de référence lorsque l'incertitude de l'imputation doit être propagée aux intervalles ; elle dépasse le cadre de ce chapitre, mais le \cref{ch:39} y revient dans un cadre bayésien.341342Le \cref{tab:14:imputation} compare les quatre traitements sur le cas 1, toute la chaîne étant identique par ailleurs. Les trois imputations donnent des résultats indiscernables entre eux et de la référence : le coefficient du terrain vaut 0,0941 ou 0,0945 contre 0,0937 sur le jeu propre, avec une erreur-type de 0,011 ; la suppression par liste, qui réduit l'échantillon à 535 ventes, s'en écarte davantage (0,0969) et déplace la prédiction du sujet de près de \dollars{4000}. Les coefficients des indicateurs de manquant sont tous inférieurs, en valeur absolue, à deux erreurs-types, ce qui est cohérent avec le mécanisme d'injection, qui est MCAR par construction. Dans une base réelle, un coefficient d'indicateur significatif est un signal d'alarme : les ventes aux champs manquants ne se vendent pas comme les autres, et il faut comprendre pourquoi avant d'imputer.343344\begin{table}[htbp]345\caption{Quatre traitements des 45 valeurs manquantes du jeu brut du cas 1 et leur effet sur le modèle hédonique (données synthétiques)}\label{tab:14:imputation}346\centering347\let\small\footnotesize\setlength{\tabcolsep}{4pt}348\begin{tabular}{lS[table-format=3.0]S[table-format=1.4]S[table-format=1.4]S[table-format=1.4]S[table-format=1.4]S[table-format=6.0]}349\toprule350Traitement & {$n$} & {$\sigma$} & {$\hat\beta_{\ln T}$} & {e.-t.} & {$\hat\beta_{\text{qual.}}$} & {Prédiction (\$)} \\351\midrule352Suppression par liste & 535 & 0.0809 & 0.0969 & 0.0112 & 0.0613 & 640921 \\353Médiane conditionnelle (secteur $\times$ type) & 579 & 0.0837 & 0.0941 & 0.0113 & 0.0598 & 637017 \\354Régression auxiliaire & 579 & 0.0837 & 0.0940 & 0.0113 & 0.0598 & 637166 \\355Médiane + indicateurs de manquant & 579 & 0.0837 & 0.0945 & 0.0112 & 0.0603 & 638354 \\356\midrule357Jeu propre de référence (\cref{ch:18}) & 600 & 0.0830 & 0.0937 & 0.0110 & 0.0611 & 637953 \\358\bottomrule359\end{tabular}360\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{comparer\_imputations}) ; coefficients des indicateurs : terrain $-0{,}022$, qualité $0{,}014$, année $-0{,}043$}}361\end{table}362363\section{Exemple intégral : la chaîne de traitement du cas 1 et son effet sur le modèle}\label{sec:14:exemple}364365\begin{exemple}{Du jeu brut au modèle hédonique retrouvé}{pipeline14}366La chaîne de traitement enchaîne les étapes des sections précédentes dans l'ordre que la \cref{fig:14:pipeline} schématise : règles R1 à R7, géocodage de repli G1, imputation I1, scores robustes S1, régression E1, journal. Son effet est mesuré en réestimant le modèle hédonique de référence après chaque étape et en le comparant au modèle estimé sur le jeu propre (\cref{tab:14:modeles}).367368\emph{Étape 1 : lecture et règles.} Les 618 inscriptions sont lues, les dates typées, les colonnes dérivées (âge, distance au centre) supprimées pour être recalculées. La règle R2 permute dix couples de dates. La règle R1 exclut dix-huit doublons, treize par la clé d'unité normalisée et cinq par les attributs, en conservant chaque fois l'inscription la plus récente : il reste 600 inscriptions, exactement le nombre de ventes du jeu propre. La règle R3 retranche la contrepartie des meubles de huit prix, pour des montants de \dollars{8000} à \dollars{35000}. La règle R4 exclut cinq prix de \dollars{1}, la règle R5 divise douze superficies par 10,7639 et la règle R6 invalide quinze couples de coordonnées. La règle R7 exclut huit ventes déclarées entre personnes liées ou successorales. Il reste 587 inscriptions ; 30 corrections ont été appliquées.369370\emph{Étape 2 : géocodage de repli et imputation.} Les quinze inscriptions sans coordonnées valides reçoivent le centre de leur secteur, avec une précision marquée « centre de secteur » dans une colonne dédiée ; leur distance au centre est recalculée. Les 45 valeurs manquantes (20 terrains, 15 cotes de qualité, 10 années de construction) sont imputées par la médiane de leur cellule secteur $\times$ type. Le modèle hédonique estimé à ce stade a un $R^2$ de 0,755 et un écart-type résiduel de 0,113 : les anomalies grossières ont disparu, mais les six ventes liées non déclarées, à prix divisé par deux, pèsent encore.371372\emph{Étape 3 : scores robustes.} Les scores robustes du logarithme du prix au mètre carré par secteur, du logarithme de la superficie et du logarithme du terrain par secteur, au seuil de 3,5, signalent six inscriptions : quatre ventes liées et deux ventes sincères (\cref{tab:14:exclus}). Il reste 581 inscriptions ; l'écart-type résiduel tombe à 0,090.373374\emph{Étape 4 : régression.} Le modèle de référence est estimé sur les 581 ventes ; deux résidus studentisés externes dépassent 3 en valeur absolue ($-5{,}84$ et $-6{,}70$), et ce sont les deux dernières ventes liées non déclarées. Elles sont exclues ; la seconde itération ne signale plus rien. Le jeu nettoyé compte 579 ventes : les 600 ventes propres moins les 14 ventes liées, moins les 5 prix symboliques, moins les 2 faux positifs des scores robustes.375376\emph{Étape 5 : comparaison des modèles.} Le \cref{tab:14:modeles} aligne cinq estimations. Sur le jeu brut réduit à ses lignes complètes, sans autre traitement, le modèle est détruit : $R^2$ de 0,039, écart-type de 1,231, élasticité de la superficie de 0,20, prédiction du sujet de \dollars{565471}, inférieure de 11 \% à celle du modèle de référence. Les règles seules ramènent l'élasticité à 0,543 et la prédiction à \dollars{634782}, mais laissent un écart-type de 0,113 et un effet temporel surestimé (0,42 \% par mois au lieu de 0,36 \%) parce que les ventes liées se répartissent au hasard dans le temps et bruitent la tendance. Les scores robustes puis la régression achèvent le travail : le modèle nettoyé a un $R^2$ de 0,850 contre 0,853, un écart-type de 0,0837 contre 0,0830, une élasticité de 0,5335 contre 0,5391, et prédit pour le sujet \dollars{637017} contre \dollars{637953}, soit un écart de 0,15 \%. Sur les seize coefficients, l'écart entre le modèle nettoyé et le modèle de référence ne dépasse jamais 0,44 erreur-type ; il tient aux deux faux positifs, aux imputations et aux quinze coordonnées de repli. Le nettoyage n'a pas retrouvé le jeu propre, ce qui est impossible sans la table de vérité ; il a retrouvé le modèle, ce qui est l'objectif.377\end{exemple}378379\begin{figure}[htbp]380\centering381\begin{tikzpicture}[node distance=3.2mm, every node/.style={font=\sffamily\small}, boite/.style={draw=brandPrimary, fill=brandLight, rounded corners=1pt, minimum width=110mm, minimum height=7.5mm, align=center}, fleche/.style={-{Stealth[length=2mm]}, brandGray, thick}]382\node[boite] (a) {Jeu brut : 618 inscriptions, 23 champs};383\node[boite, below=of a] (b) {Règles déterministes R1--R7 : 18 + 5 + 8 exclusions, 30 corrections \hfill $n = 587$};384\node[boite, below=of b] (c) {Géocodage de repli G1 (15) et imputation I1 (45) \hfill $n = 587$};385\node[boite, below=of c] (d) {Scores robustes S1 ($|z| > 3{,}5$) : 6 exclusions \hfill $n = 581$};386\node[boite, below=of d] (e) {Régression E1 ($|t_i| > 3$, deux itérations) : 2 exclusions \hfill $n = 579$};387\node[boite, below=of e, fill=brandSecondary!30] (f) {Jeu nettoyé + journal (144 lignes : étape, inscription, action, motif, avant, après)};388\foreach \i/\j in {a/b, b/c, c/d, d/e, e/f} \draw[fleche] (\i) -- (\j);389\node[right=2mm of b, text=brandGray, font=\sffamily\footnotesize, align=left] {exact, explicable};390\node[right=2mm of d, text=brandGray, font=\sffamily\footnotesize, align=left] {univarié};391\node[right=2mm of e, text=brandGray, font=\sffamily\footnotesize, align=left] {conditionnel};392\end{tikzpicture}393\caption{La chaîne de traitement du cas 1 : des règles exactes vers des statistiques de plus en plus conditionnelles, chaque étape étant journalisée. Les effectifs sont ceux de l'exemple intégral.}\label{fig:14:pipeline}394\figsource{schéma de l'auteur ; effectifs de \texttt{analysis/python/cases/ch14\_nettoyage.py}.}395\end{figure}396397\begin{table}[htbp]398\caption{Le modèle hédonique de référence réestimé à chaque étape du nettoyage et sur le jeu propre (données synthétiques)}\label{tab:14:modeles}399\centering400\let\small\footnotesize\setlength{\tabcolsep}{2.5pt}401\begin{tabular}{lS[table-format=3.0]S[table-format=1.3]S[table-format=1.4]S[table-format=1.4]S[table-format=1.4]S[table-format=1.4]S[table-format=1.2]S[table-format=1.4]S[table-format=6.0]}402\toprule403Jeu & {$n$} & {$R^2$} & {$\sigma$} & {$\hat\beta_{\ln S}$} & {e.-t.} & {$\hat\beta_{\text{qual.}}$} & {Mois (\%)} & {$\hat\beta_{\text{Aylm.}}$} & {Préd. (\$)} \\404\midrule405Brut, lignes complètes & 573 & 0.039 & 1.2311 & 0.2009 & 0.0757 & 0.0569 & 0.18 & 0.0212 & 565471 \\406Après règles, G1, I1 & 587 & 0.755 & 0.1132 & 0.5432 & 0.0161 & 0.0536 & 0.42 & 0.1166 & 634782 \\407Après scores S1 & 581 & 0.832 & 0.0897 & 0.5377 & 0.0144 & 0.0570 & 0.36 & 0.1008 & 636062 \\408Après régression E1 & 579 & 0.850 & 0.0837 & 0.5335 & 0.0132 & 0.0598 & 0.36 & 0.0841 & 637017 \\409\midrule410Jeu propre de référence & 600 & 0.853 & 0.0830 & 0.5391 & 0.0127 & 0.0611 & 0.36 & 0.0854 & 637953 \\411\bottomrule412\end{tabular}413\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{comparer\_modeles}) ; modèle \texttt{traite.cas1.hedonique}, erreurs-types HC1 ; prédiction du sujet avec correction de Duan}}414\end{table}415416\section{Journalisation et reproductibilité}\label{sec:14:journal}417418Le nettoyage modifie les données sur lesquelles reposent toutes les conclusions du rapport ; il doit donc être aussi traçable qu'un calcul de valeur. Le \motcle{journal d'exclusions} est le document qui rend cette traçabilité possible. Celui du cas 1 compte 144 lignes et sept champs : la version de la chaîne de traitement, l'étape, l'identifiant de l'inscription, l'action (exclusion, correction, imputation), le motif en clair, le champ modifié, et les valeurs avant et après. Il permet de répondre à trois questions que posera tout réviseur. Pourquoi cette vente n'est-elle pas dans l'analyse ? Le journal donne la règle ou le score qui l'a écartée. Pourquoi ce prix diffère-t-il de l'acte ? Le journal montre la contrepartie des meubles retranchée. Combien d'observations ont été imputées, et comment ? Le journal les énumère. La reproductibilité exige en outre que trois choses soient fixées et déclarées : la \emph{graine} de tout tirage aléatoire (ici 20261031, utilisée pour construire le jeu brut et pour la simulation de géocodage), les \emph{versions} des données sources et du code (la date d'extraction, la version de la chaîne inscrite dans chaque ligne du journal, les versions des bibliothèques), et les \emph{seuils} (\dollars{5000}, \msq{450}, 3,5, 3, deux itérations) arrêtés avant l'examen des données et non après. Le test automatisé \texttt{test\_ch14.py} vérifie que le jeu brut se régénère à l'identique, que les effectifs de chaque étape sont ceux du texte et que les identités algébriques des diagnostics tiennent ; c'est la forme la plus exigeante de la reproductibilité, et la seule qui survive au départ de l'analyste.419420\begin{pratique}421Un dossier de nettoyage défendable comporte : la description des sources avec leur date d'extraction et leur licence ; la liste ordonnée des règles, avec le test, l'action et le nombre d'inscriptions touchées ; les variables, l'échelle et les seuils des scores robustes ; le modèle utilisé pour les diagnostics de régression, le seuil et le nombre d'itérations ; la technique de géocodage de chaque vente et le taux d'appariement au rôle par palier ; la méthode d'imputation et le nombre de valeurs imputées par champ ; le journal d'exclusions ; la graine et les versions ; et une analyse de sensibilité aux seuils. Les Normes de pratique professionnelle de l'Ordre exigent que le rapport permette au lecteur de comprendre et de vérifier le raisonnement \parencite{oeaqNormes}, et le règlement sur la tenue des dossiers que les pièces soient conservées \parencite{tenuedossiersoeaq} ; le journal est la pièce qui satisfait l'une et l'autre pour la partie « données » du mandat.422\end{pratique}423424\section{Sensibilité aux seuils}\label{sec:14:sensibilite}425426Les seuils des scores robustes et des résidus studentisés sont des décisions, et le \cref{tab:14:sensibilite} mesure ce qu'elles coûtent. La chaîne du cas 1 a été réexécutée pour quatre seuils de score robuste (2,5 ; 3 ; 3,5 ; 4) et trois seuils de résidu (2,5 ; 3 ; 3,5), et pour chaque combinaison on compte les exclusions des étapes S1 et E1, les ventes liées non déclarées détectées (sur six), les ventes sincères exclues à tort, et l'on relève l'écart-type résiduel et la prédiction du sujet. La \cref{fig:14:sensibilite} en trace l'essentiel.427428\begin{table}[htbp]429\caption{Sensibilité de la chaîne de traitement aux seuils du score robuste et du résidu studentisé (données synthétiques)}\label{tab:14:sensibilite}430\centering431\let\small\footnotesize\setlength{\tabcolsep}{3pt}432\begin{tabular}{S[table-format=1.1]S[table-format=1.1]S[table-format=2.0]S[table-format=2.0]S[table-format=1.0]S[table-format=2.0]S[table-format=3.0]S[table-format=1.4]S[table-format=6.0]}433\toprule434{Seuil $|z|$} & {Seuil $|t_i|$} & {Excl. S1} & {Excl. E1} & {Liées / 6} & {Faux pos.} & {$n$ final} & {$\sigma$} & {Préd. (\$)} \\435\midrule4362.5 & 2.5 & 33 & 8 & 6 & 22 & 546 & 0.0783 & 633813 \\4372.5 & 3.0 & 33 & 1 & 6 & 19 & 553 & 0.0816 & 633841 \\4383.0 & 2.5 & 11 & 10 & 6 & 7 & 566 & 0.0796 & 637527 \\4393.0 & 3.0 & 11 & 1 & 6 & 3 & 575 & 0.0836 & 636573 \\4403.5 & 2.5 & 6 & 10 & 6 & 6 & 571 & 0.0802 & 638159 \\4413.5 & 3.0 & 6 & 2 & 6 & 2 & 579 & 0.0837 & 637017 \\4424.0 & 2.5 & 3 & 10 & 6 & 3 & 574 & 0.0806 & 638476 \\4434.0 & 3.0 & 3 & 3 & 6 & 0 & 581 & 0.0838 & 637349 \\444\bottomrule445\end{tabular}446\tabsource{\synth{analysis/python/cases/ch14\_nettoyage.py (fonction \texttt{sensibilite\_seuils}) ; les combinaisons avec un seuil de résidu de 3,5 coïncident avec celles à 3,0 et sont omises ; ligne de référence du chapitre : 3,5 et 3,0}}447\end{table}448449\begin{figure}[htbp]450\centering451\includegraphics[width=\textwidth]{ch14/ch14-fig-sensibilite-seuils.pdf}452\caption{À gauche, faux positifs et ventes liées détectées selon le seuil du score robuste, pour deux seuils de résidu studentisé ; à droite, écart-type résiduel du modèle nettoyé. Les six ventes liées sont détectées quels que soient les seuils ; des seuils plus sévères n'achètent qu'une baisse artificielle de l'écart-type au prix de ventes sincères écartées.}\label{fig:14:sensibilite}453\figsource{\synth{analysis/python/figures/ch14\_figures.py}}454\end{figure}455456Deux enseignements se dégagent. Le premier est rassurant : les six ventes liées non déclarées sont détectées pour toutes les combinaisons, parce que le relais entre scores univariés et diagnostics conditionnels est robuste au seuil de chacun ; ce qu'un seuil tolérant laisse passer à l'étape S1, l'étape E1 le rattrape. Le second est une mise en garde : les seuils sévères n'améliorent pas la détection, ils fabriquent des faux positifs, vingt-deux pour la combinaison la plus sévère, et l'écart-type résiduel qui en résulte, 0,078 au lieu de 0,083, n'est pas une mesure plus précise du marché mais une mesure d'un marché amputé de ses ventes les plus dispersées. Un évaluateur qui rapporterait cet écart-type sous-estimerait l'incertitude de ses prédictions. Entre les seuils 3 et 4 pour le score et 3 et 3,5 pour le résidu, la prédiction du sujet varie de \dollars{636573} à \dollars{637349}, soit 0,1 \% ; c'est la plage dans laquelle le choix des seuils est à peu près indifférent, et c'est là qu'il faut se placer. Le seuil de résidu de 2,5 est, dans ce jeu, clairement trop bas : il exclut dix ventes à l'étape E1, dont au moins sept sincères, et il faudrait une raison documentée pour chacune.457458\begin{erreurs}459\begin{itemize}460\item \emph{Détecter les aberrations avec la moyenne et l'écart-type.} Les anomalies gonflent l'écart-type et se masquent ; dans le secteur Hull du cas 1, le score classique ne repère que les deux prix à un dollar, le score robuste en signale dix. Toujours la médiane et le MAD.461\item \emph{Calculer un score sur la mauvaise variable.} Un score sur le prix total confond taille et anomalie ; un score sur le prix au mètre carré sans distinguer les secteurs confond localisation et anomalie. La variable doit être celle dont la dispersion légitime est la plus faible.462\item \emph{Corriger sans connaître le mécanisme.} Diviser par 10,7639 toute superficie « trop grande » sans vérifier que le résultat est plausible, ou remplacer une coordonnée nulle par une moyenne sans le marquer, transforme une erreur visible en erreur invisible.463\item \emph{Oublier la contrepartie des meubles et la date de la promesse.} Le prix de l'acte n'est pas toujours le prix de l'immeuble, et la date de l'acte n'est pas la date du prix.464\item \emph{Nettoyer vers le modèle.} Exclure itérativement tout ce que le modèle explique mal produit un écart-type résiduel flatteur et une sous-estimation de l'incertitude ; seuil déclaré, itérations bornées, explication documentée pour chaque exclusion.465\item \emph{Traiter l'influence comme une faute.} Une maison atypique à fort levier et au prix conforme au marché est une observation précieuse, pas une anomalie ; la distance de Cook désigne ce qu'il faut vérifier, pas ce qu'il faut exclure.466\item \emph{Géocoder au code postal pour un modèle spatial.} Les trois quarts des voisins changent avec un centroïde urbain ; la matrice de poids ne décrit plus le voisinage réel.467\item \emph{Supprimer les lignes incomplètes par défaut.} La suppression par liste perd 8 \% de l'échantillon du cas 1 et n'est sans biais que si le manque est complètement aléatoire ; imputer et déclarer.468\end{itemize}469\end{erreurs}470471\begin{limites}472\begin{itemize}473\item Le jeu brut est synthétique et ses anomalies ont été injectées selon des lois simples et connues ; les anomalies réelles sont plus variées (prix incluant des travaux à venir, ventes multiples en un acte, copropriétés indivises, erreurs de secteur) et leurs proportions ne sont pas celles du jeu. Aucune statistique publique sur la fréquence des anomalies dans les bases québécoises n'a été trouvée ; les proportions utilisées sont pédagogiques.474\item Les écarts-types d'erreur de position du \cref{tab:14:geocodage} sont des hypothèses respectant la hiérarchie des techniques décrite dans la littérature, non des mesures sur des géocodeurs québécois ; la précision réelle d'Adresses Québec, du Référentiel québécois des adresses et des centroïdes de code postal n'a pas été mesurée pour cet ouvrage.475\item Le seuil de \dollars{5000} et la règle d'épuration à deux écarts-types proviennent du règlement sur la proportion médiane, conçu pour les études de ratios de l'évaluation municipale ; leur transposition à l'évaluation privée est une convention, non une exigence.476\item La chaîne applique l'imputation avant les scores robustes et la régression ; l'ordre inverse est défendable et donnerait des effectifs légèrement différents. L'imputation multiple n'a pas été mise en œuvre.477\item Les fiches Données Québec consultées pour Adresses Québec et le Référentiel québécois des adresses annoncent une transition de produits jusqu'à la fin de 2026 ; les noms et l'offre de services décrits ici peuvent avoir changé à la lecture.478\item Les références de Hampel (1974), Cook (1977), Fellegi et Sunter (1969), Rubin (1976), Rousseeuw et Croux (1993) et Leys et coauteurs (2013) ont été vérifiées par leur identifiant numérique d'objet mais ne figurent pas encore dans la bibliographie générale de l'ouvrage ; elles sont consignées dans le registre du chapitre.479\end{itemize}480\end{limites}481482\begin{synthese}483\begin{itemize}484\item Erreur de donnée, transaction non représentative, valeur aberrante et observation influente sont quatre choses différentes ; la première se corrige, la deuxième s'exclut ou s'ajuste, la troisième se détecte dans une métrique robuste, la quatrième se vérifie.485\item Une contamination de proportion $\varepsilon$ et d'ampleur $\delta$ biaise la moyenne de $\varepsilon\delta$ sans borne ; la médiane et le MAD ont un point de rupture de 50 \%. Le score robuste $z = (x - \text{méd})/(1{,}4826\,\text{MAD})$ est comparable à un score classique sous normalité et ne se masque pas.486\item Les règles déterministes viennent d'abord et corrigent seulement ce dont le mécanisme est connu ; les scores robustes repèrent les aberrations univariées ; les résidus studentisés externes repèrent les ventes anormales conditionnellement au modèle ; la distance de Cook $D_i = r_i^2 h_{ii}/(k(1-h_{ii}))$ désigne les ventes à vérifier.487\item Sur le cas 1, cinq prix à un dollar suffisent à détruire le modèle ($R^2$ de 0,04) ; la chaîne complète le retrouve à moins de 0,44 erreur-type sur chaque coefficient et à 0,15 \% sur la prédiction du sujet.488\item La précision du géocodage compte peu pour les variables de distance et beaucoup pour les structures de voisinage ; la technique doit être conservée par vente.489\item L'appariement au rôle procède par paliers (clé exacte, clé normalisée, attributs avec blocage et unicité) ; la couverture passe de 59 à 99 \% sans faux appariement sur le cas 1 ; les données caviardées ne doivent pas être réidentifiées.490\item Les valeurs manquantes s'imputent par médiane conditionnelle, régression ou avec indicateur, après réflexion sur le mécanisme de manque ; la suppression par liste est le pire choix par défaut.491\item Graine, versions, seuils déclarés d'avance et journal d'exclusions sont les conditions de la reproductibilité ; une analyse de sensibilité aux seuils fait partie du dossier.492\end{itemize}493\end{synthese}494495\section*{Exercices}496\addcontentsline{toc}{section}{Exercices}497498\begin{exercice}[1]{Score robuste et score classique}{ex:14:1}499Neuf ventes d'un même secteur ont les prix au mètre carré habitable suivants : \num{3150}, \num{3320}, \num{3080}, \num{3410}, \num{3260}, \num{3190}, \num{3370}, \num{3240} et \num{5980} \$/m\textsuperscript{2}. Calculez la médiane, l'écart absolu médian et le score robuste \eqref{eq:14:zrobuste} de chaque vente, puis la moyenne, l'écart-type et le score classique. Laquelle des deux méthodes signale la neuvième vente au seuil de 3,5 ? Expliquez l'écart entre les deux scores de cette vente.500\end{exercice}501502\begin{exercice}[1]{Règles et journal}{ex:14:2}503Pour chacune des inscriptions suivantes, indiquez la règle du \cref{tab:14:regles} qui s'applique, l'action (correction, exclusion, signalement) et la ligne de journal à écrire : (a) prix déclaré de \dollars{1} ; (b) superficie habitable de \num{1776} dans un champ en mètres carrés, pour une maison de quatre chambres ; (c) date d'acte du 15 mars 2026 et date de promesse du 2 mai 2026 ; (d) prix de \dollars{515000} dont \dollars{15000} de meubles déclarés ; (e) latitude et longitude égales à zéro ; (f) mention « succession » dans le type de transaction. Quelle superficie en mètres carrés la correction (b) produit-elle ?504\end{exercice}505506\begin{exercice}[2]{Levier, résidu studentisé et distance de Cook}{ex:14:3}507Dans une régression semi-logarithmique de $n = 600$ ventes et $k = 16$ régresseurs, d'écart-type résiduel $s = 0{,}083$, une vente a un résidu brut $e_i = -0{,}25$ et un levier $h_{ii} = 0{,}04$. Calculez son résidu studentisé interne, son résidu studentisé externe et sa distance de Cook ; comparez-les aux seuils 3, 3 et $4/n$. La vente serait-elle exclue par la règle E1 du chapitre ? Que faudrait-il faire avant de l'exclure ?508\end{exercice}509510\begin{exercice}[2]{Contamination et point de rupture}{ex:14:4}511Dans un marché où le logarithme du prix a un écart-type de 0,085, 5 \% des ventes d'une base sont des ventes liées conclues à la moitié du prix de marché. À l'aide de l'\cref{eq:14:contamination}, calculez le biais de la moyenne des logarithmes et l'effet correspondant en pourcentage sur le niveau de prix, puis l'écart-type de l'échantillon contaminé. Qu'en est-il de la médiane ? Quelle proportion de ventes liées faudrait-il pour déplacer la médiane ?512\end{exercice}513514\begin{exercice}[2]{Poids d'appariement de Fellegi--Sunter}{ex:14:5}515Trois champs servent à apparier des ventes au rôle : le matricule ($m = 0{,}98$, $u = 0{,}001$), l'année de construction ($m = 0{,}95$, $u = 0{,}05$) et le secteur ($m = 0{,}90$, $u = 0{,}20$). Calculez les poids de concordance et de discordance de chaque champ selon l'\cref{eq:14:fellegi}, puis le poids total d'une paire dont les trois champs concordent, d'une paire dont le matricule et l'année concordent mais pas le secteur, et d'une paire dont le matricule discorde mais dont l'année et le secteur concordent. Si le seuil d'acceptation est fixé à 8 et le seuil de rejet à 0, classez les trois paires.516\end{exercice}517518\begin{exercice}[3]{Sensibilité aux seuils}{ex:14:6}519À l'aide de \texttt{analysis/python/cases/ch14\_nettoyage.py} (fonction \texttt{pipeline}, arguments \texttt{seuil\_mad} et \texttt{seuil\_t}), réexécutez la chaîne du cas 1 avec un seuil de score robuste de 3 et un seuil de résidu de 2,5, puis avec 4 et 3. Pour chaque variante, rapportez le nombre de ventes exclues aux étapes S1 et E1, le nombre de ventes liées non déclarées détectées, le nombre de ventes sincères exclues à tort (en vous servant de la table de vérité), l'écart-type résiduel et la prédiction du sujet. Rédigez une note de 150 mots sur le choix des seuils que vous recommanderiez pour un mandat réel, où la table de vérité n'existe pas.520\end{exercice}521522\begin{exercice}[3]{Mécanisme de manque et imputation}{ex:14:7}523Modifiez la fonction \texttt{generer\_brut} du script pour que les vingt terrains manquants ne soient plus tirés au hasard mais choisis parmi les vingt plus petits terrains du jeu (mécanisme MNAR), puis réexécutez \texttt{comparer\_imputations}. Comparez le coefficient du terrain et la prédiction du sujet sous les quatre traitements à ceux du \cref{tab:14:imputation}. Le coefficient de l'indicateur de terrain manquant change-t-il de signe ou d'ampleur ? Expliquez pourquoi la suppression par liste et l'imputation par la médiane conditionnelle sont toutes deux biaisées dans ce cas, et laquelle l'est le plus.524\end{exercice}525526\section*{Pour aller plus loin}527\addcontentsline{toc}{section}{Pour aller plus loin}528529Le protocole de préparation des données immobilières de \textcite{krauseLipscomb2016} est le point de départ naturel : il passe en revue, pour un public d'évaluateurs et de chercheurs, les étapes de collecte, de nettoyage, de géocodage et de documentation, et il insiste sur la traçabilité des décisions. Sur le géocodage, \textcite{zandbergen2008} compare les techniques par point d'adresse, par parcelle et par interpolation de rue et quantifie leurs erreurs, tandis que \textcite{ratcliffe2001} montre ce que ces erreurs font aux affectations cadastrales et censitaires ; les deux articles sont indispensables avant d'estimer un modèle spatial, et \textcite{dubin1998} fournit l'introduction à l'autocorrélation spatiale qui explique pourquoi la composition du voisinage importe tant. La segmentation du marché, qui conditionne les cellules dans lesquelles les scores robustes et les médianes conditionnelles sont calculés, est traitée par \textcite{goodmanThibodeau1998} et \textcite{bourassa1999} et développée au \cref{ch:15}. Pour l'inférence en présence de données manquantes et de sélection, \textcite{wooldridge2010} est la référence théorique et \textcite{gelmanHill2007} le guide pratique de l'imputation. Les normes de l'évaluation de masse, \textcite{iaaomass2025} et \textcite{iaaoratio2013}, codifient l'épuration des ventes pour les études de ratios et sont le pendant international du règlement québécois sur la proportion médiane \parencite{reglpropmed} ; \textcite{gloudemansAlmy2011} en donnent l'exposé pédagogique. Enfin, les articles fondateurs de la statistique robuste et des diagnostics de régression, Hampel (1974) sur la fonction d'influence, Cook (1977) sur la distance qui porte son nom, Rousseeuw et Croux (1993) sur les estimateurs d'échelle, ainsi que Fellegi et Sunter (1969) sur l'appariement et Rubin (1976) sur les mécanismes de manque, sont consignés avec leurs identifiants dans le registre du chapitre en vue de leur intégration à la bibliographie générale.530