spb/traite-evaluation-qc

1\chapter{Apprentissage automatique et explicabilité}\label{ch:37}23Les chapitres précédents de cette partie ont étendu le modèle hédonique dans trois directions : les indices et les ventes répétées (\cref{ch:35}), les données de panel et l'identification causale (\cref{ch:36}), et, plus tôt, la dépendance spatiale (\cref{ch:19}). Toutes ces extensions gardent la forme d'une régression dont l'analyste écrit l'équation. Le présent chapitre examine ce qui se passe lorsqu'on renonce à écrire l'équation et qu'on laisse un algorithme la découvrir : arbres de régression, forêts aléatoires et \emph{gradient boosting} sont aujourd'hui les méthodes les plus utilisées dans les modèles d'évaluation automatisés (AVM) des prêteurs, des portails immobiliers et de plusieurs administrations fiscales, et l'évaluateur agréé les rencontre à la fois comme outils et comme adversaires, lorsqu'une valeur produite par une « boîte noire » lui est opposée. L'objectif est double. Il s'agit d'abord de comprendre ces méthodes assez bien pour les estimer, les valider et en lire les hyperparamètres, ce qui exige une dérivation du boosting comme descente de gradient dans l'espace des fonctions et une discussion serrée de la validation croisée, en particulier lorsque les données sont organisées dans l'espace et dans le temps. Il s'agit ensuite de les rendre explicables, par les valeurs de Shapley, la dépendance partielle et l'importance par permutation, parce qu'une prédiction qu'on ne peut pas expliquer n'est pas une opinion de valeur au sens des normes professionnelles. L'exemple intégral oppose, sur les 600 ventes synthétiques du cas 1, le modèle hédonique de référence du \cref{ch:18} à une forêt et à deux algorithmes de boosting ; comme la loi qui a engendré ces ventes est connue et additive en logarithme, le lecteur verra l'hédonique bien spécifié l'emporter, puis, lorsqu'une non-linéarité déclarée est introduite dans le jeu, le boosting prendre l'avantage et l'explicabilité servir à respécifier le modèle économétrique. Les méthodes bayésiennes (\cref{ch:39}) et la simulation (\cref{ch:40}) complètent la partie.45\begin{objectifs}6À la fin de ce chapitre, le lecteur sait :7\begin{itemize}8\item distinguer la prédiction de l'inférence, décomposer l'erreur de prédiction en biais et variance, et situer les arbres, les forêts aléatoires et le boosting dans cet arbitrage ;9\item dériver le gradient boosting comme une descente de gradient fonctionnelle, lire ses hyperparamètres (profondeur, taux d'apprentissage, nombre d'arbres, sous-échantillonnage, taille des feuilles) et reconnaître le surapprentissage sur une courbe d'apprentissage ;10\item concevoir une validation croisée honnête, aléatoire, spatiale par secteur et temporelle, repérer les fuites de données et mesurer la performance par la racine de l'erreur quadratique en logarithme, l'erreur absolue médiane et les statistiques de ratio de l'IAAO ;11\item définir les valeurs de Shapley par leurs axiomes, les calculer pour un modèle d'arbres par TreeSHAP, produire et lire un graphique en essaim, une cascade pour un sujet, une courbe de dépendance partielle et une importance par permutation ;12\item comparer, sur un même jeu de ventes, un modèle hédonique et des modèles d'arbres, comprendre pourquoi un modèle économétrique bien spécifié résiste et dans quelles conditions l'apprentissage gagne ;13\item situer les modèles d'évaluation automatisés dans les normes de l'IAAO et dans le cadre québécois, et énoncer leurs limites : extrapolation hors support, dérive temporelle, équité et opacité devant un tribunal.14\end{itemize}15\end{objectifs}1617\section{Prédire n'est pas estimer}\label{sec:37:prediction}1819\subsection{Deux questions, deux critères}2021L'économétrie du \cref{ch:18} cherche des paramètres : l'élasticité de la superficie, la prime d'un secteur, la dépréciation annuelle. Elle juge un modèle à la précision et à l'absence de biais de ces paramètres, et les diagnostics qu'elle déploie (hétéroscédasticité, colinéarité, observations influentes) servent cette fin. L'apprentissage automatique supervisé pose une autre question : étant donné un vecteur de caractéristiques $\mathbf{x}$, quelle est la meilleure prédiction $\hat f(\mathbf{x})$ du prix d'un logement que l'on n'a pas encore vu ? Le critère est alors le \motcle{risque de prédiction} (en anglais \emph{generalization error}), l'erreur attendue sur une nouvelle vente tirée de la même population,22\begin{equation}\label{eq:37:risque}23R(f) = \E\!\left[\big(Y - f(\mathbf{X})\big)^{2}\right],24\end{equation}25où l'espérance porte sur la loi jointe de $(\mathbf{X}, Y)$ et où $Y$ est, dans tout ce chapitre, le logarithme du prix. \textcite{mullainathanSpiess2017} ont résumé la différence par une formule : l'économètre veut $\hat\beta$, l'apprentissage veut $\hat y$. La distinction n'est pas une opposition de camps mais une question de mandat. L'évaluateur qui dérive des ajustements pour une grille de comparaison (\cref{ch:17}) a besoin de $\hat\beta$ ; celui qui produit une valeur pour le sujet, ou mille valeurs pour un rôle, a besoin de $\hat y$ ; et celui qui dépose une opinion de valeur devant un tiers a besoin des deux, parce qu'une prédiction sans explication n'est pas défendable. \textcite{atheyImbens2019} ont montré ce que l'économie peut retenir de ces méthodes : une discipline de validation hors échantillon que la régression classique néglige, des formes fonctionnelles flexibles, et des outils pour détecter l'hétérogénéité, dont les forêts causales de \textcite{wagerAthey2018} sont l'exemple le plus abouti.2627\subsection{La décomposition biais-variance}2829Le risque \eqref{eq:37:risque} d'un estimateur $\hat f$ obtenu à partir d'un échantillon d'apprentissage se décompose, en un point $\mathbf{x}_0$, en trois termes :30\begin{equation}\label{eq:37:biais-variance}31\E\!\left[\big(Y - \hat f(\mathbf{x}_0)\big)^{2}\right] = \underbrace{\big(f(\mathbf{x}_0) - \E[\hat f(\mathbf{x}_0)]\big)^{2}}_{\text{biais}^2} + \underbrace{\Var\big(\hat f(\mathbf{x}_0)\big)}_{\text{variance}} + \underbrace{\sigma^{2}}_{\text{bruit}},32\end{equation}33où $f(\mathbf{x}) = \E[Y \mid \mathbf{X} = \mathbf{x}]$ est la vraie fonction de régression, l'espérance et la variance portant sur les échantillons d'apprentissage possibles. Le troisième terme est le bruit de transaction, irréductible, que le \cref{ch:18} a mesuré à $\sigma \approx 0{,}083$ sur le cas 1 et qu'aucun modèle ne peut abaisser. Les deux premiers s'échangent : un modèle rigide, comme une régression à peu de paramètres, a un biais possiblement élevé si sa forme est fausse mais une variance faible ; un modèle souple, comme un arbre profond, peut approcher n'importe quelle fonction mais sa prédiction en un point dépend fortement de l'échantillon tiré. \textcite{hastieTibshiraniFriedman2009} en font le fil conducteur de tout l'apprentissage statistique : les méthodes de ce chapitre sont des manières de réduire la variance d'un estimateur souple (moyennage, dans les forêts) ou de contrôler sa souplesse pas à pas (boosting avec rétrécissement), et la validation croisée est l'instrument qui mesure où l'on se trouve dans l'arbitrage. Une conséquence mérite d'être énoncée dès maintenant : si la vraie fonction est additive en logarithme, ce qui est le cas des ventes synthétiques du cas 1 et une approximation raisonnable de bien des marchés homogènes, le modèle semi-logarithmique du \cref{ch:18} a un biais nul et une variance minimale, et aucune méthode souple ne peut le battre en espérance ; elle ne peut que s'en approcher. C'est l'enseignement central de l'exemple intégral.3435\section{Arbres, forêts aléatoires et boosting}\label{sec:37:arbres}3637\subsection{L'arbre de régression}3839Un \motcle{arbre de régression} (\emph{regression tree}) partitionne l'espace des caractéristiques en $M$ régions rectangulaires $R_1, \dots, R_M$ par une suite de divisions binaires, chacune portant sur une seule variable et un seul seuil, et prédit dans chaque région une constante, la moyenne des observations qui y tombent :40\begin{equation}\label{eq:37:arbre}41\hat f(\mathbf{x}) = \sum_{m=1}^{M} \hat c_m\, \mathbb{1}\{\mathbf{x} \in R_m\}, \qquad \hat c_m = \frac{1}{n_m}\sum_{i : \mathbf{x}_i \in R_m} y_i .42\end{equation}43La construction est gloutonne : à chaque nœud, l'algorithme examine toutes les variables $j$ et tous les seuils $s$ et retient la division qui réduit le plus la somme des carrés des écarts,44\begin{equation}\label{eq:37:division}45(j^{\ast}, s^{\ast}) = \argmin_{j, s}\ \Bigg[\sum_{i : x_{ij} \le s} (y_i - \bar y_{\text{g}})^{2} + \sum_{i : x_{ij} > s} (y_i - \bar y_{\text{d}})^{2}\Bigg],46\end{equation}47où $\bar y_{\text{g}}$ et $\bar y_{\text{d}}$ sont les moyennes des deux groupes, puis recommence dans chaque fils jusqu'à ce qu'un critère d'arrêt soit atteint : profondeur maximale, nombre minimal d'observations par feuille, ou gain minimal. L'arbre a trois vertus pour l'évaluateur. Il est invariant aux transformations monotones des variables, de sorte qu'il est indifférent d'entrer la superficie en mètres carrés ou en logarithme ; il capte naturellement les interactions, puisqu'une division sur l'âge dans la branche des maisons de qualité élevée agit différemment de la même division dans la branche des maisons modestes ; et il se lit comme un arbre de décision, ce que la \cref{fig:37:arbre} illustre sur les 600 ventes du cas 1. Il a un défaut rédhibitoire : sa variance. Deux échantillons voisins produisent des arbres aux divisions différentes dès la racine, et la prédiction en un point saute d'une constante à une autre. L'arbre de profondeur 3 de la figure, avec ses huit feuilles, prédit un même prix d'environ \dollars{473000} pour toutes les maisons de 117 à \msq{147} situées à moins de 25 kilomètres du centre, quels que soient leur âge, leur qualité et leur secteur, ce qui n'est évidemment pas la fonction de prix du \cref{ch:18}, et son erreur hors échantillon le dit (\cref{sec:37:exemple}).4849\begin{figure}[htbp]50\centering51\includegraphics[width=\textwidth]{ch37/ch37-fig-arbre.pdf}52\caption{Arbre de régression de profondeur 3 estimé sur le logarithme du prix des 600 ventes du cas 1 (feuilles d'au moins cinq ventes). La première division porte sur la superficie habitable (147,5 m²), les suivantes sur la distance au centre, la latitude, de nouveau la superficie et le terrain ; chaque feuille prédit une constante, convertie ici en dollars. Huit prix possibles pour six cents maisons : l'arbre est lisible mais grossier.}\label{fig:37:arbre}53\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}54\end{figure}5556\subsection{Moyenner des arbres : bagging et forêts aléatoires}5758Le remède à la variance d'un arbre est d'en estimer beaucoup et de les moyenner. Le \emph{bagging} (\emph{bootstrap aggregating}) tire $B$ échantillons bootstrap de l'échantillon d'apprentissage, estime un arbre profond sur chacun et prédit par la moyenne des $B$ prédictions. La \motcle{forêt aléatoire} (\emph{random forest}) de \textcite{breiman2001} ajoute une seconde source de hasard : à chaque division, seul un sous-ensemble de $m$ variables tirées au hasard parmi les $p$ disponibles est candidat. La raison tient à une identité élémentaire. Si les $B$ arbres ont chacun une variance $\sigma_a^2$ en un point et une corrélation deux à deux $\rho$, la variance de leur moyenne est59\begin{equation}\label{eq:37:variance-foret}60\Var\!\left(\frac{1}{B}\sum_{b=1}^{B} \hat f_b(\mathbf{x}_0)\right) = \rho\,\sigma_a^{2} + \frac{1 - \rho}{B}\,\sigma_a^{2} .61\end{equation}62Le second terme s'annule lorsque $B$ croît ; le premier ne dépend que de la corrélation entre arbres. Or des arbres estimés sur des bootstraps du même échantillon se ressemblent, parce qu'ils choisissent presque tous les mêmes variables dominantes à la racine ; restreindre les variables candidates les décorrèle, au prix d'un léger biais pour chaque arbre, et abaisse le plancher $\rho\sigma_a^2$. C'est l'arbitrage biais-variance de l'\cref{eq:37:biais-variance} appliqué à l'ensemble. Les hyperparamètres d'une forêt sont donc le nombre d'arbres $B$, que l'on prend grand sans risque de surapprentissage puisque la moyenne converge, le nombre $m$ de variables par division, souvent $p/3$ en régression, et la taille minimale des feuilles, qui règle la profondeur. Les observations laissées hors du bootstrap d'un arbre, dites \emph{hors sac} (\emph{out-of-bag}), fournissent une estimation gratuite de l'erreur de prédiction, qui joue le rôle d'une validation croisée interne. \textcite{hongChoiKim2020} ont appliqué la forêt aléatoire à l'évaluation de masse des logements de Séoul, et \textcite{paceHayunga2020} ont montré qu'arbres et forêts, appliqués aux résidus d'un modèle hédonique ou spatial, y détectent de l'information structurée que le modèle paramétrique a laissée : la forêt est aussi un diagnostic de spécification.6364\subsection{Le gradient boosting comme descente de gradient fonctionnelle}6566Le \motcle{boosting} procède à l'inverse du bagging : au lieu de moyenner des arbres profonds estimés indépendamment, il additionne séquentiellement des arbres peu profonds, chacun corrigeant les erreurs de la somme des précédents. \textcite{friedman2001} en a donné l'interprétation qui fonde toutes les implémentations modernes : le boosting est une descente de gradient, non dans l'espace des paramètres, mais dans l'espace des fonctions. Soit une fonction de perte $L(y, F)$, par exemple le carré de l'erreur $\tfrac{1}{2}(y - F)^2$, et un modèle additif67\begin{equation}\label{eq:37:boosting}68F_M(\mathbf{x}) = F_0 + \sum_{m=1}^{M} \nu\, h_m(\mathbf{x}), \qquad F_0 = \bar y ,69\end{equation}70où chaque $h_m$ est un arbre de régression de petite taille et $\nu \in (0, 1]$ un \motcle{taux d'apprentissage} (\emph{learning rate}, ou rétrécissement). On cherche à minimiser le risque empirique $\sum_i L(y_i, F(\mathbf{x}_i))$ en $F$. Si l'on pouvait modifier librement les $n$ valeurs $F(\mathbf{x}_i)$, la descente de gradient ferait un pas dans la direction opposée au gradient de la perte par rapport à ces valeurs, c'est-à-dire vers les \motcle{pseudo-résidus}71\begin{equation}\label{eq:37:gradient}72r_{im} = -\left.\frac{\partial L\big(y_i, F(\mathbf{x}_i)\big)}{\partial F(\mathbf{x}_i)}\right|_{F = F_{m-1}}, \qquad \text{soit } r_{im} = y_i - F_{m-1}(\mathbf{x}_i) \text{ pour la perte quadratique.}73\end{equation}74Mais une fonction définie seulement aux $n$ points d'apprentissage ne prédit rien ailleurs ; le boosting projette donc ce gradient sur une classe de fonctions, les arbres, en estimant $h_m$ par moindres carrés sur les pseudo-résidus, puis fait le pas $F_m = F_{m-1} + \nu\, h_m$. Pour la perte quadratique, chaque itération ajuste simplement un petit arbre aux résidus courants ; pour la perte absolue ou la perte de Huber, les pseudo-résidus sont des signes ou des résidus tronqués, ce qui rend l'algorithme robuste aux ventes aberrantes, un avantage que le \cref{ch:14} fait apprécier. Le taux d'apprentissage est le pas de la descente ; un petit pas exige plus d'arbres mais généralise mieux, parce que chaque arbre n'explique qu'une fraction des résidus et que l'ensemble ne s'ajuste pas au bruit d'un coup. Le sous-échantillonnage, qui estime chaque arbre sur une fraction tirée au hasard des observations (\emph{stochastic gradient boosting}), ajoute une régularisation de même nature que le bagging. La profondeur des arbres fixe l'\emph{ordre d'interaction} du modèle : des souches (profondeur 1) produisent un modèle strictement additif en les variables, des arbres de profondeur 2 admettent des interactions de deux variables, et ainsi de suite ; on verra à la \cref{sec:37:sensibilite} que, sur un jeu engendré par une loi additive, les souches sont précisément le meilleur boosting, ce qui n'est pas un hasard.7576\textcite{chenGuestrin2016} ont réécrit cette descente avec un développement au second ordre de la perte et une pénalité explicite sur la complexité des arbres ; c'est l'algorithme XGBoost. À l'itération $m$, l'objectif à minimiser en l'arbre $h$ est77\begin{equation}\label{eq:37:xgb-objectif}78\mathcal{O}_m(h) = \sum_{i=1}^{n}\Big[g_i\, h(\mathbf{x}_i) + \tfrac{1}{2} k_i\, h(\mathbf{x}_i)^{2}\Big] + \gamma\, T + \tfrac{1}{2}\lambda \sum_{t=1}^{T} w_t^{2},79\end{equation}80où $g_i$ et $k_i$ sont les dérivées première et seconde de la perte en $F_{m-1}(\mathbf{x}_i)$ (pour la perte quadratique, $g_i = F_{m-1}(\mathbf{x}_i) - y_i$ et $k_i = 1$), $T$ le nombre de feuilles de l'arbre, $w_t$ la valeur de la feuille $t$, et $\gamma$, $\lambda$ des paramètres de régularisation. L'objectif étant quadratique en $w_t$, la valeur optimale de chaque feuille est $w_t^{\ast} = -\sum_{i \in t} g_i / (\sum_{i \in t} k_i + \lambda)$, et le gain d'une division qui sépare une feuille en une partie gauche $G$ et une partie droite $D$ s'écrit en forme fermée,81\begin{equation}\label{eq:37:xgb-gain}82\text{Gain} = \frac{1}{2}\left[\frac{\big(\sum_{i \in G} g_i\big)^{2}}{\sum_{i \in G} k_i + \lambda} + \frac{\big(\sum_{i \in D} g_i\big)^{2}}{\sum_{i \in D} k_i + \lambda} - \frac{\big(\sum_{i \in G \cup D} g_i\big)^{2}}{\sum_{i \in G \cup D} k_i + \lambda}\right] - \gamma ,83\end{equation}84une division n'étant retenue que si son gain est positif. Avec $\lambda = \gamma = 0$ et la perte quadratique, ce gain est exactement la réduction de la somme des carrés de l'\cref{eq:37:division} appliquée aux résidus : XGBoost est le gradient boosting de Friedman muni d'une régularisation de type ridge sur les feuilles et d'une pénalité sur leur nombre. Le \cref{tab:37:familles} résume les trois familles et leurs hyperparamètres. La leçon pratique est que ces hyperparamètres ne sont pas des détails d'implémentation : la profondeur fixe les interactions que le modèle peut représenter, le taux d'apprentissage et le nombre d'arbres règlent conjointement la quantité de signal absorbée, la taille minimale des feuilles gouverne le comportement aux bords du support, et aucun ne se choisit autrement que par validation.8586\begin{table}[htbp]87\caption{Trois familles de modèles d'arbres : principe, hyperparamètres et comportement}\label{tab:37:familles}88\centering\small89\begin{tabularx}{\textwidth}{lYYY}90\toprule91 & Arbre de régression & Forêt aléatoire & Gradient boosting \\92\midrule93Principe & partition récursive, constante par feuille \eqref{eq:37:arbre} & moyenne de $B$ arbres profonds estimés sur des bootstraps avec $m < p$ variables candidates par division & somme de $M$ petits arbres ajustés séquentiellement aux pseudo-résidus \eqref{eq:37:gradient}, pas $\nu$ \\94Référence & \textcite{hastieTibshiraniFriedman2009}, chap. 9 & \textcite{breiman2001} & \textcite{friedman2001} ; \textcite{chenGuestrin2016} \\95Hyperparamètres & profondeur ; taille min. des feuilles & $B$ ; $m$ ; taille min. des feuilles & $M$ ; $\nu$ ; profondeur ; sous-échantillon ; taille min. des feuilles ; $\lambda$, $\gamma$ (XGBoost) \\96Arbitrage biais-variance & variance très élevée & variance réduite par moyennage ; biais légèrement accru par $m < p$ & biais réduit pas à pas ; variance contrôlée par $\nu$, $M$ et le sous-échantillonnage \\97Surapprentissage & dès que la profondeur croît & peu sensible à $B$ ; sensible à la taille des feuilles & oui, si $M$ trop grand pour $\nu$ ; arrêt précoce par validation \\98Interactions & toutes, implicitement & toutes & d'ordre $\le$ profondeur \\99Extrapolation & constante hors support & constante hors support & constante hors support \\100Valeurs de référence (exemple) & profondeur 3, feuilles $\ge 5$ & 500 arbres, $m = p/2$, feuilles $\ge 2$ & 1 200 arbres de profondeur 2, $\nu = 0{,}03$, sous-échantillon 80 \%, feuilles $\ge 5$ \\101\bottomrule102\end{tabularx}103\tabsource{synthèse de l'auteur d'après les références citées ; valeurs de l'exemple : \texttt{analysis/python/cases/ch37\_ml.py}.}104\end{table}105106\section{Validation, fuites de données et surapprentissage}\label{sec:37:validation}107108\subsection{La validation croisée et ce qu'elle estime}109110Le risque \eqref{eq:37:risque} n'est pas observable ; l'erreur sur l'échantillon d'apprentissage le sous-estime, d'autant plus que le modèle est souple, puisqu'un arbre assez profond reproduit chaque prix observé. La \motcle{validation croisée} à $K$ plis partitionne les $n$ observations en $K$ groupes, estime le modèle $K$ fois en excluant chaque groupe à tour de rôle et prédit les observations exclues par le modèle qui ne les a pas vues :111\begin{equation}\label{eq:37:cv}112\widehat{R}_{\text{CV}} = \frac{1}{n}\sum_{k=1}^{K}\sum_{i \in \mathcal{F}_k}\big(y_i - \hat f^{(-k)}(\mathbf{x}_i)\big)^{2},113\end{equation}114où $\hat f^{(-k)}$ est estimé sans le pli $\mathcal{F}_k$. Chaque observation est prédite exactement une fois, hors échantillon, et la collection des $n$ prédictions ainsi obtenues sert à toutes les métriques de la \cref{sec:37:metriques}. Le choix de $K$ arbitre entre le biais (avec $K$ petit, chaque modèle est estimé sur une fraction réduite des données et le risque est surestimé) et la variance et le coût de calcul ; $K = 10$ est la convention de l'ouvrage, et le \cref{ch:18} l'a déjà appliquée au modèle hédonique de référence, avec les mêmes dix plis que ceux de ce chapitre, tirés avec la graine 20261031 : la comparaison entre modèles porte donc sur des prédictions des mêmes ventes par des modèles estimés sur les mêmes sous-échantillons, ce qui élimine une source de bruit de la comparaison.115116\subsection{Les fuites de données}117118L'\cref{eq:37:cv} n'estime le risque sur une nouvelle vente que si les plis reproduisent la situation dans laquelle le modèle sera utilisé. Toute information qui circule de l'échantillon de test vers l'échantillon d'apprentissage, et que le modèle n'aurait pas eue en situation réelle, est une \motcle{fuite de données} (\emph{data leakage}), et elle rend la validation trop optimiste. Trois fuites menacent l'évaluation immobilière. La première est \emph{temporelle} : un modèle estimé sur des ventes de 2023 à 2026 pour prédire des ventes de 2025 a vu l'avenir ; or l'usage réel est prospectif, le modèle estimé sur le passé prédisant le présent ou l'avenir proche, et la tendance des prix ne se prolonge pas d'elle-même dans un modèle d'arbres. La deuxième est \emph{spatiale} : des ventes voisines partagent des attributs de voisinage non observés (\cref{ch:19}), et si une vente de test a ses voisines immédiates dans l'échantillon d'apprentissage, le modèle, surtout s'il dispose des coordonnées, les retrouve et prédit bien ; mais le sujet d'une évaluation réelle n'a pas toujours un voisin vendu à cent mètres, et un modèle destiné à un secteur peu documenté doit être validé en lui retirant ce secteur. La troisième est une fuite par la \emph{cible} : une variable construite à partir du prix, comme la valeur au rôle lorsque celle-ci a été ajustée sur les ventes connues, ou un indice de quartier calculé avec les prix de l'échantillon complet, transporte le prix de test dans les régresseurs. Dans un article qui a fait date en écologie mais dont la portée est générale, Roberts et ses coauteurs ont montré qu'avec des données structurées dans l'espace, le temps ou une hiérarchie, la validation croisée aléatoire surestime systématiquement la performance et que la validation par \emph{blocs} respectant la structure est la seule honnête \parencite{robertsEtAl2017}. Ce chapitre met en œuvre trois schémas : dix plis aléatoires, qui mesurent la performance \emph{interpolative} dans un marché bien documenté ; dix blocs spatiaux contigus, obtenus en coupant chaque secteur en deux par les $k$-moyennes sur les coordonnées, de sorte que chaque secteur reste représenté à l'estimation mais que le voisinage immédiat d'une vente testée ne l'est jamais ; et une partition temporelle, les 499 ventes de 2023 à 2025 prédisant les 101 ventes de 2026. La \cref{sec:37:exemple} y ajoute, comme épreuve extrême, l'exclusion d'un secteur entier.119120\subsection{Surapprentissage et arrêt précoce}121122Le \motcle{surapprentissage} (\emph{overfitting}) est la situation où un modèle continue d'améliorer son ajustement à l'échantillon d'apprentissage alors que son erreur hors échantillon se dégrade : il apprend le bruit. Pour le boosting, le phénomène se lit sur une \emph{courbe d'apprentissage} qui porte l'erreur d'entraînement et l'erreur de validation croisée contre le nombre d'arbres, et la \cref{fig:37:apprentissage} en montre trois sur le cas 1, pour des arbres de profondeur 1, 2 et 4 avec $\nu = 0{,}03$. L'erreur d'entraînement décroît sans fin ; l'erreur de validation passe par un minimum puis remonte, d'autant plus tôt que les arbres sont profonds : 367 itérations pour la profondeur 4, dont l'erreur d'entraînement finit à 0,012 pour une erreur de validation de 0,097 ; 730 pour la profondeur 2 ; au-delà de 1 200 pour les souches, dont le minimum, 0,089, est aussi le plus bas des trois. L'\motcle{arrêt précoce} (\emph{early stopping}) consiste à retenir le nombre d'arbres qui minimise l'erreur de validation ; c'est l'hyperparamètre le plus important du boosting, et il se lit sur cette courbe. La droite pointillée est l'erreur de validation croisée du modèle hédonique de référence, 0,084 : aucun boosting ne l'atteint, et la \cref{sec:37:exemple} dira pourquoi.123124\begin{figure}[htbp]125\centering126\includegraphics[width=\textwidth]{ch37/ch37-fig-apprentissage.pdf}127\caption{Courbes d'apprentissage du gradient boosting sur les 600 ventes du cas 1 : racine de l'erreur quadratique moyenne du logarithme du prix à l'entraînement (tiretés) et en validation croisée à dix plis (traits pleins) selon le nombre d'arbres, pour des arbres de profondeur 1, 2 et 4 ($\nu = 0{,}03$, sous-échantillon 80 \%, feuilles d'au moins cinq ventes). Le point marque le minimum de l'erreur de validation. Plus les arbres sont profonds, plus tôt le modèle surapprend ; aucune courbe n'atteint l'erreur du modèle hédonique de référence (pointillé).}\label{fig:37:apprentissage}128\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}129\end{figure}130131\subsection{Les métriques}\label{sec:37:metriques}132133Les prédictions hors échantillon sont évaluées par des métriques qui répondent à des questions différentes. La racine de l'erreur quadratique moyenne en logarithme et l'erreur absolue médiane en pourcentage,134\begin{equation}\label{eq:37:metriques}135\mathrm{RMSE}_{\ln} = \sqrt{\frac{1}{n}\sum_{i=1}^{n}\big(\hat y_i - y_i\big)^{2}}, \qquad \mathrm{MdAPE} = \operatorname{méd}_i \abs{\frac{\hat P_i - P_i}{P_i}} ,136\end{equation}137mesurent respectivement la dispersion typique de l'erreur, dans l'unité qui rend les erreurs comparables entre maisons chères et modestes, et l'erreur que subit la vente médiane, insensible aux ventes aberrantes ; la première se compare directement à l'écart-type résiduel $\hat\sigma$ du modèle hédonique et au bruit de génération, la seconde est celle que publient la plupart des fournisseurs d'AVM. Les statistiques de ratio de l'IAAO, le coefficient de dispersion (COD), le différentiel relatif aux prix (PRD) et le biais relatif aux prix (PRB), définies aux \cref{eq:18:cod,eq:18:prd,eq:18:prb} et calculées par \texttt{traite.hedonique.statistiques\_ratio}, mesurent l'uniformité horizontale et verticale des ratios prédit/observé, et c'est en elles que le \emph{Standard on Automated Valuation Models} exprime ses exigences (\cref{sec:37:avm}). Les prédictions en niveau sont retransformées du logarithme avec la correction de Duan \eqref{eq:18:duan} ; pour les modèles d'arbres, dont les résidus d'apprentissage sont artificiellement petits, le facteur est estimé sur les résidus hors échantillon, ce qui donne 1,0034 pour l'hédonique, conforme au 1,00335 du \cref{ch:18}, et de 1,0020 à 1,0078 pour les autres modèles. Enfin, le \emph{biais moyen} en logarithme et la médiane des ratios détectent une erreur de niveau, que les métriques de dispersion ne voient pas et que la validation temporelle fera apparaître.138139\section{Explicabilité : valeurs de Shapley, dépendance partielle, permutation}\label{sec:37:explicabilite}140141\subsection{La valeur de Shapley}142143Un modèle d'arbres n'a pas de coefficients. Pour dire ce qu'il a appris et pourquoi il prédit telle valeur pour tel logement, il faut des outils d'\motcle{explicabilité} (\emph{explainability}) qui s'appliquent à toute fonction $\hat f$, quelle que soit sa forme. Le plus fondé théoriquement vient de la théorie des jeux coopératifs. Lloyd Shapley a posé en 1953 la question du partage équitable du gain d'une coalition entre ses membres \parencite{shapley1953} et a montré qu'une unique règle satisfait quatre axiomes.144145\begin{definition}{Valeur de Shapley}{37:shapley}146Soit un ensemble $N$ de $p$ joueurs et une fonction caractéristique $v : 2^{N} \to \mathbb{R}$ donnant le gain de chaque coalition, avec $v(\varnothing) = 0$. La valeur de Shapley du joueur $j$ est sa contribution marginale moyenne sur toutes les façons d'ordonner les joueurs,147\begin{equation}\label{eq:37:shapley}148\phi_j(v) = \sum_{S \subseteq N \setminus \{j\}} \frac{\abs{S}!\,(p - \abs{S} - 1)!}{p!}\,\big[v(S \cup \{j\}) - v(S)\big].149\end{equation}150C'est l'unique règle de partage qui satisfait l'\emph{efficacité} ($\sum_j \phi_j = v(N)$), la \emph{symétrie} (deux joueurs interchangeables reçoivent la même part), le \emph{joueur nul} (un joueur qui n'ajoute rien à aucune coalition reçoit zéro) et l'\emph{additivité} (la part dans la somme de deux jeux est la somme des parts).151\end{definition}152153\textcite{lundbergLee2017} ont montré que la plupart des méthodes d'explication locale proposées pour les modèles d'apprentissage sont des cas particuliers d'une même classe, les \emph{explications additives}, et que la seule qui respecte les axiomes de Shapley est celle où les joueurs sont les variables, le gain d'une coalition $S$ est la prédiction attendue lorsque seules les variables de $S$ sont connues, $v(S) = \E[\hat f(\mathbf{X}) \mid \mathbf{X}_S = \mathbf{x}_S]$, et la valeur de base est la prédiction moyenne. Les \motcle{valeurs SHAP} (\emph{SHapley Additive exPlanations}) $\phi_j(\mathbf{x})$ d'une observation décomposent alors sa prédiction :154\begin{equation}\label{eq:37:efficacite}155\hat f(\mathbf{x}) = \phi_0 + \sum_{j=1}^{p} \phi_j(\mathbf{x}), \qquad \phi_0 = \E[\hat f(\mathbf{X})] .156\end{equation}157Dans un modèle en logarithme du prix, $\phi_j$ est la contribution de la variable $j$, en points de logarithme, à l'écart entre la prédiction du logement et la prédiction moyenne ; $\exp(\phi_j) - 1$ est l'effet en pourcentage, et la cascade des $\exp(\phi_j)$ depuis $\exp(\phi_0)$ reconstitue le prix prédit. L'analogie avec le modèle hédonique est exacte : dans un modèle linéaire en $\mathbf{x}$, la valeur SHAP de la variable $j$ est $\hat\beta_j (x_j - \bar x_j)$, le prix implicite multiplié par l'écart à la moyenne, de sorte que SHAP généralise la décomposition « maison de référence plus contributions des écarts » du \cref{tab:18:prix-implicites} à des modèles sans coefficients. Le calcul exact de l'\cref{eq:37:shapley} exige $2^{p}$ coalitions, mais \textcite{lundberg2020} ont montré que, pour les modèles d'arbres, les valeurs SHAP se calculent exactement en temps polynomial en parcourant la structure des arbres : c'est l'algorithme \motcle{TreeSHAP}, qui fournit aussi les \emph{valeurs d'interaction} SHAP, décomposant chaque $\phi_j$ en un effet principal et des effets partagés avec chaque autre variable. Deux lectures globales en découlent : l'\emph{importance SHAP}, moyenne de $\abs{\phi_j}$ sur l'échantillon, qui classe les variables par leur contribution absolue moyenne ; et le \emph{graphique en essaim} (\emph{beeswarm}), qui porte pour chaque variable les $n$ valeurs $\phi_j$ colorées par la valeur de la variable, et montre donc à la fois l'ampleur et le sens de l'effet, ainsi que sa non-linéarité éventuelle. Pour un logement unique, la \emph{cascade} (\emph{waterfall}) ordonne les contributions depuis la base jusqu'à la prédiction ; c'est l'explication locale que l'évaluateur peut joindre à un rapport.158159\subsection{Dépendance partielle et importance par permutation}160161La \motcle{dépendance partielle} (\emph{partial dependence}), introduite par \textcite{friedman2001} avec le boosting, répond à une question différente : comment la prédiction varie-t-elle, en moyenne, lorsqu'une variable change et que les autres gardent leurs valeurs observées ?162\begin{equation}\label{eq:37:pdp}163\mathrm{PD}_j(z) = \frac{1}{n}\sum_{i=1}^{n} \hat f\big(z, \mathbf{x}_{i, -j}\big),164\end{equation}165où $\mathbf{x}_{i,-j}$ désigne les autres variables de l'observation $i$. La courbe $z \mapsto \mathrm{PD}_j(z)$ est l'analogue, pour un modèle quelconque, de la courbe de prix selon la superficie que le \cref{ch:18} a tracée pour quatre formes fonctionnelles (\cref{fig:18:formes}) ; pour un modèle additif, elle coïncide, à une constante près, avec la composante de la variable. Elle a deux limites, que \textcite{molnar2025} discute : elle moyenne, et peut donc masquer une interaction (deux sous-populations aux effets opposés donnent une courbe plate), ce à quoi remédient les courbes individuelles d'espérance conditionnelle (ICE), une par observation ; et elle évalue le modèle en des combinaisons de variables qui n'existent pas dans les données lorsque la variable $j$ est corrélée aux autres, par exemple une maison de \msq{260} sur un terrain de \msq{200}, ce qui est une forme d'extrapolation. L'\motcle{importance par permutation}, due aussi à \textcite{breiman2001}, mesure de combien l'erreur de prédiction augmente lorsque les valeurs d'une variable sont mélangées au hasard entre les observations, ce qui rompt son lien avec la cible tout en préservant sa distribution :166\begin{equation}\label{eq:37:permutation}167\mathrm{IP}_j = \E\big[L\big(Y, \hat f(\mathbf{X}^{(\pi_j)})\big)\big] - \E\big[L\big(Y, \hat f(\mathbf{X})\big)\big],168\end{equation}169où $\mathbf{X}^{(\pi_j)}$ est la matrice des régresseurs dont la colonne $j$ a été permutée. Elle est mesurée ici hors échantillon, dans chaque pli de validation, ce qui évite d'attribuer de l'importance à des variables que le modèle utilise pour mémoriser le bruit. Sa limite est la même que celle de la dépendance partielle : lorsque deux variables sont fortement corrélées, permuter l'une crée des observations impossibles et le modèle peut reporter l'information sur l'autre, de sorte que l'importance se partage entre elles de façon instable. L'exemple en donne une illustration nette : les coordonnées, la distance au centre et les indicatrices de secteur portent la même information de localisation, et le boosting l'attribue presque entièrement aux coordonnées, au point que les indicatrices de secteur, qui sont le mécanisme même de la loi de génération, reçoivent une importance nulle. L'explicabilité décrit ce que le modèle fait, pas ce que le marché fait ; la différence est au cœur de la \cref{sec:37:limites}.170171\section{Exemple intégral : hédonique, forêt et boosting sur le cas 1}\label{sec:37:exemple}172173\begin{synthetique}174Les 600 ventes du cas 1 (\texttt{data/synthetic/cas1\_gatineau\_ventes.csv}) sont fictives, engendrées par \texttt{analysis/python/traite/synth.py} (graine 20261031) selon la loi semi-logarithmique additive déclarée dans \texttt{data/synthetic/README.md} et rappelée au \cref{ch:18} : élasticité de 0,55 pour la superficie habitable, 0,10 pour le terrain, polynôme d'âge, effets proportionnels de la qualité et des équipements, primes de secteur calibrées sur les médianes de l'APCIQ \parencite{apciqgatineaut32026}, gradient de distance au-delà de 3 km, tendance temporelle, bruit normal d'écart-type 0,085. Aucune interaction ni rupture n'y figure : c'est ce qui rend l'hédonique bien spécifié imbattable en espérance et ce qui fait de la \cref{sec:37:scenario}, où une interaction et une rupture déclarées sont ajoutées, un contrepoint nécessaire. Les régresseurs offerts aux modèles d'arbres sont les variables brutes (superficie, terrain, âge, qualité, garage, sous-sol, piscine, type, distance au centre, latitude, longitude, mois depuis la date de référence, cinq indicatrices de secteur), sans transformation. Tous les chiffres de cette section et de la suivante sont imprimés par \texttt{analysis/python/cases/ch37\_ml.py} et vérifiés par \texttt{analysis/python/tests/test\_ch37.py} ; les modèles proviennent de scikit-learn 1.6 et de xgboost 3.2, les valeurs SHAP de shap 0.48 (TreeSHAP appliqué au gradient boosting de scikit-learn, la bibliothèque shap ne lisant pas encore le format des modèles de xgboost 3.2). Les plis aléatoires sont ceux de \texttt{ch18\_hedonique.validation\_croisee}.175\end{synthetique}176177\begin{exemple}{Cinq modèles, trois validations, un sujet}{37:ml-cas1}178L'exemple procède en cinq étapes : comparaison des modèles en validation croisée aléatoire ; validation spatiale et temporelle ; exclusion d'un secteur ; explication du boosting par SHAP, dépendance partielle et permutation ; prédiction du sujet par chaque modèle avec sa cascade SHAP.179180\emph{Étape 1 : validation croisée aléatoire.} Le \cref{tab:37:comparaison} rapporte, pour les cinq modèles et les mêmes dix plis, les métriques de la \cref{sec:37:metriques}. Le modèle hédonique de référence reproduit exactement les chiffres du \cref{ch:18} : racine de l'erreur quadratique moyenne de 0,0839 en logarithme et de \dollars{40889} en niveau, erreur absolue médiane de 5,7 \%, COD de 6,83, PRD de 1,007, PRB de $-0{,}059$. L'arbre seul est loin derrière (0,147 ; COD 11,6) : huit constantes ne décrivent pas un marché, et son COD sort même de la plage de 5 à 10 que l'IAAO admet pour l'unifamilial homogène. La forêt aléatoire réduit l'erreur à 0,107 (COD 8,64), ce qui est la réduction de variance de l'\cref{eq:37:variance-foret} à l'œuvre ; le gradient boosting fait mieux, 0,093 (COD 7,42), et XGBoost légèrement mieux encore, 0,092 (COD 7,33), la régularisation des feuilles l'aidant un peu. Mais aucun n'approche l'hédonique, et l'écart n'est pas un détail : l'erreur quadratique du meilleur modèle d'arbres est de 20 \% supérieure à celle de la régression, et son COD de plus d'un demi-point. La \cref{fig:37:erreurs} montre la distribution des erreurs et la \cref{fig:37:predit-observe} les nuages prédit-observé. Deux traits méritent l'attention au-delà des moyennes. D'abord la \emph{régressivité} : le PRB de la forêt est de $-0{,}196$ et celui du boosting de $-0{,}088$, contre $-0{,}059$ pour l'hédonique, et les PRD sont de 1,015 et 1,009 ; les modèles d'arbres surestiment les maisons modestes et sous-estiment les maisons chères, parce que leurs feuilles sont des moyennes locales qui tirent les extrêmes vers le centre, et parce qu'ils ne peuvent prédire au-delà du plus grand prix observé dans une feuille. Le \cref{ch:18} a montré qu'une part du PRB négatif est mécanique ; la part supplémentaire est ici propre aux arbres, et c'est précisément le genre d'iniquité verticale que le Standard on Ratio Studies demande de surveiller. Ensuite le niveau : les médianes des ratios sont toutes comprises entre 0,998 et 1,012, donc aucun modèle n'est biaisé en moyenne dans ce schéma, ce qui ne sera plus vrai en validation temporelle.181182\emph{Étape 2 : validation spatiale et temporelle.} Les colonnes de droite du \cref{tab:37:comparaison} rapportent les deux schémas qui respectent la structure des données. En blocs spatiaux stratifiés par secteur, chaque vente est prédite par un modèle qui n'a vu aucune vente de son demi-secteur ; toutes les erreurs augmentent, mais inégalement : l'hédonique passe de 0,0839 à 0,0857 (COD 7,00), parce que ses indicatrices de secteur restent estimées sur l'autre moitié du secteur et que sa structure additive ne dépend pas du voisinage ; le boosting passe de 0,093 à 0,097 (COD 7,62) et la forêt de 0,107 à 0,112 (COD 8,96), parce que ces modèles avaient tiré une partie de leur performance aléatoire du voisinage immédiat, par les coordonnées, information qui leur est désormais retirée. La validation aléatoire surestimait donc légèrement leur performance, comme l'annonçait la \cref{sec:37:validation}. La partition temporelle est plus sévère encore et révèle une faiblesse structurelle. Les 101 ventes de 2026 prédites par des modèles estimés sur 2023-2025 ont, avec l'hédonique, une erreur de 0,0855 et un biais moyen de $-1{,}0$ \% (médiane des ratios 0,988) : la tendance linéaire estimée sur le passé se prolonge et, dans ce jeu, elle est vraie. Les modèles d'arbres, eux, ne peuvent pas extrapoler : au-delà du dernier mois observé, ils prédisent la constante de la feuille extrême, et leur biais est de $-3{,}4$ \% pour le boosting, $-6{,}0$ \% pour la forêt et $-8{,}5$ \% pour l'arbre, avec des médianes de ratios de 0,966, 0,934 et 0,931, sous la plage de 0,90 à 1,10 pour l'arbre et très près de sa borne pour la forêt. Le biais s'aggrave au fil des mois : pour le boosting, il va de $-4{,}2$ \% en janvier 2026 à $-7{,}6$ \% en août, tandis que celui de l'hédonique oscille entre $-3$ et $+1$ \% sans tendance. Deux remèdes s'imposent et le \cref{tab:37:temporel} les mesure. Le premier est de retirer le temps du modèle d'arbres et de l'estimer séparément : un boosting estimé sur $\ln P - \hat\beta_{\text{mois}}\,\text{mois}$, la tendance étant celle de l'hédonique estimé sur l'échantillon d'apprentissage (0,342 \% par mois), puis la tendance rajoutée, ramène le biais à $-1{,}8$ \% et l'erreur à 0,093 ; c'est la logique des AVM de production, qui séparent l'indice de marché du modèle de niveau (\cref{ch:35}). Le second est de régler la taille minimale des feuilles : avec des feuilles d'une seule vente, la feuille extrême du temps est estimée sur une poignée d'observations, quatorze ventes se situent au-delà du dix-septième mois dans l'échantillon d'apprentissage, et le biais du boosting sur 2026 atteint $-13{,}4$ \% ; avec des feuilles d'au moins cinq ventes, celui du modèle de référence, il est de $-3{,}4$ \%. Un hyperparamètre qui ne change presque rien en validation aléatoire (0,0931 dans les deux cas, \cref{tab:37:sensibilite}) change tout au bord du support.183184\emph{Étape 3 : un secteur exclu.} Le \cref{tab:37:secteurs} pousse la logique spatiale à l'extrême en retirant un secteur entier à l'estimation et en lui demandant une prédiction. Le modèle hédonique n'a, par construction, aucune information sur un secteur absent : son indicatrice est retirée et le secteur est prédit au niveau du secteur de référence (Hull, ou Gatineau lorsque c'est Hull qui est exclu), ce qui est un \emph{jugement} de l'analyste, non un résultat du modèle. Les biais qui en résultent sont exactement les primes de secteur omises : $+23{,}4$ \% pour Buckingham et $+26{,}1$ \% pour Masson-Angers, dont les prix sont bien inférieurs à ceux de Hull, $-5{,}9$ \% pour Aylmer, et presque rien pour Gatineau, dont la médiane est proche de celle de Hull ; le COD global monte à 10,44. Les modèles d'arbres, qui disposent des coordonnées et de la distance au centre, font implicitement le jugement que l'analyste a dû faire explicitement : ils situent Masson-Angers près de Buckingham et à grande distance du centre, et prédisent un niveau intermédiaire. Le boosting a un biais de $-0{,}6$ \% sur Buckingham et de $+7{,}2$ \% sur Masson-Angers, mais de $-6{,}8$ \% sur Gatineau et $-7{,}1$ \% sur Aylmer, que leur position géographique n'aide pas à distinguer de leurs voisins moins chers ; son COD global est de 8,59, meilleur que celui de l'hédonique dans ce schéma, et celui de la forêt de 10,21. Aucun modèle n'est bon : prédire un sous-marché sans y observer de vente est une extrapolation, et le mieux que l'on puisse dire du boosting est que son extrapolation géographique est moins fausse, ici, que le choix d'un secteur de référence. L'évaluateur retiendra que la question « ce modèle peut-il prédire là où il n'a pas de données ? » appelle une réponse par la validation, non par la confiance, et que la réponse dépend du modèle, du secteur et de la géographie des prix.185186\emph{Étape 4 : expliquer le boosting.} La \cref{fig:37:beeswarm} présente le graphique en essaim des valeurs SHAP du gradient boosting estimé sur les 600 ventes, et le \cref{tab:37:importances} compare l'importance SHAP et l'importance par permutation. La base $\phi_0$ vaut 13,0732, soit la moyenne des logarithmes des prix, dont l'exponentielle est \dollars{476010} : c'est la « vente moyenne » du jeu, une maison de \msq{145} et 42 ans vendue au printemps 2024. La superficie domine (importance moyenne de 0,111 en logarithme), suivie de l'âge (0,043), du mois de vente (0,040), de la longitude (0,032), de la qualité (0,031), de la distance au centre (0,027) et de la latitude (0,027) ; le terrain, le garage, le type et le sous-sol suivent ; la piscine est faible et les cinq indicatrices de secteur sont pratiquement nulles (au plus 0,0016). Ce dernier résultat est instructif : la loi de génération contient des primes de secteur de $-20$ à $+11$ \%, et le modèle les a parfaitement apprises, mais il les a lues dans les coordonnées et la distance au centre, qui portent la même information de façon continue et se prêtent mieux aux divisions binaires ; l'importance d'une variable mesure son usage par le modèle, non son rôle dans le marché, et deux variables redondantes se partagent l'importance de façon arbitraire. La colonne de permutation confirme le classement, avec une concentration encore plus marquée sur la superficie (accroissement de l'erreur quadratique de 0,0348, quatre fois l'erreur de base de 0,0087), ce qui signifie que la superficie est la seule variable sans substitut dans le modèle. L'essaim montre le sens des effets : les grandes superficies à droite, les âges élevés à gauche, les ventes récentes à droite ; la coloration de la longitude est révélatrice, les longitudes les plus à l'est (Buckingham et Masson-Angers) ayant des valeurs SHAP négatives et les plus à l'ouest (Aylmer) positives, de sorte que la variable « longitude » est devenue, dans ce modèle, le codage de la prime de secteur. La \cref{fig:37:pdp} trace la dépendance partielle de la superficie et de l'âge pour l'hédonique, la forêt, le boosting et la loi de génération elle-même, toutes centrées. Pour la superficie, les trois modèles suivent la courbe vraie à moins de quatre points de logarithme près entre 100 et \msq{220}, là où se trouvent neuf ventes sur dix, et à moins de six points aux extrémités ; la forêt s'aplatit au-dessous de \msq{100} et au-dessus de \msq{220}, où elle n'a presque plus de ventes et où ses feuilles moyennent des maisons de tailles différentes, ce qui est la source de sa régressivité. Pour l'âge, le boosting reproduit la courbe en U très ouvert du polynôme de génération, mais par paliers, et la forêt la lisse davantage. L'explicabilité joue ici son rôle de diagnostic : elle montre que le boosting a appris la bonne forme, qu'il n'a trouvé aucune interaction notable (la plus forte valeur d'interaction SHAP moyenne, superficie et latitude, vaut 0,003, soit un trentième de l'effet principal de la superficie), et donc qu'un modèle additif en logarithme est suffisant pour ce marché. C'est exactement la conclusion que le \cref{ch:18} tirait de ses diagnostics, obtenue ici sans écrire d'équation.187188\emph{Étape 5 : le sujet.} Le \cref{tab:37:sujet} rapporte la prédiction du sujet du cas 1, le cottage de \msq{165} construit en 1998 à Hull évalué au 1\ier{} septembre 2026, par chaque modèle estimé sur les 600 ventes. L'hédonique prédit \dollars{637953} avec la correction de Duan en échantillon du \cref{ch:18} (\dollars{638011} avec le facteur hors échantillon de ce chapitre) ; XGBoost prédit \dollars{613976}, le boosting \dollars{605825}, la forêt \dollars{586818} et l'arbre \dollars{549573}. Tous les modèles d'arbres se situent sous l'hédonique, de 3,8 à 13,9 \%, et l'ordre est celui de la souplesse des modèles. Deux mécanismes expliquent l'écart. Le premier est la compression vers la moyenne déjà vue : le sujet est une maison au-dessus de la médiane du marché (\dollars{479250}), vendue à la date la plus récente du jeu, et les feuilles qui le concernent moyennent des maisons un peu plus petites et un peu plus anciennes. Le second est temporel : la date d'évaluation, septembre 2026, est postérieure d'un mois à la dernière vente observée, et les modèles d'arbres lui appliquent la valeur de la feuille extrême du temps, où l'hédonique prolonge sa tendance ; la \cref{sec:37:exemple} a mesuré à quelques points de pourcentage ce que cette différence coûte sur les ventes de 2026. La \cref{fig:37:waterfall} donne la cascade SHAP du sujet pour le boosting, et le \cref{tab:37:sujet} en détaille les contributions. Partant de la vente moyenne à \dollars{476010}, la date de vente ajoute $+10{,}4$ \% ($\phi = 0{,}0986$), la superficie $+9{,}1$ \% (0,0871), l'âge, inférieur à la moyenne de 42 ans, $+3{,}3$ \% (0,0322), la longitude, celle de Hull, $+1{,}3$ \%, le garage, le type à étages et le sous-sol fini de $+0{,}6$ à $+0{,}8$ \% chacun, tandis que le terrain de \msq{620}, inférieur à la moyenne de \msq{683}, retranche $1{,}3$ \% ; la qualité moyenne, la latitude, l'absence de piscine et les indicatrices de secteur contribuent ensemble pour moins de 0,1 \%. La somme des $\phi_j$ est de 0,2391, et $\exp(13{,}0732 + 0{,}2391) = \dollars{604595}$ est la prédiction brute, que le facteur de Duan de 1,0020 porte à \dollars{605825} : l'axiome d'efficacité est vérifié à $10^{-13}$ près par le script. La comparaison avec le \cref{tab:18:prix-implicites} est éclairante. Le modèle hédonique dit que le garage \emph{vaut} \dollars{21031} au sujet, parce que son coefficient est un prix implicite marginal ; la cascade SHAP dit que le garage \emph{contribue} pour $+0{,}8$ \%, soit environ \dollars{4800}, à l'écart entre le sujet et la vente moyenne, parce que la vente moyenne a déjà 0,7 place de garage et que la contribution est mesurée par rapport à elle. Les deux lectures sont correctes et ne répondent pas à la même question ; confondre une valeur SHAP avec un ajustement de grille est l'erreur la plus fréquente dans l'usage de ces outils en évaluation.189\end{exemple}190191\begin{table}[htbp]192\caption{Cinq modèles sur les 600 ventes du cas 1 : performance hors échantillon selon trois schémas de validation (données synthétiques)}\label{tab:37:comparaison}193\centering\footnotesize\setlength{\tabcolsep}{3pt}194\begin{tabular}{@{}l S[table-format=1.4] S[table-format=2.2] S[table-format=2.2] S[table-format=-1.3] S[table-format=1.4] S[table-format=2.2] S[table-format=1.4] S[table-format=-1.3] S[table-format=2.2]@{}}195\toprule196 & \multicolumn{4}{c}{Plis aléatoires (10)} & \multicolumn{2}{c}{Blocs spatiaux (10)} & \multicolumn{3}{c}{Prospectif (2026, $n = 101$)} \\197\cmidrule(lr){2-5}\cmidrule(lr){6-7}\cmidrule(lr){8-10}198Modèle & {RMSE$_{\ln}$} & {MdAPE (\%)} & {COD} & {PRB} & {RMSE$_{\ln}$} & {COD} & {RMSE$_{\ln}$} & {Biais} & {COD} \\199\midrule200Hédonique (référence) & 0.0839 & 5.68 & 6.83 & -0.059 & 0.0857 & 7.00 & 0.0855 & -0.010 & 6.96 \\201Arbre (profondeur 3) & 0.1468 & 9.85 & 11.63 & -0.228 & 0.1537 & 12.12 & 0.1737 & -0.085 & 12.35 \\202Forêt aléatoire & 0.1067 & 7.52 & 8.64 & -0.196 & 0.1120 & 8.96 & 0.1283 & -0.060 & 9.47 \\203Gradient boosting & 0.0931 & 6.22 & 7.42 & -0.088 & 0.0967 & 7.62 & 0.0950 & -0.034 & 7.41 \\204XGBoost & 0.0921 & 6.09 & 7.33 & -0.081 & 0.0948 & 7.53 & 0.0937 & -0.029 & 7.50 \\205\bottomrule206\end{tabular}207\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py} ; plis aléatoires identiques à ceux du \cref{ch:18}}. RMSE$_{\ln}$ : racine de l'erreur quadratique moyenne du logarithme ; biais : erreur moyenne du logarithme. En plis aléatoires, la RMSE en dollars (retransformation de Duan, facteur hors échantillon) vaut 40 889 (hédonique), 70 779 (arbre), 52 058 (forêt), 45 644 (boosting) et 45 221 \$ (XGBoost) ; les PRD valent 1,007 ; 1,021 ; 1,015 ; 1,009 ; 1,009. Hyperparamètres au \cref{tab:37:familles}.}208\end{table}209210\begin{figure}[htbp]211\centering212\includegraphics[width=\textwidth]{ch37/ch37-fig-erreurs.pdf}213\caption{Distribution des erreurs de prédiction hors échantillon (en pourcentage du prix observé) des cinq modèles, pour les trois schémas de validation ; le COD figure au-dessus de chaque boîte. Les boîtes s'élargissent de l'hédonique à l'arbre ; en validation prospective, les médianes des modèles d'arbres glissent sous zéro parce qu'ils ne prolongent pas la tendance du marché.}\label{fig:37:erreurs}214\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}215\end{figure}216217\begin{figure}[htbp]218\centering219\includegraphics[width=\textwidth]{ch37/ch37-fig-predit-observe.pdf}220\caption{Prix prédit hors échantillon (plis aléatoires, correction de Duan) contre prix observé pour l'hédonique de référence, la forêt aléatoire et le gradient boosting, avec la diagonale et les bandes à $\pm 18$ \%. Le nuage de la forêt est le plus large et s'incurve aux extrémités, signe de la compression des prédictions vers la moyenne que mesure son PRB.}\label{fig:37:predit-observe}221\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}222\end{figure}223224\begin{table}[htbp]225\caption{Validation prospective (ventes de 2026 prédites à partir de 2023-2025) : l'extrapolation temporelle et ses remèdes (données synthétiques)}\label{tab:37:temporel}226\centering\small227\begin{tabularx}{\textwidth}{@{}Y S[table-format=1.4] S[table-format=-2.1] S[table-format=1.3] S[table-format=2.2]@{}}228\toprule229Modèle ($n_{\text{test}} = 101$) & {RMSE$_{\ln}$} & {Biais (\%)} & {Ratio médian} & {COD} \\230\midrule231Hédonique de référence (tendance linéaire prolongée) & 0.0855 & -1.0 & 0.988 & 6.96 \\232Gradient boosting, feuilles $\ge 5$ (référence) & 0.0950 & -3.4 & 0.966 & 7.41 \\233Gradient boosting, feuilles $\ge 1$ & 0.1631 & -13.4 & {---} & 8.02 \\234Gradient boosting détendancé ($\ln P - \hat\beta_{\text{mois}}\,\text{mois}$, tendance rajoutée) & 0.0928 & -1.8 & {---} & 7.44 \\235Forêt aléatoire & 0.1283 & -6.0 & 0.934 & 9.47 \\236Arbre (profondeur 3) & 0.1737 & -8.5 & 0.931 & 12.35 \\237\bottomrule238\end{tabularx}239\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Biais : erreur moyenne du logarithme, en points de pourcentage ; $\hat\beta_{\text{mois}} = 0{,}00342$ estimé sur les 499 ventes de 2023-2025 ; 14 ventes d'apprentissage sont postérieures au dix-septième mois.}240\end{table}241242\begin{table}[htbp]243\caption{Un secteur exclu à la fois : biais moyen de la prédiction (points de pourcentage du logarithme) et COD global (données synthétiques)}\label{tab:37:secteurs}244\centering\footnotesize\setlength{\tabcolsep}{4pt}245\begin{tabular}{@{}l S[table-format=-2.1] S[table-format=-2.1] S[table-format=-2.1] S[table-format=-2.1] S[table-format=-2.1] S[table-format=2.2]@{}}246\toprule247Modèle & {Hull} & {Gatineau} & {Aylmer} & {Buckingham} & {Masson-Angers} & {COD} \\248\midrule249Hédonique (secteur exclu $=$ référence) & -2.3 & 1.1 & -5.9 & 23.4 & 26.1 & 10.44 \\250Arbre (profondeur 3) & -1.2 & -20.7 & -6.7 & -2.5 & 12.9 & 15.65 \\251Forêt aléatoire & -1.0 & -4.9 & -8.5 & 2.5 & 12.8 & 10.21 \\252Gradient boosting & 1.3 & -6.8 & -7.1 & -0.6 & 7.2 & 8.59 \\253XGBoost & 1.0 & -6.7 & -8.3 & -2.2 & 10.2 & 8.87 \\254\midrule255Prime de secteur vraie (log, vs Hull) & 0.0 & -2.1 & 11.0 & -18.4 & -20.4 & {} \\256\bottomrule257\end{tabular}258\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Hédonique : l'indicatrice du secteur exclu est retirée et le secteur est prédit au niveau de Hull (ou de Gatineau lorsque Hull est exclu) ; les biais de Buckingham et de Masson-Angers sont, au bruit près, l'opposé des primes omises.}259\end{table}260261\begin{figure}[htbp]262\centering263\includegraphics[width=\textwidth]{ch37/ch37-fig-shap-beeswarm.pdf}264\caption{Valeurs SHAP (TreeSHAP) des 600 ventes pour le gradient boosting estimé sur l'ensemble du jeu, onze variables les plus importantes, classées par la moyenne de $\abs{\phi}$ (colonne de droite, en points de pourcentage du logarithme) ; chaque point est une vente, colorée selon la valeur de la variable. La superficie domine ; la longitude et la distance au centre ont absorbé les primes de secteur, dont les indicatrices n'apparaissent pas.}\label{fig:37:beeswarm}265\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}266\end{figure}267268\begin{table}[htbp]269\caption{Importance des variables dans le gradient boosting : moyenne de $\abs{\phi}$ (SHAP) et importance par permutation hors échantillon (données synthétiques)}\label{tab:37:importances}270\centering\footnotesize\setlength{\tabcolsep}{4pt}271\begin{tabularx}{\textwidth}{@{}l S[table-format=1.4] S[table-format=1.4] S[table-format=1.4] Y@{}}272\toprule273Variable & {SHAP, moy. $\abs{\phi}$} & {Permut., $\Delta$EQM} & {Forêt, $\Delta$EQM} & Lecture \\274\midrule275Superficie habitable & 0.1110 & 0.0348 & 0.0300 & dominante et sans substitut \\276Âge & 0.0432 & 0.0061 & 0.0037 & courbe en U très ouvert \\277Mois de vente & 0.0395 & 0.0046 & 0.0033 & tendance, apprise par paliers \\278Longitude & 0.0323 & 0.0042 & 0.0027 & codage est-ouest des secteurs \\279Qualité & 0.0312 & 0.0042 & 0.0013 & effet proportionnel \\280Distance au centre & 0.0274 & 0.0028 & 0.0023 & redondante avec les coordonnées \\281Latitude & 0.0271 & 0.0039 & 0.0031 & idem \\282Terrain & 0.0204 & 0.0019 & 0.0013 & élasticité faible \\283Garage & 0.0154 & {$<$ 0,002} & {$<$ 0,002} & \\284À étages ; sous-sol ; piscine & {0,0097 ; 0,0076 ; 0,0038} & {$<$ 0,002} & {$<$ 0,002} & \\285Indicatrices de secteur (5) & {$\le$ 0,0016} & {$\approx$ 0} & {$\approx$ 0} & absorbées par lat., long., distance \\286\bottomrule287\end{tabularx}288\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Permutation : accroissement de l'erreur quadratique moyenne du logarithme en validation croisée à dix plis, dix permutations par pli ; erreur de base 0,0087 (boosting) et 0,0114 (forêt).}289\end{table}290291\begin{figure}[htbp]292\centering293\includegraphics[width=\textwidth]{ch37/ch37-fig-pdp.pdf}294\caption{Dépendance partielle du logarithme du prix, centrée, selon la superficie habitable (gauche) et l'âge (centre) pour l'hédonique de référence, la forêt aléatoire, le gradient boosting et la loi de génération ; à droite, l'âge dans le scénario non linéaire de la \cref{sec:37:scenario}, où la loi contient un « mur » de $-10$ \% entre 25 et 45 ans et une prime de $+12$ \% pour les maisons de qualité élevée de plus de 40 ans : le boosting suit la rupture, le polynôme hédonique ne le peut pas. Les traits sous les courbes marquent les vingtiles de la distribution observée.}\label{fig:37:pdp}295\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}296\end{figure}297298\begin{table}[htbp]299\caption{Prédiction du sujet du cas 1 par chaque modèle et cascade SHAP du gradient boosting (données synthétiques)}\label{tab:37:sujet}300\centering\footnotesize\setlength{\tabcolsep}{3.5pt}301\begin{tabularx}{\textwidth}{@{}Y S[table-format=2.4] S[table-format=6.0] S[table-format=1.4] S[table-format=6.0] S[table-format=-2.1]@{}}302\toprule303Modèle (estimé sur 600 ventes) & {$\ln \hat P$} & {$\exp(\ln\hat P)$ (\$)} & {Facteur} & {Prédiction (\$)} & {Écart (\%)} \\304\midrule305Hédonique (référence, \cref{ch:18}) & 13.3627 & 635821 & 1.0034 & 637953 & 0.0 \\306XGBoost & 13.3244 & 611957 & 1.0033 & 613976 & -3.8 \\307Gradient boosting & 13.3123 & 604595 & 1.0020 & 605825 & -5.0 \\308Forêt aléatoire & 13.2776 & 583938 & 1.0049 & 586818 & -8.0 \\309Arbre (profondeur 3) & 13.2092 & 545332 & 1.0078 & 549573 & -13.9 \\310\midrule311\multicolumn{6}{@{}l}{\emph{Cascade SHAP du gradient boosting} (base $\phi_0 = 13{,}0732$, soit \dollars{476010})} \\312Contribution & {$\phi_j$} & {Effet (\%)} & {} & {Cumul (\$)} & {} \\313\midrule314Mois de vente (septembre 2026) & 0.0986 & 10.4 & {} & 525340 & {} \\315Superficie habitable (165 m²) & 0.0871 & 9.1 & {} & 573148 & {} \\316Âge (28 ans) & 0.0322 & 3.3 & {} & 591904 & {} \\317Longitude (Hull) & 0.0132 & 1.3 & {} & 599769 & {} \\318Terrain (620 m²) & -0.0127 & -1.3 & {} & 592200 & {} \\319Garage (1 place) & 0.0081 & 0.8 & {} & 597016 & {} \\320Type à étages & 0.0075 & 0.8 & {} & 601511 & {} \\321Sous-sol fini & 0.0056 & 0.6 & {} & 604889 & {} \\322Autres (qualité, latitude, piscine, distance, secteurs) & -0.0005 & -0.1 & {} & 604595 & {} \\323\bottomrule324\end{tabularx}325\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Facteur : correction de Duan (en échantillon pour l'hédonique, comme au \cref{ch:18} ; hors échantillon pour les autres) ; écart : par rapport à la prédiction hédonique. Effet : $100\,[\exp(\phi_j) - 1]$ ; cumul : $\exp(\phi_0 + \sum \phi)$ après chaque contribution, avant le facteur de Duan.}326\end{table}327328\begin{figure}[htbp]329\centering330\includegraphics[width=\textwidth]{ch37/ch37-fig-waterfall.pdf}331\caption{Cascade SHAP de la prédiction du sujet du cas 1 par le gradient boosting, en dollars : depuis la vente moyenne du jeu (base, \dollars{476010}), chaque variable multiplie le prix par $\exp(\phi_j)$ ; la date d'évaluation et la superficie expliquent l'essentiel de l'écart, le terrain plus petit que la moyenne retranche 1,3 \%. La prédiction brute, \dollars{604595}, reçoit ensuite le facteur de Duan.}\label{fig:37:waterfall}332\figsource{\synth{script \texttt{analysis/python/figures/ch37\_figures.py}, graine 20261031}.}333\end{figure}334335\section{Quand l'apprentissage gagne : une non-linéarité déclarée}\label{sec:37:scenario}336337L'exemple intégral enseigne qu'un modèle économétrique bien spécifié est la référence à battre, non l'inverse, et qu'un modèle souple paie en variance la souplesse dont il n'a pas l'usage. Il faut aussitôt montrer le cas contraire, celui où la forme vraie n'est pas celle que l'analyste a écrite, sans quoi la leçon serait fausse. Pour cela, le script ajoute à la loi de génération deux termes déclarés, choisis pour être plausibles et impossibles à représenter dans la spécification du \cref{ch:18} : une \emph{prime « patrimoine rénové »} de $+0{,}12$ en logarithme pour les maisons de qualité 4 ou 5 âgées de 40 ans et plus, soit une interaction entre la qualité et l'âge, qui touche 76 ventes ; et un \emph{« mur de la mi-vie »} de $-0{,}10$ pour les maisons de 25 à 45 ans, une rupture qui représente la période où toiture, fenêtres et systèmes arrivent en fin de vie sans que la maison soit encore « ancienne », et qui touche 235 ventes. Le nouveau logarithme du prix est $\ln P^{\dagger} = \ln P + 0{,}12\cdot\mathbb{1}[\text{qualité} \ge 4,\ \text{âge} \ge 40] - 0{,}10\cdot\mathbb{1}[25 \le \text{âge} \le 45]$, et les mêmes modèles sont réestimés sur les mêmes dix plis.338339\begin{table}[htbp]340\caption{Scénario non linéaire : validation croisée aléatoire des modèles sur $\ln P^{\dagger}$ (données synthétiques perturbées par une interaction et une rupture déclarées)}\label{tab:37:scenario}341\centering\small342\begin{tabularx}{\textwidth}{@{}Y S[table-format=1.4] S[table-format=1.2] S[table-format=1.2] S[table-format=-1.3]@{}}343\toprule344Modèle & {RMSE$_{\ln}$} & {MdAPE (\%)} & {COD} & {PRB} \\345\midrule346Hédonique de référence (spécification du \cref{ch:18}, désormais mal spécifiée) & 0.1003 & 6.96 & 8.15 & -0.079 \\347Forêt aléatoire & 0.1145 & 7.54 & 9.17 & -0.208 \\348Gradient boosting (profondeur 2) & 0.0944 & 6.26 & 7.46 & -0.083 \\349XGBoost (profondeur 2) & 0.0932 & 6.17 & 7.40 & -0.081 \\350Hédonique respécifié (deux indicatrices ajoutées) & 0.0841 & 5.62 & 6.85 & -0.054 \\351\bottomrule352\end{tabularx}353\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Coefficients du modèle respécifié : prime 0,129 (e.-t. HC1 0,012 ; vrai 0,12), mur $-0{,}092$ (0,008 ; vrai $-0{,}10$) ; $\hat\sigma = 0{,}083$, $R^2 = 0{,}864$.}354\end{table}355356Le \cref{tab:37:scenario} renverse le classement. L'hédonique de référence, dont le polynôme d'âge ne peut ni creuser un mur de 20 ans ni réserver une prime aux maisons de qualité élevée, voit son erreur monter de 0,084 à 0,100 et son COD de 6,83 à 8,15 ; les deux algorithmes de boosting, dont les arbres de profondeur 2 représentent exactement une interaction de deux variables et des seuils sur l'âge, restent à 0,094 et 0,093 (COD 7,46 et 7,40) et battent désormais la régression de sept dixièmes de point de COD ; la forêt, trop lissée, reste derrière. La \cref{fig:37:pdp} (droite) montre pourquoi : la dépendance partielle de l'âge du boosting dessine le creux entre 25 et 45 ans que la loi de génération contient, tandis que le polynôme de l'hédonique passe en travers. L'interaction est tout aussi visible dans les valeurs d'interaction SHAP, où la paire âge-qualité, absente du classement dans le cas de base, devient la première avec une valeur moyenne de 0,0068, le double de la suivante. C'est ici que l'explicabilité prend sa pleine utilité pour l'évaluateur : elle ne sert pas seulement à justifier la prédiction d'une boîte noire, elle indique \emph{quoi} ajouter au modèle économétrique. La dernière ligne du tableau en est la preuve. L'hédonique respécifié avec les deux indicatrices que la dépendance partielle et les interactions SHAP suggèrent retrouve une erreur de 0,084 et un COD de 6,85, identiques à ceux du cas de base, et estime la prime à 0,129 (erreur-type 0,012) et le mur à $-0{,}092$ (0,008), les deux paramètres vrais, 0,12 et $-0{,}10$, étant dans les intervalles de confiance. Il bat à nouveau le boosting, pour la même raison qu'à la \cref{sec:37:exemple} : une fois la forme connue, l'estimateur paramétrique n'a plus de biais et a la plus petite variance. L'enseignement est donc double. Sur un marché dont la structure est bien comprise et additive en logarithme, la régression hédonique soigneusement spécifiée et diagnostiquée demeure le meilleur outil, et de loin le plus défendable. Lorsque la structure est inconnue, non linéaire ou traversée d'interactions, ce qui est fréquent sur des marchés hétérogènes ou des types d'immeubles mal documentés, le boosting la découvre sans qu'on la lui décrive, et l'explicabilité permet d'en faire une hypothèse économétrique testable. \textcite{mayerBourassaHoesliScognamiglio2019} sont parvenus à une conclusion voisine en comparant, sur un grand échantillon suisse, des méthodes d'estimation et de mise à jour hédoniques au gradient boosting : le boosting l'emporte en précision lorsque les données sont riches et la structure complexe, et les modèles économétriques restent compétitifs et plus stables dans le temps. \textcite{mccluskey2013} avaient, plus tôt, mis en garde contre la généralisation hâtive d'un gain de précision obtenu sur un seul jeu : la comparaison doit être refaite sur chaque marché, avec une validation adaptée à l'usage.357358\section{Les modèles d'évaluation automatisés et les normes}\label{sec:37:avm}359360Un \motcle{modèle d'évaluation automatisé} (AVM, \emph{automated valuation model}) est un système qui produit une estimation de valeur à partir d'une base de données et d'un modèle statistique, sans inspection ni intervention humaine sur chaque immeuble ; les méthodes de ce chapitre en sont aujourd'hui le moteur le plus courant, aux côtés des modèles hédoniques et des modèles de comparables automatisés. L'IAAO leur consacre une norme spécifique, le \emph{Standard on Automated Valuation Models}, révisée en 2018 \parencite{iaaoavm2018}, qui complète le \emph{Standard on Mass Appraisal of Real Property}, révisé en 2025 \parencite{iaaomass2025}, et qui renvoie au \emph{Standard on Ratio Studies} \parencite{iaaoratio2013} pour les seuils de qualité. Sans reproduire ces documents, protégés, on peut en résumer la logique telle qu'elle a été consultée le 31 octobre 2026. La norme sur les AVM traite de la qualité des données d'entrée et de leur nettoyage (\cref{ch:14}), de la spécification et de la calibration du modèle, de sa documentation, et surtout de l'évaluation de sa performance, pour laquelle elle recommande les statistiques de ratio, le COD comme mesure de variabilité et le PRD et le PRB, assortis d'intervalles de confiance, comme mesures d'équité verticale ; elle insiste sur le fait que ces statistiques doivent être calculées sur des ventes que le modèle n'a pas utilisées pour sa calibration, ce qui est la validation hors échantillon de la \cref{sec:37:validation}, et sur la nécessité de les stratifier par type d'immeuble, par secteur et par tranche de valeur. Les seuils sont ceux du \cref{tab:18:ratios} : un COD de 5,0 à 10,0 pour l'unifamilial de secteurs homogènes, de 5,0 à 15,0 pour les secteurs hétérogènes, un PRD de 0,98 à 1,03 et un PRB entre $-0{,}05$ et $+0{,}05$. Mesurés à cette aune, les résultats de l'exemple sont parlants : tous les modèles d'ensemble ont un COD dans la plage la plus exigeante, mais la forêt aléatoire a un PRD de 1,015 et un PRB de $-0{,}196$ en validation aléatoire, hors des plages, et le boosting un PRB de $-0{,}088$, également hors de la plage ; seul l'hédonique s'en approche, et encore avec l'artefact que le \cref{ch:18} a expliqué. La régressivité des modèles d'arbres n'est donc pas un détail technique : c'est, du point de vue de la norme, leur principal défaut, et un AVM fondé sur une forêt devrait en être corrigé, par exemple par une calibration de second stade qui régresse les prix observés sur les prédictions hors échantillon et redresse la pente.361362Du côté des normes professionnelles, le cadre est celui du \cref{ch:10}. Les Normes de pratique professionnelle de l'OEAQ exigent que l'évaluateur justifie le rejet d'une méthode traditionnelle et expose tout écart avec les directives (règle 2.3, éléments 10 et 11) \parencite{oeaqNormes}, ce qui signifie qu'un AVM ne remplace pas les méthodes de la partie IV à VI dans un rapport mais peut les appuyer, et que son emploi, ses données, sa validation et ses limites doivent être décrits. Les normes canadiennes CUSPAP 2026 comportent une norme d'évaluation de masse \parencite{cuspap2026}, et les normes internationales en vigueur depuis le 31 janvier 2025 \parencite{ivs2025} comme le Red Book de la RICS, dont la section VPS~5 porte sur les modèles d'évaluation, convergent vers la même exigence : l'évaluateur reste responsable de la valeur qu'il signe, quel que soit l'outil, et doit comprendre et pouvoir expliquer le modèle qu'il utilise. \textcite{boginShui2020} ont comparé, sur des prêts hypothécaires américains, la précision des évaluations traditionnelles et des AVM en zones rurales, où les ventes sont rares et hétérogènes, et ont trouvé que les deux se dégradent mais que les AVM se dégradent davantage : c'est, à grande échelle, la leçon de l'exclusion d'un secteur de la \cref{sec:37:exemple}. L'usage raisonnable d'un AVM, pour l'évaluateur québécois, est triple : comme indication de valeur supplémentaire à réconcilier (\cref{ch:20}), avec son intervalle et sa validation ; comme outil de contrôle de la cohérence d'un rôle ou d'un portefeuille (\cref{ch:48}) ; et comme instrument de détection de la structure du marché, par l'explicabilité, pour mieux spécifier les modèles que l'on signe.363364\begin{quebec}[Modèles, rôle d'évaluation et contestation]365Le rôle d'évaluation foncière québécois est, par nature, une évaluation de masse (\cref{ch:09}). Le Manuel d'évaluation foncière du Québec consacre sa partie 3 au processus d'évaluation, dont les étapes d'analyse du marché et de modélisation \parencite{mefqpartie3} ; son contenu est protégé et n'est pas reproduit ici, et rien dans les textes consultés n'impose ni n'interdit une famille particulière de modèles statistiques : la loi fixe des exigences de résultat, la proportion médiane de 95 à 105 \% et le plafond de l'écart type relatif du Règlement sur le rôle (\cref{sec:9:masse}), non de moyens. Un modèle d'arbres peut donc servir à équilibrer un rôle, mais son résultat est jugé par les mêmes statistiques que tout autre, et l'exemple a montré qu'il faut y surveiller la régressivité. La question de l'opacité se pose en contestation. La Loi sur la fiscalité municipale ouvre un recours devant le Tribunal administratif du Québec après la demande de révision (art.~138.5), et le Tribunal, qui « peut fixer une valeur inférieure ou supérieure à celles proposées par les parties », inscrit au rôle la valeur réelle divisée par le facteur du rôle (art.~147) \parencite{lfm}. Dans ce cadre, une valeur produite par un modèle n'a la force que de la preuve qui l'accompagne : l'évaluateur qui s'appuie sur un modèle, qu'il soit hédonique ou d'apprentissage, doit pouvoir en exposer les données, la spécification ou les hyperparamètres, la validation et l'application au sujet, et répondre à la question de l'expert adverse ; une cascade SHAP et une dépendance partielle sont des réponses, un score de « confiance » propriétaire n'en est pas une. Les auteurs de ce chapitre n'ont identifié, par recherche documentaire, aucune décision du Tribunal portant spécifiquement sur l'admissibilité d'un modèle d'apprentissage automatique en matière d'évaluation foncière ; cette absence est signalée comme non vérifiée et non comme une règle. Textes de loi consultés sur LégisQuébec le 31 octobre 2026 (LFM à jour au 15 octobre 2026).366\end{quebec}367368\section{Analyse de sensibilité : les hyperparamètres}\label{sec:37:sensibilite}369370Le \cref{tab:37:sensibilite} réestime le boosting et la forêt sous treize réglages, toujours sur les mêmes dix plis, afin de savoir si les conclusions de l'exemple dépendent des hyperparamètres retenus. Pour le boosting, la profondeur est le réglage décisif, et le résultat est remarquable : les \emph{souches}, arbres de profondeur 1 qui produisent un modèle strictement additif, donnent la plus petite erreur de toute la grille, 0,0887 (COD 7,22), devant la profondeur 2 (0,0931), 3 (0,0970) et 4 (0,0984). La loi de génération étant additive en logarithme, tout degré d'interaction supplémentaire est de la variance pure, et le boosting le confirme sans qu'on le lui dise ; sur le scénario non linéaire de la \cref{sec:37:scenario}, la profondeur 2 l'emporterait au contraire, parce que l'interaction âge-qualité exige deux niveaux. Le nombre d'arbres interagit avec le taux d'apprentissage : à $\nu = 0{,}03$, 300 arbres sous-ajustent (0,0977), 1 200 sont près de l'optimum de la courbe d'apprentissage et 3 000 surajustent légèrement (0,0962) ; à $\nu = 0{,}10$, 1 200 arbres surajustent nettement (0,0988), et l'équivalence approximative « $\nu$ fois $M$ constant » que suggère l'\cref{eq:37:boosting} se vérifie, le produit étant de 36 dans le meilleur réglage. Le sous-échantillonnage à 80 \% améliore marginalement (0,0931 contre 0,0941 sans), et la taille minimale des feuilles ne change rien en validation aléatoire (0,0931 pour 1 comme pour 5), alors qu'elle décidait du biais prospectif au \cref{tab:37:temporel} : c'est l'illustration la plus nette de ce qu'une validation mesure ce qu'on lui demande de mesurer et rien d'autre. Pour la forêt, le nombre de variables par division compte peu entre 50 et 100 \% (0,1067 contre 0,1074) et un tiers des variables avec des feuilles de cinq dégrade (0,1151) ; cent arbres suffisent (0,1065), ce qui confirme que $B$ n'est pas un paramètre de surapprentissage. Aucun réglage de la forêt ne descend sous 0,105 et aucun réglage du boosting sous 0,088 : l'hédonique, à 0,084, n'est jamais rejoint. La sensibilité des conclusions aux hyperparamètres est donc faible pour l'ordre des modèles et forte pour le comportement aux bords ; l'évaluateur qui reçoit un AVM doit demander ses hyperparamètres et la courbe de validation qui les justifie.371372\begin{table}[htbp]373\caption{Sensibilité aux hyperparamètres : boosting et forêt aléatoire en validation croisée aléatoire à dix plis (données synthétiques)}\label{tab:37:sensibilite}374\centering\footnotesize\setlength{\tabcolsep}{3pt}375\begin{tabular}{@{}l c S[table-format=4.0] S[table-format=1.2] c l S[table-format=1.4] S[table-format=1.2] S[table-format=1.2] S[table-format=-1.3]@{}}376\toprule377Modèle & Prof. & {Arbres} & {$\nu$} & Feuille min. & Échantillon, variables & {RMSE$_{\ln}$} & {MdAPE (\%)} & {COD} & {PRB} \\378\midrule379Boosting & 1 & 1200 & 0.03 & 5 & 80 \% ; toutes & 0.0887 & 6.16 & 7.22 & -0.090 \\380Boosting & 2 & 300 & 0.03 & 5 & 80 \% ; toutes & 0.0977 & 6.93 & 7.88 & -0.158 \\381Boosting (réf.) & 2 & 1200 & 0.03 & 5 & 80 \% ; toutes & 0.0931 & 6.22 & 7.42 & -0.088 \\382Boosting & 2 & 3000 & 0.03 & 5 & 80 \% ; toutes & 0.0962 & 6.29 & 7.67 & -0.072 \\383Boosting & 3 & 1200 & 0.03 & 5 & 80 \% ; toutes & 0.0970 & 6.38 & 7.77 & -0.081 \\384Boosting & 4 & 1200 & 0.03 & 5 & 80 \% ; toutes & 0.0984 & 6.66 & 7.90 & -0.090 \\385Boosting & 2 & 1200 & 0.10 & 5 & 80 \% ; toutes & 0.0988 & 6.43 & 7.79 & -0.066 \\386Boosting & 2 & 1200 & 0.03 & 1 & 80 \% ; toutes & 0.0931 & 6.26 & 7.42 & -0.088 \\387Boosting & 2 & 1200 & 0.03 & 5 & 100 \% ; toutes & 0.0941 & 6.22 & 7.52 & -0.091 \\388Forêt & max. & 500 & {---} & 1 & bootstrap ; 100 \% & 0.1074 & 7.79 & 8.69 & -0.166 \\389Forêt (réf.) & max. & 500 & {---} & 2 & bootstrap ; 50 \% & 0.1067 & 7.52 & 8.64 & -0.196 \\390Forêt & max. & 500 & {---} & 5 & bootstrap ; 33 \% & 0.1151 & 7.84 & 9.32 & -0.272 \\391Forêt & max. & 100 & {---} & 2 & bootstrap ; 50 \% & 0.1065 & 7.52 & 8.58 & -0.194 \\392\midrule393Hédonique (réf.) & \multicolumn{5}{l}{16 paramètres, semi-log, MCO} & 0.0839 & 5.68 & 6.83 & -0.059 \\394\bottomrule395\end{tabular}396\tabsource{\synth{\texttt{analysis/python/cases/ch37\_ml.py}}. Prof. 1 : souches (modèle additif) ; échantillon : fraction des ventes tirée pour chaque arbre (boosting) ou bootstrap (forêt) ; variables : fraction des variables candidates à chaque division. Scikit-learn 1.6 ; graine 20261031.}397\end{table}398399\section{Limites : support, dérive, équité, opacité}\label{sec:37:limites}400401Quatre limites bornent l'usage des modèles d'apprentissage en évaluation, et chacune a été touchée du doigt dans l'exemple. La première est l'\emph{extrapolation hors support}. Un modèle d'arbres prédit une constante au-delà de la plus grande valeur observée de chaque variable, et cette constante est estimée sur les quelques observations de la feuille extrême ; la validation prospective l'a montré pour le temps, l'exclusion d'un secteur pour l'espace, et il en va de même pour une maison de \msq{300} dans un échantillon qui s'arrête à \msq{278}, ou pour un immeuble de qualité exceptionnelle. Le modèle hédonique extrapole aussi, mais selon une forme déclarée, que l'analyste peut juger ; le modèle d'arbres extrapole selon un plateau que rien ne justifie. La règle du \cref{ch:16} selon laquelle on ne prédit pas hors du nuage des ventes vaut davantage encore ici, et l'intervalle de prédiction, que les modèles d'arbres ne fournissent pas naturellement et qu'il faut construire par bootstrap, par quantiles ou par les méthodes conformes, ne s'élargit pas de lui-même au bord du support comme le fait celui de l'\cref{eq:18:intervalle}. La deuxième limite est la \emph{dérive} (\emph{drift}) : un modèle estimé à une date décrit le marché de cette date, et les relations entre caractéristiques et prix changent, le temps étant l'exemple le plus simple mais non le seul, les primes de secteur, la valeur d'un sous-sol ou d'une piscine évoluant aussi. Un AVM en production doit être réestimé et revalidé à intervalles réguliers, et surveillé entre deux réestimations par les statistiques de ratio sur les ventes nouvelles ; une baisse de la médiane des ratios de 0,99 à 0,97, comme celle que le boosting subit en huit mois dans la validation prospective, doit déclencher une mise à jour. La troisième limite est l'\emph{équité}. Un modèle qui apprend des prix apprend tout ce qui est dans les prix, y compris, sur des données réelles, les écarts de prix liés à la composition sociale ou ethnique des quartiers, et il les reproduit ; des variables en apparence neutres, les coordonnées, la distance au centre, le code postal, la valeur au rôle, en sont des substituts efficaces, comme l'exemple l'a montré pour les secteurs, et retirer une variable sensible ne retire pas l'information qu'elle porte. L'évaluation foncière vise une valeur de marché qui reflète ces écarts lorsqu'ils existent ; mais un modèle régressif, qui sous-évalue systématiquement les immeubles chers et surévalue les modestes, transfère la charge fiscale des premiers vers les seconds, et c'est précisément ce que le PRD et le PRB mesurent et ce que l'IAAO interdit. L'équité d'un modèle n'est pas un supplément d'éthique ; elle est une statistique de ratio par strate, que le concepteur doit calculer et publier. La quatrième limite est l'\emph{opacité}. Un modèle de 1 200 arbres n'est pas lisible, et les outils de la \cref{sec:37:explicabilite} décrivent ce qu'il fait, non pourquoi le marché fait ce qu'il fait : la longitude qui « explique » 3 points de logarithme dans la cascade du sujet ne signifie pas que les acheteurs paient pour la longitude, mais que le modèle a codé Hull ainsi. Devant un tribunal ou un client, cette distinction entre explication du modèle et explication du marché doit être faite explicitement, et le modèle économétrique, dont chaque coefficient est un prix implicite interprétable et testable, reste l'outil de la preuve. Le meilleur usage des deux est celui que la \cref{sec:37:scenario} a illustré : le modèle souple pour découvrir, le modèle paramétrique pour établir.402403\begin{pratique}404Un modèle d'apprentissage déposé à l'appui d'une conclusion de valeur, ou reçu d'un tiers, doit être accompagné au minimum de : la description des données (source, période, filtres, nombre de ventes retirées, variables et leur construction, traitement des valeurs manquantes) ; la famille de modèle et ses hyperparamètres, avec la courbe de validation qui les justifie ; les métriques hors échantillon, par un schéma de validation adapté à l'usage (aléatoire pour l'interpolation dans un marché documenté, spatial par blocs ou par secteur pour la prédiction dans un secteur peu documenté, prospectif pour l'usage courant), avec le COD, le PRD et le PRB par strate ; la méthode de retransformation et de mise à jour temporelle ; l'importance des variables, la dépendance partielle des variables principales et la cascade des contributions pour le sujet ; les cas où le sujet sort du support des données d'apprentissage ; et le code ou sa description exacte. Un modèle dont on ne connaît que la prédiction et un « score de confiance » n'est pas une preuve.405\end{pratique}406407\begin{erreurs}408\begin{itemize}409\item \emph{Juger un modèle à son erreur d'entraînement ou à son $R^2$ en échantillon.} Un boosting de profondeur 4 atteint une erreur d'entraînement de 0,012 pour une erreur de validation de 0,097 (\cref{fig:37:apprentissage}) ; seule l'erreur hors échantillon compte.410\item \emph{Valider par plis aléatoires un modèle utilisé de façon prospective ou dans un secteur peu documenté.} Les plis aléatoires surestiment la performance des modèles qui exploitent le voisinage et masquent l'incapacité des arbres à prolonger une tendance (\cref{tab:37:comparaison}).411\item \emph{Laisser le temps dans un modèle d'arbres sans traitement.} Le biais atteint $-3$ à $-13$ \% sur les ventes de l'année suivante selon la taille des feuilles ; détendancer ou indexer séparément (\cref{tab:37:temporel}).412\item \emph{Lire une valeur SHAP comme un ajustement de grille.} La contribution du garage dans la cascade du sujet ($+0{,}8$ \%) est mesurée par rapport à la vente moyenne, qui a déjà 0,7 place ; le prix implicite du garage reste celui du \cref{ch:18} (\dollars{21031}).413\item \emph{Conclure qu'une variable « ne compte pas » parce que son importance est nulle.} Les indicatrices de secteur ont une importance nulle alors qu'elles sont le mécanisme de la loi de génération : les coordonnées les ont remplacées.414\item \emph{Choisir les hyperparamètres sur les mêmes plis que ceux qui servent à rapporter la performance sans le dire.} C'est une fuite ; la validation imbriquée ou un jeu de test réservé l'évite, et le \cref{tab:37:sensibilite} doit être lu comme une analyse de sensibilité, non comme une sélection.415\item \emph{Ignorer la régressivité des modèles d'arbres.} Un COD dans la plage ne suffit pas ; le PRB de la forêt ($-0{,}196$) est très hors de la plage de l'IAAO.416\item \emph{Prendre l'explication du modèle pour une explication du marché.} La longitude ne vaut rien aux yeux d'un acheteur ; c'est le secteur qu'elle code.417\item \emph{Généraliser le résultat d'une comparaison.} L'hédonique gagne sur un marché additif, le boosting sur un marché à interactions ; la comparaison doit être refaite sur chaque jeu, avec le schéma de validation de l'usage prévu \parencite{mccluskey2013}.418\end{itemize}419\end{erreurs}420421\begin{limites}422\begin{itemize}423\item Les données sont synthétiques et engendrées par une loi semi-logarithmique additive avec un bruit normal homoscédastique et sans structure spatiale résiduelle ; la domination de l'hédonique dans l'exemple est la conséquence de cette construction et ne préjuge pas de l'ordre des modèles sur un marché réel, où la forme est inconnue. Le scénario non linéaire est tout aussi construit : ses deux termes sont des hypothèses pédagogiques, non des estimations.424\item Les hyperparamètres de référence ont été choisis d'après une grille évaluée sur les mêmes dix plis que ceux qui servent à rapporter la performance (\cref{tab:37:sensibilite}) ; l'optimisme qui en résulte est faible pour une grille de treize points mais n'est pas nul. Une validation imbriquée est laissée en exercice.425\item Les valeurs SHAP ont été calculées sur le gradient boosting de scikit-learn, la bibliothèque shap 0.48 ne lisant pas le format des modèles de xgboost 3.2 au moment d'écrire ; les deux algorithmes ont des performances très voisines et la lecture ne devrait pas en être affectée, mais elle n'a pas été vérifiée sur XGBoost.426\item Les blocs spatiaux sont des moitiés de secteur obtenues par les $k$-moyennes sur des coordonnées fictives ; d'autres découpages donneraient d'autres chiffres, et le choix du découpage fait partie des hypothèses d'une validation spatiale.427\item Les seuils de l'IAAO proviennent de l'édition 2013 du Standard on Ratio Studies, consultée sur une copie tierce alors qu'une révision était annoncée ; le Standard on AVMs a été consulté dans sa version révisée de 2018. Les règles québécoises citées (LFM art.~138.5 et 147) ont été lues sur LégisQuébec le 31 octobre 2026 ; l'absence de décision du TAQ sur l'admissibilité d'un modèle d'apprentissage est un constat de recherche documentaire, non vérifié par une recherche jurisprudentielle exhaustive.428\item Les intervalles de prédiction des modèles d'arbres (bootstrap, régression quantile, prédiction conforme) et les forêts causales de \textcite{wagerAthey2018} ne sont pas traités ; le \cref{ch:39} donne la version bayésienne de l'intervalle pour le modèle hédonique, et le \cref{ch:36} l'identification causale.429\end{itemize}430\end{limites}431432\begin{synthese}433\begin{itemize}434\item Prédire et estimer sont deux questions ; l'apprentissage supervisé minimise le risque de prédiction \eqref{eq:37:risque}, dont la décomposition biais-variance \eqref{eq:37:biais-variance} explique tout : les forêts réduisent la variance par moyennage \eqref{eq:37:variance-foret}, le boosting réduit le biais pas à pas par descente de gradient fonctionnelle \eqref{eq:37:boosting}-\eqref{eq:37:gradient}, XGBoost y ajoute une régularisation explicite \eqref{eq:37:xgb-objectif}-\eqref{eq:37:xgb-gain}.435\item La validation croisée \eqref{eq:37:cv} n'est honnête que si les plis reproduisent l'usage : aléatoire pour l'interpolation, spatiale par blocs ou par secteur pour la prédiction en territoire peu documenté, prospective pour l'usage courant. Les modèles d'arbres n'extrapolent pas : constante hors support, biais de $-3$ à $-13$ \% sur l'année suivante selon la taille des feuilles.436\item Sur les 600 ventes du cas 1, engendrées par une loi additive, l'hédonique de référence (RMSE log 0,084, COD 6,83) bat XGBoost (0,092 ; 7,33), le boosting (0,093 ; 7,42), la forêt (0,107 ; 8,64) et l'arbre (0,147 ; 11,6) ; les modèles d'arbres sont régressifs (PRB de la forêt $-0{,}196$) et prédisent le sujet de 3,8 à 13,9 \% sous l'hédonique.437\item Lorsqu'une interaction et une rupture déclarées sont ajoutées, le boosting (COD 7,46) bat l'hédonique mal spécifié (8,15) ; la dépendance partielle et les interactions SHAP désignent ce qui manque, et l'hédonique respécifié (6,85) reprend l'avantage : le modèle souple découvre, le modèle paramétrique établit.438\item Les valeurs de Shapley \eqref{eq:37:shapley}, uniques sous quatre axiomes, décomposent chaque prédiction en contributions additives \eqref{eq:37:efficacite} calculables exactement pour les arbres (TreeSHAP) ; la dépendance partielle \eqref{eq:37:pdp} et l'importance par permutation \eqref{eq:37:permutation} les complètent. Elles décrivent le modèle, non le marché : les coordonnées ont absorbé les secteurs.439\item Les AVM sont jugés par les statistiques de ratio de l'IAAO, hors échantillon et par strate ; les normes professionnelles exigent que l'évaluateur comprenne, documente et puisse défendre le modèle qu'il utilise, devant un client comme devant le TAQ.440\end{itemize}441\end{synthese}442443\section*{Exercices}444\addcontentsline{toc}{section}{Exercices}445446\begin{exercice}[1]{Une division d'arbre à la main}{ex:37:1}447Les huit premières ventes du cas 1 (G0001 à G0008), classées par superficie habitable, ont les superficies 70, 99, 128, 156, 160, 170, 221 et \msq{241} et les prix \dollars{262500}, \dollars{342500}, \dollars{431500}, \dollars{571500}, \dollars{468500}, \dollars{404500}, \dollars{545500} et \dollars{492000}. (a) Calculez le logarithme de chaque prix et la somme des carrés des écarts à la moyenne du nœud racine. (b) Pour chacun des sept seuils possibles sur la superficie (milieux entre valeurs consécutives), calculez la somme des carrés des deux fils selon l'\cref{eq:37:division} et le gain ; identifiez la meilleure division et les constantes prédites dans chaque fils, en logarithme et en dollars. (c) Expliquez pourquoi le résultat serait identique si la superficie était entrée en logarithme ou en pieds carrés.448\end{exercice}449450\begin{exercice}[1]{Variance d'une forêt}{ex:37:2}451Chaque arbre d'une forêt a, en un point donné, un écart-type de prédiction de 0,12 (logarithme) et les arbres ont une corrélation deux à deux de 0,30. (a) Calculez la variance de la moyenne de 1, 10, 100 et 500 arbres par l'\cref{eq:37:variance-foret}, puis sa limite et l'écart-type correspondant. (b) Combien d'arbres faut-il pour que le second terme ne représente plus que 1 \% du premier ? (c) Expliquez pourquoi réduire le nombre de variables candidates par division peut abaisser la limite, et ce que l'on y perd.452\end{exercice}453454\begin{exercice}[2]{Le boosting pas à pas}{ex:37:3}455Pour une vente dont le logarithme du prix est $y = 13{,}00$, le modèle initial prédit $F_0 = 12{,}80$ ; on suppose que chaque arbre $h_m$ reproduit exactement le pseudo-résidu courant de cette vente, et que le taux d'apprentissage est $\nu = 0{,}10$. (a) Calculez $F_1$, $F_2$, $F_3$ et les résidus successifs. (b) Montrez que le résidu après $m$ itérations est $(1 - \nu)^m (y - F_0)$ et calculez le nombre d'itérations nécessaire pour le ramener à 1 \% de sa valeur initiale. (c) Que se passerait-il avec $\nu = 1$, et pourquoi n'est-ce pas souhaitable sur des données bruitées ? (d) Reliez votre réponse à la courbe d'apprentissage de la \cref{fig:37:apprentissage}.456\end{exercice}457458\begin{exercice}[2]{Valeurs de Shapley à trois joueurs}{ex:37:4}459Un modèle fictif à trois variables, superficie ($S$), qualité ($Q$) et localisation ($L$), donne les gains suivants (en milliers de dollars au-dessus de la base) pour chaque coalition de variables connues : $v(\varnothing) = 0$, $v(S) = 60$, $v(Q) = 30$, $v(L) = 20$, $v(S, Q) = 100$, $v(S, L) = 85$, $v(Q, L) = 45$, $v(S, Q, L) = 130$. (a) Énumérez les six ordres d'arrivée des variables et calculez la contribution marginale de chacune dans chaque ordre. (b) Déduisez-en les valeurs de Shapley par l'\cref{eq:37:shapley} et vérifiez l'axiome d'efficacité. (c) Le jeu contient-il des interactions ? Lesquelles, et de quel signe ? (d) Pourquoi la valeur de Shapley de $S$ diffère-t-elle de $v(S) = 60$ ?460\end{exercice}461462\begin{exercice}[2]{Métriques d'un AVM}{ex:37:5}463Un AVM a produit, pour les dix ventes fictives de l'\cref{ex:18:5} (prix 312 000, 358 500, 401 000, 445 000, 489 500, 532 000, 598 000, 655 000, 742 000 et \dollars{895000}), les prédictions 335 000, 349 000, 388 000, 468 000, 471 000, 561 000, 575 000, 702 000, 718 000 et \dollars{839000}. (a) Calculez les ratios prédit/prix, la RMSE en logarithme, l'erreur absolue moyenne et médiane en pourcentage \eqref{eq:37:metriques}. (b) Calculez la médiane des ratios, le COD, le PRD et le PRB (\cref{eq:18:cod,eq:18:prd,eq:18:prb}). (c) Situez le résultat par rapport aux plages de l'IAAO et expliquez pourquoi un COD inférieur à 5 doit éveiller la méfiance plutôt que l'admiration. (d) Qu'est-ce qui manque à ces dix chiffres pour qu'ils constituent une validation au sens de la \cref{sec:37:validation} ?464\end{exercice}465466\begin{exercice}[3]{Validation spatiale et extrapolation}{ex:37:6}467À l'aide de \texttt{analysis/python/cases/ch37\_ml.py} (fonctions \texttt{plis\_aleatoires}, \texttt{plis\_spatiaux}, \texttt{plis\_secteurs}, \texttt{validation\_secteurs}), reproduisez les COD de l'hédonique, de la forêt et du boosting sous les trois schémas, aléatoire, blocs spatiaux et un secteur exclu. (a) Expliquez, pour chaque modèle, le sens et l'ampleur de la dégradation d'un schéma à l'autre. (b) Montrez que le biais de l'hédonique sur Buckingham et Masson-Angers exclus est, au bruit près, l'opposé de la prime de secteur de la loi de génération, et expliquez pourquoi le boosting fait mieux sur ces deux secteurs et moins bien sur Gatineau et Aylmer. (c) Proposez et mettez en œuvre une variante de l'hédonique qui remplace les indicatrices de secteur par une surface lisse des coordonnées (polynôme ou splines), et comparez son comportement en exclusion d'un secteur ; discutez en quoi cela rapproche les deux approches.468\end{exercice}469470\begin{exercice}[3]{Découvrir, puis établir}{ex:37:7}471Reprenez le scénario non linéaire (\texttt{scenario\_nonlineaire}). (a) Sans connaître les deux termes ajoutés, tracez la dépendance partielle de l'âge du boosting et ses courbes individuelles (ICE) pour les maisons de qualité 2 et de qualité 4, et identifiez la rupture et l'interaction. (b) Classez les paires de variables par leur valeur d'interaction SHAP moyenne et comparez au cas de base. (c) Respécifiez le modèle hédonique en conséquence, avec les seuils que vos courbes suggèrent plutôt que les seuils vrais, et comparez sa validation croisée à celle du boosting et à celle du modèle respécifié avec les seuils vrais (COD 6,85) ; que coûte une erreur de cinq ans sur les bornes du mur ? (d) Mettez en œuvre une validation imbriquée pour le choix de la profondeur du boosting (1 à 4) et comparez l'erreur ainsi obtenue à celle du \cref{tab:37:sensibilite} ; quantifiez l'optimisme de la sélection non imbriquée.472\end{exercice}473474\section*{Pour aller plus loin}475\addcontentsline{toc}{section}{Pour aller plus loin}476477Le manuel de \textcite{hastieTibshiraniFriedman2009} reste l'exposé de référence des arbres, du bagging, des forêts et du boosting, avec la décomposition biais-variance et la validation croisée en fil conducteur ; ses chapitres 9, 10 et 15 suffisent au lecteur de ce chapitre. Les articles fondateurs se lisent encore avec profit : \textcite{breiman2001} pour les forêts, l'erreur hors sac et l'importance par permutation, \textcite{friedman2001} pour la descente de gradient fonctionnelle et la dépendance partielle, \textcite{chenGuestrin2016} pour la formulation régularisée de XGBoost et les détails d'implémentation qui ont fait son succès. Pour l'explicabilité, \textcite{lundbergLee2017} unifient les méthodes d'explication locale sous les axiomes de Shapley, \textcite{lundberg2020} donnent TreeSHAP et les valeurs d'interaction, et le livre en ligne de \textcite{molnar2025} est le guide pratique le plus complet, qui discute aussi les limites de la dépendance partielle et de la permutation en présence de corrélation. Du côté des économistes, \textcite{mullainathanSpiess2017} et \textcite{atheyImbens2019} situent ces méthodes par rapport à l'inférence, et \textcite{wagerAthey2018} montrent comment les forêts servent l'estimation d'effets hétérogènes, ce qui ouvre sur le \cref{ch:36}. En évaluation immobilière, \textcite{paceHayunga2020} utilisent arbres et forêts comme diagnostics des résidus hédoniques et spatiaux, \textcite{mayerBourassaHoesliScognamiglio2019} comparent gradient boosting et méthodes hédoniques de mise à jour sur des données suisses, \textcite{hongChoiKim2020} appliquent la forêt à l'évaluation de masse en Corée, et \textcite{boginShui2020} mesurent la précision relative des AVM et des évaluateurs en zone rurale. Pour la pratique de l'évaluation de masse et ses normes, \textcite{gloudemansAlmy2011} et \textcite{mccluskey2013} accompagnent les trois normes de l'IAAO \parencite{iaaoratio2013,iaaomass2025,iaaoavm2018}.478