spb/gsf6053_h25 Public

1% =========================================================================2% GSF6053 — Économétrie Financière (Hiver 2025)3% Université Laval — Faculté des sciences de l'administration4% Auteur  : Simon-Pierre Boucher5% Contact : contact@spboucher.ai6% =========================================================================7\documentclass[14pt]{extarticle} % Utilisation de extarticle pour supporter 14pt89% ------------------------------------------------------------------------10% Packages indispensables et recommandés11% ------------------------------------------------------------------------12\usepackage[utf8]{inputenc}     % Encodage des caractères13\usepackage[T1]{fontenc}        % Encodage de la police14\usepackage[french]{babel}      % Support de la langue française15\usepackage{amsmath, amssymb}   % Environnement mathématique enrichi16\usepackage{graphicx}           % Inclusion d'images17\usepackage{hyperref}           % Liens hypertextes18\usepackage{geometry}           % Gestion des marges19\usepackage{titlesec}           % Personnalisation des titres20\usepackage{setspace}           % Gestion de l'interligne21\usepackage{xcolor}             % Gestion des couleurs22\usepackage{lipsum}             % (optionnel) Pour générer du faux texte23\usepackage{booktabs}           % (optionnel) Pour améliorer les tableaux24\usepackage{fancyhdr}           % Personnalisation des en-têtes et pieds de page25\usepackage{cleveref}           % Références intelligentes26\usepackage{caption}            % Pour personnaliser les légendes2728% ------------------------------------------------------------------------29% Configuration de la mise en page30% ------------------------------------------------------------------------31\geometry{32    a4paper,33    left=25mm,34    right=25mm,35    top=25mm,36    bottom=25mm37}3839% ------------------------------------------------------------------------40% Personnalisation des sections41% ------------------------------------------------------------------------42\titleformat{\section}{\Large\bfseries}{\thesection}{1em}{}43\titleformat{\subsection}{\large\bfseries}{\thesubsection}{1em}{}44\titleformat{\subsubsection}{\normalsize\bfseries}{\thesubsubsection}{1em}{}4546% ------------------------------------------------------------------------47% Commande pour mettre en avant les livres en bleu48% ------------------------------------------------------------------------49\newcommand{\livre}[1]{\textcolor{blue}{#1}}5051% ------------------------------------------------------------------------52% Configuration des hyperliens53% ------------------------------------------------------------------------54\hypersetup{55    colorlinks=true,          % Les liens sont colorés56    linkcolor=blue,           % Couleur des liens internes (TOC, références, etc.)57    urlcolor=blue,            % Couleur des URL58    citecolor=blue,           % Couleur des citations59    filecolor=blue,           % Couleur des liens vers des fichiers60    pdfborder={0 0 0},        % Pas de bordure autour des liens61    breaklinks=true            % Permet les sauts de ligne dans les liens62}6364% ------------------------------------------------------------------------65% Configuration des en-têtes et pieds de page66% ------------------------------------------------------------------------67\pagestyle{fancy}68\fancyhf{}69\fancyhead[L]{Preuve des Estimateurs MLE}70\fancyhead[R]{Hiver 2025}71\fancyfoot[C]{\thepage}72\fancyfoot[R]{\includegraphics[height=1cm]{logo_universite_laval.png}} % Ajout du logo ERS en bas à droite7374% ------------------------------------------------------------------------75% Informations du document76% ------------------------------------------------------------------------77\title{Preuve des Estimateurs du Maximum de Vraisemblance (MLE) pour un Modèle Linéaire}78\author{Simon-Pierre Boucher}79\date{Janvier 2025}8081% ------------------------------------------------------------------------82% Début du document83% ------------------------------------------------------------------------84\begin{document}8586\maketitle87\tableofcontents88\newpage8990\section{Introduction}91La méthode du Maximum de Vraisemblance (MLE) est une approche statistique puissante permettant d'estimer les paramètres d'un modèle en maximisant la probabilité (ou la vraisemblance) des données observées sous ce modèle. Dans cette section, nous appliquerons cette méthode à un modèle de régression linéaire pour estimer les paramètres \(\beta\) et \(\sigma^2\).9293L'objectif de cette démonstration est de maximiser la log-vraisemblance pour obtenir les estimateurs des paramètres \(\beta\) et \(\sigma^2\), qui sont ceux qui maximisent la probabilité des données observées.9495\section{Modèle de Régression Linéaire}96Le modèle de régression linéaire peut être écrit de manière matricielle comme suit :97\[98Y = X\beta + u99\]100où :101\begin{itemize}102    \item \(Y\) est un vecteur \(n \times 1\) des valeurs observées de la variable dépendante,103    \item \(X\) est une matrice \(n \times (k+1)\) des variables explicatives (y compris une colonne de 1 pour le terme constant),104    \item \(\beta\) est un vecteur \( (k+1) \times 1 \) des coefficients de régression à estimer (\(\beta_0, \beta_1, \dots, \beta_k\)),105    \item \(u\) est un vecteur \(n \times 1\) des erreurs, supposées suivre une distribution normale \(u \sim N(0, \sigma^2I)\), où \(\sigma^2\) est la variance des erreurs et \(I\) est la matrice identité.106\end{itemize}107108Le modèle peut être reformulé comme suit :109\[110Y = X\beta + u111\]112Cela signifie que la variable dépendante \(Y\) est expliquée par une combinaison linéaire des variables explicatives \(X\), plus un terme d'erreur \(u\).113114\section{Fonction de Vraisemblance}115Sous l'hypothèse que les erreurs suivent une distribution normale \(u_t \sim N(0, \sigma^2)\), la densité pour chaque observation \(Y_t\) conditionnée sur \(\beta\) et \(\sigma^2\) est donnée par :116\[117f(Y_t | \beta, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left( -\frac{(Y_t - X_t^\top \beta)^2}{2\sigma^2} \right)118\]119Cela représente la probabilité de l'observation \(Y_t\) donnée un ensemble de paramètres \(\beta\) et \(\sigma^2\).120121En supposant que les erreurs sont indépendantes et identiquement distribuées, la fonction de vraisemblance jointe des observations \(Y_1, Y_2, \dots, Y_n\) est simplement le produit des densités individuelles :122\[123f(Y_1, Y_2, \dots, Y_n | \beta, \sigma^2) = \prod_{t=1}^{n} f(Y_t | \beta, \sigma^2)124\]125La fonction de vraisemblance devient alors :126\[127L(\beta, \sigma^2 | Y) = \left(\frac{1}{\sqrt{2\pi \sigma^2}}\right)^n \exp\left( - \frac{(Y - X\beta)^\top (Y - X\beta)}{2\sigma^2} \right)128\]129Cela représente la probabilité d'obtenir l'échantillon \(Y\) sous les paramètres \(\beta\) et \(\sigma^2\).130131\section{Log-Vraisemblance}132La log-vraisemblance est souvent utilisée en raison de sa simplicité mathématique. En prenant le logarithme de la fonction de vraisemblance, nous obtenons :133\[134\log L(\beta, \sigma^2 | Y) = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} (Y - X\beta)^\top (Y - X\beta)135\]136La log-vraisemblance est maintenant plus facile à manipuler et à maximiser. Nous allons maximiser cette fonction pour obtenir les estimateurs des paramètres \(\beta\) et \(\sigma^2\).137138\section{Maximisation de la Log-Vraisemblance}139L'objectif est de maximiser la log-vraisemblance par rapport à \(\beta\) et \(\sigma^2\). Pour ce faire, nous devons dériver la log-vraisemblance par rapport à ces paramètres et égaler les dérivées à zéro.140141\subsection{Dérivée de la Log-Vraisemblance par Rapport à \(\beta\)}142Prenons la dérivée de la log-vraisemblance par rapport à \(\beta\) :143\[144\frac{\partial}{\partial \beta} \log L(\beta, \sigma^2 | Y) = \frac{1}{\sigma^2} X^\top (Y - X\beta)145\]146Nous égalons cette dérivée à zéro pour obtenir les conditions de premier ordre :147\[148X^\top (Y - X\beta) = 0149\]150Cela peut être réécrit comme :151\[152X^\top X \beta = X^\top Y153\]154La solution de cette équation est l'estimateur de \(\beta\) par Maximum de Vraisemblance :155\[156\hat{\beta} = (X^\top X)^{-1} X^\top Y157\]158C'est l'estimateur des paramètres du modèle de régression.159160\subsection{Dérivée de la Log-Vraisemblance par Rapport à \(\sigma^2\)}161Prenons maintenant la dérivée de la log-vraisemblance par rapport à \(\sigma^2\) :162\[163\frac{\partial}{\partial \sigma^2} \log L(\beta, \sigma^2 | Y) = - \frac{n}{2\sigma^2} + \frac{1}{2\sigma^4} (Y - X\beta)^\top (Y - X\beta)164\]165En égalant cette dérivée à zéro, nous obtenons :166\[167\sigma^2 = \frac{(Y - X\hat{\beta})^\top (Y - X\hat{\beta})}{n}168\]169Cela donne l'estimateur de la variance \(\sigma^2\) par Maximum de Vraisemblance :170\[171\hat{\sigma}^2 = \frac{(Y - X\hat{\beta})^\top (Y - X\hat{\beta})}{n}172\]173174\section{Propriétés des Estimateurs MLE}175Les estimateurs obtenus par la méthode du Maximum de Vraisemblance possèdent plusieurs propriétés importantes :176\begin{itemize}177    \item \(\hat{\beta}\) est un estimateur sans biais de \(\beta\) car \(E[\hat{\beta}] = \beta\),178    \item \(\hat{\beta}\) est l'estimateur linéaire sans biais et efficace (BLUE), ce qui signifie qu'il a la plus petite variance parmi tous les estimateurs sans biais,179    \item \(\hat{\sigma}^2\) est biaisé, mais le biais devient négligeable pour des échantillons de grande taille. Un estimateur sans biais alternatif pour la variance est \(S^2 = \frac{(Y - X\hat{\beta})^\top (Y - X\hat{\beta})}{n - k}\),180    \item La variance de \(\hat{\beta}\) est donnée par \( \text{Var}(\hat{\beta}) = \sigma^2 (X^\top X)^{-1} \), et atteint la borne de Cramér-Rao, ce qui signifie que cet estimateur est le plus efficace.181\end{itemize}182183\section{Conclusion}184Nous avons démontré comment utiliser la méthode du Maximum de Vraisemblance pour estimer les paramètres d'un modèle de régression linéaire. Les estimateurs obtenus par MLE pour \(\beta\) et \(\sigma^2\) sont les mêmes que ceux des Moindres Carrés Ordinaires (MCO) pour \(\beta\), mais l'estimateur de la variance \(\sigma^2\) par MLE est légèrement biaisé. Cependant, ce biais est souvent très faible pour des échantillons de grande taille.185186La méthode MLE est très puissante car elle permet d'estimer les paramètres du modèle tout en maximisant la probabilité des données observées sous ce modèle. De plus, les estimateurs obtenus par MLE sont efficaces et sans biais, ce qui les rend très utiles dans les applications pratiques.187188\end{document}189