spb/gsf6053_h25 Public

1% =========================================================================2% GSF6053 — Économétrie Financière (Hiver 2025)3% Université Laval — Faculté des sciences de l'administration4% Auteur  : Simon-Pierre Boucher5% Contact : contact@spboucher.ai6% =========================================================================7\documentclass{beamer}8\usepackage[utf8]{inputenc}9\usepackage{graphicx}10% Thème et couleurs11\usetheme{default} % Un thème plus moderne et professionnel12\usecolortheme{seagull} % Palette de couleurs harmonieuse1314% Police15\usepackage{lmodern} % Police améliorée161718\title[S02 Régression et MCO]{Maximum de Vraissemblance\\ (Séance 2)}19\subtitle{GSF-6053: Économétrie Financière}20\author[SP. Boucher]{Simon-Pierre Boucher\inst{1}}21\institute[Université Laval]22{23  \inst{1}%24  Département de finance, assurance et immobilier\\25  Faculté des sciences de l'administration\\26  Université Laval}27\date[Hiver 2025]{21 Janvier 2025}28% Configuration du pied de page avec logo en bas à droite29\setbeamertemplate{footline}{30  \leavevmode%31  \hbox{%32    \begin{beamercolorbox}[wd=.7\paperwidth,ht=2ex,dp=1ex,left]{author in head/foot}%33      \usebeamerfont{author in head/foot}\insertshortauthor34    \end{beamercolorbox}%35    \begin{beamercolorbox}[wd=.3\paperwidth,ht=2ex,dp=1ex,right]{date in head/foot}%36      \usebeamerfont{date in head/foot}\insertshortdate{}\hspace*{0.5em}37      \insertframenumber{} / \inserttotalframenumber\hspace*{0.5em}38      \raisebox{0.2cm}{\includegraphics[height=0.6cm]{logo_universite_laval.png}} % Ajustement du logo39    \end{beamercolorbox}}%40  \vskip0pt%41}4243\setbeamertemplate{navigation symbols}{} % Supprime les symboles de navigation par défaut4445\begin{document}4647\begin{frame}48  \titlepage49\end{frame}505152\begin{frame}{Références}53\textbf{Obligatoires:}54\begin{itemize}55\item \textbf{Woolridge:} chapitres 2 à 756\end{itemize}57\vspace{0.5cm}58\textbf{Complémentaires:}59\begin{itemize}60\item \textbf{Gujarati et Porter:} chapitres 1 à 9.61\item \textbf{Greene:} chapitres 2, 3, 4, 5, 9, 14, 20, appendices C et D62\end{itemize}63\end{frame}646566\begin{frame}{Plan de la séance}67  \tableofcontents68\end{frame}6970\section{Maximum de Vraissemblance}7172\frame{\tableofcontents[current]}7374\begin{frame}{Maximum de Vraissemblance}75\begin{itemize}76\item Le maximum de vraisemblance est une méthode générale pour estimer les paramàtres d’un modèle statistique.77\item Nous aurons une série d’observations d’une variable aléatoire y et un modèle statistique potentiel pour cette variable.78\begin{itemize}79\item Ce modèle peut inclure la dépendance de y sur d’autres variables prédictrices.80\item Ainsi qu’une distribution statistique pour la portion non-expliquée de la variation de y.81\end{itemize}82\item Selon le maximum de vraisemblance, les meilleurs estimés des paramètres d’un modèle sont ceux qui maximisent la probabilité des valeurs observées de la variable83\end{itemize}84\end{frame}8586\begin{frame}{Maximum de Vraissemblance}87\begin{itemize}88\item Fonction de densité pour une variable aléatoire $Y$ conditionné sur un ensemble de paramètres $\theta$89\begin{align*}90f(Y \mid \theta)91\end{align*}92\item La fonction de densité jointe de $n$ observations est simplement le produit des densités individuels 9394\begin{align*}95f(y_1,y_2,...,y_n \mid \theta)=\prod_{i=1}^{n} f(y_i \mid \theta)=L(\theta \mid Y)96\end{align*}97\begin{itemize}98\item Ensemble de paramètres $\theta$ est inconnu.99\item Nous voulons les valeurs de $Y$ provenant de l'échantillon.100\end{itemize}101\item Donner à $\theta$ la valeur qui maximise la probabilité d'obtenir un échantillon identique à celui qu'on dispose.102\end{itemize}103\end{frame}104105\section{MLE: Modèle de régression linéaire}106107\frame{\tableofcontents[current]}108109110\begin{frame}{MLE: Modèle de régression linéaire}111\begin{itemize}112\item Hypothèse distributionnelle sur les $u_t$113\begin{align*}114u_t \sim \hspace{0.1cm} iid \hspace{0.1cm} N(0,\sigma^2)115\end{align*}116\item Loi conjointe des $u_1, u_2, ..., u_T$117\begin{align*}118f(u_1,u_2,...,u_T)=\prod_{t=1}^{T}f(u_t)=\left(\frac{1}{\sqrt{2 \pi \sigma^2}}\right)^T e^{-\frac{\sum_{t=1}^T(u_t)^2}{2 \sigma^2}}119\end{align*}120\item Interessés à la loi coinjointes des $y_t$121\item Effectué un changement de variable: 122\begin{align*}123u_t=Y_t-X_t^{'} \beta124\end{align*}125\end{itemize}126\end{frame}127128\begin{frame}{MLE: Modèle de régression linéaire}129\begin{itemize}130\item Loi conjointe des $Y_t$ (Vraissemblance)131\begin{align*}132f(Y_1,Y_2,...,Y_T)=&\prod_{t=1}^{T}g(Y_t)=\left(\frac{1}{\sqrt{2 \pi \sigma^2}}\right)^T e^{-\frac{\sum_{t=1}^T(Y_t-X_t^{'} \beta)^2}{2 \sigma^2}} \\ & = (2 \pi \sigma^2)^{-T/2} e^{-\frac{(Y-X \beta)'(Y-X \beta)}{2\sigma^2}}133\end{align*}134\item On veut enseuite obtenir la Log-Vraissemblance en prenant le logarithme de la fonction de vraissemblance.135\begin{align*}136L= -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}137\end{align*}138\end{itemize}139\end{frame}140141\begin{frame}{MLE: Modèle de régression linéaire}142\begin{itemize}143\item Maximiser la log-vraissemblance en fonction de $\beta$ et $\sigma^2$144\item \textbf{En fonction de $\beta$}145\begin{align*}146\frac{\partial L}{\partial \beta} = \frac{1}{\sigma^2} \times \frac{\partial (Y'Y =2Y'X\beta +\beta'X'X \beta)}{\partial \beta}=0147\end{align*}148\textbf{Condition de première ordre:}149\begin{align*}150-2X'Y+2X'X\beta=0151\end{align*}152\begin{align*}153-X'Y+X'X\beta=0154\end{align*}155\begin{align*}156X'X\beta = X'Y 157\end{align*}158\textbf{Estimateur $\beta$ par MLE:}159\begin{align*}160\hat{\beta}= (X'X)^{-1}X'Y161\end{align*}162\end{itemize}163\end{frame}164165\begin{frame}{MLE: Modèle de régression linéaire}166\begin{itemize}167\item \textbf{En fonction de $\sigma^2$}168\begin{align*}169\frac{\partial L}{\partial \sigma^2}=\frac{\partial  \left[-\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \sigma^2}=0170\end{align*}171\item Nous allons  dériver par rapport à $\sigma^2$ en deux parties172\begin{itemize}173\item 1er terme:174\begin{align*}175\frac{\partial \left[-\frac{T}{2} \log (\sigma^2) \right]}{\partial \sigma^2}=-\frac{T}{2} \times \frac{1}{\sigma^2}176\end{align*}177\end{itemize}178\begin{itemize}179\item 2e terme:180\begin{align*}181\frac{\partial \left[-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \sigma^2}=\frac{\partial \left[-\frac{1}{2} \times (\sigma^2)^{-1}(Y-X \beta)'(Y-X \beta) \right]}{\partial \sigma^2}182\end{align*}183\end{itemize}184\end{itemize}185\end{frame}186187\begin{frame}{MLE: Modèle de régression linéaire}188\begin{itemize}189\item \textbf{En fonction de $\sigma^2$}190\begin{itemize}191\item Suite pour le 2e terme:192\end{itemize}193\begin{align*}194\frac{\partial \left[-\frac{1}{2} \times (\sigma^2)^{-1}(Y-X \beta)'(Y-X \beta) \right]}{\partial \sigma^2}\\ = \frac{T}{2} \times (\sigma^2)^{-2}(Y-X \beta)'(Y-X \beta) \\ =\frac{1}{2} \times \sigma^{-4}(Y-X\beta)'(Y-X \beta) \\ = \frac{T}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}195\end{align*}196\end{itemize}197\end{frame}198199\begin{frame}{MLE: Modèle de régression linéaire}200\begin{itemize}201\item \textbf{En fonction de $\sigma^2$}202\begin{itemize}203\item On additionne les deux termes et nous avons notre condition de première ordre204\end{itemize}205\begin{align*}206\frac{\partial L}{\partial \sigma^2}= -\frac{T}{2} \times \frac{1}{\sigma^2}+ \frac{1}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}207\end{align*}208\item On veut maintenant isoler $\sigma^2$ pour obtenir l'estimateur $\hat{\sigma}^2$209\begin{align*}210\frac{1}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}=\frac{T}{2} \times \frac{1}{\sigma^2}211\end{align*}212\item On peut multiplier par $2 \sigma^2$ de chaque coté pour simplifier213\begin{align*}214\frac{(Y-X\beta)'(Y-X \beta)}{\sigma^2}=T215\end{align*}216\textbf{Estimateur $\hat{\sigma}^2$ pour la méthode des MLE}217\begin{align*}218\hat{\sigma}^2=\frac{(Y-X \beta)'(Y-X \beta)}{T}219\end{align*}220\end{itemize}221\end{frame}222223224\section{Propriétés Estimateur MLE ET MCO}225226\frame{\tableofcontents[current]}227228229\begin{frame}{Propriétés Estimateur MLE ET MCO}230\begin{itemize}231\item Pour $\hat{\beta}$ des MCO et MLE, leurs résultats coincident 232\end{itemize}233\begin{block}{Estimateur \textbf{BLUE}}234\begin{itemize}235\item Best linear unbiased estimator 236\begin{itemize}237\item Estimateur sans biais 238\item Estimateur ayant une variance minimal 239\end{itemize}240\item L'estimateur des moindres carrés ordinaires est BLUE 241\item L'estimateur $\hat{\sigma}^2$ du Maximum de vraissemblance est biaisé vers le bas 242\item On peut trouver une alternative sans biais 243\begin{align*}244\hat{S}^2=\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}245\end{align*}246\end{itemize}247\end{block}248\end{frame}249250\begin{frame}{Propriétés Estimateur MLE ET MCO}251\begin{block}{Estimateur \textbf{BLUE}}252\begin{itemize}253\item \textbf{Sans biais} : Espérance de l'estimateur égale à la vraie valeur du paramètre254\begin{align*}255E(\hat{\theta})=\theta256\end{align*}257\item \textbf{Efficace:} Si l'estimateur atteint la borne de Crameur-Rao (autrement dit, l'inverse de la matrice d'information de fisher)258\item On veut un estimateur ayant la variance la plus petite possible259\begin{itemize}260\item Cela donne une meilleur pécision261\end{itemize}262\end{itemize}263\end{block}264\end{frame}265266\begin{frame}{Inverse de la matrice d'information}267\begin{itemize}268\item Borne de Cramer-Rao : Pour tout estimateur régulier et sans biais, sa variance269est bornée par l’inverse de la matrice d’information.270\item La matrice d’information est quant à elle une façon de mesurer la quantité271d’information sur les paramètres dans $\theta$ contenue dans $X$.272\item Une définition équivalente serait que la variance d’un estimateur sans biais273sera toujours au moins aussi grande que l’inverse de la matrice d’information :274\end{itemize}275276\begin{align*}277[I(\theta)]^{-1} &=\left( -E \left[\frac{\partial^2 \log L(\theta)}{\partial \theta^2} \right] \right)^{-1} \\ &=\left( E \left[ \left(\frac{\partial \log L(\theta)}{\partial \theta}\right)^2 \right] \right)^{-1}278\end{align*}279280\end{frame}281282\begin{frame}{Matrice d'information et Hessienne}283284285\begin{itemize}286\item La matrice d'information est simplement une matrice hessienne d'une d'une fonction.287\item Il s'agit essentiellement d'une matrice de dérivé seconde: 288\item On suppose une fonction $f(x_1, x_2)$ et on représente la hessienne de cette fonction par $H_{i,j}(f)$289\item On doit représenter $H_{i,j}(f)$ comme étant l'ensemble des dérivés secondes partiels possible.290\begin{align*}291H_{i,j}=\frac{\partial^2 f}{\partial x_i \partial x_j}292\end{align*}293\item Il y aura donc 4 dérivés secondes partiels possibles294\begin{itemize}295\item $i=1$ et $j=1$, alors $\partial x_1^2$296\item $i=1$ et $j=2$, alors $\partial x_1 \partial x_2$297\item $i=2$ et $j=1$, alors $\partial x_2 \partial x_1$298\item $i=2$ et $j=2$, alors $\partial x_2^2$299\end{itemize}300\end{itemize}301302\end{frame}303304\begin{frame}{Matrice d'information}305306\textbf{Dans le cas du modèle linéaire estimé par MLE}307\begin{itemize}308\item On aura 4 dérivés seconde étant donnée que nous avons deux paramètres à estimer, soit $\beta$ et $\sigma^2$.309\begin{itemize}310\item \textbf{En haut à gauche:} $\partial \beta \partial \beta$311\item \textbf{En haut à droite:} $\partial \beta \partial \sigma^2$312\item \textbf{En bas à gauche:} $\partial \sigma^2 \partial \beta$313\item \textbf{En bas à droite:} $(\partial \sigma^2)^2$314\end{itemize}315316\begin{align*}317I(\beta, \sigma^2) = -E\begin{bmatrix}318\left( \frac{\partial^2 L}{\partial \beta \partial \beta'}\right) & \left( \frac{\partial^2 L}{\partial \beta \partial \sigma^2}\right) \\319\left( \frac{\partial^2 L}{\partial \sigma^2 \partial \beta'}\right) & \left( \frac{\partial^2 L}{(\partial \sigma^2)^2}\right)320\end{bmatrix}321\end{align*}322\item Nous allons maintenant résoudre les 4 dérivés secondes partiels possibles:323\end{itemize}324325\end{frame}326327\begin{frame}{Propriétés Estimateur MLE ET MCO}328\begin{block}{En haut à gauche}329\begin{align*}330\frac{\partial^2 L}{\partial \beta \partial \beta'} & =\frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \beta \partial \beta'}  \\ & = \frac{\partial \left[-\frac{1}{2 \sigma^2} \times (-2X'Y+2X'X \hat{\beta}) \right]}{\partial \beta} \\ & = -\frac{1}{\sigma^2}(X'X)331\end{align*}332\end{block}333334\end{frame}335336337\begin{frame}{Propriétés Estimateur MLE ET MCO}338\begin{block}{En haut à droite}339\begin{align*}340\frac{\partial^2 L}{\partial \beta \partial \sigma^2} & =\frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \beta \partial \sigma^2}  \\ & = \frac{\partial \left[-\frac{1}{2 \sigma^2} \times (-2X'Y+2X'X \hat{\beta}) \right]}{\partial \sigma^2} \\ & = \frac{1}{2 \sigma^4} \times (-2X'Y + 2X'X\hat{\beta}) \\ & = \frac{1}{\sigma^4} \times (X'Y -X'X \hat{\beta}) \\ &= -\frac{1}{\sigma^4} \times (X'[Y-X \hat{\beta}]) \\ & = -\frac{1}{\sigma^4}(X'u)341\end{align*}342Sachant $Y-X \hat{\beta}=u$343344\end{block}345346\end{frame}347348\begin{frame}{Propriétés Estimateur MLE ET MCO}349\begin{block}{En bas à gauche}350\begin{align*}351\frac{\partial^2 L}{\partial \sigma^2 \partial \beta'} & = \left( \frac{\partial^2 L}{\partial \beta \partial \sigma^2}\right)^{'} \\ & = -\frac{1}{\sigma^4}(X'u)' \\ & = -\frac{1}{\sigma^4}(u'X)352\end{align*}353\end{block}354\end{frame}355356\begin{frame}{Propriétés Estimateur MLE ET MCO}357\begin{block}{En bas à droite}358\begin{align*}359\frac{\partial^2 L}{(\partial \sigma^2)^2} & = \frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{(\partial \sigma^2)^2} \\ & = \frac{\partial \left[-\frac{-T}{2 \sigma^2}+\frac{(Y-X \beta)'(Y-X \beta)}{2\sigma^4} \right]}{\partial \sigma^2} \\ & = \frac{T}{2 \sigma^4} - \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^6}360\end{align*}361\end{block}362\end{frame}363364\begin{frame}{Propriétés Estimateur MLE ET MCO}365\begin{itemize}366\item Espérance mathématique de chacune des dérivés367\end{itemize}368\begin{block}{En haut à gauche}369\begin{align*}370E \left(-\frac{\partial^2 L}{\partial \beta \partial \beta'} \right) &= E \left(- \left[-\frac{1}{\sigma^2} (X'X)  \right]\right) \\ & = \frac{1}{\sigma^2}(X'X)371\end{align*}372\end{block}373\end{frame}374375\begin{frame}{Propriétés Estimateur MLE ET MCO}376377\begin{block}{En haut à droite}378\begin{align*}379E \left(-\frac{\partial^2 L}{\partial \beta \partial \sigma^2} \right) &= E \left(- \left[-\frac{1}{\sigma^4} (X'Y-X'X \beta)  \right]\right) \\ & = \frac{1}{\sigma^4}(X'E(Y)-X'X \beta) \\ & = \frac{1}{\sigma^4} (X'X \beta - X'X \beta) \\ & = 0380\end{align*}381Sachant $E(Y)=X \beta$382\end{block}383\end{frame}384385\begin{frame}{Propriétés Estimateur MLE ET MCO}386387\begin{block}{En bas à gauche}388\begin{align*}389E \left(-\frac{\partial^2 L}{\partial \sigma^2 \partial \beta'} \right) = 0390\end{align*}391\end{block}392\begin{block}{En bas à droite}393\begin{align*}394E \left(-\frac{\partial^2 L}{(\partial \sigma^2)^2} \right) & =E \left(- \left[\frac{T}{2 \sigma^4}-\frac{(Y-X \beta)'(Y-X \beta)}{\sigma^6} \right] \right) \\ & = -\frac{T}{2 \sigma^4}+\frac{E[(Y-X \beta)'(Y-X \beta)]}{\sigma^6}395\end{align*}396\end{block}397\end{frame}398399\begin{frame}{Propriétés Estimateur MLE ET MCO}400\begin{block}{En bas à droite}401\textbf{Utilisons la trace:}402\begin{align*}403E[(Y-X \beta)'(Y-X \beta)] & = E(u'u) \\ & = E(Trace(u'u)) \\ & =  E(Trace(uu')) \\ & = Trace(E(uu')) \\ & = Trace(\sigma^2 I_T) \\ & = T\sigma^2404\end{align*}405\end{block}406\end{frame}407408\begin{frame}{Propriétés Estimateur MLE ET MCO}409\begin{block}{En bas à droite}410\textbf{Donc:}411\begin{align*}412E \left(-\frac{\partial^2 L}{(\partial \sigma^2)^2} \right) & = -\frac{T}{2 \sigma^4}+\frac{T \sigma^2}{\sigma^6} \\ & = -\frac{T}{2 \sigma^4}+\frac{T}{\sigma^4} \\ & =  -\frac{T}{2 \sigma^4}+\frac{2T}{2\sigma^4} \\ & = \frac{T}{2\sigma^4}413\end{align*}414\end{block}415\end{frame}416417\begin{frame}{Propriétés Estimateur MLE ET MCO}418\begin{block}{Matrice d'information}419\begin{align*}420I(\beta, \sigma^2)=\begin{bmatrix}421\frac{1}{\sigma^2} (X'X) & 0 \\4220 & \frac{T}{2\sigma^4}423\end{bmatrix}424\end{align*}425\end{block}426427\begin{block}{Inverse matrice d'information}428\begin{align*}429I^{-1}(\beta, \sigma^2)=\begin{bmatrix}430 \sigma^2(X'X) & 0 \\4310 & \frac{2\sigma^4}{T}432\end{bmatrix}433\end{align*}434\end{block}435436\end{frame}437438\begin{frame}{Propriétés Estimateur MLE ET MCO - Espérance}439440On sait déja que l'estimateur $\hat{\beta}$ possède la solution suivante:441\begin{align*}442\hat{\beta} = (X'X)^{-1}X'Y443\end{align*}444Sachant $Y= X\beta +u$445\begin{align*}446\hat{\beta} = (X'X)^{-1}X'[X\beta +u]447\end{align*}448\begin{align*}449\hat{\beta} = (X'X)^{-1}X'X\beta +(X'X)^{-1}X'u450\end{align*}451Sachant également $(X'X)^{-1}X'X = I$452\begin{align*}453\hat{\beta} = \beta +(X'X)^{-1}X'u454\end{align*}455456\end{frame}457458\begin{frame}{Propriétés Estimateur MLE ET MCO - Espérance}459460On applique l'espérance de chaque coté de l'équation461\begin{align*}462E(\hat{\beta}) & =E(\beta +(X'X)^{-1}X'u) \\ & = \beta +(X'X)^{-1}X'E(u)463\end{align*}464Sachant $E(u)=0$465\begin{align*}466E(\hat{\beta})=\beta 467\end{align*}468\textbf{On peut donc maintenant affirmer que $\hat{\beta}$ est un estimateur sans biais de $\beta$}469470\end{frame}471472473474\begin{frame}{Propriétés Estimateur MLE ET MCO - Variance}475476On peut exprimer la variance de $\hat{\beta}$ comme suit:477\begin{align*}478Var(\hat{\beta})=E[(\hat{\beta}-\beta)(\hat{\beta}-\beta)']479\end{align*}480Sachant l'éqation que nous avons déja obtenus dans le calcule de l'espérance:481\begin{align*}482\hat{\beta}=\beta +(X'X)^{-1}X'u483\end{align*}484Alors il nous est possible d'exprimer la déviation de l'estimateur $\hat{\beta}$ par rapport à sa vrai valeur $\beta$.485\begin{align*}486\hat{\beta}-\beta = (X'X)^{-1}X'u487\end{align*}488489\end{frame}490491492\begin{frame}{Propriétés Estimateur MLE ET MCO - Variance}493494On peut donc incorporer l'équation de $(\hat{\beta}-\beta)$ dans l'équation de la variance de $\hat{\beta}$495\begin{align*}496Var(\hat{\beta})&=E[((X'X)^{-1}X'u)((X'X)^{-1}X'u)'] \\ & = E[(X'X)^{-1}X'uu'X(X'X)^{-1}] \\ & = (X'X)^{-1}X'E(uu')X(X'X)^{-1}497\end{align*}498Sachant $E(uu')=\sigma^2I$499\begin{align*}500Var(\hat{\beta})=(X'X)^{-1}X'\sigma^2IX(X'X)^{-1}501\end{align*}502Sachant $(X'X)^{-1}X'X)=I$503\begin{align*}504Var(\hat{\beta})=\sigma^2(X'X)^{-1}505\end{align*}506507\textbf{On voit donc que la variance de $\hat{\beta}$ atteint la borne de Crameur-Rao ou l'inverse de la matrice d'information}508\end{frame}509510\section{Propriétés de $\hat{\sigma}^2$}511512\frame{\tableofcontents[current]}513514515\begin{frame}{Propriétés de $\hat{\sigma}^2$}516On sait que:517\begin{align*}518\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \sim X^2(T-K)519\end{align*}520\begin{itemize}521\item Sachant $\hat{u}_t=Y-X \hat{\beta}$522\begin{itemize}523\item $\hat{u}_t$ sont normales par hypothèses524\item $\hat{u}_t^{'}\hat{u}_t$ suit une loi chi carré525\end{itemize}526\end{itemize}527\end{frame}528529\begin{frame}{Propriétés de $\hat{\sigma}^2$}530\textbf{On peut montrer que l'espérance de ce terme est la suivante:}531\begin{align*}532E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)533\end{align*}534\textbf{On peut montrer que la variance de ce terme est la suivante:}535\begin{align*}536V \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=2(T-K)537\end{align*}538\end{frame}539540\begin{frame}{Propriétés de $\hat{\sigma}^2$}541\textbf{On sait que l'estimateur $\hat{\sigma}^2$ est le suivant:}542\begin{align*}543\hat{\sigma}^2=\frac{(Y-X \beta)'(Y-X \beta)}{T}544\end{align*}545\textbf{Espérance de $\hat{\sigma}^2$}546\begin{align*}547E(\hat{\sigma}^2)=E \left( \frac{(Y-X \beta)'(Y-X \beta)}{T}\right)548\end{align*}549\end{frame}550551\begin{frame}{Propriétés de $\hat{\sigma}^2$}552\begin{itemize}553\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de l'espérance comme suit:554\begin{align*}555E(\hat{\sigma}^2)=E \left( \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \times \frac{\sigma^2}{T} \right)556\end{align*}557\item Sachant $E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)$ on peut formuler à l'équation de $\hat{\sigma}^2$ comme suit:558\begin{align*}559\frac{\sigma^2}{T}(T-K)560\end{align*}561\end{itemize}562\end{frame}563564565\begin{frame}{Propriétés de $\hat{\sigma}^2$}566\begin{itemize}567\item On voit que cette estimateur est biaisé et la borne de Crameur-Rao ne peu s'appliquer dans le ce cas.568\item Cependant, si $T$ devient suffisament grand, alors:569\begin{align*}570T-K \approx T571\end{align*}572\item On voit clairement que le biais s'annule 573\begin{align*}574E(\hat{\sigma}^2)=\frac{\sigma^2}{T}(T)=\sigma^2575\end{align*}576\end{itemize}577\end{frame}578579580\section{Estimateur de la variance sans biais}581582\frame{\tableofcontents[current]}583584585\begin{frame}{Estimateur de la variance sans biais}586\begin{itemize}587\item L'estimateur de la variance sans biais est représenté par $\hat{S}^2$588\begin{align*}589\hat{S}^2=\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}590\end{align*}591\textbf{Espérance de $\hat{S}^2$}592\begin{align*}593E(\hat{S}^2)=E \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}\right]594\end{align*}595\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de l'espérance de $\hat{S}^2$ comme suit:596\begin{align*}597E(\hat{S}^2)=E \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \times \frac{\sigma^2}{T-K}\right]598\end{align*}599\end{itemize}600\end{frame}601602\begin{frame}{Estimateur de la variance sans biais}603\begin{itemize}604\item Sachant $E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)$ on peut formuler à l'équation de l'espérance de $\hat{S}^2$ comme suit:605\begin{align*}606E(\hat{S}^2) & =(T-K) \times \frac{\sigma^2}{T-K} \\ & = \sigma^2607\end{align*}608\item On voit donc que l'estimateur de la variance $\hat{S}^2$ est sans biais étant donnée que sont espérance égale la vrai valeur de la variance $\sigma^2$609\end{itemize}610\end{frame}611612613\begin{frame}{Estimateur de la variance sans biais}614615\textbf{Variance de $\hat{S}^2$}616\begin{align*}617V(\hat{S}^2)=V \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}\right]618\end{align*}619\begin{itemize}620\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de la variance de $\hat{S}^2$ comme suit:621\begin{align*}622V(\hat{S}^2)=V \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \times \frac{\sigma^2}{T-K}\right]623\end{align*}624\item On peut sortir $\frac{\sigma^2}{T-K}$ de l'opérateur variance en élevant ce terme à la puissance 2.625\begin{align*}626V(\hat{S}^2)= \frac{\sigma^4}{(T-K)^2} V\left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \right]627\end{align*}628\end{itemize}629\end{frame}630631632\begin{frame}{Estimateur de la variance sans biais}633634\textbf{Variance de $\hat{S}^2$}635\begin{itemize}636\item Sachant $V \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=2(T-K)$, on peut écrire la variance de $\hat{S}^2$ comme suit:637\begin{align*}638V(\hat{S}^2) & = \frac{\sigma^4}{(T-K)^2} \times [2(T-K)] \\ & = \frac{2 \sigma^4}{T-K}639\end{align*}640\item On voit clairement que $V(\hat{S}^2)$ n'atteint pas la borne de Cramer-Rao étant donnée que cette variance est plus grande que celle donnée par la borne.641\begin{align*}642\frac{2 \sigma^4}{T-K} > \frac{2 \sigma^4}{T}643\end{align*}644\end{itemize}645\end{frame}646\end{document}