spb/gsf6053 Public

1% =============================================================================2% GSF-6053 : Économétrie Financière I3% Auteur  : Simon-Pierre Boucher4% Contact : contact@spboucher.ai5% =============================================================================6\documentclass{beamer}7\usepackage[utf8]{inputenc}8\usepackage{graphicx}9\usetheme{default}10\usecolortheme{default}1112\title[S02 Régression et MCO]{Section 02 : Régression et Moindres Carrés Ordinaires\\ (Séance 3)}13\subtitle{GSF-6053: Économétrie Financière}14\author[SP. Boucher]{Simon-Pierre Boucher\inst{1}}15\institute[Université Laval]16{17  \inst{1}%18  Département de finance, assurance et immobilier\\19  Faculté des sciences de l'administration\\20  Université Laval}21\date[Hiver 2022]{25 Janvier 2022}2223\begin{document}2425\begin{frame}26  \titlepage27\end{frame}282930\begin{frame}{Références}31\textbf{Obligatoires:}32\begin{itemize}33\item \textbf{Notes de cours:} Section 2 (Professeure: Marie-Hélène Gagnon)34\item \textbf{Woolridge:} chapitres 2 à 735\end{itemize}36\vspace{0.5cm}37\textbf{Complémentaires:}38\begin{itemize}39\item \textbf{Gujarati et Porter:} chapitres 1 à 9.40\item \textbf{Greene:} chapitres 2, 3, 4, 5, 9, 14, 20, appendices C et D41\end{itemize}42\end{frame}434445\begin{frame}{Plan de la séance}46  \tableofcontents47\end{frame}4849\section{Maximum de Vraissemblance}5051\frame{\tableofcontents[current]}5253\begin{frame}{Maximum de Vraissemblance}54\begin{itemize}55\item Le maximum de vraisemblance est une méthode générale pour estimer les paramàtres d’un modèle statistique.56\item Nous aurons une série d’observations d’une variable aléatoire y et un modèle statistique potentiel pour cette variable.57\begin{itemize}58\item Ce modèle peut inclure la dépendance de y sur d’autres variables prédictrices.59\item Ainsi qu’une distribution statistique pour la portion non-expliquée de la variation de y.60\end{itemize}61\item Selon le maximum de vraisemblance, les meilleurs estimés des paramètres d’un modèle sont ceux qui maximisent la probabilité des valeurs observées de la variable62\end{itemize}63\end{frame}6465\begin{frame}{Maximum de Vraissemblance}66\begin{itemize}67\item Fonction de densité pour une variable aléatoire $Y$ conditionné sur un ensemble de paramètres $\theta$68\begin{align*}69f(Y \mid \theta)70\end{align*}71\item La fonction de densité jointe de $n$ observations est simplement le produit des densités individuels 7273\begin{align*}74f(y_1,y_2,...,y_n \mid \theta)=\prod_{i=1}^{n} f(y_i \mid \theta)=L(\theta \mid Y)75\end{align*}76\begin{itemize}77\item Ensemble de paramètres $\theta$ est inconnu.78\item Nous voulons les valeurs de $Y$ provenant de l'échantillon.79\end{itemize}80\item Donner à $\theta$ la valeur qui maximise la probabilité d'obtenir un échantillon identique à celui qu'on dispose.81\end{itemize}82\end{frame}8384\section{MLE: Modèle de régression linéaire}8586\frame{\tableofcontents[current]}878889\begin{frame}{MLE: Modèle de régression linéaire}90\begin{itemize}91\item Hypothèse distributionnelle sur les $u_t$92\begin{align*}93u_t \sim \hspace{0.1cm} iid \hspace{0.1cm} N(0,\sigma^2)94\end{align*}95\item Loi conjointe des $u_1, u_2, ..., u_T$96\begin{align*}97f(u_1,u_2,...,u_T)=\prod_{t=1}^{T}f(u_t)=\left(\frac{1}{\sqrt{2 \pi \sigma^2}}\right)^T e^{-\frac{\sum_{t=1}^T(u_t)^2}{2 \sigma^2}}98\end{align*}99\item Interessés à la loi coinjointes des $y_t$100\item Effectué un changement de variable: 101\begin{align*}102u_t=Y_t-X_t^{'} \beta103\end{align*}104\end{itemize}105\end{frame}106107\begin{frame}{MLE: Modèle de régression linéaire}108\begin{itemize}109\item Loi conjointe des $Y_t$ (Vraissemblance)110\begin{align*}111f(Y_1,Y_2,...,Y_T)=&\prod_{t=1}^{T}g(Y_t)=\left(\frac{1}{\sqrt{2 \pi \sigma^2}}\right)^T e^{-\frac{\sum_{t=1}^T(Y_t-X_t^{'} \beta)^2}{2 \sigma^2}} \\ & = (2 \pi \sigma^2)^{-T/2} e^{-\frac{(Y-X \beta)'(Y-X \beta)}{2\sigma^2}}112\end{align*}113\item On veut enseuite obtenir la Log-Vraissemblance en prenant le logarithme de la fonction de vraissemblance.114\begin{align*}115L= -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}116\end{align*}117\end{itemize}118\end{frame}119120\begin{frame}{MLE: Modèle de régression linéaire}121\begin{itemize}122\item Maximiser la log-vraissemblance en fonction de $\beta$ et $\sigma^2$123\item \textbf{En fonction de $\beta$}124\begin{align*}125\frac{\partial L}{\partial \beta} = \frac{1}{\sigma^2} \times \frac{\partial (Y'Y =2Y'X\beta +\beta'X'X \beta)}{\partial \beta}=0126\end{align*}127\textbf{Condition de première ordre:}128\begin{align*}129-2X'Y+2X'X\beta=0130\end{align*}131\begin{align*}132-X'Y+X'X\beta=0133\end{align*}134\begin{align*}135X'X\beta = X'Y 136\end{align*}137\textbf{Estimateur $\beta$ par MLE:}138\begin{align*}139\hat{\beta}= (X'X)^{-1}X'Y140\end{align*}141\end{itemize}142\end{frame}143144\begin{frame}{MLE: Modèle de régression linéaire}145\begin{itemize}146\item \textbf{En fonction de $\sigma^2$}147\begin{align*}148\frac{\partial L}{\partial \sigma^2}=\frac{\partial  \left[-\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \sigma^2}=0149\end{align*}150\item Nous allons  dériver par rapport à $\sigma^2$ en deux parties151\begin{itemize}152\item 1er terme:153\begin{align*}154\frac{\partial \left[-\frac{T}{2} \log (\sigma^2) \right]}{\partial \sigma^2}=-\frac{T}{2} \times \frac{1}{\sigma^2}155\end{align*}156\end{itemize}157\begin{itemize}158\item 2e terme:159\begin{align*}160\frac{\partial \left[-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \sigma^2}=\frac{\partial \left[-\frac{1}{2} \times (\sigma^2)^{-1}(Y-X \beta)'(Y-X \beta) \right]}{\partial \sigma^2}161\end{align*}162\end{itemize}163\end{itemize}164\end{frame}165166\begin{frame}{MLE: Modèle de régression linéaire}167\begin{itemize}168\item \textbf{En fonction de $\sigma^2$}169\begin{itemize}170\item Suite pour le 2e terme:171\end{itemize}172\begin{align*}173\frac{\partial \left[-\frac{1}{2} \times (\sigma^2)^{-1}(Y-X \beta)'(Y-X \beta) \right]}{\partial \sigma^2}\\ = \frac{T}{2} \times (\sigma^2)^{-2}(Y-X \beta)'(Y-X \beta) \\ =\frac{1}{2} \times \sigma^{-4}(Y-X\beta)'(Y-X \beta) \\ = \frac{T}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}174\end{align*}175\end{itemize}176\end{frame}177178\begin{frame}{MLE: Modèle de régression linéaire}179\begin{itemize}180\item \textbf{En fonction de $\sigma^2$}181\begin{itemize}182\item On additionne les deux termes et nous avons notre condition de première ordre183\end{itemize}184\begin{align*}185\frac{\partial L}{\partial \sigma^2}= -\frac{T}{2} \times \frac{1}{\sigma^2}+ \frac{1}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}186\end{align*}187\item On veut maintenant isoler $\sigma^2$ pour obtenir l'estimateur $\hat{\sigma}^2$188\begin{align*}189\frac{1}{2} \times \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^4}=\frac{T}{2} \times \frac{1}{\sigma^2}190\end{align*}191\item On peut multiplier par $2 \sigma^2$ de chaque coté pour simplifier192\begin{align*}193\frac{(Y-X\beta)'(Y-X \beta)}{\sigma^2}=T194\end{align*}195\textbf{Estimateur $\hat{\sigma}^2$ pour la méthode des MLE}196\begin{align*}197\hat{\sigma}^2=\frac{(Y-X \beta)'(Y-X \beta)}{T}198\end{align*}199\end{itemize}200\end{frame}201202203\section{Propriétés Estimateur MLE ET MCO}204205\frame{\tableofcontents[current]}206207208\begin{frame}{Propriétés Estimateur MLE ET MCO}209\begin{itemize}210\item Pour $\hat{\beta}$ des MCO et MLE, leurs résultats coincident 211\end{itemize}212\begin{block}{Estimateur \textbf{BLUE}}213\begin{itemize}214\item Best linear unbiased estimator 215\begin{itemize}216\item Estimateur sans biais 217\item Estimateur ayant une variance minimal 218\end{itemize}219\item L'estimateur des moindres carrés ordinaires est BLUE 220\item L'estimateur $\hat{\sigma}^2$ du Maximum de vraissemblance est biaisé vers le bas 221\item On peut trouver une alternative sans biais 222\begin{align*}223\hat{S}^2=\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}224\end{align*}225\end{itemize}226\end{block}227\end{frame}228229\begin{frame}{Propriétés Estimateur MLE ET MCO}230\begin{block}{Estimateur \textbf{BLUE}}231\begin{itemize}232\item \textbf{Sans biais} : Espérance de l'estimateur égale à la vraie valeur du paramètre233\begin{align*}234E(\hat{\theta})=\theta235\end{align*}236\item \textbf{Efficace:} Si l'estimateur atteint la borne de Crameur-Rao (autrement dit, l'inverse de la matrice d'information de fisher)237\item On veut un estimateur ayant la variance la plus petite possible238\begin{itemize}239\item Cela donne une meilleur pécision240\end{itemize}241\end{itemize}242\end{block}243\end{frame}244245\begin{frame}{Propriétés Estimateur MLE ET MCO}246\begin{itemize}247\item Borne de Cramer-Rao : Pour tout estimateur régulier et sans biais, sa variance248est bornée par l’inverse de la matrice d’information.249\item La matrice d’information est quant à elle une façon de mesurer la quantité250d’information sur les paramètres dans $\theta$ contenue dans $X$.251\item Une définition équivalente serait que la variance d’un estimateur sans biais252sera toujours au moins aussi grande que l’inverse de la matrice d’information :253\end{itemize}254\begin{block}{Inverse de la matrice d'information}255\begin{align*}256[I(\theta)]^{-1} &=\left( -E \left[\frac{\partial^2 \log L(\theta)}{\partial \theta^2} \right] \right)^{-1} \\ &=\left( E \left[ \left(\frac{\partial \log L(\theta)}{\partial \theta}\right)^2 \right] \right)^{-1}257\end{align*}258\end{block}259\end{frame}260261\begin{frame}{Propriétés Estimateur MLE ET MCO}262263\begin{block}{Matrice d'information et Hessienne}264\begin{itemize}265\item La matrice d'information est simplement une matrice hessienne d'une d'une fonction.266\item Il s'agit essentiellement d'une matrice de dérivé seconde: 267\item On suppose une fonction $f(x_1, x_2)$ et on représente la hessienne de cette fonction par $H_{i,j}(f)$268\item On doit représenter $H_{i,j}(f)$ comme étant l'ensemble des dérivés secondes partiels possible.269\begin{align*}270H_{i,j}=\frac{\partial^2 f}{\partial x_i \partial x_j}271\end{align*}272\item Il y aura donc 4 dérivés secondes partiels possibles273\begin{itemize}274\item $i=1$ et $j=1$, alors $\partial x_1^2$275\item $i=1$ et $j=2$, alors $\partial x_1 \partial x_2$276\item $i=2$ et $j=1$, alors $\partial x_2 \partial x_1$277\item $i=2$ et $j=2$, alors $\partial x_2^2$278\end{itemize}279\end{itemize}280\end{block}281\end{frame}282283\begin{frame}{Propriétés Estimateur MLE ET MCO}284\begin{block}{Matrice d'information}285\textbf{Dans le cas du modèle linéaire estimé par MLE}286\begin{itemize}287\item On aura 4 dérivés seconde étant donnée que nous avons deux paramètres à estimer, soit $\beta$ et $\sigma^2$.288\begin{itemize}289\item \textbf{En haut à gauche:} $\partial \beta \partial \beta$290\item \textbf{En haut à droite:} $\partial \beta \partial \sigma^2$291\item \textbf{En bas à gauche:} $\partial \sigma^2 \partial \beta$292\item \textbf{En bas à droite:} $(\partial \sigma^2)^2$293\end{itemize}294295\begin{align*}296I(\beta, \sigma^2) = -E\begin{bmatrix}297\left( \frac{\partial^2 L}{\partial \beta \partial \beta'}\right) & \left( \frac{\partial^2 L}{\partial \beta \partial \sigma^2}\right) \\298\left( \frac{\partial^2 L}{\partial \sigma^2 \partial \beta'}\right) & \left( \frac{\partial^2 L}{(\partial \sigma^2)^2}\right)299\end{bmatrix}300\end{align*}301\item Nous allons maintenant résoudre les 4 dérivés secondes partiels possibles:302\end{itemize}303\end{block}304\end{frame}305306\begin{frame}{Propriétés Estimateur MLE ET MCO}307\begin{block}{En haut à gauche}308\begin{align*}309\frac{\partial^2 L}{\partial \beta \partial \beta'} & =\frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \beta \partial \beta'}  \\ & = \frac{\partial \left[-\frac{1}{2 \sigma^2} \times (-2X'Y+2X'X \hat{\beta}) \right]}{\partial \beta} \\ & = -\frac{1}{\sigma^2}(X'X)310\end{align*}311\end{block}312313\end{frame}314315316\begin{frame}{Propriétés Estimateur MLE ET MCO}317\begin{block}{En haut à droite}318\begin{align*}319\frac{\partial^2 L}{\partial \beta \partial \sigma^2} & =\frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{\partial \beta \partial \sigma^2}  \\ & = \frac{\partial \left[-\frac{1}{2 \sigma^2} \times (-2X'Y+2X'X \hat{\beta}) \right]}{\partial \sigma^2} \\ & = \frac{1}{2 \sigma^4} \times (-2X'Y + 2X'X\hat{\beta}) \\ & = \frac{1}{\sigma^4} \times (X'Y -X'X \hat{\beta}) \\ &= -\frac{1}{\sigma^4} \times (X'[Y-X \hat{\beta}]) \\ & = -\frac{1}{\sigma^4}(X'u)320\end{align*}321Sachant $Y-X \hat{\beta}=u$322323\end{block}324325\end{frame}326327\begin{frame}{Propriétés Estimateur MLE ET MCO}328\begin{block}{En bas à gauche}329\begin{align*}330\frac{\partial^2 L}{\partial \sigma^2 \partial \beta'} & = \left( \frac{\partial^2 L}{\partial \beta \partial \sigma^2}\right)^{'} \\ & = -\frac{1}{\sigma^4}(X'u)' \\ & = -\frac{1}{\sigma^4}(u'X)331\end{align*}332\end{block}333\end{frame}334335\begin{frame}{Propriétés Estimateur MLE ET MCO}336\begin{block}{En bas à droite}337\begin{align*}338\frac{\partial^2 L}{(\partial \sigma^2)^2} & = \frac{\partial^2 \left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\sigma^2)-\frac{1}{2} \times \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \right]}{(\partial \sigma^2)^2} \\ & = \frac{\partial \left[-\frac{-T}{2 \sigma^2}+\frac{(Y-X \beta)'(Y-X \beta)}{2\sigma^4} \right]}{\partial \sigma^2} \\ & = \frac{T}{2 \sigma^4} - \frac{(Y-X\beta)'(Y-X \beta)}{\sigma^6}339\end{align*}340\end{block}341\end{frame}342343\begin{frame}{Propriétés Estimateur MLE ET MCO}344\begin{itemize}345\item Espérance mathématique de chacune des dérivés346\end{itemize}347\begin{block}{En haut à gauche}348\begin{align*}349E \left(-\frac{\partial^2 L}{\partial \beta \partial \beta'} \right) &= E \left(- \left[-\frac{1}{\sigma^2} (X'X)  \right]\right) \\ & = \frac{1}{\sigma^2}(X'X)350\end{align*}351\end{block}352\end{frame}353354\begin{frame}{Propriétés Estimateur MLE ET MCO}355356\begin{block}{En haut à droite}357\begin{align*}358E \left(-\frac{\partial^2 L}{\partial \beta \partial \sigma^2} \right) &= E \left(- \left[-\frac{1}{\sigma^4} (X'Y-X'X \beta)  \right]\right) \\ & = \frac{1}{\sigma^4}(X'E(Y)-X'X \beta) \\ & = \frac{1}{\sigma^4} (X'X \beta - X'X \beta) \\ & = 0359\end{align*}360Sachant $E(Y)=X \beta$361\end{block}362\end{frame}363364\begin{frame}{Propriétés Estimateur MLE ET MCO}365366\begin{block}{En bas à gauche}367\begin{align*}368E \left(-\frac{\partial^2 L}{\partial \sigma^2 \partial \beta'} \right) = 0369\end{align*}370\end{block}371\begin{block}{En bas à droite}372\begin{align*}373E \left(-\frac{\partial^2 L}{(\partial \sigma^2)^2} \right) & =E \left(- \left[\frac{T}{2 \sigma^4}-\frac{(Y-X \beta)'(Y-X \beta)}{\sigma^6} \right] \right) \\ & = -\frac{T}{2 \sigma^4}+\frac{E[(Y-X \beta)'(Y-X \beta)]}{\sigma^6}374\end{align*}375\end{block}376\end{frame}377378\begin{frame}{Propriétés Estimateur MLE ET MCO}379\begin{block}{En bas à droite}380\textbf{Utilisons la trace:}381\begin{align*}382E[(Y-X \beta)'(Y-X \beta)] & = E(u'u) \\ & = E(Trace(u'u)) \\ & =  E(Trace(uu')) \\ & = Trace(E(uu')) \\ & = Trace(\sigma^2 I_T) \\ & = T\sigma^2383\end{align*}384\end{block}385\end{frame}386387\begin{frame}{Propriétés Estimateur MLE ET MCO}388\begin{block}{En bas à droite}389\textbf{Donc:}390\begin{align*}391E \left(-\frac{\partial^2 L}{(\partial \sigma^2)^2} \right) & = -\frac{T}{2 \sigma^4}+\frac{T \sigma^2}{\sigma^6} \\ & = -\frac{T}{2 \sigma^4}+\frac{T}{\sigma^4} \\ & =  -\frac{T}{2 \sigma^4}+\frac{2T}{2\sigma^4} \\ & = \frac{T}{2\sigma^4}392\end{align*}393\end{block}394\end{frame}395396\begin{frame}{Propriétés Estimateur MLE ET MCO}397\begin{block}{Matrice d'information}398\begin{align*}399I(\beta, \sigma^2)=\begin{bmatrix}400\frac{1}{\sigma^2} (X'X) & 0 \\4010 & \frac{T}{2\sigma^4}402\end{bmatrix}403\end{align*}404\end{block}405406\begin{block}{Inverse matrice d'information}407\begin{align*}408I^{-1}(\beta, \sigma^2)=\begin{bmatrix}409 \sigma^2(X'X) & 0 \\4100 & \frac{2\sigma^4}{T}411\end{bmatrix}412\end{align*}413\end{block}414415\end{frame}416417\begin{frame}{Propriétés Estimateur MLE ET MCO}418\begin{block}{Espérance}419On sait déja que l'estimateur $\hat{\beta}$ possède la solution suivante:420\begin{align*}421\hat{\beta} = (X'X)^{-1}X'Y422\end{align*}423Sachant $Y= X\beta +u$424\begin{align*}425\hat{\beta} = (X'X)^{-1}X'[X\beta +u]426\end{align*}427\begin{align*}428\hat{\beta} = (X'X)^{-1}X'X\beta +(X'X)^{-1}X'u429\end{align*}430Sachant également $(X'X)^{-1}X'X = I$431\begin{align*}432\hat{\beta} = \beta +(X'X)^{-1}X'u433\end{align*}434\end{block}435\end{frame}436437\begin{frame}{Propriétés Estimateur MLE ET MCO}438\begin{block}{Espérance}439On applique l'espérance de chaque coté de l'équation440\begin{align*}441E(\hat{\beta}) & =E(\beta +(X'X)^{-1}X'u) \\ & = \beta +(X'X)^{-1}X'E(u)442\end{align*}443Sachant $E(u)=0$444\begin{align*}445E(\hat{\beta})=\beta 446\end{align*}447\textbf{On peut donc maintenant affirmer que $\hat{\beta}$ est un estimateur sans biais de $\beta$}448\end{block}449\end{frame}450451452453\begin{frame}{Propriétés Estimateur MLE ET MCO}454\begin{block}{Variance}455On peut exprimer la variance de $\hat{\beta}$ comme suit:456\begin{align*}457Var(\hat{\beta})=E[(\hat{\beta}-\beta)(\hat{\beta}-\beta)']458\end{align*}459Sachant l'éqation que nous avons déja obtenus dans le calcule de l'espérance:460\begin{align*}461\hat{\beta}=\beta +(X'X)^{-1}X'u462\end{align*}463Alors il nous est possible d'exprimer la déviation de l'estimateur $\hat{\beta}$ par rapport à sa vrai valeur $\beta$.464\begin{align*}465\hat{\beta}-\beta = (X'X)^{-1}X'u466\end{align*}467\end{block}468\end{frame}469470471\begin{frame}{Propriétés Estimateur MLE ET MCO}472\begin{block}{Variance}473On peut donc incorporer l'équation de $(\hat{\beta}-\beta)$ dans l'équation de la variance de $\hat{\beta}$474\begin{align*}475Var(\hat{\beta})&=E[((X'X)^{-1}X'u)((X'X)^{-1}X'u)'] \\ & = E[(X'X)^{-1}X'uu'X(X'X)^{-1}] \\ & = (X'X)^{-1}X'E(uu')X(X'X)^{-1}476\end{align*}477Sachant $E(uu')=\sigma^2I$478\begin{align*}479Var(\hat{\beta})=(X'X)^{-1}X'\sigma^2IX(X'X)^{-1}480\end{align*}481Sachant $(X'X)^{-1}X'X)=I$482\begin{align*}483Var(\hat{\beta})=\sigma^2(X'X)^{-1}484\end{align*}485\end{block}486\textbf{On voit donc que la variance de $\hat{\beta}$ atteint la borne de Crameur-Rao ou l'inverse de la matrice d'information}487\end{frame}488489\section{Propriétés de $\hat{\sigma}^2$}490491\frame{\tableofcontents[current]}492493494\begin{frame}{Propriétés de $\hat{\sigma}^2$}495On sait que:496\begin{align*}497\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \sim X^2(T-K)498\end{align*}499\begin{itemize}500\item Sachant $\hat{u}_t=Y-X \hat{\beta}$501\begin{itemize}502\item $\hat{u}_t$ sont normales par hypothèses503\item $\hat{u}_t^{'}\hat{u}_t$ suit une loi chi carré504\end{itemize}505\end{itemize}506\end{frame}507508\begin{frame}{Propriétés de $\hat{\sigma}^2$}509\textbf{On peut montrer que l'espérance de ce terme est la suivante:}510\begin{align*}511E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)512\end{align*}513\textbf{On peut montrer que la variance de ce terme est la suivante:}514\begin{align*}515V \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=2(T-K)516\end{align*}517\end{frame}518519\begin{frame}{Propriétés de $\hat{\sigma}^2$}520\textbf{On sait que l'estimateur $\hat{\sigma}^2$ est le suivant:}521\begin{align*}522\hat{\sigma}^2=\frac{(Y-X \beta)'(Y-X \beta)}{T}523\end{align*}524\textbf{Espérance de $\hat{\sigma}^2$}525\begin{align*}526E(\hat{\sigma}^2)=E \left( \frac{(Y-X \beta)'(Y-X \beta)}{T}\right)527\end{align*}528\end{frame}529530\begin{frame}{Propriétés de $\hat{\sigma}^2$}531\begin{itemize}532\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de l'espérance comme suit:533\begin{align*}534E(\hat{\sigma}^2)=E \left( \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2} \times \frac{\sigma^2}{T} \right)535\end{align*}536\item Sachant $E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)$ on peut formuler à l'équation de $\hat{\sigma}^2$ comme suit:537\begin{align*}538\frac{\sigma^2}{T}(T-K)539\end{align*}540\end{itemize}541\end{frame}542543544\begin{frame}{Propriétés de $\hat{\sigma}^2$}545\begin{itemize}546\item On voit que cette estimateur est biaisé et la borne de Crameur-Rao ne peu s'appliquer dans le ce cas.547\item Cependant, si $T$ devient suffisament grand, alors:548\begin{align*}549T-K \approx T550\end{align*}551\item On voit clairement que le biais s'annule 552\begin{align*}553E(\hat{\sigma}^2)=\frac{\sigma^2}{T}(T)=\sigma^2554\end{align*}555\end{itemize}556\end{frame}557558559\section{Estimateur de la variance sans biais}560561\frame{\tableofcontents[current]}562563564\begin{frame}{Estimateur de la variance sans biais}565\begin{itemize}566\item L'estimateur de la variance sans biais est représenté par $\hat{S}^2$567\begin{align*}568\hat{S}^2=\frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}569\end{align*}570\textbf{Espérance de $\hat{S}^2$}571\begin{align*}572E(\hat{S}^2)=E \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}\right]573\end{align*}574\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de l'espérance de $\hat{S}^2$ comme suit:575\begin{align*}576E(\hat{S}^2)=E \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \times \frac{\sigma^2}{T-K}\right]577\end{align*}578\end{itemize}579\end{frame}580581\begin{frame}{Estimateur de la variance sans biais}582\begin{itemize}583\item Sachant $E \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=(T-K)$ on peut formuler à l'équation de l'espérance de $\hat{S}^2$ comme suit:584\begin{align*}585E(\hat{S}^2) & =(T-K) \times \frac{\sigma^2}{T-K} \\ & = \sigma^2586\end{align*}587\item On voit donc que l'estimateur de la variance $\hat{S}^2$ est sans biais étant donnée que sont espérance égale la vrai valeur de la variance $\sigma^2$588\end{itemize}589\end{frame}590591592\begin{frame}{Estimateur de la variance sans biais}593594\textbf{Variance de $\hat{S}^2$}595\begin{align*}596V(\hat{S}^2)=V \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{T-K}\right]597\end{align*}598\begin{itemize}599\item On peut multiplier le numérateur et le dénominateur par $\sigma^2$ afin d'écrire l'équation de la variance de $\hat{S}^2$ comme suit:600\begin{align*}601V(\hat{S}^2)=V \left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \times \frac{\sigma^2}{T-K}\right]602\end{align*}603\item On peut sortir $\frac{\sigma^2}{T-K}$ de l'opérateur variance en élevant ce terme à la puissance 2.604\begin{align*}605V(\hat{S}^2)= \frac{\sigma^4}{(T-K)^2} V\left[ \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\sigma^2} \right]606\end{align*}607\end{itemize}608\end{frame}609610611\begin{frame}{Estimateur de la variance sans biais}612613\textbf{Variance de $\hat{S}^2$}614\begin{itemize}615\item Sachant $V \left[ \frac{(Y-X \beta)'(Y-X \beta)}{\sigma^2}\right]=2(T-K)$, on peut écrire la variance de $\hat{S}^2$ comme suit:616\begin{align*}617V(\hat{S}^2) & = \frac{\sigma^4}{(T-K)^2} \times [2(T-K)] \\ & = \frac{2 \sigma^4}{T-K}618\end{align*}619\item On voit clairement que $V(\hat{S}^2)$ n'atteint pas la borne de Cramer-Rao étant donnée que cette variance est plus grande que celle donnée par la borne.620\begin{align*}621\frac{2 \sigma^4}{T-K} > \frac{2 \sigma^4}{T}622\end{align*}623\end{itemize}624\end{frame}625\end{document}