spb/gsf6053 Public
GSF-6053 Financial Econometrics I — matériel de cours (Université Laval).
TeX 100%
1% =============================================================================2% GSF-6053 : Économétrie Financière I3% Auteur : Simon-Pierre Boucher4% Contact : contact@spboucher.ai5% =============================================================================6\documentclass{beamer}7\usepackage[utf8]{inputenc}8\usepackage{graphicx}9\usetheme{default}10\usecolortheme{default}1112\title[S02 Régression et MCO]{Section 02 : Régression et Moindres Carrés Ordinaires\\ (Séance 2)}13\subtitle{GSF-6053: Économétrie Financière}14\author[SP. Boucher]{Simon-Pierre Boucher\inst{1}}15\institute[Université Laval]16{17 \inst{1}%18 Département de finance, assurance et immobilier\\19 Faculté des sciences de l'administration\\20 Université Laval}21\date[Hiver 2022]{18 Janvier 2022}2223\begin{document}2425\begin{frame}26 \titlepage27\end{frame}2829\begin{frame}{Références}30\textbf{Obligatoires:}31\begin{itemize}32\item \textbf{Notes de cours:} Section 2 (Professeure: Marie-Hélène Gagnon)33\item \textbf{Woolridge:} chapitres 2 à 734\end{itemize}35\vspace{0.5cm}36\textbf{Complémentaires:}37\begin{itemize}38\item \textbf{Gujarati et Porter:} chapitres 1 à 9.39\item \textbf{Greene:} chapitres 2, 3, 4, 5, 9, 14, 20, appendices C et D40\end{itemize}41\end{frame}4243\begin{frame}{Plan de la séance}44 \tableofcontents45\end{frame}4647\section{Modèle de Régression}48\frame{\tableofcontents[current]}4950\begin{frame}{Modèle de Régression}51\begin{itemize}52\item Espérance conditionnelle d'une variable indépendante \textbf{(X)} conditionnelle à la valeur connue des régresseurs \textbf{(Y)}5354\begin{align*}55E(Y \vert X_i)=f(X_i)56\end{align*}57Où $f(X_i)$ est une fonction des variables explicatives $\textbf{X}$58\vspace{0.5cm}59\item Relation conditionnelle linéaire6061\begin{align*}62E(Y \vert X_i)=\beta_1 + \beta_2 X_i63\end{align*}64\item Composate de $Y$:65\begin{itemize}66\item Partie systématique ou déterministe, $E(Y\vert X_i)$67\item Partie aléatoire et non systématique, $\mu_i$68\end{itemize}69\end{itemize}70\end{frame}7172\begin{frame}{Modèle de Régression}73\begin{itemize}74\item Modèle de Régression Linéaire Simple 75\begin{align*}76Y_i = \beta_1 + \beta_2 X_i + \mu_i 77\end{align*}78\item Prendre espérance des deux cotés 79\begin{align*}80E(Y_i \vert X_i)=E(Y \vert X_i)+E(\mu_i)81\end{align*}82Sachant $E(Y_i \vert X_i)=E(Y \vert X_i)$ alors $E(\mu_i)=0$83\item Les paramètres obtenus à partir d'un échantillon sont des estimateurs (notés avec \hspace{0.1cm} $\hat{}$ \hspace{0.1cm})84\begin{align*}85\hat{Y}_i=\hat{\beta}_1+\hat{\beta}_2 X_i86\end{align*}87\begin{align*}88Y_i = \hat{\beta}_1+\hat{\beta}_2 X_i+\hat{\mu}_i89\end{align*}90$\hat{\mu}_i$ représente l'estimateur du terme d'erreur, le résidu91\end{itemize}92\end{frame}9394\section{Moindres Carrés Ordinaires (En sommation)}9596\frame{\tableofcontents[current]}9798\begin{frame}{Moindres Carrés Ordinaires (En sommation)}99\begin{itemize}100\item Définissons les résidus101\begin{align*}102\hat{\mu}_i = Y_i - \hat{Y}_i = Y_i - \hat{\beta}_1-\hat{\beta}_2 X_i103\end{align*}104\item Choisir estimateurs de $\hat{\beta}_1$ et $\hat{\beta_2}$ de facon à minimiser la somme des carrés des résidus 105\begin{align*}106\sum_{i=1}^{N} \hat{\mu}_i^2 & = \left[\hat{\mu}_1^2 +\hat{\mu}_2^2+...+\hat{\mu}_N^2 \right] \\ & = \sum_{i=1}^{N}(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)^2107\end{align*}108\end{itemize}109\end{frame}110111\begin{frame}{Moindres Carrés Ordinaires (En sommation)}112\begin{itemize}113\item Minimiser la somme des carrés des résidus par rapport à $\hat{\beta}_1$ et $\hat{\beta}_2$114\begin{align*}115\min_{\hat{\beta}_1,\hat{\beta}_2} \sum_{i=1}^{N}(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)^2=\min_{\hat{\beta}_1,\hat{\beta}_2} \sum_{i=1}^{N} \hat{\mu}_i^2116\end{align*}117\item Équation normales 118\begin{equation}119\frac{\partial \sum_{i=1}^{N} \hat{\mu}_i^2}{\partial \hat{\beta_1}}=-2\sum_{i=1}^N(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)=0120\end{equation}121\begin{equation}122\frac{\partial \sum_{i=1}^{N} \hat{\mu}_i^2}{\partial \hat{\beta_2}}=-2\sum_{i=1}^NX_i(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)=0123\end{equation}124\end{itemize}125\end{frame}126127\begin{frame}{Moindres Carrés Ordinaires (En sommation)}128\begin{itemize}129\item Solution de $\hat{\beta}_1$ à l'aide de l'équation (1)130\begin{align*}131-2\sum_{i=1}^N(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)=0132\end{align*}133\begin{align*}134\sum_{i=1}^N Y_i - N\hat{\beta}_1-\hat{\beta}_2 \sum_{i=1}^N X_i=0135\end{align*}136\begin{align*}137N\hat{\beta}_1=\sum_{i=1}^N Y_i - \hat{\beta}_2 \sum_{i=1}^N X_i138\end{align*}139\end{itemize}140\end{frame}141142\begin{frame}{Moindres Carrés Ordinaires (En sommation)}143\begin{itemize}144\item Solution de $\hat{\beta}_1$ à l'aide de l'équation (1)145146\vspace{0.5cm}147On pose la propriété suivante: 148\begin{itemize}149\item $\sum_{i=1}^N Y_i=N\overline{Y}$ 150\item $\sum_{i=1}^N X_i=N\overline{X}$151\end{itemize}152\begin{align*}153N\hat{\beta}_1 = N\overline{Y} - N \hat{\beta}_2 \overline{X}154\end{align*}155\begin{align*}156\hat{\beta}_1=\frac{N\overline{Y}}{N}-\frac{N\hat{\beta}_2\overline{X}}{N}157\end{align*}158159\begin{block}{Solution de $\hat{\beta}_1$}160\begin{align*}161\hat{\beta}_1=\overline{Y}-\hat{\beta}_2 \overline{X}162\end{align*}163\end{block}164\end{itemize}165\end{frame}166167\begin{frame}{Moindres Carrés Ordinaires (En sommation)}168\begin{itemize}169\item Solution de $\hat{\beta}_2$ à l'aide de l'équation (2)170\begin{align*}171-2\sum_{i=1}^NX_i(Y_i-\hat{\beta}_1-\hat{\beta}_2 X_i)=0172\end{align*}173\begin{align*}174\sum_{i=1}^N X_i Y_i - \hat{\beta}_1 \sum_{i=1}^N X_i -\hat{\beta}_2\sum_{i=1}^N X_i^2=0175\end{align*}176Sachant $\overline{Y}-\hat{\beta}_2 \overline{X}$177\begin{align*}178\sum_{i=1}^N X_i Y_i - [\overline{Y}-\hat{\beta}_2 \overline{X}] \sum_{i=1}^N X_i -\hat{\beta}_2\sum_{i=1}^N X_i^2=0179\end{align*}180\end{itemize}181\end{frame}182183\begin{frame}{Moindres Carrés Ordinaires (En sommation)}184\begin{itemize}185\item Solution de $\hat{\beta}_2$ à l'aide de l'équation (2)186\begin{align*}187\sum_{i=1}^N X_i Y_i-\overline{Y}\sum_{i=1}^N X_i \hat{\beta}_2 \overline{X} \sum_{i=1}^N X_i -\hat{\beta}_2 \sum_{i=1}^N X_i^2=0188\end{align*}189\begin{align*}190\sum_{i=1}^N X_i Y_i-N \overline{X} \overline{Y}+\hat{\beta}_2 N \overline{X}^2-\hat{\beta}_2 \sum_{i=1}^N X_i^2=0191\end{align*}192\begin{align*}193\sum_{i=1}^N X_i Y_i-N \overline{X} \overline{Y}=\hat{\beta}_2 \sum_{i=1}^N X_i^2-\hat{\beta}_2 N \overline{X}^2194\end{align*}195\begin{align*}196\sum_{i=1}^N X_i Y_i-N \overline{X} \overline{Y}= \hat{\beta}_2 \left[ \sum_{i=1}^N X_i^2- N \overline{X}^2 \right]197\end{align*}198\end{itemize}199\end{frame}200201\begin{frame}{Moindres Carrés Ordinaires (En sommation)}202\begin{itemize}203\item Solution de $\hat{\beta}_2$ à l'aide de l'équation (2)204\begin{align*}205\hat{\beta}_2=\frac{\sum_{i=1}^N X_i Y_i-N \overline{X} \overline{Y}}{\sum_{i=1}^N X_i^2- N \overline{X}^2}206\end{align*}207Sachant que 208\begin{itemize}209\item $\sum_{i=1}^N X_i Y_i-N \overline{X} \overline{Y}=\sum_{i=1}^N(X_i-\overline{X})(Y_i-\overline{Y})$210\item $\sum_{i=1}^N X_i^2 - N \overline{X}^2 =\sum_{i=1}^N(X_i-\overline{X})^2$211\end{itemize}212\begin{block}{Solution de $\hat{\beta}_2$}213\begin{align*}214\hat{\beta}_2=\frac{\sum_{i=1}^N(X_i-\overline{X})(Y_i-\overline{Y})}{\sum_{i=1}^N(X_i-\overline{X})^2}215\end{align*}216\end{block}217\end{itemize}218\end{frame}219220\section{Moindres Carrés Ordinaires (Format Matricielle)}221222\frame{\tableofcontents[current]}223224\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}225\begin{itemize}226227\item Vecteur de la variable à expliquer \textbf{(n $\times$ 1)}228$$Y=\begin{pmatrix}229y_1\\ 230y_2\\ 231\vdots\\232y_n\\233\end{pmatrix}$$234\item Matrice de variables explicatives \textbf{(n $\times$ (k+1))}235$$X=\begin{bmatrix}236 1&x_{11} &x_{21} &\cdots &x_{k1} \\ 237 1&x_{12} &\cdots & \cdots &x_{k2} \\ 238 1& \vdots & \vdots & \ddots & \vdots\\ 239 1&x_{1n} & \cdots & \cdots &x_{kn}240\end{bmatrix}$$241\end{itemize}242\end{frame}243244\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}245\begin{itemize}246\item Vecteur de coefficients associés \textbf{(k+1 $\times$ 1)}247$$\beta=\begin{pmatrix}248\beta_0\\ 249\beta_1\\ 250\beta_2\\ 251\vdots\\252\beta_k\\253\end{pmatrix}$$254\item Vecteur associé au terme d'erreur \textbf{(n $\times$ 1)}255$$u=\begin{pmatrix}256u_1\\ 257u_2\\ 258\vdots\\259u_n\\260\end{pmatrix}$$261\end{itemize}262\end{frame}263264\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}265\begin{itemize}266\item Modèle Univarié 267\begin{align*}268\begin{pmatrix}269y_1\\ 270y_2\\ 271\vdots\\272y_n\\273\end{pmatrix}=\begin{bmatrix}274 1&x_{11} &x_{21} &\cdots &x_{k1} \\ 275 1&x_{12} &\cdots & \cdots &x_{k2} \\ 276 1& \vdots & \vdots & \ddots & \vdots\\ 277 1&x_{1n} & \cdots & \cdots &x_{kn}278\end{bmatrix} \begin{pmatrix}279\beta_0\\ 280\beta_1\\ 281\beta_2\\ 282\vdots\\283\beta_k\\284\end{pmatrix}+\begin{pmatrix}285u_1\\ 286u_2\\ 287\vdots\\288u_n\\289\end{pmatrix}290\end{align*}291Que nous réécrirons comme suit: 292\begin{align*}293Y=X \beta + u 294\end{align*}295\end{itemize}296\end{frame}297298\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}299\begin{itemize}300\item Hypothèses distributionnelles sur $u$301\begin{itemize}302\item $u \sim iid$ et $E(u)=0$303\item $V(u)=\sigma^2 I$304\item $u \sim$ iid $N(0,\sigma^2)$305\end{itemize}306\begin{align*}307E(u)=\begin{pmatrix}308E(u_1)=0\\ 309E(u_2)=0\\ 310\vdots\\311E(u_n)=0\\312\end{pmatrix}313\end{align*}314\item Il n'y a pas de corrélation sérielle des erreurs 315\begin{align*}316V(u)=E(uu')=\sigma^2 I 317\end{align*}318\item Découle de l'indépendance319\begin{align*}320COV=[u_i, u_j]=0321\end{align*}322Pour $i \ne j$ $\forall i$ et $\forall j$323\end{itemize}324325\end{frame}326327\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}328\begin{align*}329E(uu')=E\begin{pmatrix}330u_1\\ 331u_2\\ 332\vdots\\333u_n\\334\end{pmatrix} \begin{pmatrix}335u_1 &u_2 & \cdots &u_n\\ 336\end{pmatrix}337\end{align*}338\begin{align*}339E(uu')=E\begin{pmatrix}340u_1^2 & u_1 u_2 & \cdots &u_1u_n\\ 341u_1u_2 &u_2^2 & \cdots & u_2u_n\\ 342\vdots & \vdots & \ddots & \vdots \\343u_1u_n & u_2u_n & \cdots & u_n^2344\end{pmatrix} 345\end{align*}346\begin{align*}347E(uu')=\begin{pmatrix}348E(u_1^2) & E(u_1 u_2) & \cdots &E(u_1u_n)\\ 349E(u_1u_2) &E(u_2^2) & \cdots & E(u_2u_n)\\ 350\vdots & \vdots & \ddots & \vdots \\351E(u_1u_n) & E(u_2u_n) & \cdots & E(u_n^2)352\end{pmatrix} 353\end{align*}354\end{frame}355356\begin{frame}{Moindres Carrés Ordinaires (Format Matricielle)}357\textbf{Rappel:}358\begin{align*}359Var(u)=E(u)^2-[E(u)]^2360\end{align*}361\textbf{Avec Hypothèse d'indépendance:}362\begin{align*}363V(u)= \begin{pmatrix}364\sigma^2 &\cdots &0 \\ 365\vdots &\sigma^2 & \vdots \\ 3660 & \cdots & \sigma^2367\end{pmatrix} = \sigma^2\begin{pmatrix}3681 &\cdots &0 \\ 369\vdots &1 & \vdots \\ 3700 & \cdots & 1371\end{pmatrix} 372\end{align*}373\end{frame}374375376\begin{frame}{Dérivation MCO (Format Matricielle)}377\begin{align*}378\hat{\beta} = ARGMIN_{\beta} (\hat{u}'\hat{u})379\end{align*}380\begin{align*}381\hat{\beta} = ARGMIN_{\beta} ((Y-X \hat{\beta})'(Y-X\hat{\beta}))382\end{align*}383Distribution des termes de la multiplication matricielle:384\begin{align*}385(Y-X \beta)' (Y-X \beta)=Y'Y-Y'X \hat{\beta}-\hat{\beta}'X'Y +\hat{\beta}'X'X \hat{\beta}386\end{align*}387Sachant 388\begin{align*}389Y'X \hat{\beta}=\hat{\beta}'X'Y390\end{align*}391Alors:392\begin{align*}393(Y-X \beta)' (Y-X \beta)=Y'Y -2Y'X \hat{\beta}+\hat{\beta}'X'X \hat{\beta}394\end{align*}395\end{frame}396\begin{frame}{Dérivation MCO (Format Matricielle)}397\begin{itemize}398\item Dérivé de la somme des résidus au carrés par rapport à $\beta$399400\begin{align*}401\frac{\partial (RSS)}{\partial \hat{\beta}}=\frac{\partial (Y'Y -2Y'X \hat{\beta}+\hat{\beta}'X'X \hat{\beta})}{\partial \hat{\beta}}402\end{align*}403Sachant404\begin{align*}405\frac{\partial ([Y'X]\hat{\beta})}{\partial \hat{\beta}}=[Y'X]=X'Y406\end{align*}407\begin{align*}408\frac{\partial (\hat{\beta}'[X'X]\hat{\beta})}{\partial \hat{\beta}}=2[X'X]\hat{\beta}409\end{align*}410\end{itemize}411\end{frame}412413\begin{frame}{Dérivation MCO (Format Matricielle)}414\begin{align*}415\frac{\partial (RSS)}{\partial \hat{\beta}}=-2X'Y+2X'X \hat{\beta}=0416\end{align*}417\begin{align*}418X'Y=X'X\hat{\beta}419\end{align*}420\begin{align*}421\hat{\beta}=(X'X)^{-1}X'Y422\end{align*}423\begin{block}{Estimateur de $\hat{\beta}$ par MCO}424\begin{align*}425\hat{\beta}=(X'X)^{-1}X'Y426\end{align*}427\end{block}428\end{frame}429430\begin{frame}{Dérivation MCO (Format Matricielle)}431\begin{itemize}432\item Il n'existe pas d'estimateur de $\sigma^2$ pour la méthode des Moindres carrés ordinaires 433\item On peut estimer empiriquement comme suit434\begin{align*}435\hat{\sigma^2}= \frac{1}{T}\sum_{i=1}^n \hat{u}_i=\frac{\hat{u}'\hat{u}}{n}436\end{align*}437\end{itemize}438\end{frame}439440\section{Exemple Numérique}441442\frame{\tableofcontents[current]}443444\begin{frame}{Exemple Numérique}445\begin{itemize}446\item Nous allons générer des variables aléatoires à l’aide d’un modèle dont nous allons déterminer les paramètres.447\item Nous allons utiliser un modèle linéaire simple ayant le format suivant:448\begin{align*}449y=\beta_1+\beta_2 x_i + \epsilon_i450\end{align*}451\begin{itemize}452\item L'intercepte de notre modèle sera de $\beta_1 = 60$.453\item La pente de notre modèle sera de $\beta_2=2$.454\item Nous allons faire l'hypothèse que notre terme d'erreur suit une loi normale de moyenne 0 et variance 4 ($\epsilon \sim N(0,4)$).455\end{itemize}456\item Il nous est maintenant possible de déterminer une valeur pour chaque $y_i$ en utilisant les $x_i$.457\item Pour les $x_i$ nous allons générer uniformément 40 observations entre 0 et 40. 458\end{itemize}459\end{frame}460461\begin{frame}{Nuage de points et régression linéaire ($\epsilon \sim N(0,2)$)}462463\includegraphics[width=10cm, height=8cm]{ols_2.png}464\end{frame}465466\begin{frame}{Nuage de points et régression linéaire ($\epsilon \sim N(0,4)$)}467468\includegraphics[width=10cm, height=8cm]{ols_4.png}469\end{frame}470471\begin{frame}{Nuage de points et régression linéaire ($\epsilon \sim N(0,6)$)}472473\includegraphics[width=10cm, height=8cm]{ols_6.png}474\end{frame}475476\begin{frame}{Nuage de points et régression linéaire ($\epsilon \sim N(0,8)$)}477478\includegraphics[width=10cm, height=8cm]{ols_8.png}479\end{frame}480481\begin{frame}{Exemple Numérique}482\begin{table}483\begin{center}484\begin{tabular}{l c c c c}485\hline486 & $\epsilon \sim N(0,2)$ & $\epsilon \sim N(0,4)$ & $\epsilon \sim N(0,6)$ & $\epsilon \sim N(0,8)$ \\487\hline488(Intercept) & $59.30^{***}$ & $59.28^{***}$ & $60.89^{***}$ & $55.68^{***}$ \\489 & $(0.68)$ & $(1.35)$ & $(2.43)$ & $(2.31)$ \\490x & $2.02^{***}$ & $2.03^{***}$ & $2.00^{***}$ & $2.13^{***}$ \\491 & $(0.03)$ & $(0.06)$ & $(0.10)$ & $(0.10)$ \\492\hline493R$^2$ & $0.99$ & $0.96$ & $0.89$ & $0.91$ \\494Adj. R$^2$ & $0.99$ & $0.96$ & $0.89$ & $0.91$ \\495Num. obs. & $50$ & $50$ & $50$ & $50$ \\496\hline497\multicolumn{5}{l}{\scriptsize{$^{***}p<0.001$; $^{**}p<0.01$; $^{*}p<0.05$}}498\end{tabular}499\caption{Table de régression}500\label{table:coefficients}501\end{center}502\end{table}503\end{frame}504505\end{document}506507508509510