spb/gsf6053_h25 Public

1% =========================================================================2% GSF6053 — Économétrie Financière (Hiver 2025)3% Université Laval — Faculté des sciences de l'administration4% Auteur  : Simon-Pierre Boucher5% Contact : contact@spboucher.ai6% =========================================================================7\documentclass{beamer}8\usepackage[utf8]{inputenc}9\usepackage[T1]{fontenc}10\usepackage{graphicx}11\usepackage{booktabs}12\usepackage{xcolor}13\usetheme{default}14\usecolortheme{seagull}1516\title[S02 Régression et MCO]{Analyse de Variance et Tests d'hypothèses\\ (Séance 3)}17\subtitle{GSF-6053: Économétrie Financière}18\author[SP. Boucher]{Simon-Pierre Boucher\inst{1}}19\institute[Université Laval]20{21  \inst{1}%22  Département de finance, assurance et immobilier\\23  Faculté des sciences de l'administration\\24  Université Laval}25\date[Hiver 2025]{28 Janvier 2025}2627% Configuration du pied de page avec logo en bas à droite28\setbeamertemplate{footline}{29  \leavevmode%30  \hbox{%31    \begin{beamercolorbox}[wd=.7\paperwidth,ht=2ex,dp=1ex,left]{author in head/foot}%32      \usebeamerfont{author in head/foot}\insertshortauthor33    \end{beamercolorbox}%34    \begin{beamercolorbox}[wd=.3\paperwidth,ht=2ex,dp=1ex,right]{date in head/foot}%35      \usebeamerfont{date in head/foot}\insertshortdate{}\hspace*{0.5em}36      \insertframenumber{} / \inserttotalframenumber\hspace*{0.5em}37      \raisebox{0.2cm}{\includegraphics[height=0.6cm]{logo_universite_laval.png}} % Ajustement du logo38    \end{beamercolorbox}}%39  \vskip0pt%40}4142\setbeamertemplate{navigation symbols}{} % Supprime les symboles de navigation par défaut4344\begin{document}4546\begin{frame}47  \titlepage48\end{frame}495051\begin{frame}{Références}52\textbf{Obligatoires:}53\begin{itemize}5455\item \textbf{Woolridge:} chapitres 2 à 756\end{itemize}57\vspace{0.5cm}58\textbf{Complémentaires:}59\begin{itemize}60\item \textbf{Gujarati et Porter:} chapitres 1 à 9.61\item \textbf{Greene:} chapitres 2, 3, 4, 5, 9, 14, 20, appendices C et D62\end{itemize}63\end{frame}646566\begin{frame}{Plan de la séance}67  \tableofcontents68\end{frame}6970\section{Analyse de Variance}7172\frame{\tableofcontents[current]}7374\begin{frame}{Analyse de Variance}75\begin{itemize}76\item Variation dans la variable expliquée \textbf{(Y)}77\begin{align*}78Y_t=\hat{Y}_t+\hat{u}_t79\end{align*}80\item Composantes de la variation de \textbf{Y}81\begin{itemize}82\item $\hat{Y}_t$ est la variation due à la partie expliquée83\item $\hat{u}_t$ est induite par la partie de \textbf{Y} non expliquée84\end{itemize}85\end{itemize}86\end{frame}8788\begin{frame}{Analyse de Variance}89\begin{itemize}90\item Variation totale de \textbf{Y}91\begin{align*}92SS_{tot}=\sum_{t=1}^{T}(Y_t-\overline{Y})^293\end{align*}94\item Variation partie expliquée de \textbf{Y}95\begin{align*}96SS_{reg}=\sum_{t=1}^{T}(\hat{Y}_t-\overline{Y})^297\end{align*}98\item Variation non expliquée de \textbf{Y} ou Résidus99\begin{align*}100SS_{err}=\sum_{t=1}^{T}(Y_t-\hat{Y}_t)^2=\sum_{t=1}^{T} \hat{u}_t^2101\end{align*}102\end{itemize}103\end{frame}104105\begin{frame}{Analyse de Variance}106\begin{itemize}107\item À l'aide des 3 dernières définitions, soit $SS_{tot}, SS_{reg}$ et $SS_{err}$, nous allons maintenant prouver l'équation suivante:108\begin{align*}109SS_{tot}=SS_{reg}+SS_{err}110\end{align*}111\item On pose la définition de $SS_{tot}$ qu'on sait déja:112\begin{align*}113SS_{tot}=\sum_{t=1}^{T}(Y_t-\overline{Y})^2114\end{align*}115Sachant $Y_t= \hat{Y}_t + \hat{u}_t$116117\begin{align*}118SS_{tot}=\sum_{t=1}^{T}(\hat{Y}_t + \hat{u}_t-\overline{Y})^2119\end{align*}120\end{itemize}121\end{frame}122123124\begin{frame}{Analyse de Variance}125\begin{itemize}126\item Afin d'éliminer et de transformer certains termes, il nous faut distribuer les termes de notre parenthèse élevé au carré.127\begin{align*}128SS_{tot}  =\sum_{t=1}^{T}(\hat{Y}_t + \hat{u}_t-\overline{Y})\times(\hat{Y}_t + \hat{u}_t-\overline{Y})129\end{align*}130131\begin{align*}132=\sum_{t=1}^{T} \left[ \hat{Y}_t^2 +\hat{Y}_t\hat{u}_t -\hat{Y}_t\overline{Y} +\hat{u}_t\hat{Y}_t + \hat{u}_t^2-\hat{u}_t \overline{Y}  - \overline{Y} \hat{Y}_t -\overline{Y} \hat{u}_t +\overline{Y}^2 \right]133\end{align*}134135\end{itemize}136\end{frame}137138139\begin{frame}{Analyse de Variance}140\begin{itemize}141\item Nous allons maintenant simplifier notre équation $SS_{tot}$, en utilisant l'identité remarquable. 142\begin{itemize}143\item Rappel: Si nous avons $(a^2+2ab+b^2)$, alors on peut écrire les 3 termes sous une forme polynomial $(a+b)^2$144\end{itemize}145\item Dans le cas qui nous interesse, notre indentité remarquable sera composé de $\hat{Y}_t$ et $\overline{Y}$. On peut donc isoler, dans notre dernière équation les termes nécessaires:146\begin{align*}147SS_{tot} =\sum_{t=1}^{T} \left[(\hat{Y}_t^2+\overline{Y}^2-2\hat{Y}_t \overline{Y})+2\hat{Y}_t\hat{u}_t + \hat{u}_t^2-2 \hat{u}_t \overline{Y}\right]148\end{align*}149Sachant que selon l'identité remarquable $(\hat{Y}_t^2+\overline{Y}^2-2\hat{Y}_t \overline{Y})=(\hat{Y}_t-\overline{Y})^2$150\begin{align*}151SS_{tot} =\sum_{t=1}^{T} \left[(\hat{Y}_t-\overline{Y})^2+2\hat{Y}_t\hat{u}_t + \hat{u}_t^2-2 \hat{u}_t \overline{Y}\right]152\end{align*}153\end{itemize}154155 \end{frame}156157158\begin{frame}{Analyse de Variance}159\begin{itemize}160\item On doit maintenant distribuer notre opérateur sommation à tous les termes de l'équation exprimant $SS_{tot}$.161\begin{align*}162SS_{tot}=\sum_{t=1}^{T} (\hat{Y}_t-\overline{Y})^2 + \sum_{t=1}^{T} \hat{u}_t^2 +2\sum_{t=1}^{T}\hat{Y}_t\hat{u}_t  -2 \overline{Y}\sum_{t=1}^{T}\hat{u}_t163\end{align*}164Sachant:165\begin{itemize}166\item $SS_{reg}=\sum_{t=1}^{T}(\hat{Y}_t-\overline{Y})^2$167\item $SS_{err}=\sum_{t=1}^{T} \hat{u}_t^2$168\end{itemize}169\item Alors on peut écrire l'équation exprimant $SS_{tot}$ comme suit:170\begin{align*}171SS_{tot}=SS_{reg} + SS_{err} +2\sum_{t=1}^{T}\hat{Y}_t\hat{u}_t  -2 \overline{Y}\sum_{t=1}^{T}\hat{u}_t172\end{align*}173\end{itemize}174175\end{frame}176177178\begin{frame}{Analyse de Variance}179\begin{itemize}180\item Les résidus sont orthogonaux au sous-espace engendré par les colonnes de $X$ 181\begin{align*}1822\sum_{t=1}^T \hat{Y}_t \hat{u}_t=0183\end{align*}184\item La somme des résidus est nulle185\begin{align*}1862 \overline{Y} \sum_{t=1}^T \hat{u}_t=0187\end{align*}188\item Avec les deux dernières propriétés on très bien que dans l'éuation du $SS_{tot}$, les deux derniers termes s’annulent:189\begin{align*}190SS_{tot}=SS_{reg}+SS_{err}191\end{align*}192\end{itemize}193\end{frame}194195\section{Coefficient de détermination $(R^2)$}196197\frame{\tableofcontents[current]}198199\begin{frame}{Coefficient de détermination $(R^2)$}200\begin{itemize}201\item Indique le pouvoir explicatif de la régression202\item Proportion des variations de $Y$ expliquées par les régresseurs du modèle par rapport aux variations total.203\item On peut donc exprimer le $R^2$ comme étant le ratio entre la somme des résidus au carrés et somme des variations total au carrés. 204\begin{align*}205R^2=\frac{SS_{reg}}{SS_{tot}}=1-\frac{SS_{err}}{SS_{tot}}206\end{align*}207\item On voit clairement que notre $R^2$ sera compris entre $0$ et $1$208\begin{align*}2090 \le R^2 \le 1210\end{align*}211\end{itemize}212\end{frame}213214215\section{Coefficient de détermination ajusté $(R^2$ ajusté)}216217\frame{\tableofcontents[current]}218219\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}220\begin{itemize}221\item Contrairement au $R^2$ standard, le $R^2$ ajusté vient pénélisé l'ajout de variables explicatives inutiles.222\item $R^2$ $\rightarrow$ Si on ajoute un variable explicative à note modèle, il augmentera forcément223\item $R^2$ ajusté $\rightarrow$ Si on ajoute un variable explicative à note modèle, il peut augmenté, mais si l'ajout de cette variable est inutile il pourra également diminuer.224225\end{itemize}226\end{frame}227228229\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}230\begin{itemize}231\item L'équation exprimant le $R^2$ ajusté contient comme pour le $R^2$, le $SS_{err}$ et le $SS_{tot}$. 232\item Cependant afin de tenir compte du nombre de régresseurs ajoutés au modèle, on aura besoin de la constante $k$, étant le nombre de variable indépendantes. 233\item Nous aurons également besoin du nombres d'observation dans notre échantillons, représenté par $n$.234\end{itemize}235\end{frame}236237238\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}239\begin{itemize}240\item \textbf{Équation exprimation le $R^2$ ajusté:}241\begin{align*}242R_{ADJ}^2 & =1-\frac{\left( \frac{SS_{err}}{n-k}\right)}{\left( \frac{SS_{tot}}{n-1}\right)} \\ & = 1-\frac{SS_{err}(n-1)}{SS_{tot}(n-k)}243\end{align*}244Ou \textbf{k} représente le nombre de régresseurs245\end{itemize}246\end{frame}247248\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}249\begin{itemize}250\item On peut également montrer qu'il est possible d'exprimer le $R^2$ ajusté en fonction du $R^2$ standard251\item Si $\frac{SS_{reg}}{SS_{tot}}=R^2$ alors $\frac{SS_{err}}{SS_{tot}}=1-R^2$252Comme montré ci-haut, le $R^2$ ajusté peut être exprimé comme suit:253\begin{align*}254R_{ADJ}^2=1-\frac{SS_{err}}{SS_{tot}} \times \frac{(n-1)}{n-k}255\end{align*}256Sachant $\frac{SS_{err}}{SS_{tot}}=1-R^2$, on peut écrire à nouveau le $R^2$ ajusté en fonction du $R^2$257\begin{align*}258R_{ADJ}^2=1-(1-R^2) \times \frac{(n-1)}{n-k}259\end{align*}260\end{itemize}261\end{frame}262263\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}264\textbf{Coefficient de détermination ajusté:}265266\begin{itemize}267\item Si nous avons uniquement 1 variables explicatives dans notre modèle, alors le $R^2$ sera égale au $R_{ADJ}^2$.268\begin{itemize}269\item Dans ce cas, nous avons 1 régresseur, soit $k=1$270\end{itemize}271\begin{align*}272R_{ADJ}^2 & =1-(1-R^2) \times \frac{(n-1)}{n-k} \\ & = 1-(1-R^2) \times \frac{(n-1)}{n-1} \\ & =1-(1-R^2) \\ & = R^2273\end{align*}274\end{itemize}275\end{frame}276277\begin{frame}{Coefficient de détermination ajusté $(R^2$ ajusté)}278\textbf{Coefficient de détermination ajusté:}279280\begin{itemize}281\item Si nous avons uniquement plusieurs variables explicatives dans notre modèle, alors le $R^2$ sera plus grand ou égale au $R_{ADJ}^2$.282\begin{itemize}283\item Dans ce cas, nous avons 2 régresseur et plus, soit $k \ge 2$284\end{itemize}285\item S'il y a plusieurs variables explicatives alors286\begin{align*}287n-1 > n-k288\end{align*}289De facon équivalente:290\begin{align*}291\frac{(n-1)}{n-k} > 1292\end{align*}293\item Le terme $\frac{(n-1)}{n-k}$ supérieurs à 1  est multiplié à ce qui n'est pas expliqué par le modèle $(1-R^2)$294\end{itemize}295\textbf{Ce qui nous permet d'affirmer:}296\begin{align*}297R_{ADJ}^2 \leq R^2 \hspace{0.2cm} \textbf{et} \hspace{0.2cm} R_{ADJ}^2 \leq 1298\end{align*}299\end{frame}300301302303\section{Test d'hypothèse}304305\frame{\tableofcontents[current]}306307\begin{frame}{Test d'hypothèse}308\textbf{Un test d’hypothèse sur les paramètres d’un modèle économétrique requiert les309 étapes suivantes:}310311\begin{itemize}312\item \textbf{Étape 1:} 313\begin{itemize}314\item Écrire l’hypothèse nulle ($H_0$) et l’alternative ($H_1$). 315\item La plupart du temps, $H_0$ est l’hypothèse que l’on veut rejeter. 316\item Par exemple, qu’un paramètre est non significatif ou égal à une certaine valeur. 317\item L’hypothèse alternative peut être unilatérale ($<$ et $>$) ou bilatérale ($\neq$).318\end{itemize}319\end{itemize}320\end{frame}321322323\begin{frame}{Test d'hypothèse}324325\begin{itemize}326\item \textbf{Étape 2:} 327\begin{itemize}328\item Définir la statistique de test (student, F, Wald, LR, LM etc..) 329\item Déterminer si possible, la distribution loi de cette statistique sous $H_0$.330\end{itemize}331\item \textbf{Étape 3:}332\begin{itemize}333\item Choisir le niveau de significativité du test $\alpha$.334\item On fixe donc la possibilité d’erreur de type 1 soit la probabilité de rejeter $H_0$ lorsque celle-ci est vraie.335\item Généralement, on fixe le niveau à 5 \% ou 1 \% et plus rarement à 10 \%.336337\end{itemize}338\end{itemize}339\end{frame}340341342\begin{frame}{Test d'hypothèse}343344\begin{itemize}345\item \textbf{Étape 4:} 346\begin{itemize}347\item Déterminer la règle de décision du test avec la région critique de confiance $CR_{\alpha}$.348\item La plupart du temps, cela demande de savoir la distribution de la statistique sous $H_0$.349\item Lorsque la valeur calculée pour la statistique de test se trouve dans la région critique: on rejette $H_0$ en faveur de $H_1$ au seuil de confiance $\alpha$.350\end{itemize}351\item \textbf{Étape 5:}352\begin{itemize}353\item Utiliser les valeurs obtenues de la régression pour calculer la statistique de test.354\end{itemize}355\item \textbf{Étape 6:}356\begin{itemize}357\item Appliquer la règle de décision vue dans l'étape 4.358\end{itemize}359\end{itemize}360\end{frame}361362\begin{frame}{Test d'hypothèse}363\begin{block}{Note sur la p-value}364\begin{itemize}365\item Parfois, on regarde la p-value au lieu de comparer $CR_{\alpha}$ à la valeur de la statistique.366\item P-value : C’est le plus petit niveau auquel on petit rejeter l’hypothèse nulle.367\item En d’autres mots, c’est la probabilité d’avoir un évènement aussi extrême que celle observée en assumant que $H_0$ est vraie. 368\item Plus la p-value est faible, plus la probabilité que l’évènement observé soit faible, étant donné l’hypothèse nulle.369\begin{itemize}370\item plus il y a de chances que l’hypothèse nulle est rejetée.371\end{itemize}372\end{itemize}373\end{block}374\end{frame}375376\begin{frame}{Test d'hypothèse}377\textbf{Test de significativité:}378\begin{block}{Significativité individuelle d'un paramètre}379\begin{itemize}380\item On regarde si le régresseur est statistiquement non nul 381\item Utilise le test de student 382\end{itemize}383\end{block}384\begin{block}{Significativité conjointe des paramètres}385\begin{itemize}386\item On regarde si au moins un des régresseurs est statistiquement non nul (un effet)387\item Utilise le F-test388\end{itemize}389\end{block}390391\end{frame}392393394395396\begin{frame}{Test d'hypothèse}397\textbf{Test de Student:}398\begin{block}{Two-tailed test}399\begin{itemize}400\item Hypothèse nulle est la non-significativité du coefficient de régression401\item Hypothèses:402\begin{itemize}403\item $H_0:$ $\beta_k=0$ $\rightarrow$ \textbf{Hypothèse nule}404\item $H_1:$ $\beta_k \neq 0$ $\rightarrow$ \textbf{Hypothèse alternative}405\end{itemize}406\item Règle de décision:407Rejeter $H_0$ si:408\begin{align*}409t=\frac{\mid \hat{\beta}_k-\beta_0 \mid}{SE_{\hat{\beta}_k}} > t_{n-k,\alpha/2}410\end{align*}411\begin{itemize}412\item Ou $\beta_0$ est la valeur du coefficient sous l'hypothèse nulle, soit 0413\item $SE_{\hat{\beta}_k}$ est l'écart-type associé à l'estimation de $\hat{\beta}_k$414\end{itemize}415\end{itemize}416\end{block}417\end{frame}418419\begin{frame}{Test d'hypothèse}420\textbf{Test de Student:}421\begin{block}{Right-tailed test}422\begin{itemize}423\item Hypothèses:424\begin{itemize}425\item $H_0:$ $\beta_k \leq 0$ $\rightarrow$ \textbf{Hypothèse nule}426\item $H_1:$ $\beta_k > 0$ $\rightarrow$ \textbf{Hypothèse alternative}427\end{itemize}428\item Règle de décision:429Rejeter $H_0$ si:430\begin{align*}431t=\frac{\hat{\beta}_k-\beta_0}{SE_{\hat{\beta}_k}} > t_{n-k,\alpha}432\end{align*}433\begin{itemize}434\item Ou $\beta_0$ est la valeur du coefficient sous l'hypothèse nulle, soit 0435\item $SE_{\hat{\beta}_k}$ est l'écart-type associé à l'estimation de $\hat{\beta}_k$436\end{itemize}437\end{itemize}438\end{block}439\end{frame}440441442\begin{frame}{Test d'hypothèse}443\textbf{Test de Student:}444\begin{block}{Left-tailed test}445\begin{itemize}446\item Hypothèses:447\begin{itemize}448\item $H_0:$ $\beta_k \geq 0$ $\rightarrow$ \textbf{Hypothèse nule}449\item $H_1:$ $\beta_k < 0$ $\rightarrow$ \textbf{Hypothèse alternative}450\end{itemize}451\item Règle de décision:452Rejeter $H_0$ si:453\begin{align*}454t=\frac{\hat{\beta}_k-\beta_0}{SE_{\hat{\beta}_k}} < -t_{n-k,\alpha}455\end{align*}456\begin{itemize}457\item Ou $\beta_0$ est la valeur du coefficient sous l'hypothèse nulle, soit 0458\item $SE_{\hat{\beta}_k}$ est l'écart-type associé à l'estimation de $\hat{\beta}_k$459\end{itemize}460\end{itemize}461\end{block}462\end{frame}463464465\begin{frame}{Test d'hypothèse}466\textbf{F-test (significativité conjointe)}467\begin{itemize}468\item Comparer la différence entre les résidus au carrés d'un modèle contraint et d'un modèle non contraint.469\begin{itemize}470\item Si la différence est grande 471\item Plus les résidus du modèle contraint sont grand par rapport au modèle contraint472\item Plus la contrainte coûte cher à appliquer en terme de performance473\item Plus la statistique F est grande474\item Passé un certain coût critique $\rightarrow$ rejette $H_0$475\end{itemize}476\end{itemize}477\end{frame}478479\begin{frame}{Test d'hypothèse}480\textbf{F-test (significativité conjointe)}481\begin{block}{Hypothèses:}482\begin{itemize}483\item $H_0:$ $\beta_2 = \beta_3 = ... = \beta_k=0$484\item $H_1:$ $\beta_2 \neq 0$ et $\beta_3 \neq 0$ et $...$ et/ou $\beta_k \neq 0$485\end{itemize}486\end{block}487\begin{block}{Statistique de test:}488\begin{itemize}489\item Modèle non contraint $\rightarrow$ $(\hat{u}'\hat{u})$490\item Modèle contraint $\rightarrow$ $(\hat{u}_0'\hat{u}_0)$491\end{itemize}492\begin{align*}493F = \frac{\hat{u}_0'\hat{u}_0-\hat{u}'\hat{u}}{\hat{u}'\hat{u}}\times \frac{t-k}{q} \sim (q,t-k)494\end{align*}495\end{block}496\end{frame}497498\begin{frame}{Test d'hypothèse}499\textbf{F-test (significativité conjointe)}500501\begin{block}{Décision:}502On rejette $H_0$ à un seuil de $\alpha$ si 503\begin{align*}504F = \frac{\hat{u}_0'\hat{u}_0-\hat{u}'\hat{u}}{\hat{u}'\hat{u}} \times \frac{t-k}{q} > F(q,t-k;\alpha)505\end{align*}506\end{block}507\end{frame}508509510\section{Les contraintes linéaires}511512\frame{\tableofcontents[current]}513514\begin{frame}{Les contraintes linéaires}515516\textbf{Format général:}517\begin{align*}518H_0: R \beta = r519\end{align*}520\begin{itemize}521\item $R=$ matrice de sélection contenant une ligne pour chaque contrainte non redondante $q$522\item Vecteur de réel constants523\end{itemize}524525526\end{frame}527528\begin{frame}{Les contraintes linéaires}529\begin{itemize}530\item On cherche à maximiser notre log-vraisemblance afin de trouver une solution pour $\beta$, tout en respectant une contrainte linéaire. 531\item Il s'agit essentiellement d'une optimization sous contrainte à l'aide d'un multiplicateur de lagrange.532\item On représente l'estimateur $\beta$ obtenus avec la méthode des moindres carrés ordinaire est représenté par $\beta^{OLS}$.533\item L'estimateur $\beta$ obtenus sous une contrainte linéaire est représenté par $\beta^{LC}$534535\end{itemize}536\end{frame}537538\begin{frame}{Les contraintes linéaires}539\begin{itemize}540\item Nous voulons minimiser la somme des carrés des résidus, mais cette fois, nous posons la contrainte : $R \beta = r$541\item Cela conduit à la fonction de Lagrange suivante:542\begin{align*}543L(\beta,\lambda) & =(Y-X\beta)'(Y-X\beta)+2 \lambda'(R \beta-r)\\ & = Y'Y-2Y'X\beta +\beta' X'X \beta +2 \lambda' R\beta -2 \lambda'r544\end{align*}545\item On dérive ensuite la fonction $L(\beta,\lambda)$ par rapport à $\beta$ et $\lambda$546\end{itemize}547548\end{frame}549550\begin{frame}{Les contraintes linéaires}551    \begin{itemize}552        \item \textbf{Dérivé par rapport à $\beta$}553        \begin{align*}554            \frac{\partial L(\beta, \lambda)}{\partial \beta} &= -2 X'Y + 2X'X \beta + 2 \lambda'R = 0555        \end{align*}556        \begin{align*}557            X'X \beta + R'\lambda &= X'Y558        \end{align*}559560        \item \textbf{Dérivé par rapport à $\lambda$}561        \begin{align*}562            \frac{\partial L(\beta, \lambda)}{\partial \lambda} &= 2R\beta - 2r = 0563        \end{align*}564        \begin{align*}565            R \beta &= r566        \end{align*}567    \end{itemize}568\end{frame}569570571\begin{frame}{Les contraintes linéaires}572\textbf{Format matricielle}573\begin{itemize}574\item Équation 1:575\begin{align*}576X'X \times \textcolor{red}{\beta} + R' \times \textcolor{red}{\lambda} = X'Y577\end{align*}578\item Équation 2:579\begin{align*}580R \times \textcolor{red}{\beta} + 0 \times \textcolor{red}{\lambda} = r581\end{align*}582\end{itemize}583Ce qui nous permet d'obtenir la représentation suivante:584\begin{align*}585\begin{bmatrix}586X'X & R' \\587R & 0 588\end{bmatrix}589\begin{bmatrix}590\textcolor{red}{\beta} \\591\textcolor{red}{\lambda}592\end{bmatrix}593=594\begin{bmatrix}595X'Y \\596r597\end{bmatrix}598\end{align*}599\end{frame}600601602\begin{frame}{Les contraintes linéaires}603604\begin{itemize}605\item On peut ensuite obtenir une solution pour $\beta$ et $\lambda$606607\begin{align*}608\begin{bmatrix}609\textcolor{red}{\beta} \\610\textcolor{red}{\lambda}611\end{bmatrix}612=613\begin{bmatrix}614X'X & R' \\615R & 0 616\end{bmatrix}^{-1}617\begin{bmatrix}618X'Y \\619r620\end{bmatrix}621\end{align*}622623\item Pour obtenir une solution de $\beta^{LC}$, il nous suffit de trouver la solution pour $\beta$ dans l'équation 1.624\begin{align*}625X'X  \beta^{LC} + R' \lambda = X'Y626\end{align*}627\begin{align*}628X'X  \beta^{LC}  = X'Y-R' \lambda629\end{align*}630\begin{align*}631\beta^{LC}  = (X'X)^{-1}X'Y-(X'X)^{-1}R' \lambda632\end{align*}633\end{itemize}634\end{frame}635636\begin{frame}{Les contraintes linéaires}637\begin{block}{Estimateur sous contrainte linéaire ($\beta^{LC})$}638\begin{align*}639\beta^{LC}  = (X'X)^{-1}X'Y-(X'X)^{-1}R' \lambda640\end{align*}641\end{block}642\begin{block}{Estimateur OLS ($\beta^{OLS}$)}643\begin{align*}644\beta^{OLS}  = (X'X)^{-1}X'Y645\end{align*}646\end{block}647On voit donc facilement qu'il nous est possible d'exprimer l'estimateur $\beta^{LC}$ en fonction de l'estimateur $\beta^{OLS}$648\begin{align*}649\beta^{LC}  = \beta^{OLS}-(X'X)^{-1}R' \lambda650\end{align*}651\end{frame}652653\begin{frame}{Les contraintes linéaires}654\begin{itemize}655\item On doit également trouver une solution pour $\lambda$ afin de pouvoir l'incorporer dans la solution de $\beta^{LC}$656\item On commence par multiplier chaque coté l'équation de la solution de $\beta^{LC}$ par $R$657\begin{align*}658R\beta^{LC}  = R\beta^{OLS}-R(X'X)^{-1}R' \lambda659\end{align*}660\item On sait déja que $R\beta^{LC}=r$, étant donné la contrainte linéaire posée661\begin{align*}662r  = R\beta^{OLS}-R(X'X)^{-1}R' \lambda663\end{align*}664\item Pour finalement isoler $\beta^{OLS}$665\begin{align*}666\lambda=(R(X'X)^{-1}R')^{-1}(R\beta^{OLS}-r)667\end{align*}668\end{itemize}669\end{frame}670671\begin{frame}{Les contraintes linéaires}672\begin{itemize}673\item On substitut la solution de $\lambda$ dans l'équation de la solution de $\beta^{LC}$674\begin{align*}675\beta^{LC}  = \beta^{OLS}-(X'X)^{-1}R'(R(X'X)^{-1}R')^{-1}(R\beta^{OLS}-r)676\end{align*}677\item On voit que $\beta^{LC}$ (Contraint) est exprimé en fonction de $\beta^{OLS}$ (Non-Contraint).678\item Le test de Fisher (F-Test) est une spécification d'un contrainte linéaire.679\begin{itemize}680\item Le modèle non-contraint est le modèle que nous souhaitons estimer et vérifier la significativité.681\item Le modèle contraint est simplement un modèle dans lequel nous allons contraindre tous les coefficients d'être égale à 0.682\end{itemize}683\end{itemize}684\end{frame}685686\begin{frame}{Les contraintes linéaires}687\begin{block}{Représentation du F-test sous le format de contrainte linéaire}688\begin{itemize}689\item On suppose un modèle avec un intercept $\beta_0$ et une pente $\beta_1$.690\item On cherche à tester une contrainte linéaire ayant le format $R\beta=r$691\item La matrice $R$:692\begin{align*}693R = \begin{bmatrix}6941 & 0 \\6950 & 1 696\end{bmatrix}697\end{align*}698\item La matrice $\beta$:699\begin{align*}700\beta= \begin{bmatrix}701\beta_0 \\702\beta_1703\end{bmatrix}704\end{align*}705\end{itemize}706\end{block}707\end{frame}708709\begin{frame}{Les contraintes linéaires}710\begin{block}{Représentation du F-test sous le format de contrainte linéaire}711\begin{itemize}712\item La matrice $r$713\begin{align*}714r= \begin{bmatrix}7150 \\7160717\end{bmatrix}718\end{align*}719\item Ce qui nous donne la contrainte linéaire $(R \beta=r)$ dans le cas du F-Test:720\begin{align*}721\begin{bmatrix}7221 & 0 \\7230 & 1 724\end{bmatrix}725\begin{bmatrix}726\beta_0 \\727\beta_1728\end{bmatrix}729=730\begin{bmatrix}7310 \\7320733\end{bmatrix}734\end{align*}735\end{itemize}736\end{block}737\end{frame}738739\begin{frame}{Les contraintes linéaires}740\begin{itemize}741\item Nous regardons maintenant trois classes de tests qui peuvent être utilisées dans des contextes plus généraux:742\begin{itemize}743\item Test d’hypothèse de restrictions non linéaires sur les paramètres744\item Test d’hypothèse sur la matrice de variance-covariance745\item Tests dans des modèles sans normalités des erreurs746\end{itemize}747\item Les tests présentés sont748\begin{itemize}749\item Multiplicateur de Lagrange (LM)750\item Test de Wald 751\item Ratio de vraisemblance (LR)752\end{itemize}753\end{itemize}754\end{frame}755756\section{Test de Wald}757758\frame{\tableofcontents[current]}759760\begin{frame}{Test de Wald}761\begin{itemize}762\item Le test de Wald est une forme quadratique basé sur la distance entre $(R \beta -r)$ et zéro.763\item C’est-à-dire si l’estimé non contraint vérifie la contrainte.764\item On rejette l’hypothèse nulle si la statistique est suffisamment grande.765\begin{block}{Hypothèses}766\begin{itemize}767\item $H_0:$ $R \beta = r$768\item $H_1:$ $R \beta \neq r$769\end{itemize}770\end{block}771\begin{block}{Statistique $W$}772\begin{align*}773W=(R \beta -r)'[V(R \beta -r)]^{-1}(R \beta-r)774\end{align*}775Où $V(R \beta -r)$ est la variance entre les deux termes.776\end{block}777\end{itemize}778\end{frame}779780\begin{frame}{Test de Wald}781\begin{block}{Statistique $W$}782\begin{itemize}783\item En décomposant la variance, on trouve une solution pour la statistique de Wald.784\begin{align*}785W = \frac{1}{\hat{\sigma}^2}(R \beta -r)'[R(X'X)^{-1}R']^{-1}(R \beta -r)786\end{align*}787\end{itemize}788\end{block}789\begin{itemize}790\item Sous l’hypothèse nulle, W suit aussi une khi carré (q).791\item Le Wald est intéressant, car tous les estimés nécessaires sont non contraints.792\item On ne fait pas d’estimation contrainte, car on s’intéresse à savoir si le modèle non contraint rejette l’hypothèse nulle d’être « assez prêt » de la contrainte.793\end{itemize}794\end{frame}795796\section{Ratio de vraisemblance (LR)}797798\frame{\tableofcontents[current]}799800\begin{frame}{Ratio de vraisemblance (LR)}801\begin{itemize}802\item \textbf{Intuition:} comparer la valeur de la vraisemblance aux maximum contraint et non contraint.803\item Si ces deux valeurs sont proches l’une de l’autre, cela implique que la contrainte est aisément satisfaite par les observations et non couteuse en termes de maximisation de la vraisemblance.804\item La vraissemblance du modèle non-contraint est représenté par $\hat{L}$, alors que la vraissemblance du modèle contraint est représenté par $\hat{L}_c$805\item L'estimateur $\hat{L}$ sera une fonction des estimateurs $\hat{\beta}$ et $\hat{\sigma}^2$ du modèle non contraint $\rightarrow$ $\hat{L}(\hat{\beta},\hat{\sigma}^2)$806\item L'estimateur $\hat{L}_c$ sera une fonction des estimateurs $\hat{\beta}_c$ et $\hat{\sigma}_c^2$ du modèle non contraint $\rightarrow$ $\hat{L}_c(\hat{\beta}_c,\hat{\sigma}_c^2)$807\end{itemize}808\end{frame}809810\begin{frame}{Ratio de vraisemblance (LR)}811\begin{itemize}812\item Afin de pouvoir simplifier la vraissemblance, nous poserons l'hypothèse de normalité des résidus.813\begin{align*}814\hat{L} & =-\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{1}{2} \times \frac{(Y-X \hat{\beta})'(Y-X \hat{\beta})}{\hat{\sigma}^2} \\ & =-\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{1}{2} \times \frac{\hat{u}'\hat{u}}{\hat{\sigma}^2} \\ & = -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{1}{2} \times \frac{T \hat{\sigma}^2}{\hat{\sigma}^2} \\ & = -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{T}{2} 815\end{align*}816\end{itemize}817\end{frame}818819\begin{frame}{Ratio de vraisemblance (LR)}820\begin{block}{Vraissemblance du modèle non-contraint}821\begin{align*}822\hat{L}=-\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{T}{2} 823\end{align*}824\end{block}825\begin{block}{Vraissemblance du modèle contraint}826\begin{align*}827\hat{L}_c=-\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}_c^2)-\frac{T}{2} 828\end{align*}829\end{block}830\end{frame}831832\begin{frame}{Ratio de vraisemblance (LR)}833\begin{itemize}834\item On veut comparer la valeur de la vraisemblance $\hat{L}$ et $\hat{L}_c$835\item La statistique LR s’écrit donc comme la différence entre les estimés contraints et non-contraints de $\sigma^2$836\begin{align*}837LR & =2[\hat{L}-\hat{L}_c]\\ & =  2\left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}^2)-\frac{T}{2}  \right]\\ & -2\left[ -\frac{T}{2} \log (2 \pi) -\frac{T}{2} \log (\hat{\sigma}_c^2)-\frac{T}{2} \right] \\ & =T \log (\hat{\sigma}_c^2)-T \log (\hat{\sigma}^2) \\ & = T \log \left( \frac{\hat{\sigma}_c^2}{\hat{\sigma}^2}\right) = T \log \left( \frac{\hat{u}_c^{'}\hat{u}_c}{\hat{u}^{'} \hat{u}}\right) 838\end{align*}839\item La statistique suit donc une loi Khi carré (q) asymptotiquement840\end{itemize}841\end{frame}842843\section{Multiplicateur de Lagrange}844845\frame{\tableofcontents[current]}846847848\begin{frame}{Multiplicateur de Lagrange}849\begin{itemize}850\item Il s’agit d’une régression auxiliaire.851\item La statistique de test sera :$T \times R^2$852\item Cette statistique suit alors une khi-carré avec q degré de liberté. 853\item Intuition de ce test : vérifier si le score (la dérivé première du Lagrangien en fonction des paramètres) est proche de zéro évalué en $\hat{\beta}_c$.854\item Si oui, la contrainte n’est pas très couteuse en termes d’optimisation et il est probable que les paramètres prennent les valeurs définies par l’hypothèse nulle.855\end{itemize}856\end{frame}857858\begin{frame}{Multiplicateur de Lagrange}859\begin{block}{Statistique LM}860\begin{align*}861LM= \left[ \frac{\partial L}{\partial \beta} (\hat{\beta}_c)\right]^{'}\left[V \frac{\partial L}{\partial \beta} (\hat{\beta}_c)\right]^{-1}\left[ \frac{\partial L}{\partial \beta} (\hat{\beta}_c)\right]862\end{align*}863En effectuant les dérivés premières et quelques manipulations, on obtient la solution pour la statistique LM.864\begin{align*}865LM=\frac{1}{\sigma^2} (\hat{\beta}-\hat{\beta}_c)'R'CR(\hat{\beta}-\hat{\beta}_c)866\end{align*}867868\end{block}869\end{frame}870871\begin{frame}{Multiplicateur de Lagrange}872\begin{block}{Statistique LM}873\begin{itemize}874\item On peut aussi réécrire cette statistique comme une fonction des résidus contraints et non contraints.875\begin{align*}876LM = \frac{\hat{u}_c^{'}\hat{u}_c-\hat{u}^{'}\hat{u}}{\frac{\hat{u}_c^{'}\hat{u}_c}{T}}877\end{align*}878\item Cette statistique suit une loi Chi carré avec q degré de liberté asymptotiquement sous l’hypothèse nulle.879\item Le LM exploite le fait que la maximisation du log vraisemblance sous la contrainte de l’hypothèse nulle revient à maximiser sans contrainte la fonction Lagrangienne associée. 880\item  Le test est alors basé sur le fait que si la contrainte sous $H_0$ est respectée par les données, le vecteur de Lagrange devrait être nul.881882\end{itemize}883\end{block}884\end{frame}885886\section{Lien entre les Statistiques F, WALD, LR et LM}887888\frame{\tableofcontents[current]}889890\begin{frame}{Lien entre les Statistiques F, WALD, LR et LM}891\begin{itemize}892\item Toutes ces statistiques se calculent à partir de la somme des résidus au carré.893\item Il est possible d’exprimer les trois statistiques présentées comme une transformation de la statistique F dans le cas de contraintes linéaires et du modèle linéaire simple.894\end{itemize}895\begin{block}{Statistique F}896897\begin{align*}898F= \frac{\hat{u}_0'\hat{u}_0-\hat{u}'\hat{u}}{\hat{u}'\hat{u}} \times \frac{t-k}{q}>F(q,t-k;\alpha) 899\end{align*}900\begin{itemize}901\item On rejette $H_0$ si la statistique de test est plus grande que le point critique associé902\end{itemize}903\end{block}904\end{frame}905906\begin{frame}{Lien entre les Statistiques F, WALD, LR et LM}907    \begin{itemize}908        \item \textbf{Statistique Wald}909        \begin{align*}910            Wald &= T \frac{\hat{u}_c'\hat{u}_c - \hat{u}'\hat{u}}{\hat{u}'\hat{u}} = \frac{Tq}{T-K}F911        \end{align*}912913        \item \textbf{Statistique LR}914        \begin{align*}915            LR &= T \log \left[ \frac{\hat{u}_c'\hat{u}_c}{\hat{u}'\hat{u}} \right] = T \log \left[F \frac{q}{T-K} + 1 \right]916        \end{align*}917918        \item \textbf{Statistique LM}919        \begin{align*}920            LM &= \frac{\hat{u}_c'\hat{u}_c - \hat{u}'\hat{u}}{\frac{\hat{u}_c'\hat{u}_c}{T}} = \frac{T}{\left[\frac{1}{F}\right] \left[\frac{T-K}{q}\right] + 1}921        \end{align*}922    \end{itemize}923\end{frame}924925\begin{frame}{Lien entre les Statistiques F, WALD, LR et LM}926\begin{itemize}927\item Rejette si la statistique de test est plus grande que le point critique d’une Chi-carré avec q degrés de liberté.928\item Bien que toutes ses statistiques soient maintenant exprimées en fonction des résidus contraints et non contraints, elles ne donnent pas la même valeur. 929\item L’inférence pourrait donc potentiellement être différente.930\end{itemize}931932\end{frame}933\end{document}