spb/gsf6053_h25 Public

1% =========================================================================2% GSF6053 — Économétrie Financière (Hiver 2025)3% Université Laval — Faculté des sciences de l'administration4% Auteur  : Simon-Pierre Boucher5% Contact : contact@spboucher.ai6% =========================================================================7\documentclass[14pt]{extarticle} % Utilisation de extarticle pour supporter 14pt89% ------------------------------------------------------------------------10% Packages indispensables et recommandés11% ------------------------------------------------------------------------12\usepackage[utf8]{inputenc}     % Encodage des caractères13\usepackage[T1]{fontenc}        % Encodage de la police14\usepackage[french]{babel}      % Support de la langue française15\usepackage{amsmath, amssymb}   % Environnement mathématique enrichi16\usepackage{graphicx}           % Inclusion d'images17\usepackage{hyperref}           % Liens hypertextes18\usepackage{geometry}           % Gestion des marges19\usepackage{titlesec}           % Personnalisation des titres20\usepackage{setspace}           % Gestion de l'interligne21\usepackage{xcolor}             % Gestion des couleurs22\usepackage{lipsum}             % (optionnel) Pour générer du faux texte23\usepackage{booktabs}           % (optionnel) Pour améliorer les tableaux24\usepackage{fancyhdr}           % Personnalisation des en-têtes et pieds de page25\usepackage{cleveref}           % Références intelligentes26\usepackage{caption}            % Pour personnaliser les légendes2728% ------------------------------------------------------------------------29% Configuration de la mise en page30% ------------------------------------------------------------------------31\geometry{32    a4paper,33    left=25mm,34    right=25mm,35    top=25mm,36    bottom=25mm37}3839% ------------------------------------------------------------------------40% Personnalisation des sections41% ------------------------------------------------------------------------42\titleformat{\section}{\Large\bfseries}{\thesection}{1em}{}43\titleformat{\subsection}{\large\bfseries}{\thesubsection}{1em}{}44\titleformat{\subsubsection}{\normalsize\bfseries}{\thesubsubsection}{1em}{}4546% ------------------------------------------------------------------------47% Commande pour mettre en avant les livres en bleu48% ------------------------------------------------------------------------49\newcommand{\livre}[1]{\textcolor{blue}{#1}}5051% ------------------------------------------------------------------------52% Configuration des hyperliens53% ------------------------------------------------------------------------54\hypersetup{55    colorlinks=true,          % Les liens sont colorés56    linkcolor=blue,           % Couleur des liens internes (TOC, références, etc.)57    urlcolor=blue,            % Couleur des URL58    citecolor=blue,           % Couleur des citations59    filecolor=blue,           % Couleur des liens vers des fichiers60    pdfborder={0 0 0},        % Pas de bordure autour des liens61    breaklinks=true            % Permet les sauts de ligne dans les liens62}63% ------------------------------------------------------------------------64% Configuration des en-têtes et pieds de page65% ------------------------------------------------------------------------66\pagestyle{fancy}67\fancyhf{}68\fancyhead[L]{Preuve des MCO en Format Matriciel}69\fancyhead[R]{Hiver 2025}70\fancyfoot[C]{\thepage}71\fancyfoot[R]{\includegraphics[height=1cm]{logo_universite_laval.png}} % Ajout du logo ERS en bas à droite727374\title{Preuve des Moindres Carrés Ordinaires (MCO) en Format Matriciel}75\author{Simon-Pierre Boucher}76\date{Janvier 2025}7778\begin{document}7980\maketitle81\tableofcontents82\newpage8384\section{Introduction}85Dans cette section, nous démontrons la méthode des Moindres Carrés Ordinaires (MCO) en utilisant une approche matricielle. Cette méthode est particulièrement utile pour résoudre les problèmes de régression avec plusieurs variables explicatives (régression multiple), où les calculs matriciels permettent de simplifier le processus de minimisation.8687L'objectif est de trouver les paramètres \(\beta = (\beta_1, \beta_2, \dots, \beta_k)\) du modèle de régression linéaire qui minimisent la somme des carrés des erreurs ou des résidus.8889\section{Modèle de Régression Linéaire}90Le modèle de régression linéaire univarié est donné par :91\[92Y_i = \beta_1 + \beta_2 X_i + \mu_i93\]94où :95\begin{itemize}96    \item \(Y_i\) est la variable dépendante pour l'observation \(i\),97    \item \(X_i\) est la variable indépendante (explanatoire) pour l'observation \(i\),98    \item \(\beta_1\) et \(\beta_2\) sont les paramètres du modèle (intercept et pente) à estimer,99    \item \(\mu_i\) est le terme d'erreur pour l'observation \(i\).100\end{itemize}101102Nous pouvons exprimer ce modèle de manière matricielle pour une régression multiple (c'est-à-dire avec plusieurs variables explicatives) sous la forme suivante :103\[104Y = X\beta + u105\]106où :107\begin{itemize}108    \item \(Y\) est un vecteur colonne \(n \times 1\) des observations de la variable dépendante,109    \item \(X\) est une matrice \(n \times (k+1)\) des valeurs des variables explicatives, où chaque ligne contient un ensemble de variables explicatives, avec une colonne de 1 pour le terme d'intercept,110    \item \(\beta\) est un vecteur colonne \( (k+1) \times 1 \) des coefficients à estimer \(\beta_0, \beta_1, \dots, \beta_k\),111    \item \(u\) est un vecteur \(n \times 1\) des erreurs ou résidus (\(u \sim N(0, \sigma^2I)\)).112\end{itemize}113114\textbf{Hypothèses sur les erreurs} :115\begin{itemize}116    \item \(E(u) = 0\), les erreurs ont une moyenne nulle,117    \item \(V(u) = \sigma^2I\), les erreurs ont une variance constante \(\sigma^2\) et sont indépendantes entre elles.118\end{itemize}119120\section{Sum of Squared Residuals}121L'objectif des MCO est de minimiser la somme des carrés des résidus, qui est une mesure de l'écart total entre les valeurs observées et les valeurs prédites par le modèle. Sous forme matricielle, cette fonction de cote est donnée par :122\[123S = u^\top u = (Y - X\beta)^\top (Y - X\beta)124\]125Nous cherchons à minimiser \(S\), la somme des carrés des résidus. Cela revient à minimiser l'écart entre les valeurs observées \(Y\) et les valeurs prédites \(X\beta\).126127Développons cette fonction :128\[129S = (Y - X\beta)^\top (Y - X\beta) = Y^\top Y - Y^\top X\beta - \beta^\top X^\top Y + \beta^\top X^\top X\beta130\]131Notez que \(Y^\top X\beta\) est un scalaire, donc il est égal à son transpose \( \beta^\top X^\top Y\). Ainsi, nous avons :132\[133S = Y^\top Y - 2\beta^\top X^\top Y + \beta^\top X^\top X\beta134\]135Nous cherchons les valeurs de \(\beta\) qui minimisent cette fonction.136137\section{Minimisation de la Fonction du Sum of Squared Residuals}138Pour trouver les valeurs optimales de \(\beta\), nous devons dériver la fonction de somme des carrés des résidus \(S\) par rapport à \(\beta\) et résoudre pour \(\beta\).139140\subsection{Calcul de la Dérivée de \(S\) par Rapport à \(\beta\)}141Nous procédons à la dérivation de \(S\) par rapport à \(\beta\). La dérivée de chaque terme de \(S\) est calculée comme suit :142\[143\frac{\partial S}{\partial \beta} = -2X^\top Y + 2X^\top X\beta144\]145Cette dérivée nous indique comment la fonction \(S\) change en fonction des paramètres \(\beta\). Nous égalons cette dérivée à zéro pour trouver le minimum :146\[147-2X^\top Y + 2X^\top X\beta = 0148\]149Simplifions cette équation :150\[151X^\top X\beta = X^\top Y152\]153Cela nous donne les équations normales, qui sont les conditions nécessaires pour que \(S\) soit minimisé.154155\subsection{Solution des Équations Normales}156Les équations normales sont :157\[158X^\top X\beta = X^\top Y159\]160Pour résoudre pour \(\beta\), nous isolons \(\beta\) :161\[162\beta = (X^\top X)^{-1} X^\top Y163\]164Cela donne l'estimateur des Moindres Carrés Ordinaires pour les paramètres \(\beta\). Cette solution exprime les coefficients estimés comme une combinaison linéaire des variables explicatives \(X\), pondérées par les valeurs observées \(Y\).165166\section{Conclusion}167Les Moindres Carrés Ordinaires offrent une méthode efficace pour estimer les paramètres d'un modèle de régression linéaire. En utilisant la matrice \(X\), le vecteur \(Y\), et les équations normales, nous pouvons obtenir les estimations des paramètres \(\beta\) qui minimisent la somme des carrés des résidus. La solution matricielle est donnée par :168\[169\hat{\beta} = (X^\top X)^{-1} X^\top Y170\]171Cet estimateur est largement utilisé en économétrie et dans d'autres domaines pour ajuster des modèles linéaires aux données.172173\end{document}