Rapport SPID : taille du corpus brut 255 Go (somme des tailles de fichiers)
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
2 changed files +2 −2
modified
project-db/docs/rapport_uqo/rapport_spid.pdf
+0 −0
Binary file not shown.
modified
project-db/docs/rapport_uqo/rapport_spid.tex
+2 −2
@@ -158,7 +158,7 @@ | |||||
| 158 | % ============================================================================== | 158 | % ============================================================================== | ||
| 159 | Ce rapport documente \textbf{SPID} (\emph{SEC Project Intelligence Database}), une base de données qui reconstruit le portefeuille de \emph{projets stratégiques} des grandes sociétés cotées américaines à partir du texte brut de leurs documents réglementaires déposés auprès de la Securities and Exchange Commission (SEC). Plutôt que de lire les formulaires 10-K, 10-Q et 8-K comme des documents financiers, SPID les traite comme une source d'\emph{intelligence sur les projets} : usines, centres de données, acquisitions, programmes de R\&D, initiatives d'IA, transition énergétique, etc. | 159 | Ce rapport documente \textbf{SPID} (\emph{SEC Project Intelligence Database}), une base de données qui reconstruit le portefeuille de \emph{projets stratégiques} des grandes sociétés cotées américaines à partir du texte brut de leurs documents réglementaires déposés auprès de la Securities and Exchange Commission (SEC). Plutôt que de lire les formulaires 10-K, 10-Q et 8-K comme des documents financiers, SPID les traite comme une source d'\emph{intelligence sur les projets} : usines, centres de données, acquisitions, programmes de R\&D, initiatives d'IA, transition énergétique, etc. | ||
| 160 | 160 | ||||
| 161 | −Le document répond à trois questions. \textbf{D'où viennent les données ?} Elles proviennent du corpus EDGAR de l'UQO : les filings de \nCiks{} sociétés de l'univers \textbf{S\&P~500 $\cup$ Russell~3000} (2\,564 sociétés, extension du 27--28~octobre~2026) téléchargés depuis l'API publique de la SEC, soit 527\,548 documents et quelque 350~Go de HTML brut répartis sur dix nœuds du cluster MacLustr, découpés en sections. \textbf{Comment fonctionne le pipeline ?} Cinq étapes reprenables (ingestion des 10-K, extraction par grand modèle de langage, résolution des mentions en projets, graphe de connaissances, embeddings) persistent leurs résultats dans un unique fichier DuckDB de 3,2~Go. \textbf{Que contient la base ?} \nSections{} sections analysées, \nMentions{} mentions de projets, \nProjets{} projets résolus répartis en 21~types et 11~secteurs, un graphe de 183\,472 nœuds et \nProjets{} vecteurs sémantiques de 384~dimensions. Une trentaine de figures et de tableaux dressent le portrait statistique du jeu de données, et une section finale en expose les limites. | 161 | +Le document répond à trois questions. \textbf{D'où viennent les données ?} Elles proviennent du corpus EDGAR de l'UQO : les filings de \nCiks{} sociétés de l'univers \textbf{S\&P~500 $\cup$ Russell~3000} (2\,564 sociétés, extension du 27--28~octobre~2026) téléchargés depuis l'API publique de la SEC, soit 527\,548 documents et quelque 255~Go de HTML brut répartis sur dix nœuds du cluster MacLustr, découpés en sections. \textbf{Comment fonctionne le pipeline ?} Cinq étapes reprenables (ingestion des 10-K, extraction par grand modèle de langage, résolution des mentions en projets, graphe de connaissances, embeddings) persistent leurs résultats dans un unique fichier DuckDB de 3,2~Go. \textbf{Que contient la base ?} \nSections{} sections analysées, \nMentions{} mentions de projets, \nProjets{} projets résolus répartis en 21~types et 11~secteurs, un graphe de 183\,472 nœuds et \nProjets{} vecteurs sémantiques de 384~dimensions. Une trentaine de figures et de tableaux dressent le portrait statistique du jeu de données, et une section finale en expose les limites. | ||
| 162 | 162 | ||||
| 163 | \vspace{0.5cm} | 163 | \vspace{0.5cm} | ||
| 164 | \begin{infobox}[Chiffres clés de la base \code{spid.duckdb} (exécution complète, 28~octobre~2026)] | 164 | \begin{infobox}[Chiffres clés de la base \code{spid.duckdb} (exécution complète, 28~octobre~2026)] | ||
@@ -227,7 +227,7 @@ SPID est construit \emph{par-dessus} le corpus \code{UQO\_RESEARCH\_DB}, qui ré | |||||
| 227 | \caption{Actifs du corpus source utilisés par SPID.} | 227 | \caption{Actifs du corpus source utilisés par SPID.} | ||
| 228 | \begin{tabularx}{\textwidth}{L{4.2cm} L{3.4cm} Y} | 228 | \begin{tabularx}{\textwidth}{L{4.2cm} L{3.4cm} Y} | ||
| 229 | \rowcolor{uqoBleu}\hc{Actif} & \hc{Volume} & \hc{Contenu et usage par SPID}\\ | 229 | \rowcolor{uqoBleu}\hc{Actif} & \hc{Volume} & \hc{Contenu et usage par SPID}\\ | ||
| 230 | −\code{data/raw/sec/} & $\approx$~350 Go, 2\,564 entreprises & HTML brut de chaque dépôt, rangé par \code{<cik>/<form>/<accession>/}, conservé sur le nœud qui l'a traité (corpus S\&P~500 sur M3U96b).\\ | 230 | +\code{data/raw/sec/} & $\approx$~255 Go, 2\,564 entreprises & HTML brut de chaque dépôt, rangé par \code{<cik>/<form>/<accession>/}, conservé sur le nœud qui l'a traité (corpus S\&P~500 sur M3U96b).\\ | ||
| 231 | \code{parquet/filings/} & 527\,548 filings & Une ligne par dépôt : \code{accession\_number}, \code{cik}, \code{ticker}, \code{company\_name}, \code{form\_type}, \code{filing\_date}, \code{fiscal\_year}.\\ | 231 | \code{parquet/filings/} & 527\,548 filings & Une ligne par dépôt : \code{accession\_number}, \code{cik}, \code{ticker}, \code{company\_name}, \code{form\_type}, \code{filing\_date}, \code{fiscal\_year}.\\ | ||
| 232 | \code{parquet/filing\_sections/} & 1\,342\,283 sections & Texte pré-segmenté des 10-K, 10-Q et 8-K (7,3~Go) : \code{section\_id}, \code{accession\_number}, \code{section\_name}, \code{item\_number}, \code{text}, \code{word\_count}.\\ | 232 | \code{parquet/filing\_sections/} & 1\,342\,283 sections & Texte pré-segmenté des 10-K, 10-Q et 8-K (7,3~Go) : \code{section\_id}, \code{accession\_number}, \code{section\_name}, \code{item\_number}, \code{text}, \code{word\_count}.\\ | ||
| 233 | \code{parquet/companies/} & 2\,564 lignes & Métadonnées : secteur GICS, code SIC, État d'incorporation, bourse, indicateurs \code{in\_sp500} / \code{in\_russell3000}.\\ | 233 | \code{parquet/companies/} & 2\,564 lignes & Métadonnées : secteur GICS, code SIC, État d'incorporation, bourse, indicateurs \code{in\_sp500} / \code{in\_russell3000}.\\ | ||
| 234 | 234 | ||||