Repository Public
1/**2 * =============================================================================3 * SP BOUCHER | SOFTWARE & RESEARCH4 * ARTIFICIAL INTELLIGENCE • FINANCE • ENGINEERING5 * =============================================================================6 *7 * Project : Sheet8 * File : src/templates/ai/rag-pipeline.ts9 * Module : templates10 * Repository : https://git.spboucher.ai/sheet11 * Project Website : https://sheet.spboucher.ai12 * Created : 2026-11-1713 * Last Modified : 2026-11-1714 *15 * Author : Simon-Pierre Boucher16 * Position : Professor of Finance17 * Institution : Université du Québec en Outaouais (UQO)18 * Organization : SP Boucher19 * Website : https://spboucher.ai20 * Git : https://git.spboucher.ai21 *22 * Preferred Contact: contact@spboucher.ai23 * Development : dev@spboucher.ai24 * Support : support@spboucher.ai25 * Security/Admin : admin@spboucher.ai26 *27 * Copyright (c) 202628 * Simon-Pierre Boucher29 * All rights reserved where applicable. This file is governed by the30 * applicable project license, copyright notices and relevant law.31 * Existing third-party rights and notices remain unaffected.32 *33 * License : None specified (no license file in this repository)34 *35 * Do not embed credentials, private keys, access tokens,36 * certificates or confidential personal information.37 *38 * =============================================================================39 * END OF SP BOUCHER SOURCE HEADER40 * =============================================================================41 */4243import type { TemplateDef } from "../types";44import { T, pickSources } from "./shared";4546const r = String.raw;4748export const ragPipeline: TemplateDef = {49 id: "rag-pipeline",50 category: "ai",51 title: { fr: "Pipeline de génération augmentée par récupération (RAG)", en: "Retrieval-Augmented Generation (RAG) pipeline" },52 description: {53 fr: "Indexation (découper, vectoriser, stocker), puis requête (récupérer, reclasser, générer) : les deux phases, leurs équations et leurs modes de défaillance.",54 en: "Indexing (chunk, embed, store), then querying (retrieve, rerank, generate): both phases, their equations and their failure modes.",55 },56 build: (locale) => {57 const t = T(locale);58 return {59 schemaVersion: 1,60 metadata: {61 title: t("Le pipeline RAG, de l'indexation à la réponse", "The RAG pipeline, from indexing to answer"),62 slug: t("pipeline-rag", "rag-pipeline"),63 locale,64 summary: t(65 "La génération augmentée par récupération donne à un modèle de langage des passages pertinents au moment de répondre. Sa qualité se joue d'abord à la récupération : ce qui n'est pas retrouvé ne peut pas être cité.",66 "Retrieval-augmented generation hands a language model relevant passages at answer time. Its quality is decided first at retrieval: what is not found cannot be cited.",67 ),68 topics: [t("IA", "AI"), t("Recherche d'information", "Information Retrieval")],69 tags: ["RAG", t("plongements", "embeddings"), t("recherche vectorielle", "vector search"), "BM25", t("reclassement", "reranking"), "LLM"],70 level: "intermediate",71 kind: "architecture",72 objectives: [73 t("Distinguer la phase d'indexation de la phase de requête.", "Separate the indexing phase from the query phase."),74 t("Expliquer comment une question est appariée à des passages, par recherche dense ou lexicale.", "Explain how a question is matched to passages, by dense or lexical search."),75 t("Situer chaque défaillance typique à l'étape qui la cause.", "Locate each typical failure at the stage that causes it."),76 t("Choisir les mesures qui évaluent séparément la récupération et la génération.", "Choose metrics that evaluate retrieval and generation separately."),77 ],78 example: true,79 },80 theme: { preset: "scientific-light", accent: "teal" },81 blocks: [82 { id: "h-title", type: "heading", level: 1, eyebrow: t("Architecture · Systèmes à base de LLM", "Architecture · LLM systems"), text: t("Le pipeline RAG, de l'indexation à la réponse", "The RAG pipeline, from indexing to answer") },83 {84 id: "intro-lead", type: "paragraph", lead: true,85 text: t(86 "Un modèle de langage ne connaît que ce que contiennent ses paramètres : sa mémoire est figée à la fin de l'entraînement, et il ne peut pas en indiquer la provenance. La génération augmentée par récupération (*Retrieval-Augmented Generation*, RAG) lui adjoint une **mémoire externe consultable** : avant de répondre, le système va chercher des passages pertinents et les fournit au modèle[^lewis2020].",87 "A language model only knows what its parameters hold: its memory is frozen at the end of training, and it cannot say where it came from. Retrieval-Augmented Generation (RAG) gives it a **searchable external memory**: before answering, the system fetches relevant passages and hands them to the model[^lewis2020].",88 ),89 },90 {91 id: "c-ideas", type: "cards", columns: 3,92 items: [93 { icon: "brain", tone: "violet", title: t("Mémoire paramétrique", "Parametric memory"), text: t("Les poids du modèle. Vaste, mais figée, sans provenance, et coûteuse à mettre à jour.", "The model's weights. Vast, but frozen, without provenance, and costly to update.") },94 { icon: "database", tone: "teal", title: t("Mémoire non paramétrique", "Non-parametric memory"), text: t("Un index de documents. On peut le corriger ou l'étendre sans réentraîner le modèle[^lewis2020].", "An index of documents. It can be corrected or extended without retraining the model[^lewis2020].") },95 { icon: "link", tone: "amber", title: t("Le lien entre les deux", "The link between them"), text: t("Un récupérateur qui, pour chaque question, sélectionne les quelques passages à placer sous les yeux du modèle.", "A retriever that, for each question, selects the few passages to put in front of the model.") },96 ],97 },9899 { id: "h-pipeline", type: "heading", level: 2, text: t("Deux phases, deux moments", "Two phases, two moments") },100 {101 id: "d-rag", type: "diagram", span: 8, kind: "flow", direction: "LR", routing: "orthogonal",102 title: t("Indexation (hors ligne) et requête (en ligne)", "Indexing (offline) and query (online)"),103 caption: t(104 "L'indexation se fait une fois par document ; la requête se rejoue à chaque question. Les deux phases doivent utiliser le **même** modèle de plongement.",105 "Indexing happens once per document; the query path runs again for every question. Both phases must use the **same** embedding model.",106 ),107 alt: t(108 "Schéma en deux bandes. Bande du haut, indexation : les documents sont découpés en fragments, chaque fragment est converti en vecteur par un modèle de plongement, puis stocké dans un index vectoriel. Bande du bas, requête : la question est convertie en vecteur par le même modèle, le récupérateur interroge l'index et renvoie les k fragments les plus proches, un reclasseur les réordonne, l'invite assemble question et passages, le modèle de langage génère une réponse accompagnée de ses sources.",109 "Two-lane diagram. Top lane, indexing: documents are split into chunks, each chunk is turned into a vector by an embedding model, then stored in a vector index. Bottom lane, query: the question is turned into a vector by the same model, the retriever queries the index and returns the k nearest chunks, a reranker reorders them, the prompt assembles question and passages, and the language model generates an answer together with its sources.",110 ),111 groups: [112 { id: "g-index", label: t("Indexation · hors ligne", "Indexing · offline"), tone: "teal" },113 { id: "g-query", label: t("Requête · en ligne", "Query · online"), tone: "blue" },114 ],115 nodes: [116 { id: "n-docs", label: t("Documents", "Documents"), sublabel: t("PDF, pages, tickets…", "PDFs, pages, tickets…"), shape: "note", tone: "neutral", icon: "document", group: "g-index" },117 { id: "n-chunk", label: t("Découpage", "Chunking"), sublabel: t("fragments + métadonnées", "chunks + metadata"), shape: "round", tone: "teal", icon: "split", group: "g-index" },118 { id: "n-embed-doc", label: t("Modèle de plongement", "Embedding model"), sublabel: t("fragment → vecteur", "chunk → vector"), shape: "round", tone: "violet", icon: "cube", group: "g-index" },119 { id: "n-store", label: t("Index vectoriel", "Vector index"), sublabel: t("vecteurs + texte + source", "vectors + text + source"), shape: "cylinder", tone: "teal", icon: "database", group: "g-index" },120 { id: "n-question", label: t("Question", "Question"), shape: "pill", tone: "neutral", icon: "user", group: "g-query" },121 { id: "n-embed-q", label: t("Modèle de plongement", "Embedding model"), sublabel: t("question → vecteur", "question → vector"), shape: "round", tone: "violet", icon: "cube", group: "g-query" },122 { id: "n-retrieve", label: t("Récupération", "Retrieval"), sublabel: t("k plus proches voisins", "k nearest neighbours"), shape: "round", tone: "blue", icon: "search", group: "g-query" },123 { id: "n-rerank", label: t("Reclassement", "Reranking"), sublabel: t("facultatif, plus précis", "optional, more precise"), shape: "round", tone: "blue", icon: "filter", group: "g-query" },124 { id: "n-prompt", label: t("Assemblage de l'invite", "Prompt assembly"), sublabel: t("consigne + passages + question", "instructions + passages + question"), shape: "rect", tone: "amber", icon: "puzzle", group: "g-query" },125 { id: "n-llm", label: t("Modèle de langage", "Language model"), shape: "hexagon", tone: "violet", icon: "brain", group: "g-query" },126 { id: "n-answer", label: t("Réponse sourcée", "Sourced answer"), shape: "pill", tone: "green", icon: "check", group: "g-query" },127 ],128 edges: [129 { id: "e-docs-chunk", from: "n-docs", to: "n-chunk", tone: "teal" },130 { id: "e-chunk-embed", from: "n-chunk", to: "n-embed-doc", tone: "teal" },131 { id: "e-embed-store", from: "n-embed-doc", to: "n-store", tone: "teal", label: t("écriture", "write") },132 { id: "e-q-embed", from: "n-question", to: "n-embed-q", tone: "blue" },133 { id: "e-embed-retrieve", from: "n-embed-q", to: "n-retrieve", tone: "blue" },134 { id: "e-store-retrieve", from: "n-store", to: "n-retrieve", style: "dashed", tone: "teal", label: t("lecture", "read") },135 { id: "e-retrieve-rerank", from: "n-retrieve", to: "n-rerank", tone: "blue", label: t("k candidats", "k candidates") },136 { id: "e-rerank-prompt", from: "n-rerank", to: "n-prompt", tone: "blue", label: t("les meilleurs", "the best ones") },137 { id: "e-q-prompt", from: "n-question", to: "n-prompt", style: "dotted", label: t("question d'origine", "original question") },138 { id: "e-prompt-llm", from: "n-prompt", to: "n-llm", tone: "amber" },139 { id: "e-llm-answer", from: "n-llm", to: "n-answer", tone: "green" },140 ],141 legend: [142 { label: t("Flux d'indexation (une fois par document)", "Indexing flow (once per document)"), tone: "teal", shape: "arrow" },143 { label: t("Flux de requête (à chaque question)", "Query flow (for every question)"), tone: "blue", shape: "arrow" },144 { label: t("Lecture de l'index", "Reading the index"), tone: "teal", shape: "dashed" },145 { label: t("Modèles neuronaux", "Neural models"), tone: "violet", shape: "square" },146 { label: t("Texte envoyé au modèle", "Text sent to the model"), tone: "amber", shape: "square" },147 ],148 animation: {149 steps: [150 { title: t("1. Découper", "1. Chunk"), text: t("Chaque document est scindé en fragments assez courts pour porter une idée, assez longs pour rester compréhensibles hors contexte.", "Each document is split into chunks short enough to carry one idea, long enough to remain understandable out of context."), nodes: ["n-docs", "n-chunk"], edges: ["e-docs-chunk"] },151 { title: t("2. Vectoriser et stocker", "2. Embed and store"), text: t("Un modèle de plongement associe à chaque fragment un vecteur ; vecteur, texte et provenance sont rangés dans l'index.", "An embedding model maps each chunk to a vector; vector, text and provenance are stored in the index."), nodes: ["n-chunk", "n-embed-doc", "n-store"], edges: ["e-chunk-embed", "e-embed-store"] },152 { title: t("3. Vectoriser la question", "3. Embed the question"), text: t("À l'arrivée d'une question, le même modèle la projette dans le même espace vectoriel.", "When a question arrives, the same model projects it into the same vector space."), nodes: ["n-question", "n-embed-q"], edges: ["e-q-embed"] },153 { title: t("4. Récupérer", "4. Retrieve"), text: t("L'index renvoie les $k$ fragments dont le vecteur est le plus proche de celui de la question.", "The index returns the $k$ chunks whose vectors are closest to the question's."), nodes: ["n-embed-q", "n-store", "n-retrieve"], edges: ["e-embed-retrieve", "e-store-retrieve"] },154 { title: t("5. Reclasser", "5. Rerank"), text: t("Un modèle plus coûteux relit chaque couple question-fragment et ne garde que les plus pertinents.", "A costlier model re-reads each question–chunk pair and keeps only the most relevant."), nodes: ["n-retrieve", "n-rerank"], edges: ["e-retrieve-rerank"] },155 { title: t("6. Générer", "6. Generate"), text: t("L'invite réunit la consigne, les passages retenus et la question ; le modèle rédige la réponse en s'appuyant sur ces passages.", "The prompt gathers the instructions, the selected passages and the question; the model writes the answer relying on those passages."), nodes: ["n-question", "n-rerank", "n-prompt", "n-llm", "n-answer"], edges: ["e-rerank-prompt", "e-q-prompt", "e-prompt-llm", "e-llm-answer"] },156 ],157 },158 },159 {160 id: "co-original", type: "callout", span: 4, tone: "assumption", title: t("RAG d'origine et RAG d'usage courant", "Original RAG and everyday RAG"),161 text: t(162 "L'article de 2020 entraîne **conjointement** un récupérateur dense et un générateur séquence-à-séquence, sur un index de Wikipédia[^lewis2020]. La pratique courante, décrite ici, est plus simple : récupérateur et modèle de langage sont utilisés tels quels, et les passages sont insérés dans l'invite[^gao2023]. Le principe reste le même.",163 "The 2020 paper trains a dense retriever and a sequence-to-sequence generator **jointly**, over a Wikipedia index[^lewis2020]. Common practice, described here, is simpler: retriever and language model are used as they are, and the passages are inserted into the prompt[^gao2023]. The principle is the same.",164 ),165 },166167 { id: "h-retrieval", type: "heading", level: 2, text: t("Retrouver les bons passages", "Finding the right passages") },168 {169 id: "eq-dense", type: "equation", span: 6, label: t("Recherche dense", "Dense retrieval"), derivation: "standard", sourceIds: ["karpukhin2020"],170 latex: r`\mathrm{sim}(q, p) = E_Q(q)^{\top} E_P(p)`,171 explanation: t(172 "Question et passage sont projetés dans un même espace ; leur proximité se mesure par un produit scalaire. Les vecteurs des passages sont calculés à l'avance, si bien qu'une requête se réduit à une recherche de plus proches voisins[^karpukhin2020].",173 "Question and passage are projected into one space; their closeness is measured by a dot product. Passage vectors are computed ahead of time, so a query reduces to a nearest-neighbour search[^karpukhin2020].",174 ),175 variables: [176 { symbol: "q", meaning: t("Question", "Question") },177 { symbol: "p", meaning: t("Passage (fragment de document)", "Passage (document chunk)") },178 { symbol: "E_Q", meaning: t("Encodeur des questions, qui renvoie un vecteur de dimension $d$", "Question encoder, returning a $d$-dimensional vector") },179 { symbol: "E_P", meaning: t("Encodeur des passages, de même dimension", "Passage encoder, of the same dimension") },180 ],181 },182 {183 id: "eq-bm25", type: "equation", span: 6, label: t("Recherche lexicale : BM25", "Lexical retrieval: BM25"), derivation: "standard", sourceIds: ["robertson2009"],184 latex: r`\mathrm{score}(D, Q) = \sum_{i=1}^{n} \mathrm{IDF}(q_i) \cdot \frac{f(q_i, D)\,(k_1 + 1)}{f(q_i, D) + k_1 \left(1 - b + b\,\frac{|D|}{\mathrm{avgdl}}\right)}`,185 explanation: t(186 "BM25 compte les mots de la question présents dans le document, en donnant plus de poids aux mots rares et en corrigeant l'effet de la longueur[^robertson2009]. Il reste difficile à battre sur les termes exacts : noms propres, références, codes.",187 "BM25 counts the question's words found in the document, giving more weight to rare words and correcting for length[^robertson2009]. It remains hard to beat on exact terms: proper names, reference numbers, codes.",188 ),189 variables: [190 { symbol: "q_i", meaning: t("$i$-ième terme de la requête $Q$", "$i$-th term of the query $Q$") },191 { symbol: "f(q_i, D)", meaning: t("Nombre d'occurrences de $q_i$ dans le document $D$", "Number of occurrences of $q_i$ in document $D$") },192 { symbol: r`\mathrm{IDF}(q_i)`, meaning: t("Fréquence inverse de document : élevée pour un terme rare dans le corpus", "Inverse document frequency: high for a term that is rare in the corpus") },193 { symbol: "|D|", meaning: t("Longueur du document", "Length of the document"), unit: t("mots", "words") },194 { symbol: r`\mathrm{avgdl}`, meaning: t("Longueur moyenne des documents du corpus", "Average document length in the corpus"), unit: t("mots", "words") },195 { symbol: "k_1,\\, b", meaning: t("Paramètres libres : saturation de la fréquence et normalisation par la longueur", "Free parameters: term-frequency saturation and length normalisation") },196 ],197 },198 {199 id: "mx-similarity", type: "matrix", span: 6, dataKind: "illustrative", scale: "sequential", decimals: 2,200 title: t("Similarité question-fragment", "Question–chunk similarity"),201 caption: t(202 "Valeurs illustratives, choisies à la main : elles montrent ce qu'on attend d'un bon modèle de plongement, pas la sortie d'un modèle réel.",203 "Illustrative values, chosen by hand: they show what is expected of a good embedding model, not the output of a real one.",204 ),205 alt: t(206 "Matrice de trois questions par cinq fragments. Chaque question a une similarité élevée avec un ou deux fragments traitant du même sujet et faible avec les autres ; avec $k = 2$, on retiendrait les deux cases les plus foncées de chaque ligne.",207 "Matrix of three questions by five chunks. Each question has a high similarity with one or two chunks on the same subject and a low one with the rest; with $k = 2$, the two darkest cells of each row would be kept.",208 ),209 rowLabels: [t("Délai de retour ?", "Return period?"), t("Frais de livraison ?", "Shipping fees?"), t("Garantie batterie ?", "Battery warranty?")],210 colLabels: [t("Retours", "Returns"), t("Livraison", "Shipping"), t("Garantie", "Warranty"), t("Batterie", "Battery"), t("Carrières", "Careers")],211 values: [212 [0.86, 0.41, 0.33, 0.12, 0.05],213 [0.38, 0.84, 0.15, 0.10, 0.06],214 [0.29, 0.13, 0.81, 0.77, 0.04],215 ],216 },217 {218 id: "cmp-retrievers", type: "comparison", span: 6,219 columns: [220 { title: t("Lexicale (BM25)", "Lexical (BM25)"), tone: "amber" },221 { title: t("Dense (plongements)", "Dense (embeddings)"), tone: "violet" },222 { title: t("Hybride", "Hybrid"), tone: "teal", badge: t("courant", "common") },223 ],224 rows: [225 { label: t("Apparie", "Matches"), cells: [t("les mêmes mots", "the same words"), t("le même sens", "the same meaning"), t("les deux", "both")] },226 { label: t("Point fort", "Strength"), cells: [t("termes exacts, identifiants, sigles", "exact terms, identifiers, acronyms"), t("paraphrases, synonymes", "paraphrases, synonyms"), t("robustesse", "robustness")] },227 { label: t("Point faible", "Weakness"), cells: [t("vocabulaire différent entre question et document", "different vocabulary in question and document"), t("termes rares ou absents de l'entraînement", "rare terms or terms unseen in training"), t("deux index à maintenir, fusion des scores à régler", "two indexes to maintain, score fusion to tune")] },228 { label: t("Modèle requis", "Model required"), cells: [t("aucun", "none"), t("modèle de plongement[^reimers2019]", "embedding model[^reimers2019]"), t("modèle de plongement", "embedding model")] },229 ],230 verdict: t(231 "Les deux familles se trompent sur des cas différents ; c'est pourquoi on les combine souvent, puis on confie le tri final à un reclasseur[^gao2023].",232 "The two families fail on different cases, which is why they are often combined, with a reranker doing the final sort[^gao2023].",233 ),234 },235236 { id: "h-generation", type: "heading", level: 2, text: t("Générer à partir des passages", "Generating from the passages") },237 {238 id: "eq-rag", type: "equation", span: 8, label: t("Modèle RAG-Sequence", "RAG-Sequence model"), derivation: "standard", sourceIds: ["lewis2020"],239 latex: r`p_{\text{RAG-Sequence}}(y \mid x) \;\approx \sum_{z \,\in\, \text{top-}k\left(p_\eta(\cdot \mid x)\right)} p_\eta(z \mid x) \prod_{i=1}^{N} p_\theta\big(y_i \mid x, z, y_{1:i-1}\big)`,240 explanation: t(241 "Le passage récupéré $z$ est traité comme une variable latente : la probabilité de la réponse est une moyenne sur les $k$ meilleurs passages, pondérée par leur score de récupération[^lewis2020]. Insérer les passages dans l'invite d'un modèle de langage en est une version simplifiée, où le modèle lit tous les passages à la fois.",242 "The retrieved passage $z$ is treated as a latent variable: the probability of the answer is an average over the top $k$ passages, weighted by their retrieval score[^lewis2020]. Inserting the passages into a language model's prompt is a simplified version, in which the model reads all passages at once.",243 ),244 variables: [245 { symbol: "x", meaning: t("Entrée (la question)", "Input (the question)") },246 { symbol: "y", meaning: t("Séquence générée, de jetons $y_1, \\dots, y_N$", "Generated sequence, with tokens $y_1, \\dots, y_N$") },247 { symbol: "z", meaning: t("Passage récupéré", "Retrieved passage") },248 { symbol: r`p_\eta(z \mid x)`, meaning: t("Récupérateur, de paramètres $\\eta$", "Retriever, with parameters $\\eta$") },249 { symbol: r`p_\theta`, meaning: t("Générateur, de paramètres $\\theta$", "Generator, with parameters $\\theta$") },250 ],251 },252 {253 id: "st-prompt", type: "steps", span: 4,254 items: [255 { icon: "document", title: t("Consigne", "Instructions"), text: t("Répondre à partir des passages fournis ; dire qu'on ne sait pas si l'information n'y figure pas.", "Answer from the passages provided; say you do not know if the information is not there.") },256 { icon: "queue", title: t("Passages numérotés", "Numbered passages"), text: t("Chaque passage porte un identifiant et sa provenance, afin que la réponse puisse y renvoyer.", "Each passage carries an identifier and its provenance, so the answer can point back to it.") },257 { icon: "user", title: t("Question", "Question"), text: t("La question d'origine, telle que posée.", "The original question, as asked.") },258 { icon: "check", title: t("Réponse citée", "Cited answer"), text: t("Chaque affirmation renvoie au passage qui la soutient, ce qui rend la réponse vérifiable.", "Each statement points to the passage that supports it, which makes the answer checkable.") },259 ],260 },261262 { id: "h-failures", type: "heading", level: 2, text: t("Où le pipeline casse", "Where the pipeline breaks") },263 {264 id: "tb-failures", type: "table", headerColumn: true,265 caption: t("Modes de défaillance typiques, rangés par étape. Synthèse de pratique d'ingénierie[^gao2023].", "Typical failure modes, by stage. A summary of engineering practice[^gao2023]."),266 columns: [{ label: t("Étape", "Stage") }, { label: t("Symptôme", "Symptom") }, { label: t("Cause probable", "Likely cause") }, { label: t("Piste de correction", "What to try") }],267 rows: [268 [t("Corpus", "Corpus"), t("Le modèle répond « je ne sais pas » ou invente", "The model says “I don't know” or makes things up"), t("L'information n'est tout simplement pas dans l'index", "The information is simply not in the index"), t("Compléter le corpus ; faire refuser plutôt qu'inventer", "Extend the corpus; make the model decline rather than invent")],269 [t("Découpage", "Chunking"), t("Réponse partielle ou hors contexte", "Partial or out-of-context answer"), t("Le fragment coupe un tableau, une liste ou un raisonnement", "The chunk cuts through a table, a list or an argument"), t("Découper selon la structure ; chevauchement ; rattacher le titre de section", "Split along structure; overlap; attach the section title")],270 [t("Récupération", "Retrieval"), t("Le bon passage existe mais n'est pas remonté", "The right passage exists but is not returned"), t("Écart de vocabulaire, $k$ trop petit, question ambiguë", "Vocabulary gap, $k$ too small, ambiguous question"), t("Recherche hybride ; augmenter $k$ ; reformuler la question", "Hybrid search; raise $k$; rewrite the question")],271 [t("Reclassement", "Reranking"), t("Le bon passage est récupéré puis écarté", "The right passage is retrieved, then dropped"), t("Seuil trop strict ou budget de contexte trop court", "Threshold too strict or context budget too short"), t("Garder plus de passages ; mesurer avant et après reclassement", "Keep more passages; measure before and after reranking")],272 [t("Génération", "Generation"), t("La réponse contredit ou ignore les passages", "The answer contradicts or ignores the passages"), t("Passages contradictoires, trop nombreux, ou consigne trop vague", "Conflicting or too many passages, or vague instructions"), t("Moins de passages, mieux triés ; exiger des citations ; vérifier la fidélité", "Fewer, better-sorted passages; require citations; check faithfulness")],273 [t("Index", "Index"), t("Réponse exacte hier, fausse aujourd'hui", "Right yesterday, wrong today"), t("Index périmé ou versions concurrentes d'un même document", "Stale index or competing versions of one document"), t("Réindexation incrémentale ; dates et versions en métadonnées", "Incremental re-indexing; dates and versions as metadata")],274 ],275 },276 {277 id: "eq-recall", type: "equation", span: 6, label: t("Rappel à k", "Recall at k"), derivation: "standard",278 latex: r`\mathrm{Recall@}k = \frac{\left|\,\mathcal{R} \cap \mathcal{T}_k\,\right|}{\left|\,\mathcal{R}\,\right|}`,279 explanation: t(280 "Mesure de la seule récupération : parmi les passages qu'il fallait trouver, quelle part figure dans les $k$ premiers ? Elle se calcule sans appeler le modèle de langage.",281 "A measure of retrieval alone: of the passages that had to be found, what share appears in the top $k$? It is computed without calling the language model.",282 ),283 variables: [284 { symbol: r`\mathcal{R}`, meaning: t("Ensemble des passages pertinents pour la question (annotés à la main)", "Set of passages relevant to the question (hand-annotated)") },285 { symbol: r`\mathcal{T}_k`, meaning: t("Ensemble des $k$ passages renvoyés par le récupérateur", "Set of the $k$ passages returned by the retriever") },286 ],287 },288 {289 id: "co-evaluate", type: "callout", span: 6, tone: "warning", title: t("Évaluer les deux moitiés séparément", "Evaluate the two halves separately"),290 text: t(291 "Une mauvaise réponse a deux causes possibles : le bon passage n'a pas été fourni, ou il l'a été et le modèle ne s'en est pas servi. Sans mesure distincte de la récupération (rappel à $k$) et de la génération (fidélité aux passages), on corrige au hasard. **Un passage non récupéré ne peut pas être rattrapé par le modèle.**",292 "A bad answer has two possible causes: the right passage was not supplied, or it was and the model did not use it. Without separate measures for retrieval (recall at $k$) and generation (faithfulness to the passages), fixes are guesswork. **A passage that is not retrieved cannot be recovered by the model.**",293 ),294 },295296 { id: "h-check", type: "heading", level: 2, text: t("Vérifier sa compréhension", "Check your understanding") },297 {298 id: "quiz-diagnosis", type: "quiz", span: 6,299 question: t(300 "Un assistant RAG répond mal à une question. En inspectant les journaux, on constate que le passage contenant la réponse figurait bien dans l'invite. Où chercher d'abord ?",301 "A RAG assistant answers a question badly. The logs show that the passage holding the answer was indeed in the prompt. Where should you look first?",302 ),303 choices: [304 { text: t("Du côté de la génération : consigne, nombre et ordre des passages, passages contradictoires.", "On the generation side: instructions, number and order of passages, conflicting passages."), correct: true, explanation: t("Exact : la récupération a fait son travail ; c'est l'usage du passage qui a échoué.", "Correct: retrieval did its job; it is the use of the passage that failed.") },305 { text: t("Du côté du modèle de plongement, qu'il faut remplacer.", "At the embedding model, which should be replaced."), correct: false, explanation: t("Le passage a été retrouvé : le plongement n'est pas en cause pour cette question.", "The passage was found: the embedding is not at fault for this question.") },306 { text: t("Du côté du découpage, en réduisant la taille des fragments.", "At chunking, by making the chunks smaller."), correct: false, explanation: t("Possible si le fragment était tronqué, mais ce n'est pas la première piste quand la réponse est entièrement dans l'invite.", "Possible if the chunk was truncated, but not the first lead when the full answer is in the prompt.") },307 ],308 },309 {310 id: "acc-faq", type: "accordion", span: 6,311 items: [312 {313 title: t("Le RAG supprime-t-il les hallucinations ?", "Does RAG eliminate hallucinations?"),314 text: t(315 "Non. Il les réduit quand les bons passages sont fournis et que le modèle s'y tient ; l'article d'origine observe des générations plus factuelles et plus précises qu'avec un modèle purement paramétrique[^lewis2020]. Mais le modèle peut encore mal lire un passage, en combiner deux à tort, ou compléter de mémoire ce qui manque.",316 "No. It reduces them when the right passages are supplied and the model sticks to them; the original paper observes more factual and more specific generations than with a purely parametric model[^lewis2020]. But the model can still misread a passage, wrongly combine two, or fill gaps from memory.",317 ),318 },319 {320 title: t("Quelle taille de fragment choisir ?", "What chunk size should I use?"),321 text: t(322 "Il n'y a pas de valeur universelle : c'est un compromis à mesurer sur vos propres questions. Trop petit, le fragment perd son contexte ; trop grand, son vecteur mélange plusieurs sujets et le passage utile se dilue. Suivre la structure du document (sections, paragraphes) est un meilleur point de départ qu'un nombre fixe de caractères.",323 "There is no universal value: it is a trade-off to measure on your own questions. Too small and the chunk loses its context; too large and its vector blends several topics, diluting the useful passage. Following the document's structure (sections, paragraphs) is a better starting point than a fixed number of characters.",324 ),325 },326 {327 title: t("Erreur fréquente : changer de modèle de plongement sans réindexer", "Common mistake: changing the embedding model without re-indexing"),328 text: t(329 "Les vecteurs de deux modèles différents ne vivent pas dans le même espace : comparer une question encodée par l'un à des fragments encodés par l'autre n'a aucun sens. Tout changement de modèle de plongement impose de recalculer l'index entier.",330 "Vectors from two different models do not live in the same space: comparing a question encoded by one with chunks encoded by the other is meaningless. Any change of embedding model requires recomputing the whole index.",331 ),332 },333 {334 title: t("Un très grand contexte rend-il le RAG inutile ?", "Does a very large context window make RAG unnecessary?"),335 text: t(336 "Pour un petit corpus stable, tout placer dans l'invite peut suffire. Au-delà, la récupération reste utile : elle limite le coût par requête, permet de tenir à jour un corpus qui change, applique des droits d'accès par document et indique d'où vient chaque information.",337 "For a small, stable corpus, putting everything in the prompt may be enough. Beyond that, retrieval remains useful: it bounds the cost per request, keeps a changing corpus up to date, enforces per-document access rights and shows where each piece of information comes from.",338 ),339 },340 ],341 },342 { id: "refs", type: "references", title: t("Références", "References") },343 ],344 sources: pickSources("lewis2020", "karpukhin2020", "robertson2009", "reimers2019", "gao2023"),345 claims: [346 { id: "cl-memories", status: "sourced", sourceIds: ["lewis2020"], blockId: "intro-lead", text: t("Le RAG combine une mémoire paramétrique (le modèle) et une mémoire non paramétrique (un index dense) consultée par un récupérateur.", "RAG combines a parametric memory (the model) with a non-parametric memory (a dense index) accessed by a retriever.") },347 { id: "cl-update", status: "sourced", sourceIds: ["lewis2020"], blockId: "c-ideas", text: t("La mémoire non paramétrique peut être mise à jour sans réentraîner le modèle.", "The non-parametric memory can be updated without retraining the model.") },348 { id: "cl-dense", status: "sourced", sourceIds: ["karpukhin2020"], blockId: "eq-dense", text: t("La recherche dense apparie question et passage par le produit scalaire de leurs plongements, les passages étant indexés à l'avance.", "Dense retrieval matches question and passage by the dot product of their embeddings, with passages indexed ahead of time.") },349 { id: "cl-bm25", status: "sourced", sourceIds: ["robertson2009"], blockId: "eq-bm25", text: t("BM25 pondère la fréquence des termes par leur rareté et normalise par la longueur du document.", "BM25 weights term frequency by term rarity and normalises by document length.") },350 { id: "cl-marginal", status: "sourced", sourceIds: ["lewis2020"], blockId: "eq-rag", text: t("RAG-Sequence marginalise la probabilité de la réponse sur les k meilleurs passages récupérés.", "RAG-Sequence marginalises the answer probability over the top-k retrieved passages.") },351 { id: "cl-ceiling", status: "derived", blockId: "co-evaluate", text: t("La récupération plafonne la qualité : le générateur ne peut pas citer un passage qui ne lui a pas été fourni.", "Retrieval caps quality: the generator cannot cite a passage it was not given.") },352 { id: "cl-reindex", status: "derived", sourceIds: ["karpukhin2020"], blockId: "acc-faq", text: t("Question et passages doivent être encodés dans le même espace ; changer de modèle de plongement impose de réindexer.", "Question and passages must be encoded in the same space; changing the embedding model requires re-indexing.") },353 ],354 };355 },356};357