SPB Git

Repository Public

finetuning-vs-rag-vs-prompting.ts 37.3 KB 369 lines typescript

1/**2 * =============================================================================3 *                  SP BOUCHER | SOFTWARE & RESEARCH4 *             ARTIFICIAL INTELLIGENCE • FINANCE • ENGINEERING5 * =============================================================================6 *7 * Project          : Sheet8 * File             : src/templates/ai/finetuning-vs-rag-vs-prompting.ts9 * Module           : templates10 * Repository       : https://git.spboucher.ai/sheet11 * Project Website  : https://sheet.spboucher.ai12 * Created          : 2026-11-1713 * Last Modified    : 2026-11-1714 *15 * Author           : Simon-Pierre Boucher16 * Position         : Professor of Finance17 * Institution      : Université du Québec en Outaouais (UQO)18 * Organization     : SP Boucher19 * Website          : https://spboucher.ai20 * Git              : https://git.spboucher.ai21 *22 * Preferred Contact: contact@spboucher.ai23 * Development      : dev@spboucher.ai24 * Support          : support@spboucher.ai25 * Security/Admin   : admin@spboucher.ai26 *27 * Copyright (c) 202628 * Simon-Pierre Boucher29 * All rights reserved where applicable. This file is governed by the30 * applicable project license, copyright notices and relevant law.31 * Existing third-party rights and notices remain unaffected.32 *33 * License          : None specified (no license file in this repository)34 *35 * Do not embed credentials, private keys, access tokens,36 * certificates or confidential personal information.37 *38 * =============================================================================39 * END OF SP BOUCHER SOURCE HEADER40 * =============================================================================41 */4243import type { TemplateDef } from "../types";44import { T, pickSources } from "./shared";4546const r = String.raw;4748/** Cumulative cost in arbitrary units: fixed + perRequest × n, at n = 0, 20, …, 100 (thousands of requests). */49const costLine = (fixed: number, perRequest: number) => [0, 20, 40, 60, 80, 100].map((n) => ({ x: n, y: fixed + perRequest * n }));5051export const finetuningVsRagVsPrompting: TemplateDef = {52  id: "finetuning-vs-rag-vs-prompting",53  category: "ai",54  title: { fr: "Ajustement fin, RAG ou conception d'invite ?", en: "Fine-tuning vs RAG vs prompting" },55  description: {56    fr: "Comparaison structurée des trois façons d'adapter un modèle de langage : quand choisir laquelle, selon le coût, la fraîcheur des connaissances et le contrôle.",57    en: "A structured comparison of the three ways to adapt a language model: when to use which, by cost, knowledge freshness and control.",58  },59  build: (locale) => {60    const t = T(locale);61    return {62      schemaVersion: 1,63      metadata: {64        title: t("Ajustement fin, RAG ou conception d'invite : lequel choisir ?", "Fine-tuning, RAG or prompting: which one to choose?"),65        slug: t("ajustement-fin-rag-ou-invite", "fine-tuning-vs-rag-vs-prompting"),66        locale,67        summary: t(68          "Trois leviers adaptent un modèle de langage à un besoin : l'invite change ce qu'on lui demande, le RAG change ce qu'il lit, l'ajustement fin change ce qu'il est. Ils répondent à des problèmes différents et se combinent.",69          "Three levers adapt a language model to a need: prompting changes what it is asked, RAG changes what it reads, fine-tuning changes what it is. They solve different problems and they combine.",70        ),71        topics: [t("IA", "AI"), t("Systèmes à base de LLM", "LLM systems")],72        tags: [t("ajustement fin", "fine-tuning"), "RAG", t("conception d'invite", "prompt engineering"), "LoRA", t("apprentissage en contexte", "in-context learning"), "LLM"],73        level: "intermediate",74        kind: "comparison",75        objectives: [76          t("Dire ce que chaque approche modifie : l'invite, le contexte ou les poids.", "Say what each approach changes: the prompt, the context or the weights."),77          t("Associer un symptôme (connaissance manquante, comportement inadéquat) au bon levier.", "Match a symptom (missing knowledge, inadequate behaviour) to the right lever."),78          t("Comparer les trois approches sur le coût, la fraîcheur et le contrôle.", "Compare the three approaches on cost, freshness and control."),79        ],80        example: true,81      },82      theme: { preset: "scientific-light", accent: "amber" },83      blocks: [84        { id: "h-title", type: "heading", level: 1, eyebrow: t("Comparaison · Adapter un modèle de langage", "Comparison · Adapting a language model"), text: t("Ajustement fin, RAG ou conception d'invite : lequel choisir ?", "Fine-tuning, RAG or prompting: which one to choose?") },85        {86          id: "intro-lead", type: "paragraph", lead: true,87          text: t(88            "Quand un modèle de langage ne fait pas ce qu'on attend, trois leviers sont disponibles. On peut **mieux formuler la demande**, **lui fournir les documents utiles** au moment de répondre, ou **modifier ses poids** par un entraînement supplémentaire. La bonne question n'est pas « lequel est le meilleur ? », mais « qu'est-ce qui manque au modèle : une consigne, une connaissance ou une habitude ? ».",89            "When a language model does not do what is expected, three levers are available. You can **phrase the request better**, **supply the relevant documents** at answer time, or **change its weights** through further training. The right question is not “which is best?” but “what is the model missing: an instruction, a piece of knowledge or a habit?”.",90          ),91        },92        {93          id: "c-three", type: "cards", columns: 3,94          items: [95            { icon: "document", tone: "blue", badge: t("change la demande", "changes the request"), title: t("Conception d'invite", "Prompting"), text: t("Consignes, exemples et format de sortie écrits dans l'invite. Le modèle s'adapte à la tâche sans aucune mise à jour de ses poids[^brown2020].", "Instructions, examples and output format written into the prompt. The model adapts to the task with no update of its weights at all[^brown2020].") },96            { icon: "search", tone: "teal", badge: t("change le contexte", "changes the context"), title: "RAG", text: t("Des passages pertinents sont récupérés dans une base documentaire et ajoutés à l'invite. La connaissance vit hors du modèle[^lewis2020].", "Relevant passages are retrieved from a document base and added to the prompt. Knowledge lives outside the model[^lewis2020].") },97            { icon: "gear", tone: "violet", badge: t("change les poids", "changes the weights"), title: t("Ajustement fin", "Fine-tuning"), text: t("Le modèle est entraîné sur des exemples de la tâche. Le comportement appris est inscrit dans les paramètres[^hu2021].", "The model is trained on examples of the task. The learned behaviour is written into the parameters[^hu2021].") },98          ],99        },100101        { id: "h-where", type: "heading", level: 2, text: t("Où chaque levier agit", "Where each lever acts") },102        {103          id: "d-levers", type: "diagram", span: 8, kind: "flow", direction: "LR", routing: "curved",104          title: t("Trois points d'intervention sur une même requête", "Three points of intervention on one request"),105          caption: t(106            "L'invite et le RAG agissent sur l'**entrée** du modèle, à chaque requête ; l'ajustement fin agit sur le **modèle lui-même**, une fois, avant le déploiement.",107            "Prompting and RAG act on the model's **input**, at every request; fine-tuning acts on the **model itself**, once, before deployment.",108          ),109          alt: t(110            "Schéma d'une requête traversant un système. La question de l'utilisateur entre dans une invite composée de consignes et d'exemples (levier : conception d'invite) et de passages récupérés dans une base documentaire (levier : RAG). L'invite est lue par le modèle de langage, dont les poids ont pu être modifiés à partir d'un jeu d'exemples d'entraînement (levier : ajustement fin). Le modèle produit la réponse.",111            "Diagram of a request going through a system. The user's question enters a prompt made of instructions and examples (lever: prompting) and of passages retrieved from a document base (lever: RAG). The prompt is read by the language model, whose weights may have been changed using a set of training examples (lever: fine-tuning). The model produces the answer.",112          ),113          groups: [114            { id: "g-request", label: t("À chaque requête", "At every request"), tone: "blue" },115            { id: "g-offline", label: t("Avant le déploiement", "Before deployment"), tone: "violet" },116          ],117          nodes: [118            { id: "n-question", label: t("Question", "Question"), shape: "pill", tone: "neutral", icon: "user", group: "g-request" },119            { id: "n-instructions", label: t("Consignes + exemples", "Instructions + examples"), sublabel: t("levier 1 : invite", "lever 1: prompting"), shape: "note", tone: "blue", icon: "document", group: "g-request" },120            { id: "n-corpus", label: t("Base documentaire", "Document base"), sublabel: t("modifiable à tout moment", "editable at any time"), shape: "cylinder", tone: "teal", icon: "database", group: "g-request" },121            { id: "n-retriever", label: t("Récupérateur", "Retriever"), sublabel: t("levier 2 : RAG", "lever 2: RAG"), shape: "round", tone: "teal", icon: "search", group: "g-request" },122            { id: "n-prompt", label: t("Invite complète", "Full prompt"), shape: "rect", tone: "amber", icon: "puzzle", group: "g-request" },123            { id: "n-dataset", label: t("Exemples d'entraînement", "Training examples"), sublabel: t("entrée → sortie attendue", "input → expected output"), shape: "cylinder", tone: "violet", icon: "table", group: "g-offline" },124            { id: "n-training", label: t("Entraînement", "Training"), sublabel: t("levier 3 : ajustement fin", "lever 3: fine-tuning"), shape: "round", tone: "violet", icon: "gear", group: "g-offline" },125            { id: "n-model", label: t("Modèle de langage", "Language model"), sublabel: t("poids d'origine ou ajustés", "original or tuned weights"), shape: "hexagon", tone: "violet", icon: "brain" },126            { id: "n-answer", label: t("Réponse", "Answer"), shape: "pill", tone: "green", icon: "check" },127          ],128          edges: [129            { id: "e-q-prompt", from: "n-question", to: "n-prompt" },130            { id: "e-inst-prompt", from: "n-instructions", to: "n-prompt", tone: "blue" },131            { id: "e-q-retriever", from: "n-question", to: "n-retriever", tone: "teal", style: "dotted" },132            { id: "e-corpus-retriever", from: "n-corpus", to: "n-retriever", tone: "teal" },133            { id: "e-retriever-prompt", from: "n-retriever", to: "n-prompt", tone: "teal", label: t("passages", "passages") },134            { id: "e-prompt-model", from: "n-prompt", to: "n-model", tone: "amber" },135            { id: "e-dataset-training", from: "n-dataset", to: "n-training", tone: "violet" },136            { id: "e-training-model", from: "n-training", to: "n-model", tone: "violet", style: "dashed", label: t("nouveaux poids", "new weights") },137            { id: "e-model-answer", from: "n-model", to: "n-answer", tone: "green" },138          ],139          legend: [140            { label: t("Levier 1 : ce qu'on demande", "Lever 1: what is asked"), tone: "blue", shape: "square" },141            { label: t("Levier 2 : ce que le modèle lit", "Lever 2: what the model reads"), tone: "teal", shape: "square" },142            { label: t("Levier 3 : ce que le modèle est", "Lever 3: what the model is"), tone: "violet", shape: "square" },143            { label: t("Texte transmis à chaque requête", "Text passed at every request"), tone: "amber", shape: "arrow" },144            { label: t("Mise à jour des poids, faite une fois", "Weight update, done once"), tone: "violet", shape: "dashed" },145          ],146        },147        {148          id: "co-knowledge-behaviour", type: "callout", span: 4, tone: "definition", title: t("Connaissance ou comportement ?", "Knowledge or behaviour?"),149          text: t(150            "**Connaissance** : des faits que le modèle ignore (documents internes, données récentes). Le remède naturel est de les lui donner à lire : c'est le RAG.\n\n**Comportement** : une manière de répondre (ton, format, raisonnement, tâche spécialisée). Le remède est une meilleure invite, puis, si elle ne suffit pas, l'ajustement fin.",151            "**Knowledge**: facts the model does not have (internal documents, recent data). The natural remedy is to give them to it to read: that is RAG.\n\n**Behaviour**: a way of answering (tone, format, reasoning, a specialised task). The remedy is a better prompt, then, if that is not enough, fine-tuning.",152          ),153        },154155        { id: "h-compare", type: "heading", level: 2, text: t("Comparaison critère par critère", "Criterion-by-criterion comparison") },156        {157          id: "cmp-main", type: "comparison",158          caption: t("Tendances générales ; les ordres de grandeur dépendent du modèle, du fournisseur et du volume.", "General tendencies; orders of magnitude depend on the model, the provider and the volume."),159          columns: [160            { title: t("Conception d'invite", "Prompting"), tone: "blue", badge: t("d'abord", "first") },161            { title: "RAG", tone: "teal", badge: t("connaissance", "knowledge") },162            { title: t("Ajustement fin", "Fine-tuning"), tone: "violet", badge: t("comportement", "behaviour") },163          ],164          rows: [165            { label: t("Ce qui change", "What changes"), cells: [t("Le texte de l'invite", "The text of the prompt"), t("Le contexte, alimenté par un index", "The context, fed by an index"), t("Les poids du modèle (ou un adaptateur)", "The model's weights (or an adapter)")] },166            { label: t("Fraîcheur des connaissances", "Knowledge freshness"), cells: [t("Celle du modèle, plus ce qu'on colle à la main", "The model's own, plus whatever is pasted by hand"), t("Celle de l'index : mise à jour en continu", "The index's: updated continuously"), t("Figée à la date du jeu d'entraînement", "Frozen at the date of the training set")] },167            { label: t("Coût de départ", "Upfront cost"), cells: [t("Très faible : du temps de rédaction et de test", "Very low: writing and testing time"), t("Moyen : ingestion, index, évaluation de la récupération", "Medium: ingestion, index, retrieval evaluation"), t("Élevé : données annotées, entraînement, évaluation", "High: labelled data, training, evaluation")] },168            { label: t("Coût par requête", "Cost per request"), cells: [t("Croît avec la longueur de l'invite", "Grows with prompt length"), t("Le plus élevé : recherche + passages à lire", "Highest: search + passages to read"), t("Souvent le plus bas : invite courte", "Often lowest: short prompt")] },169            { label: t("Contrôle du style et du format", "Control over style and format"), cells: [t("Bon, par consignes et exemples", "Good, through instructions and examples"), t("Inchangé : dépend toujours de l'invite", "Unchanged: still depends on the prompt"), t("Le plus fort et le plus régulier", "Strongest and most consistent")] },170            { label: t("Traçabilité des réponses", "Traceability of answers"), cells: [t("Aucune source à citer", "No source to cite"), t("Chaque réponse peut citer ses passages", "Each answer can cite its passages"), t("Aucune : le savoir est fondu dans les poids", "None: knowledge is melted into the weights")] },171            { label: t("Délai d'itération", "Iteration time"), cells: [t("Minutes", "Minutes"), t("Heures à jours", "Hours to days"), t("Jours à semaines", "Days to weeks")] },172            { label: t("Risque principal", "Main risk"), cells: [t("Fragilité : une reformulation change le résultat", "Brittleness: rewording changes the result"), t("Mauvaise récupération, donc mauvaise réponse", "Bad retrieval, hence bad answer"), t("Surapprentissage, oubli, données périmées", "Overfitting, forgetting, stale data")] },173          ],174          verdict: t(175            "Aucune colonne ne domine les autres. L'invite est le point de départ obligé ; le RAG répond à un manque de **connaissance** ; l'ajustement fin répond à un manque de **comportement** que l'invite ne corrige pas.",176            "No column dominates the others. Prompting is the mandatory starting point; RAG answers a lack of **knowledge**; fine-tuning answers a lack of **behaviour** that prompting does not fix.",177          ),178        },179180        { id: "h-mechanics", type: "heading", level: 2, text: t("Ce qui se passe mathématiquement", "What happens mathematically") },181        {182          id: "eq-icl", type: "equation", span: 4, label: t("Invite : conditionner sans entraîner", "Prompting: condition, do not train"), derivation: "standard", sourceIds: ["brown2020"],183          latex: r`\hat{y} \sim p_{\theta}\big(y \mid c,\, (x_1, y_1), \dots, (x_m, y_m),\, x\big)`,184          explanation: t(185            "Les paramètres $\\theta$ ne bougent pas : la tâche est spécifiée entièrement par le texte qui précède la question[^brown2020]. Avec $m = 0$, on parle d'invite sans exemple ; avec quelques exemples, d'apprentissage en contexte.",186            "The parameters $\\theta$ do not move: the task is specified entirely by the text preceding the question[^brown2020]. With $m = 0$ this is zero-shot prompting; with a few examples, in-context learning.",187          ),188          variables: [189            { symbol: r`\theta`, meaning: t("Poids du modèle, inchangés", "Model weights, unchanged") },190            { symbol: "c", meaning: t("Consignes", "Instructions") },191            { symbol: "(x_j, y_j)", meaning: t("Exemples de démonstration placés dans l'invite", "Demonstration examples placed in the prompt") },192            { symbol: "x", meaning: t("Nouvelle entrée", "New input") },193          ],194        },195        {196          id: "eq-rag", type: "equation", span: 4, label: t("RAG : conditionner sur des passages", "RAG: condition on passages"), derivation: "derived", sourceIds: ["lewis2020"],197          latex: r`\hat{y} \sim p_{\theta}\big(y \mid c,\, z_1, \dots, z_k,\, x\big), \qquad \{z_1, \dots, z_k\} = \operatorname{top-}k_{z \in \mathcal{D}}\ \mathrm{sim}(x, z)`,198          explanation: t(199            "Forme simplifiée de l'usage courant, dérivée du modèle d'origine[^lewis2020] : les poids restent fixes, mais le contexte dépend de la question par l'intermédiaire d'une recherche dans le corpus $\\mathcal{D}$.",200            "A simplified form of common usage, derived from the original model[^lewis2020]: the weights stay fixed, but the context depends on the question through a search over the corpus $\\mathcal{D}$.",201          ),202          variables: [203            { symbol: r`\mathcal{D}`, meaning: t("Corpus indexé, modifiable sans toucher au modèle", "Indexed corpus, editable without touching the model") },204            { symbol: "z_1, \\dots, z_k", meaning: t("Les $k$ passages les plus similaires à la question", "The $k$ passages most similar to the question") },205            { symbol: r`\mathrm{sim}`, meaning: t("Mesure de similarité entre question et passage", "Similarity measure between question and passage") },206          ],207        },208        {209          id: "eq-ft", type: "equation", span: 4, label: t("Ajustement fin : déplacer les poids", "Fine-tuning: move the weights"), derivation: "standard",210          latex: r`\theta^{\star} = \arg\min_{\theta}\; -\!\!\sum_{(x, y) \in \mathcal{S}} \log p_{\theta}(y \mid x)`,211          explanation: t(212            "On part des poids préentraînés et on minimise, par descente de gradient, la log-vraisemblance négative des sorties attendues. Après l'entraînement, le comportement est obtenu sans avoir à le redemander dans l'invite.",213            "Starting from the pre-trained weights, the negative log-likelihood of the expected outputs is minimised by gradient descent. After training, the behaviour is obtained without having to ask for it again in the prompt.",214          ),215          variables: [216            { symbol: r`\mathcal{S}`, meaning: t("Jeu d'exemples d'entraînement (entrée, sortie attendue)", "Set of training examples (input, expected output)") },217            { symbol: r`\theta^{\star}`, meaning: t("Poids ajustés", "Tuned weights") },218          ],219        },220        {221          id: "eq-lora", type: "equation", span: 6, label: t("LoRA : un ajustement fin de rang faible", "LoRA: low-rank fine-tuning"), derivation: "standard", sourceIds: ["hu2021"],222          latex: r`h = W_0\,x + \Delta W\,x = W_0\,x + B A\,x, \qquad B \in \mathbb{R}^{d \times r},\; A \in \mathbb{R}^{r \times k},\; r \ll \min(d, k)`,223          explanation: t(224            "Les poids préentraînés $W_0$ sont gelés ; seules deux petites matrices sont entraînées. Leur produit peut être fusionné dans $W_0$ après l'entraînement, sans latence supplémentaire à l'inférence[^hu2021].",225            "The pre-trained weights $W_0$ are frozen; only two small matrices are trained. Their product can be merged into $W_0$ after training, with no additional inference latency[^hu2021].",226          ),227          variables: [228            { symbol: "W_0", meaning: t("Matrice de poids préentraînée, de taille $d \\times k$, gelée", "Pre-trained weight matrix, of size $d \\times k$, frozen") },229            { symbol: "B,\\, A", meaning: t("Matrices entraînées, de rang $r$", "Trained matrices, of rank $r$") },230            { symbol: "r", meaning: t("Rang de l'adaptation : $r(d + k)$ paramètres entraînés au lieu de $dk$", "Rank of the adaptation: $r(d + k)$ trained parameters instead of $dk$") },231          ],232        },233        {234          id: "co-lora", type: "callout", span: 6, tone: "note", title: t("L'ajustement fin n'est plus forcément lourd", "Fine-tuning is no longer necessarily heavy"),235          text: t(236            "Réentraîner tous les paramètres d'un grand modèle, puis en déployer une copie par tâche, devient vite prohibitif. Les méthodes à adaptateurs comme LoRA n'entraînent qu'une très petite fraction des paramètres : sur GPT-3 175B, les auteurs rapportent 10 000 fois moins de paramètres entraînés et un besoin en mémoire GPU divisé par 3 par rapport à l'ajustement complet[^hu2021]. Le coût de **constitution des données** et d'**évaluation**, lui, ne disparaît pas.",237            "Retraining every parameter of a large model, then deploying one copy per task, quickly becomes prohibitive. Adapter methods such as LoRA train only a tiny fraction of the parameters: on GPT-3 175B, the authors report 10,000 times fewer trained parameters and a GPU memory requirement divided by 3 compared with full fine-tuning[^hu2021]. The cost of **building the data** and of **evaluation**, however, does not go away.",238          ),239        },240241        { id: "h-cost", type: "heading", level: 2, text: t("La forme des coûts", "The shape of the costs") },242        {243          id: "eq-cost", type: "equation", span: 4, label: t("Coût total d'une approche", "Total cost of an approach"), derivation: "derived",244          latex: r`C(n) = C_{\text{fixed}} + n \cdot \big(c_{\text{in}}\, T_{\text{in}} + c_{\text{out}}\, T_{\text{out}}\big)`,245          explanation: t(246            "Modèle comptable élémentaire. L'invite et le RAG ont un coût fixe faible mais allongent $T_{\\text{in}}$ ; l'ajustement fin a un coût fixe élevé mais permet une invite plus courte.",247            "An elementary accounting model. Prompting and RAG have a low fixed cost but lengthen $T_{\\text{in}}$; fine-tuning has a high fixed cost but allows a shorter prompt.",248          ),249          variables: [250            { symbol: "n", meaning: t("Nombre de requêtes servies", "Number of requests served") },251            { symbol: r`C_{\text{fixed}}`, meaning: t("Coût de mise en place (données, index, entraînement, évaluation)", "Set-up cost (data, index, training, evaluation)") },252            { symbol: r`T_{\text{in}},\, T_{\text{out}}`, meaning: t("Jetons lus et produits par requête", "Tokens read and produced per request"), unit: t("jetons", "tokens") },253            { symbol: r`c_{\text{in}},\, c_{\text{out}}`, meaning: t("Prix unitaire des jetons d'entrée et de sortie", "Unit price of input and output tokens") },254          ],255        },256        {257          id: "ch-cost", type: "chart", span: 8, kind: "line", dataKind: "illustrative",258          title: t("Coût cumulé selon le volume de requêtes", "Cumulative cost against request volume"),259          caption: t(260            "Courbes illustratives en unités arbitraires, tracées à partir de l'équation ci-contre avec des coefficients choisis à la main. Elles montrent pourquoi le classement peut s'inverser avec le volume ; elles ne décrivent aucun fournisseur réel.",261            "Illustrative curves in arbitrary units, drawn from the adjacent equation with hand-picked coefficients. They show why the ranking can flip with volume; they do not describe any real provider.",262          ),263          alt: t(264            "Graphique en lignes du coût cumulé en fonction du nombre de requêtes. La droite de l'invite part de presque zéro avec une pente moyenne. La droite du RAG part un peu plus haut avec la pente la plus forte. La droite de l'ajustement fin part nettement plus haut mais avec la pente la plus faible, et finit par passer sous les deux autres à fort volume.",265            "Line chart of cumulative cost against the number of requests. The prompting line starts near zero with a medium slope. The RAG line starts slightly higher with the steepest slope. The fine-tuning line starts much higher but with the gentlest slope, and ends up below the other two at high volume.",266          ),267          x: { label: t("Requêtes servies", "Requests served"), unit: t("milliers", "thousands"), type: "number", min: 0, max: 100 },268          y: { label: t("Coût cumulé", "Cumulative cost"), unit: t("unités arbitraires", "arbitrary units"), min: 0 },269          series: [270            { name: t("Conception d'invite", "Prompting"), tone: "blue", points: costLine(1, 1.0) },271            { name: "RAG", tone: "teal", points: costLine(10, 1.4) },272            { name: t("Ajustement fin", "Fine-tuning"), tone: "violet", points: costLine(45, 0.4) },273          ],274        },275276        { id: "h-decide", type: "heading", level: 2, text: t("Décider, dans l'ordre", "Deciding, in order") },277        {278          id: "st-ladder", type: "steps", span: 6,279          items: [280            { icon: "target", title: t("Construire un jeu d'évaluation", "Build an evaluation set"), text: t("Quelques dizaines de cas réels avec la réponse attendue. Sans lui, impossible de savoir si un changement améliore quoi que ce soit.", "A few dozen real cases with the expected answer. Without it there is no way to know whether a change improves anything.") },281            { icon: "document", title: t("Travailler l'invite", "Work on the prompt"), text: t("Consignes précises, exemples, format de sortie ; demander un raisonnement par étapes aide sur les tâches de raisonnement[^wei2022].", "Precise instructions, examples, output format; asking for step-by-step reasoning helps on reasoning tasks[^wei2022].") },282            { icon: "search", title: t("Ajouter la récupération si la connaissance manque", "Add retrieval if knowledge is missing"), text: t("Les erreurs viennent de faits absents, privés ou récents : brancher un corpus et mesurer la récupération.", "Errors come from absent, private or recent facts: plug in a corpus and measure retrieval.") },283            { icon: "gear", title: t("Ajuster si le comportement résiste", "Fine-tune if behaviour resists"), text: t("Le format, le ton ou la tâche restent instables malgré une bonne invite, ou l'invite est devenue trop longue pour le volume servi.", "Format, tone or task remain unstable despite a good prompt, or the prompt has grown too long for the volume served.") },284            { icon: "merge", title: t("Combiner", "Combine"), text: t("Les trois leviers sont compatibles : un modèle ajusté, alimenté par récupération et piloté par une invite soignée.", "The three levers are compatible: a tuned model, fed by retrieval and driven by a careful prompt.") },285          ],286        },287        {288          id: "tb-symptoms", type: "table", span: 6, headerColumn: true,289          caption: t("Du symptôme au levier.", "From symptom to lever."),290          columns: [{ label: t("Ce qu'on observe", "What you observe") }, { label: t("Ce qui manque", "What is missing") }, { label: t("Premier levier", "First lever") }],291          rows: [292            [t("Réponses fausses sur vos documents internes", "Wrong answers about your internal documents"), t("Connaissance", "Knowledge"), "RAG"],293            [t("Réponses périmées sur un sujet qui évolue", "Outdated answers on a moving subject"), t("Connaissance récente", "Recent knowledge"), "RAG"],294            [t("Format de sortie non respecté", "Output format not respected"), t("Consigne", "Instruction"), t("Invite, puis ajustement fin", "Prompt, then fine-tuning")],295            [t("Ton ou style inadaptés, malgré les exemples", "Wrong tone or style, despite examples"), t("Habitude", "Habit"), t("Ajustement fin", "Fine-tuning")],296            [t("Tâche étroite, à très fort volume, invite très longue", "Narrow task, very high volume, very long prompt"), t("Efficacité", "Efficiency"), t("Ajustement fin", "Fine-tuning")],297            [t("Besoin de justifier chaque réponse par une source", "Need to back each answer with a source"), t("Traçabilité", "Traceability"), "RAG"],298          ],299        },300        {301          id: "co-facts", type: "callout", tone: "warning", title: t("Ne pas ajuster un modèle pour lui apprendre des faits qui changent", "Do not fine-tune a model to teach it facts that change"),302          text: t(303            "Une connaissance inscrite dans les poids est figée à la date de l'entraînement, ne peut pas être citée et ne se corrige qu'en réentraînant. Mettre à jour le savoir d'un modèle et en indiquer la provenance sont précisément les problèmes que la mémoire externe du RAG cherche à résoudre[^lewis2020].",304            "Knowledge written into the weights is frozen at training time, cannot be cited and can only be corrected by retraining. Updating a model's knowledge and giving its provenance are precisely the problems RAG's external memory sets out to solve[^lewis2020].",305          ),306        },307308        { id: "h-check", type: "heading", level: 2, text: t("Vérifier sa compréhension", "Check your understanding") },309        {310          id: "quiz-choice", type: "quiz", span: 6,311          question: t(312            "Un service juridique veut un assistant qui réponde à partir de sa base de contrats, modifiée chaque semaine, en citant l'article concerné. Quelle approche placer au cœur du système ?",313            "A legal team wants an assistant that answers from its contract base, which changes every week, and cites the relevant clause. Which approach should sit at the core of the system?",314          ),315          choices: [316            { text: t("Le RAG, avec une invite qui exige des citations.", "RAG, with a prompt that requires citations."), correct: true, explanation: t("Exact : la connaissance est privée, changeante et doit être citée, trois signes qui pointent vers une mémoire externe.", "Correct: the knowledge is private, changing and must be cited, three signs pointing to an external memory.") },317            { text: t("Un ajustement fin sur les contrats, relancé chaque semaine.", "Fine-tuning on the contracts, rerun every week."), correct: false, explanation: t("Coûteux à répéter, et le modèle ne pourrait toujours pas indiquer de quel article vient sa réponse.", "Costly to repeat, and the model still could not say which clause its answer comes from.") },318            { text: t("Une invite très détaillée, sans documents.", "A very detailed prompt, with no documents."), correct: false, explanation: t("Une consigne ne remplace pas une connaissance que le modèle n'a pas.", "An instruction does not replace knowledge the model does not have.") },319          ],320        },321        {322          id: "acc-faq", type: "accordion", span: 6,323          items: [324            {325              title: t("Idée reçue : « l'ajustement fin est la version sérieuse, l'invite est du bricolage »", "Misconception: “fine-tuning is the serious option, prompting is tinkering”"),326              text: t(327                "L'invite est une méthode d'adaptation à part entière, étudiée comme telle[^liu2023]. Un grand modèle peut atteindre de bonnes performances sur de nombreuses tâches à partir de quelques exemples seulement, sans mise à jour de gradient[^brown2020]. Commencer par là n'est pas un raccourci : c'est ce qui établit la référence à battre.",328                "Prompting is an adaptation method in its own right, studied as such[^liu2023]. A large model can reach strong performance on many tasks from just a few examples, with no gradient update[^brown2020]. Starting there is not a shortcut: it sets the baseline to beat.",329              ),330            },331            {332              title: t("RAG et ajustement fin sont-ils concurrents ?", "Are RAG and fine-tuning competitors?"),333              text: t(334                "Non, ils agissent à des endroits différents. On peut ajuster un modèle pour qu'il exploite mieux les passages fournis ou respecte un format de citation, tout en lui apportant la connaissance par récupération. L'article d'origine sur le RAG entraîne d'ailleurs le récupérateur et le générateur ensemble[^lewis2020].",335                "No, they act in different places. A model can be tuned to make better use of supplied passages or to follow a citation format, while knowledge is brought in by retrieval. The original RAG paper in fact trains the retriever and the generator together[^lewis2020].",336              ),337            },338            {339              title: t("Combien d'exemples faut-il pour un ajustement fin ?", "How many examples does fine-tuning need?"),340              text: t(341                "Cela dépend de la tâche, du modèle et de la méthode ; il n'existe pas de seuil universel. Le critère pratique est empirique : l'ajustement vaut la peine s'il bat, sur votre jeu d'évaluation, la meilleure invite que vous ayez obtenue.",342                "It depends on the task, the model and the method; there is no universal threshold. The practical criterion is empirical: fine-tuning is worth it if it beats, on your evaluation set, the best prompt you have obtained.",343              ),344            },345            {346              title: t("Erreur fréquente : sauter l'évaluation", "Common mistake: skipping evaluation"),347              text: t(348                "Sans jeu d'évaluation, on ne compare pas trois approches : on compare trois impressions. C'est aussi le seul moyen de vérifier qu'un ajustement fin n'a pas dégradé ce que le modèle faisait bien auparavant.",349                "Without an evaluation set you are not comparing three approaches: you are comparing three impressions. It is also the only way to check that fine-tuning has not degraded what the model previously did well.",350              ),351            },352          ],353        },354        { id: "refs", type: "references", title: t("Références", "References") },355      ],356      sources: pickSources("brown2020", "lewis2020", "hu2021", "liu2023", "wei2022"),357      claims: [358        { id: "cl-fewshot", status: "sourced", sourceIds: ["brown2020"], blockId: "eq-icl", text: t("Un grand modèle de langage peut être appliqué à une tâche à partir de consignes et de quelques exemples, sans mise à jour de gradient.", "A large language model can be applied to a task from instructions and a few examples, without any gradient update.") },359        { id: "cl-rag-memory", status: "sourced", sourceIds: ["lewis2020"], blockId: "c-three", text: t("Le RAG place la connaissance dans une mémoire non paramétrique externe au modèle.", "RAG places knowledge in a non-parametric memory outside the model.") },360        { id: "cl-lora", status: "sourced", sourceIds: ["hu2021"], blockId: "eq-lora", text: t("LoRA gèle les poids préentraînés et entraîne des matrices de décomposition de rang faible, sans latence d'inférence supplémentaire.", "LoRA freezes the pre-trained weights and trains low-rank decomposition matrices, with no additional inference latency.") },361        { id: "cl-lora-numbers", status: "sourced", sourceIds: ["hu2021"], blockId: "co-lora", text: t("Sur GPT-3 175B, LoRA réduit de 10 000 fois le nombre de paramètres entraînés et de 3 fois la mémoire GPU requise.", "On GPT-3 175B, LoRA reduces the number of trained parameters 10,000-fold and the GPU memory requirement 3-fold.") },362        { id: "cl-cot", status: "sourced", sourceIds: ["wei2022"], blockId: "st-ladder", text: t("Fournir des exemples de raisonnement par étapes dans l'invite améliore les performances sur des tâches de raisonnement.", "Providing step-by-step reasoning exemplars in the prompt improves performance on reasoning tasks.") },363        { id: "cl-freshness", status: "derived", sourceIds: ["lewis2020"], blockId: "cmp-main", text: t("La fraîcheur des connaissances suit l'endroit où elles sont stockées : l'index pour le RAG, la date du jeu d'entraînement pour l'ajustement fin.", "Knowledge freshness follows where knowledge is stored: the index for RAG, the date of the training set for fine-tuning.") },364        { id: "cl-cost-shape", status: "derived", blockId: "eq-cost", text: t("Le coût total est un coût fixe plus un coût par requête proportionnel aux jetons ; le classement des approches peut donc s'inverser avec le volume.", "Total cost is a fixed cost plus a per-request cost proportional to tokens; the ranking of approaches can therefore flip with volume.") },365      ],366    };367  },368};369
Files main
Menu

Theme