SPB Git

Repository Public

data-pipeline-etl.ts 39.7 KB 302 lines typescript

1import type { Locale, SheetInput } from "@/schema";2import type { TemplateDef } from "../types";3import { T, doiSource, r, urlSource } from "./shared";45function build(locale: Locale): SheetInput {6  const t = T(locale);7  return {8    schemaVersion: 1,9    metadata: {10      title: t("Pipeline de données : ETL et ELT", "Data pipeline: ETL and ELT"),11      locale,12      summary: t(13        "Le trajet d'une donnée, de la source opérationnelle à la table servie aux analystes : ingestion, couches bronze, argent et or, orchestration, contrôles de qualité, idempotence et lignage.",14        "The journey of a piece of data from the operational source to the table served to analysts: ingestion, bronze, silver and gold layers, orchestration, quality checks, idempotency and lineage.",15      ),16      topics: ["Infrastructure", t("Ingénierie des données", "Data engineering")],17      tags: ["ETL", "ELT", t("pipeline de données", "data pipeline"), t("idempotence", "idempotency"), t("qualité des données", "data quality"), t("lignage", "lineage"), t("traitement par lots", "batch"), t("flux", "streaming")],18      level: "intermediate",19      kind: "architecture",20      objectives: [21        t("Nommer les étapes d'un pipeline et dire ce que contient chaque couche de stockage.", "Name the stages of a pipeline and say what each storage layer contains."),22        t("Distinguer ETL et ELT, traitement par lots et traitement de flux.", "Tell ETL from ELT, and batch from stream processing."),23        t("Rendre un chargement idempotent pour qu'une reprise après panne ne crée pas de doublons.", "Make a load idempotent so that a retry after a failure creates no duplicates."),24        t("Placer des contrôles de qualité et suivre le lignage d'une table.", "Place quality checks and trace the lineage of a table."),25      ],26      example: true,27    },28    theme: { preset: "scientific-light", accent: "teal" },29    blocks: [30      { id: "title", type: "heading", level: 1, eyebrow: t("Ingénierie des données", "Data engineering"), text: t("Pipeline de données : ETL et ELT", "Data pipeline: ETL and ELT") },31      {32        id: "lead", type: "paragraph", lead: true,33        text: t(34          "Un pipeline de données transforme des enregistrements bruts, dispersés dans des systèmes opérationnels, en tables fiables sur lesquelles on peut raisonner. L'idée directrice : séparer le **système de référence**, où la donnée est écrite une fois, des **données dérivées**, que l'on doit toujours pouvoir reconstruire en rejouant le pipeline[^kleppmann-2017].",35          "A data pipeline turns raw records, scattered across operational systems, into reliable tables one can reason about. The guiding idea: separate the **system of record**, where data is written once, from **derived data**, which you must always be able to rebuild by replaying the pipeline[^kleppmann-2017].",36        ),37      },3839      { id: "sec-overview", type: "heading", level: 2, eyebrow: t("Vue d'ensemble", "Overview"), text: t("Le trajet d'un enregistrement", "The journey of a record") },40      {41        id: "diagram-pipeline", type: "diagram", kind: "architecture", direction: "LR", routing: "orthogonal",42        title: t("Des sources aux usages", "From sources to uses"),43        caption: t(44          "Les données avancent de gauche à droite et gagnent en qualité à chaque couche ; l'orchestrateur, les contrôles et le catalogue agissent en travers. Lancez l'animation pour suivre une commande client.",45          "Data moves left to right and gains quality at each layer; the orchestrator, the checks and the catalogue act across. Play the animation to follow a customer order.",46        ),47        alt: t(48          "Schéma de gauche à droite. Sources : base opérationnelle, flux d'événements, fichiers et API. Ingestion : extraction par lots et journal d'événements. Stockage en trois couches : bronze (brut, tel que reçu), argent (nettoyé et conforme), or (prêt à l'usage). Entre bronze et argent, des contrôles de qualité envoient les enregistrements fautifs en quarantaine, puis vient le nettoyage ; entre argent et or, une agrégation. Usages : tableaux de bord, modèles et analyses. En travers : un orchestrateur qui déclenche les étapes et un catalogue qui enregistre le lignage.",49          "Left-to-right architecture diagram. Sources: an operational database, an event stream, and files or APIs. Ingestion: a batch extract and an event log. Storage in three layers: bronze (raw data as received), silver (cleaned, conformed data), gold (tables ready for use). Between bronze and silver, a cleaning step preceded by quality checks that send faulty records to quarantine; between silver and gold, an aggregation step. Uses: dashboards, models and analyses. Across: an orchestrator that triggers the steps and a catalogue that records lineage.",50        ),51        groups: [52          { id: "g-sources", label: t("Sources", "Sources"), tone: "neutral" },53          { id: "g-ingest", label: t("Ingestion", "Ingestion"), tone: "blue" },54          { id: "g-store", label: t("Stockage en couches", "Layered storage"), tone: "teal" },55          { id: "g-serve", label: t("Usages", "Uses"), tone: "green" },56          { id: "g-cross", label: t("Fonctions transversales", "Cross-cutting functions"), tone: "violet" },57        ],58        nodes: [59          { id: "n-oltp", label: t("Base opérationnelle", "Operational database"), sublabel: t("système de référence", "system of record"), shape: "cylinder", tone: "neutral", icon: "database", group: "g-sources" },60          { id: "n-events", label: t("Flux d'événements", "Event stream"), sublabel: t("clics, capteurs, transactions", "clicks, sensors, transactions"), shape: "round", tone: "neutral", icon: "bolt", group: "g-sources" },61          { id: "n-files", label: t("Fichiers et API", "Files and APIs"), sublabel: t("partenaires, exports", "partners, exports"), shape: "round", tone: "neutral", icon: "document", group: "g-sources" },62          { id: "n-extract", label: t("Extraction par lots", "Batch extract"), sublabel: t("complète ou incrémentale", "full or incremental"), shape: "round", tone: "blue", icon: "clock", group: "g-ingest" },63          { id: "n-log", label: t("Journal d'événements", "Event log"), sublabel: t("ordonné, rejouable", "ordered, replayable"), shape: "round", tone: "blue", icon: "queue", group: "g-ingest" },64          { id: "n-bronze", label: t("Bronze", "Bronze"), sublabel: t("brut, tel que reçu", "raw, as received"), shape: "cylinder", tone: "amber", icon: "layers", group: "g-store" },65          { id: "n-checks", label: t("Contrôles de qualité", "Quality checks"), sublabel: t("schéma, nuls, unicité", "schema, nulls, uniqueness"), shape: "diamond", tone: "red", icon: "shield", group: "g-store" },66          { id: "n-clean", label: t("Nettoyage", "Cleaning"), sublabel: t("types, doublons, clés", "types, duplicates, keys"), shape: "round", tone: "teal", icon: "filter", group: "g-store" },67          { id: "n-quarantine", label: t("Quarantaine", "Quarantine"), sublabel: t("rejets à examiner", "rejects to review"), shape: "note", tone: "red", icon: "warning", group: "g-store" },68          { id: "n-silver", label: t("Argent", "Silver"), sublabel: t("propre et conforme", "clean and conformed"), shape: "cylinder", tone: "neutral", icon: "layers", group: "g-store" },69          { id: "n-model", label: t("Agrégation", "Aggregation"), sublabel: t("jointures, indicateurs", "joins, metrics"), shape: "round", tone: "teal", icon: "merge", group: "g-store" },70          { id: "n-gold", label: t("Or", "Gold"), sublabel: t("prêt à l'usage", "ready for use"), shape: "cylinder", tone: "green", icon: "layers", group: "g-store" },71          { id: "n-bi", label: t("Tableaux de bord", "Dashboards"), shape: "rect", tone: "green", icon: "chart", group: "g-serve" },72          { id: "n-ml", label: t("Modèles et analyses", "Models and analyses"), shape: "rect", tone: "green", icon: "flask", group: "g-serve" },73          { id: "n-orch", label: t("Orchestrateur", "Orchestrator"), sublabel: t("dépendances, reprises", "dependencies, retries"), shape: "hexagon", tone: "violet", icon: "gear", group: "g-cross" },74          { id: "n-catalog", label: t("Catalogue et lignage", "Catalogue and lineage"), sublabel: t("qui dérive de quoi", "what derives from what"), shape: "round", tone: "violet", icon: "link", group: "g-cross" },75        ],76        edges: [77          { id: "e-oltp-extract", from: "n-oltp", to: "n-extract", label: t("lecture", "read"), tone: "blue" },78          { id: "e-files-extract", from: "n-files", to: "n-extract", tone: "blue" },79          { id: "e-events-log", from: "n-events", to: "n-log", label: t("publication", "publish"), tone: "blue" },80          { id: "e-extract-bronze", from: "n-extract", to: "n-bronze", label: t("ajout", "append"), tone: "blue" },81          { id: "e-log-bronze", from: "n-log", to: "n-bronze", label: t("ajout", "append"), tone: "blue" },82          { id: "e-bronze-checks", from: "n-bronze", to: "n-checks", tone: "teal" },83          { id: "e-checks-clean", from: "n-checks", to: "n-clean", label: t("conforme", "pass"), tone: "teal" },84          { id: "e-checks-quarantine", from: "n-checks", to: "n-quarantine", label: t("rejet", "fail"), style: "dashed", tone: "red" },85          { id: "e-clean-silver", from: "n-clean", to: "n-silver", label: t("fusion par clé", "merge by key"), tone: "teal" },86          { id: "e-silver-model", from: "n-silver", to: "n-model", tone: "teal" },87          { id: "e-model-gold", from: "n-model", to: "n-gold", label: t("remplacement de partition", "partition overwrite"), tone: "teal" },88          { id: "e-gold-bi", from: "n-gold", to: "n-bi", tone: "green" },89          { id: "e-gold-ml", from: "n-gold", to: "n-ml", tone: "green" },90          { id: "e-orch-extract", from: "n-orch", to: "n-extract", label: t("déclenche", "triggers"), style: "dotted", tone: "violet" },91          { id: "e-orch-clean", from: "n-orch", to: "n-clean", label: t("déclenche", "triggers"), style: "dotted", tone: "violet" },92          { id: "e-orch-model", from: "n-orch", to: "n-model", label: t("déclenche", "triggers"), style: "dotted", tone: "violet" },93          { id: "e-silver-catalog", from: "n-silver", to: "n-catalog", label: t("métadonnées", "metadata"), style: "dotted", tone: "violet" },94          { id: "e-gold-catalog", from: "n-gold", to: "n-catalog", label: t("métadonnées", "metadata"), style: "dotted", tone: "violet" },95        ],96        legend: [97          { label: t("Bleu : ingestion depuis les sources", "Blue: ingestion from sources"), tone: "blue", shape: "arrow" },98          { label: t("Sarcelle : transformations entre couches", "Teal: transformations between layers"), tone: "teal", shape: "arrow" },99          { label: t("Vert : lecture par les usages", "Green: reads by consumers"), tone: "green", shape: "arrow" },100          { label: t("Rouge tireté : enregistrements rejetés", "Red dashed: rejected records"), tone: "red", shape: "dashed" },101          { label: t("Violet pointillé : commande et métadonnées, pas de données", "Violet dotted: control and metadata, no data"), tone: "violet", shape: "dashed" },102          { label: t("Cylindre : couche de stockage", "Cylinder: storage layer"), tone: "neutral", shape: "circle" },103        ],104        animation: {105          steps: [106            { title: t("1. La commande naît dans la base opérationnelle", "1. The order is born in the operational database"), text: t("Une ligne est écrite dans le système de référence, optimisé pour les transactions, non pour l'analyse.", "A row is written to the system of record, optimised for transactions, not for analysis."), nodes: ["n-oltp"], edges: [] },107            { title: t("2. L'orchestrateur déclenche l'extraction", "2. The orchestrator triggers the extract"), text: t("L'extraction incrémentale lit les lignes modifiées depuis la dernière exécution réussie.", "The incremental extract reads the rows changed since the last successful run."), nodes: ["n-orch", "n-extract", "n-oltp"], edges: ["e-orch-extract", "e-oltp-extract"] },108            { title: t("3. Dépôt en bronze, sans modification", "3. Landing in bronze, unchanged"), text: t("La ligne est ajoutée telle quelle, avec la date d'ingestion et l'identifiant du lot. Rien n'est jamais corrigé à cet étage.", "The row is appended as is, with the ingestion date and the batch identifier. Nothing is ever fixed at this level."), nodes: ["n-extract", "n-bronze"], edges: ["e-extract-bronze"] },109            { title: t("4. Contrôles de qualité", "4. Quality checks"), text: t("Schéma respecté ? Clé présente et unique ? Montant positif ? Une ligne fautive part en quarantaine au lieu de contaminer la suite.", "Schema respected? Key present and unique? Amount positive? A faulty row goes to quarantine instead of contaminating what follows."), nodes: ["n-bronze", "n-checks", "n-quarantine"], edges: ["e-bronze-checks", "e-checks-quarantine"] },110            { title: t("5. Nettoyage et fusion en argent", "5. Cleaning and merge into silver"), text: t("Types convertis, doublons éliminés, puis fusion par clé : rejouer le lot donne exactement la même table.", "Types cast, duplicates removed, then a merge by key: replaying the batch yields exactly the same table."), nodes: ["n-checks", "n-clean", "n-silver", "n-orch"], edges: ["e-checks-clean", "e-clean-silver", "e-orch-clean"] },111            { title: t("6. Agrégation en or", "6. Aggregation into gold"), text: t("La commande est jointe au client et au produit, puis agrégée dans la table des ventes quotidiennes ; la partition du jour est recalculée et remplacée.", "The order is joined to customer and product, then aggregated into the daily sales table; the day's partition is recomputed and replaced."), nodes: ["n-silver", "n-model", "n-gold", "n-orch"], edges: ["e-silver-model", "e-model-gold", "e-orch-model"] },112            { title: t("7. Usage et lignage", "7. Use and lineage"), text: t("Le tableau de bord lit la table or. Le catalogue sait de quelles tables et de quel lot provient chaque chiffre.", "The dashboard reads the gold table. The catalogue knows which tables and which batch every figure comes from."), nodes: ["n-gold", "n-bi", "n-catalog"], edges: ["e-gold-bi", "e-gold-catalog"] },113          ],114        },115      },116      {117        id: "cards-layers", type: "cards", columns: 3,118        items: [119          { icon: "layers", title: t("Bronze — brut", "Bronze — raw"), tone: "amber", badge: t("zone de dépôt", "staging"), text: t("Copie fidèle de la source, en ajout seul, avec métadonnées d'ingestion. Permet de tout rejouer sans réinterroger la source.", "Faithful copy of the source, append-only, with ingestion metadata. Lets you replay everything without querying the source again.") },120          { icon: "filter", title: t("Argent — conforme", "Silver — conformed"), tone: "neutral", badge: t("transformation", "transformation"), text: t("Types corrects, doublons supprimés, clés et référentiels harmonisés. Une ligne par entité ou par événement.", "Correct types, duplicates removed, keys and reference data harmonised. One row per entity or per event.") },121          { icon: "chart", title: t("Or — prêt à l'usage", "Gold — ready for use"), tone: "green", badge: t("service", "serving"), text: t("Tables modélisées pour un besoin : agrégats, indicateurs, dimensions. C'est la seule couche que lisent les utilisateurs.", "Tables modelled for a need: aggregates, metrics, dimensions. It is the only layer users read.") },122        ],123      },124      {125        id: "callout-naming", type: "callout", tone: "note", title: t("Une convention, pas une norme", "A convention, not a standard"),126        text: t(127          "« Bronze, argent, or » est un vocabulaire répandu pour ces trois niveaux ; on rencontre aussi « brut, intermédiaire, exposé » ou « dépôt, cœur, magasin ». Ce qui compte est la règle : chaque couche ne dépend que de la précédente et peut être reconstruite à partir d'elle.",128          "\"Bronze, silver, gold\" is a widespread vocabulary for these three levels; you will also meet \"raw, intermediate, exposed\" or \"staging, core, mart\". What matters is the rule: each layer depends only on the previous one and can be rebuilt from it.",129        ),130      },131132      { id: "sec-etl-elt", type: "heading", level: 2, eyebrow: t("Deux ordres", "Two orders"), text: t("ETL ou ELT : où transforme-t-on ?", "ETL or ELT: where does transformation happen?") },133      {134        id: "comparison-etl-elt", type: "comparison", span: 8,135        caption: t("Les trois mêmes opérations, dans un ordre différent.", "The same three operations, in a different order."),136        columns: [137          { title: "ETL", tone: "blue", badge: t("extraire, transformer, charger", "extract, transform, load") },138          { title: "ELT", tone: "teal", badge: t("extraire, charger, transformer", "extract, load, transform") },139        ],140        rows: [141          { label: t("Où a lieu la transformation", "Where transformation happens"), cells: [t("Dans un moteur séparé, avant le chargement dans l'entrepôt.", "In a separate engine, before loading into the warehouse."), t("Dans l'entrepôt ou le lac lui-même, après le chargement des données brutes.", "Inside the warehouse or lake itself, after raw data is loaded.")] },142          { label: t("Données brutes conservées", "Raw data kept"), cells: [t("Pas nécessairement : seules les données transformées sont chargées.", "Not necessarily: only transformed data is loaded."), t("Oui : la couche bronze est le point de départ de toute reconstruction.", "Yes: the bronze layer is the starting point of any rebuild.")] },143          { label: t("Changer une règle de transformation", "Changing a transformation rule"), cells: [t("Demande souvent de réextraire depuis la source.", "Often requires extracting from the source again."), t("On rejoue la transformation sur les données brutes déjà chargées.", "Replay the transformation over raw data already loaded.")] },144          { label: t("Point d'attention", "Watch out for"), cells: [t("Le moteur de transformation doit être dimensionné à part.", "The transformation engine must be sized separately."), t("Les données sensibles arrivent brutes dans l'entrepôt : droits d'accès à régler dès la couche bronze.", "Sensitive data lands raw in the warehouse: access rights must be set from the bronze layer on.")] },145        ],146        verdict: t(147          "Le choix dépend de l'endroit où le calcul est le moins coûteux et de l'importance de pouvoir rejouer l'historique. L'architecture en couches décrite ici suit la logique ELT.",148          "The choice depends on where computation is cheapest and how much replaying history matters. The layered architecture described here follows the ELT logic.",149        ),150      },151      {152        id: "callout-derived", type: "callout", span: 4, tone: "definition", title: t("Données dérivées", "Derived data"),153        text: t(154          "Une donnée est **dérivée** si elle résulte de la transformation d'une autre donnée et peut être recréée en cas de perte. Dans un traitement par lots, les entrées sont immuables et la sortie est entièrement produite par le traitement : on peut donc relancer celui-ci sans risque après une erreur[^kleppmann-2017].",155          "Data is **derived** if it results from transforming other data and can be recreated if lost. In batch processing the inputs are immutable and the output is entirely produced by the job: the job can therefore be rerun safely after a mistake[^kleppmann-2017].",156        ),157      },158159      { id: "sec-idempotency", type: "heading", level: 2, eyebrow: t("Fiabilité", "Reliability"), text: t("Idempotence : rejouer sans dégât", "Idempotency: replaying without damage") },160      {161        id: "eq-idempotent", type: "equation", span: 6, label: t("Chargement idempotent", "Idempotent load"),162        latex: r`\operatorname{charger}\bigl(\operatorname{charger}(S,\,b),\,b\bigr) \;=\; \operatorname{charger}(S,\,b)`.replace(/charger/g, locale === "fr" ? "charger" : "load"),163        explanation: t(164          "Appliquer deux fois le même lot laisse la table dans le même état que l'appliquer une fois. C'est ce qui rend les reprises sûres : après une panne, on ne sait pas toujours si l'écriture a eu lieu, et on doit pouvoir la retenter sans y réfléchir.",165          "Applying the same batch twice leaves the table in the same state as applying it once. That is what makes retries safe: after a failure you do not always know whether the write happened, and you must be able to retry it without thinking.",166        ),167        variables: [168          { symbol: r`S`, meaning: t("état de la table cible avant le chargement", "state of the target table before the load") },169          { symbol: r`b`, meaning: t("lot de données à charger (par exemple, les commandes d'une journée)", "batch of data to load (for example, one day of orders)") },170        ],171      },172      {173        id: "code-merge", type: "code", span: 6, language: "sql",174        caption: t("Fusion par clé : exécutée deux fois avec le même lot, elle produit la même table. Un simple INSERT, lui, doublerait les lignes.", "Merge by key: run twice with the same batch, it yields the same table. A plain INSERT would double the rows."),175        code: "MERGE INTO silver.orders AS t\nUSING staged_batch AS s\n  ON t.order_id = s.order_id\nWHEN MATCHED AND s.updated_at > t.updated_at THEN\n  UPDATE SET status = s.status,\n             amount = s.amount,\n             updated_at = s.updated_at\nWHEN NOT MATCHED THEN\n  INSERT (order_id, status, amount, updated_at)\n  VALUES (s.order_id, s.status, s.amount, s.updated_at);",176      },177      {178        id: "steps-idempotent", type: "steps", span: 6,179        items: [180          { icon: "key", title: t("Une clé pour chaque enregistrement", "A key for every record"), text: t("Clé naturelle ou identifiant d'événement : sans elle, impossible de reconnaître un doublon.", "Natural key or event identifier: without it a duplicate cannot be recognised.") },181          { icon: "merge", title: t("Fusionner ou remplacer, ne pas ajouter", "Merge or overwrite, do not append"), text: t("Fusion par clé pour les entités ; remplacement de la partition entière pour les agrégats.", "Merge by key for entities; overwrite the whole partition for aggregates.") },182          { icon: "clock", title: t("Paramétrer par la période, pas par « maintenant »", "Parameterise by period, not by \"now\""), text: t("Un traitement du 3 mars relancé le 9 doit encore traiter le 3 mars.", "A job for 3 March rerun on the 9th must still process 3 March.") },183          { icon: "lock", title: t("Écritures atomiques", "Atomic writes"), text: t("Écrire à côté puis basculer d'un coup : un lecteur ne voit jamais une table à moitié chargée.", "Write aside, then switch in one step: a reader never sees a half-loaded table.") },184        ],185      },186      {187        id: "callout-mapreduce", type: "callout", span: 6, tone: "example", title: t("La même idée à grande échelle", "The same idea at scale"),188        text: t(189          "MapReduce tolère les pannes en **réexécutant** les tâches des machines défaillantes. Cela ne fonctionne que parce que les fonctions fournies par l'utilisateur sont déterministes et que la sortie de chaque tâche est validée de façon atomique[^dean-ghemawat-2008]. Les formats de tables transactionnels apportent ensuite des écritures atomiques et la lecture d'anciennes versions au-dessus du stockage objet[^armbrust-2020].",190          "MapReduce tolerates failures by **re-executing** the tasks of failed machines. This only works because user-supplied functions are deterministic and each task's output is committed atomically[^dean-ghemawat-2008]. Transactional table formats later brought atomic writes and reads of earlier versions on top of object storage[^armbrust-2020].",191        ),192      },193194      { id: "sec-batch-stream", type: "heading", level: 2, eyebrow: t("Cadence", "Cadence"), text: t("Traitement par lots ou traitement de flux", "Batch or stream processing") },195      {196        id: "table-batch-stream", type: "table", span: 8, headerColumn: true,197        caption: t("Deux façons de découper le même travail.", "Two ways of slicing the same work."),198        columns: [{ label: "" }, { label: t("Par lots", "Batch") }, { label: t("Flux", "Streaming") }],199        rows: [200          [t("Entrée", "Input"), t("Bornée : un fichier, une partition, une journée.", "Bounded: a file, a partition, a day."), t("Non bornée : les événements n'arrêtent jamais d'arriver.", "Unbounded: events never stop arriving.")],201          [t("Déclenchement", "Trigger"), t("À heure fixe ou à l'arrivée d'un lot.", "On a schedule or when a batch arrives."), t("En continu, événement par événement ou par micro-lots.", "Continuously, event by event or in micro-batches.")],202          [t("Fraîcheur", "Freshness"), t("Minutes à heures.", "Minutes to hours."), t("Secondes ou moins.", "Seconds or less.")],203          [t("Quand le résultat est-il complet ?", "When is the result complete?"), t("Quand le lot est terminé.", "When the batch is done."), t("Jamais avec certitude : il faut décider quand émettre et comment corriger.", "Never with certainty: you must decide when to emit and how to correct.")],204          [t("Reprise après panne", "Recovery after failure"), t("Relancer le lot.", "Rerun the batch."), t("Rejouer le journal depuis le dernier point de reprise, avec des écritures idempotentes.", "Replay the log from the last checkpoint, with idempotent writes.")],205        ],206      },207      {208        id: "callout-event-time", type: "callout", span: 4, tone: "warning", title: t("Temps de l'événement, temps du traitement", "Event time versus processing time"),209        text: t(210          "Un événement porte l'instant où il s'est **produit** ; le système le voit à l'instant où il le **traite**. Les deux diffèrent, et les événements arrivent en désordre. Le modèle Dataflow sépare donc quatre questions : *quoi* calculer, *où* dans le temps de l'événement (fenêtres), *quand* émettre dans le temps du traitement (déclencheurs), et *comment* corriger les résultats déjà émis[^akidau-2015].",211          "An event carries the time it **occurred**; the system sees it at the time it is **processed**. The two differ, and events arrive out of order. The Dataflow model therefore separates four questions: *what* to compute, *where* in event time (windows), *when* in processing time to emit (triggers), and *how* to refine results already emitted[^akidau-2015].",212        ),213      },214215      { id: "sec-quality", type: "heading", level: 2, eyebrow: t("Confiance", "Trust"), text: t("Qualité, orchestration et lignage", "Quality, orchestration and lineage") },216      {217        id: "eq-completeness", type: "equation", span: 6, label: t("Un indicateur de qualité : la complétude", "A quality metric: completeness"), sourceIds: ["schelter-2018"],218        latex: r`\text{complétude}(c) \;=\; \frac{\left|\{\, i : x_{i,c} \neq \text{NULL} \,\}\right|}{n}`.replace("complétude", locale === "fr" ? "complétude" : "completeness"),219        explanation: t(220          "Fraction des valeurs non manquantes d'une colonne. Schelter et coll. proposent de déclarer de telles contraintes comme des « tests unitaires pour les données », évalués à chaque nouveau lot[^schelter-2018]. On fixe un seuil (par exemple, la clé doit être complète à 100 %) et le pipeline s'arrête ou met le lot en quarantaine s'il n'est pas atteint.",221          "Fraction of non-missing values in a column. Schelter et al. propose declaring such constraints as \"unit tests for data\", evaluated on every new batch[^schelter-2018]. A threshold is set (for example, the key must be 100% complete) and the pipeline stops or quarantines the batch when it is not met.",222        ),223        variables: [224          { symbol: r`c`, meaning: t("colonne contrôlée", "column being checked") },225          { symbol: r`x_{i,c}`, meaning: t("valeur de la colonne $c$ pour la ligne $i$", "value of column $c$ in row $i$") },226          { symbol: r`n`, meaning: t("nombre de lignes du lot", "number of rows in the batch") },227        ],228      },229      {230        id: "cards-checks", type: "cards", span: 6, columns: 2,231        items: [232          { icon: "table", title: t("Schéma", "Schema"), tone: "blue", text: t("Colonnes attendues, types, colonnes obligatoires. Détecte un changement silencieux de la source.", "Expected columns, types, mandatory columns. Catches a silent change in the source.") },233          { icon: "key", title: t("Unicité et intégrité", "Uniqueness and integrity"), tone: "teal", text: t("Clé primaire sans doublon ; chaque clé étrangère retrouve sa ligne de référence.", "Primary key without duplicates; every foreign key finds its reference row.") },234          { icon: "scale", title: t("Plages et règles métier", "Ranges and business rules"), tone: "amber", text: t("Montants positifs, dates plausibles, catégories dans une liste fermée.", "Positive amounts, plausible dates, categories in a closed list.") },235          { icon: "trend", title: t("Volume et fraîcheur", "Volume and freshness"), tone: "red", text: t("Nombre de lignes comparable aux lots précédents ; dernière donnée assez récente.", "Row count comparable to previous batches; latest data recent enough.") },236        ],237      },238      {239        id: "cards-cross", type: "cards", columns: 2,240        items: [241          { icon: "gear", title: t("Orchestration", "Orchestration"), tone: "violet", text: t("Les étapes forment un graphe orienté sans cycle : une tâche ne démarre que lorsque celles dont elle dépend ont réussi. L'orchestrateur planifie, relance les échecs et permet de recalculer une période passée. Il déclenche les traitements ; il ne transporte pas les données.", "Steps form a directed acyclic graph: a task starts only once those it depends on have succeeded. The orchestrator schedules, retries failures and lets you recompute a past period. It triggers jobs; it does not carry the data.") },242          { icon: "link", title: t("Lignage", "Lineage"), tone: "violet", text: t("Pour chaque table, et idéalement chaque colonne : de quelles tables elle dérive, par quelle version de quel code, à partir de quel lot. Le lignage répond à deux questions : « d'où vient ce chiffre ? » et « que casse-t-on en modifiant cette colonne ? ».", "For each table, and ideally each column: which tables it derives from, through which version of which code, from which batch. Lineage answers two questions: \"where does this figure come from?\" and \"what breaks if this column changes?\".") },243        ],244      },245246      { id: "sec-check", type: "heading", level: 2, eyebrow: t("À retenir", "Takeaways"), text: t("Vérifier sa compréhension", "Check your understanding") },247      {248        id: "quiz-idempotent", type: "quiz", span: 6,249        question: t(250          "Un traitement nocturne charge les commandes de la veille par un INSERT dans la table argent. Il échoue à mi-parcours ; l'orchestrateur le relance. Quel est le risque, et quel correctif s'impose ?",251          "A nightly job loads the previous day's orders into the silver table with an INSERT. It fails halfway; the orchestrator reruns it. What is the risk, and what is the fix?",252        ),253        choices: [254          { text: t("Des lignes en double ; remplacer l'INSERT par une fusion par clé ou par le remplacement de la partition du jour.", "Duplicate rows; replace the INSERT with a merge by key or an overwrite of the day's partition."), correct: true, explanation: t("Les lignes insérées avant la panne le sont une seconde fois. Un chargement idempotent supprime le problème.", "Rows inserted before the failure are inserted a second time. An idempotent load removes the problem.") },255          { text: t("Aucun risque : l'orchestrateur reprend exactement où le traitement s'est arrêté.", "No risk: the orchestrator resumes exactly where the job stopped."), correct: false, explanation: t("Un orchestrateur relance une tâche entière ; il ignore quelles lignes ont déjà été écrites.", "An orchestrator reruns a whole task; it does not know which rows were already written.") },256          { text: t("Des lignes manquantes ; il faut désactiver les relances automatiques.", "Missing rows; automatic retries must be disabled."), correct: false, explanation: t("Sans relance, les lignes manqueraient bel et bien. Le correctif est de rendre la relance sûre, non de l'interdire.", "Without a retry the rows would indeed be missing. The fix is to make the retry safe, not to forbid it.") },257          { text: t("Un schéma corrompu ; il faut ajouter un contrôle de types.", "A corrupted schema; a type check must be added."), correct: false, explanation: t("Un contrôle de types est utile, mais il ne détecte pas des doublons parfaitement valides.", "A type check is useful, but it does not catch perfectly valid duplicates.") },258        ],259      },260      {261        id: "accordion-mistakes", type: "accordion", span: 6,262        items: [263          { title: t("Corriger les données directement dans la couche bronze", "Fixing data directly in the bronze layer"), text: t("La couche brute cesse d'être une copie fidèle de la source, et l'on ne peut plus rien rejouer avec certitude. Les corrections sont des transformations : elles vivent dans le code, entre bronze et argent.", "The raw layer stops being a faithful copy of the source, and nothing can be replayed with certainty. Fixes are transformations: they live in code, between bronze and silver.") },264          { title: t("Utiliser l'heure courante dans une transformation", "Using the current time inside a transformation"), text: t("Le résultat dépend alors du moment de l'exécution : le traitement n'est plus déterministe, donc plus rejouable.", "The result then depends on when the job runs: the job is no longer deterministic, hence no longer replayable.") },265          { title: t("Contrôler la qualité seulement à la fin", "Checking quality only at the end"), text: t("Une erreur détectée dans la couche or a déjà traversé tout le pipeline. Les contrôles se placent à l'entrée de chaque couche.", "An error detected in the gold layer has already crossed the whole pipeline. Checks belong at the entrance of each layer.") },266          { title: t("Laisser les utilisateurs lire la couche argent", "Letting users read the silver layer"), text: t("Tout changement interne devient une rupture pour quelqu'un. Seule la couche or est un contrat.", "Every internal change becomes a breaking change for someone. Only the gold layer is a contract.") },267          { title: t("Confondre temps de l'événement et temps du traitement", "Confusing event time with processing time"), text: t("Agréger par heure d'arrivée attribue au mauvais jour les événements arrivés en retard[^akidau-2015].", "Aggregating by arrival time assigns late events to the wrong day[^akidau-2015].") },268          { title: t("Choisir le flux par défaut", "Choosing streaming by default"), text: t("Le traitement de flux coûte en complexité. Si une fraîcheur d'une heure suffit, un lot horaire idempotent est plus simple à exploiter et à corriger.", "Stream processing costs complexity. If one-hour freshness is enough, an idempotent hourly batch is simpler to run and to fix.") },269        ],270      },271      { id: "refs", type: "references", title: t("Références", "References") },272    ],273    sources: [274      urlSource("kleppmann-2017", "book", "Designing Data-Intensive Applications", ["Martin Kleppmann"], 2017, "O'Reilly Media", "https://dataintensive.net/"),275      doiSource("dean-ghemawat-2008", "article", "MapReduce: simplified data processing on large clusters", ["Jeffrey Dean", "Sanjay Ghemawat"], 2008, "Communications of the ACM, 51(1), 107–113", "10.1145/1327452.1327492"),276      doiSource("akidau-2015", "article", "The dataflow model: a practical approach to balancing correctness, latency, and cost in massive-scale, unbounded, out-of-order data processing", ["Tyler Akidau", "Robert Bradshaw", "Craig Chambers", "Slava Chernyak", "Rafael J. Fernández-Moctezuma", "Reuven Lax", "Sam McVeety", "Daniel Mills", "Frances Perry", "Eric Schmidt", "Sam Whittle"], 2015, "Proceedings of the VLDB Endowment, 8(12), 1792–1803", "10.14778/2824032.2824076"),277      doiSource("armbrust-2020", "article", "Delta lake: high-performance ACID table storage over cloud object stores", ["Michael Armbrust", "Tathagata Das", "Liwen Sun", "Burak Yavuz", "Shixiong Zhu", "Mukul Murthy", "Joseph Torres", "Herman van Hovell", "Adrian Ionescu", "Alicja Łuszczak", "Michał Świtakowski", "Michał Szafrański", "Xiao Li", "Takuya Ueshin", "Mostafa Mokhtar", "Peter Boncz", "Ali Ghodsi", "Sameer Paranjpye", "Pieter Senster", "Reynold Xin", "Matei Zaharia"], 2020, "Proceedings of the VLDB Endowment, 13(12), 3411–3424", "10.14778/3415478.3415560"),278      doiSource("schelter-2018", "article", "Automating large-scale data quality verification", ["Sebastian Schelter", "Dustin Lange", "Philipp Schmidt", "Meltem Celikel", "Felix Biessmann", "Andreas Grafberger"], 2018, "Proceedings of the VLDB Endowment, 11(12), 1781–1794", "10.14778/3229863.3229867"),279    ],280    claims: [281      { id: "c-derived", text: t("Distinguer le système de référence des données dérivées, reconstructibles par retraitement, est un principe d'architecture des systèmes de données.", "Separating the system of record from derived data, which can be rebuilt by reprocessing, is an architectural principle of data systems."), status: "sourced", sourceIds: ["kleppmann-2017"], blockId: "lead" },282      { id: "c-batch-rerun", text: t("En traitement par lots, les entrées sont immuables : un traitement peut être relancé sans risque.", "In batch processing inputs are immutable: a job can be rerun safely."), status: "sourced", sourceIds: ["kleppmann-2017"], blockId: "callout-derived" },283      { id: "c-mapreduce", text: t("MapReduce tolère les pannes par réexécution des tâches, ce qui suppose des fonctions déterministes et une validation atomique des sorties.", "MapReduce tolerates failures by re-executing tasks, which relies on deterministic functions and atomic commits of outputs."), status: "sourced", sourceIds: ["dean-ghemawat-2008"], blockId: "callout-mapreduce" },284      { id: "c-delta", text: t("Un journal de transactions permet des écritures ACID et la lecture de versions antérieures d'une table sur du stockage objet.", "A transaction log enables ACID writes and reads of earlier table versions on object storage."), status: "sourced", sourceIds: ["armbrust-2020"], blockId: "callout-mapreduce" },285      { id: "c-idempotent", text: t("Une fusion par clé appliquée deux fois avec le même lot laisse la table inchangée la seconde fois.", "A merge by key applied twice with the same batch leaves the table unchanged the second time."), status: "derived", sourceIds: [], blockId: "code-merge" },286      { id: "c-dataflow", text: t("Le modèle Dataflow distingue temps de l'événement et temps du traitement, et sépare fenêtres, déclencheurs et corrections.", "The Dataflow model distinguishes event time from processing time, and separates windows, triggers and refinements."), status: "sourced", sourceIds: ["akidau-2015"], blockId: "callout-event-time" },287      { id: "c-quality", text: t("Les contraintes de qualité peuvent être déclarées comme des tests unitaires pour les données, dont la complétude d'une colonne.", "Quality constraints can be declared as unit tests for data, including the completeness of a column."), status: "sourced", sourceIds: ["schelter-2018"], blockId: "eq-completeness" },288    ],289  };290}291292export const dataPipelineEtl: TemplateDef = {293  id: "data-pipeline-etl",294  title: { fr: "Pipeline de données : ETL et ELT", en: "Data pipeline: ETL and ELT" },295  description: {296    fr: "Sources, ingestion, couches bronze, argent et or, orchestration, contrôles de qualité, idempotence, lignage, traitement par lots et flux.",297    en: "Sources, ingestion, bronze, silver and gold layers, orchestration, quality checks, idempotency, lineage, batch versus streaming.",298  },299  category: "infrastructure",300  build,301};302
Files main
Menu

Theme