SPB Git

Repository Public

compute-cluster-architecture.ts 41.3 KB 303 lines typescript

1import type { Locale, SheetInput } from "@/schema";2import type { TemplateDef } from "../types";3import { T, doiSource, r } from "./shared";45function build(locale: Locale): SheetInput {6  const t = T(locale);7  return {8    schemaVersion: 1,9    metadata: {10      title: t("Architecture d'une grappe de calcul", "Architecture of a compute cluster"),11      locale,12      summary: t(13        "Les pièces d'une grappe de calcul et la façon dont elles s'assemblent : plan de contrôle, ordonnanceur, nœuds de travail, stockage partagé, réseau privé superposé, proxy inverse public et sondes de santé.",14        "The parts of a compute cluster and how they fit together: control plane, scheduler, worker nodes, shared storage, private overlay network, public reverse proxy and health checks.",15      ),16      topics: ["Infrastructure", t("Systèmes distribués", "Distributed systems")],17      tags: [t("grappe", "cluster"), t("ordonnanceur", "scheduler"), t("plan de contrôle", "control plane"), t("réseau superposé", "overlay network"), t("proxy inverse", "reverse proxy"), "TLS", t("déploiement", "deployment")],18      level: "intermediate",19      kind: "architecture",20      objectives: [21        t("Distinguer le plan de contrôle du plan de données et dire ce que chacun conserve comme état.", "Tell the control plane from the data plane and say what state each one holds."),22        t("Décrire comment un ordonnanceur choisit un nœud : filtrage puis notation.", "Describe how a scheduler picks a node: filtering, then scoring."),23        t("Suivre un déploiement de la demande de l'opérateur jusqu'au trafic public.", "Follow a deployment from the operator's request to public traffic."),24        t("Prévoir l'effet de la panne de chaque composant sur les services en cours.", "Predict the effect of each component's failure on running services."),25      ],26      example: true,27    },28    theme: { preset: "blueprint", accent: "blue" },29    blocks: [30      { id: "title", type: "heading", level: 1, eyebrow: t("Infrastructure", "Infrastructure"), text: t("Architecture d'une grappe de calcul", "Architecture of a compute cluster") },31      {32        id: "lead", type: "paragraph", lead: true,33        text: t(34          "Une grappe de calcul présente un ensemble de machines comme une seule ressource : on lui confie un service ou une tâche, et elle décide **où** l'exécuter, le maintient en vie et l'expose au réseau. Cette fiche décrit une architecture générique, celle que l'on retrouve, à des échelles très différentes, dans les gestionnaires de grappes documentés publiquement[^verma-2015][^burns-2016].",35          "A compute cluster presents a set of machines as a single resource: you hand it a service or a job, and it decides **where** to run it, keeps it alive and exposes it to the network. This sheet describes a generic architecture, the one found, at very different scales, in publicly documented cluster managers[^verma-2015][^burns-2016].",36        ),37      },3839      { id: "sec-overview", type: "heading", level: 2, eyebrow: t("Vue d'ensemble", "Overview"), text: t("Qui parle à qui", "Who talks to whom") },40      {41        id: "diagram-architecture", type: "diagram", kind: "architecture", direction: "TB", routing: "orthogonal",42        title: t("Les composants d'une grappe et le chemin d'un déploiement", "The components of a cluster and the path of a deployment"),43        caption: t(44          "Le trafic des utilisateurs (en vert) ne traverse jamais le plan de contrôle (en bleu). Lancez l'animation pour suivre un déploiement.",45          "User traffic (green) never passes through the control plane (blue). Play the animation to follow a deployment.",46        ),47        alt: t(48          "Schéma en cinq zones. Extérieur : utilisateurs, DNS, opérateur. Périphérie : un proxy inverse qui termine TLS. Plan de contrôle : passerelle, ordonnanceur, registre d'état, contrôleur de santé, dépôt d'artefacts. Plan de données : trois nœuds de travail avec agent. Stockage partagé. Les utilisateurs atteignent le proxy en HTTPS ; il relaie vers les nœuds par un tunnel chiffré. L'opérateur s'adresse à la passerelle, qui consulte l'ordonnanceur, fait livrer l'artefact au nœud choisi, puis met à jour la route du proxy. Le contrôleur de santé sonde les nœuds et écrit dans le registre.",49          "Diagram in five zones. Outside: users, DNS, operator. Edge: a reverse proxy that terminates TLS. Control plane: gateway, scheduler, state registry, health checker, artefact repository. Data plane: three worker nodes, each with an agent. Shared storage. Users reach the proxy over HTTPS; it forwards to the nodes through an encrypted tunnel. The operator talks to the gateway, which consults the scheduler and the registry, has the artefact delivered to the chosen node, then updates the proxy route. The health checker probes the nodes and writes to the registry.",50        ),51        groups: [52          { id: "g-outside", label: t("Extérieur", "Outside"), tone: "neutral" },53          { id: "g-edge", label: t("Périphérie publique", "Public edge"), tone: "green" },54          { id: "g-control", label: t("Plan de contrôle", "Control plane"), tone: "blue" },55          { id: "g-data", label: t("Plan de données", "Data plane"), tone: "teal" },56          { id: "g-storage", label: t("Stockage", "Storage"), tone: "violet" },57        ],58        nodes: [59          { id: "n-users", label: t("Utilisateurs", "Users"), shape: "pill", tone: "neutral", icon: "users", group: "g-outside" },60          { id: "n-dns", label: "DNS", sublabel: t("nom → adresse du proxy", "name → proxy address"), shape: "round", tone: "neutral", icon: "globe", group: "g-outside" },61          { id: "n-operator", label: t("Opérateur", "Operator"), sublabel: t("décrit l'état voulu", "declares the desired state"), shape: "pill", tone: "neutral", icon: "user", group: "g-outside" },62          { id: "n-proxy", label: t("Proxy inverse", "Reverse proxy"), sublabel: t("TLS, routage par nom d'hôte", "TLS, host-based routing"), shape: "hexagon", tone: "green", icon: "lock", group: "g-edge" },63          { id: "n-gateway", label: t("Passerelle / API", "Gateway / API"), sublabel: t("point d'entrée d'administration", "administrative entry point"), shape: "round", tone: "blue", icon: "key", group: "g-control" },64          { id: "n-scheduler", label: t("Ordonnanceur", "Scheduler"), sublabel: t("filtre, note, place", "filters, scores, places"), shape: "round", tone: "blue", icon: "route", group: "g-control" },65          { id: "n-registry", label: t("Registre d'état", "State registry"), sublabel: t("état voulu et état observé", "desired and observed state"), shape: "cylinder", tone: "blue", icon: "database", group: "g-control" },66          { id: "n-health", label: t("Contrôleur de santé", "Health checker"), sublabel: t("sondes périodiques", "periodic probes"), shape: "round", tone: "amber", icon: "eye", group: "g-control" },67          { id: "n-repo", label: t("Dépôt d'artefacts", "Artefact repository"), sublabel: t("code, images, versions", "code, images, versions"), shape: "cylinder", tone: "blue", icon: "cube", group: "g-control" },68          { id: "n-w1", label: t("Nœud A", "Node A"), sublabel: t("agent + services", "agent + services"), shape: "rect", tone: "teal", icon: "server", group: "g-data" },69          { id: "n-w2", label: t("Nœud B", "Node B"), sublabel: t("agent + services", "agent + services"), shape: "rect", tone: "teal", icon: "server", group: "g-data" },70          { id: "n-w3", label: t("Nœud C", "Node C"), sublabel: t("agent + services", "agent + services"), shape: "rect", tone: "teal", icon: "server", group: "g-data" },71          { id: "n-storage", label: t("Stockage partagé", "Shared storage"), sublabel: t("données durables", "durable data"), shape: "cylinder", tone: "violet", icon: "database", group: "g-storage" },72        ],73        edges: [74          { id: "e-users-dns", from: "n-users", to: "n-dns", label: t("résolution", "lookup"), style: "dotted", tone: "neutral" },75          { id: "e-users-proxy", from: "n-users", to: "n-proxy", label: "HTTPS", tone: "green" },76          { id: "e-proxy-w1", from: "n-proxy", to: "n-w1", label: t("tunnel chiffré", "encrypted tunnel"), style: "dashed", tone: "green" },77          { id: "e-proxy-w2", from: "n-proxy", to: "n-w2", label: t("tunnel chiffré", "encrypted tunnel"), style: "dashed", tone: "green" },78          { id: "e-op-gw", from: "n-operator", to: "n-gateway", label: t("demande de déploiement", "deployment request"), tone: "blue" },79          { id: "e-gw-sched", from: "n-gateway", to: "n-scheduler", label: t("où placer ?", "where to place?"), tone: "blue" },80          { id: "e-sched-reg", from: "n-scheduler", to: "n-registry", label: t("lit / écrit", "reads / writes"), arrow: "both", tone: "blue" },81          { id: "e-gw-repo", from: "n-gateway", to: "n-repo", label: t("version demandée", "requested version"), tone: "blue" },82          { id: "e-repo-w2", from: "n-repo", to: "n-w2", label: t("livre l'artefact", "delivers the artefact"), tone: "blue" },83          { id: "e-sched-w2", from: "n-scheduler", to: "n-w2", label: t("affectation", "assignment"), tone: "blue" },84          { id: "e-health-w1", from: "n-health", to: "n-w1", label: t("sonde", "probe"), style: "dotted", tone: "amber" },85          { id: "e-health-w2", from: "n-health", to: "n-w2", label: t("sonde", "probe"), style: "dotted", tone: "amber" },86          { id: "e-health-w3", from: "n-health", to: "n-w3", label: t("sonde", "probe"), style: "dotted", tone: "amber" },87          { id: "e-health-reg", from: "n-health", to: "n-registry", label: t("état observé", "observed state"), tone: "amber" },88          { id: "e-gw-proxy", from: "n-gateway", to: "n-proxy", label: t("met à jour la route", "updates the route"), tone: "blue" },89          { id: "e-w1-storage", from: "n-w1", to: "n-storage", arrow: "both", tone: "violet" },90          { id: "e-w2-storage", from: "n-w2", to: "n-storage", arrow: "both", tone: "violet" },91          { id: "e-w3-storage", from: "n-w3", to: "n-storage", arrow: "both", tone: "violet" },92        ],93        legend: [94          { label: t("Vert : trafic des utilisateurs", "Green: user traffic"), tone: "green", shape: "arrow" },95          { label: t("Bleu : ordres du plan de contrôle", "Blue: control-plane commands"), tone: "blue", shape: "arrow" },96          { label: t("Ambre pointillé : sondes de santé", "Amber dotted: health probes"), tone: "amber", shape: "dashed" },97          { label: t("Tireté : flux transporté par le réseau privé superposé", "Dashed: flow carried by the private overlay network"), tone: "green", shape: "dashed" },98          { label: t("Violet : lectures et écritures de données durables", "Violet: reads and writes of durable data"), tone: "violet", shape: "line" },99          { label: t("Cylindre : composant qui conserve un état", "Cylinder: component that holds state"), tone: "neutral", shape: "circle" },100        ],101        animation: {102          steps: [103            { title: t("1. L'opérateur décrit l'état voulu", "1. The operator declares the desired state"), text: t("« Le service X, version 42, une instance, 2 Go de mémoire. » La demande arrive à la passerelle, seul point d'entrée d'administration.", "\"Service X, version 42, one instance, 2 GB of memory.\" The request reaches the gateway, the only administrative entry point."), nodes: ["n-operator", "n-gateway"], edges: ["e-op-gw"] },104            { title: t("2. L'ordonnanceur choisit un nœud", "2. The scheduler picks a node"), text: t("Il lit l'état observé des nœuds dans le registre, écarte ceux qui ne peuvent pas accueillir le service, note les autres et inscrit l'affectation.", "It reads the nodes' observed state from the registry, discards those that cannot host the service, scores the rest and records the assignment."), nodes: ["n-gateway", "n-scheduler", "n-registry"], edges: ["e-gw-sched", "e-sched-reg"] },105            { title: t("3. L'artefact est livré", "3. The artefact is delivered"), text: t("La version demandée est copiée du dépôt vers le nœud retenu ; l'agent du nœud reçoit son affectation.", "The requested version is copied from the repository to the selected node; the node's agent receives its assignment."), nodes: ["n-gateway", "n-repo", "n-scheduler", "n-w2"], edges: ["e-gw-repo", "e-repo-w2", "e-sched-w2"] },106            { title: t("4. L'agent démarre le service", "4. The agent starts the service"), text: t("Le service est lancé sous supervision et se connecte au stockage partagé pour ses données durables.", "The service is started under supervision and connects to shared storage for its durable data."), nodes: ["n-w2", "n-storage"], edges: ["e-w2-storage"] },107            { title: t("5. La sonde de santé confirme", "5. The health probe confirms"), text: t("Tant que la sonde n'a pas réussi, le service ne reçoit aucun trafic. Le résultat est inscrit au registre.", "Until the probe succeeds, the service receives no traffic. The result is written to the registry."), nodes: ["n-health", "n-w2", "n-registry"], edges: ["e-health-w2", "e-health-reg"] },108            { title: t("6. La route publique bascule", "6. The public route switches"), text: t("La passerelle pointe la route du proxy vers le nouveau nœud. En cas d'échec à l'étape 5, la route reste sur l'ancienne instance.", "The gateway points the proxy route at the new node. If step 5 failed, the route stays on the old instance."), nodes: ["n-gateway", "n-proxy"], edges: ["e-gw-proxy"] },109            { title: t("7. Le trafic circule", "7. Traffic flows"), text: t("Les utilisateurs atteignent le proxy en HTTPS ; il relaie vers le nœud par le tunnel chiffré, sans passer par le plan de contrôle.", "Users reach the proxy over HTTPS; it forwards to the node through the encrypted tunnel, bypassing the control plane."), nodes: ["n-users", "n-dns", "n-proxy", "n-w2"], edges: ["e-users-dns", "e-users-proxy", "e-proxy-w2"] },110          ],111        },112      },113      {114        id: "cards-planes", type: "cards", columns: 4,115        items: [116          { icon: "gear", title: t("Plan de contrôle", "Control plane"), tone: "blue", badge: t("décide", "decides"), text: t("Reçoit les demandes, choisit les placements, conserve l'état voulu et l'état observé. Petit, critique, peu sollicité.", "Receives requests, chooses placements, holds the desired and observed state. Small, critical, lightly loaded.") },117          { icon: "server", title: t("Plan de données", "Data plane"), tone: "teal", badge: t("exécute", "runs"), text: t("Les nœuds de travail, où tournent réellement les services. Chaque nœud porte un agent qui applique les affectations.", "The worker nodes, where services actually run. Each node carries an agent that applies assignments.") },118          { icon: "network", title: t("Réseau", "Network"), tone: "green", badge: t("relie", "connects"), text: t("Un réseau privé superposé entre machines, et un seul point d'exposition publique : le proxy inverse.", "A private overlay network between machines, and a single point of public exposure: the reverse proxy.") },119          { icon: "database", title: t("Stockage", "Storage"), tone: "violet", badge: t("conserve", "keeps"), text: t("Les données qui doivent survivre au déplacement ou à la perte d'un nœud vivent hors des nœuds.", "Data that must survive the move or loss of a node lives outside the nodes.") },120        ],121      },122123      { id: "sec-components", type: "heading", level: 2, eyebrow: t("Composants", "Components"), text: t("Rôles, état et effet d'une panne", "Roles, state and effect of a failure") },124      {125        id: "table-components", type: "table", headerColumn: true,126        caption: t("Ce que fait chaque composant, ce qu'il conserve et ce qui se passe s'il tombe. Lecture générique : les détails dépendent de la mise en œuvre.", "What each component does, what it holds and what happens when it fails. Generic reading: details depend on the implementation."),127        columns: [{ label: t("Composant", "Component") }, { label: t("Rôle", "Role") }, { label: t("État conservé", "State held") }, { label: t("S'il tombe", "If it fails") }],128        rows: [129          [t("Passerelle / API", "Gateway / API"), t("Authentifie l'opérateur, valide les demandes, pilote les déploiements.", "Authenticates the operator, validates requests, drives deployments."), t("Aucun en propre (délègue au registre).", "None of its own (delegates to the registry)."), t("Plus de nouveaux déploiements ; les services en cours continuent.", "No new deployments; running services carry on.")],130          [t("Ordonnanceur", "Scheduler"), t("Affecte chaque service à un nœud.", "Assigns each service to a node."), t("Aucun : il recalcule à partir du registre.", "None: it recomputes from the registry."), t("Les services en attente restent en attente.", "Pending services stay pending.")],131          [t("Registre d'état", "State registry"), t("Source de vérité : qui doit tourner où, et qui tourne réellement.", "Source of truth: what should run where, and what actually runs."), t("Tout l'état de la grappe.", "The whole cluster state."), t("Le plan de contrôle est aveugle : à répliquer et à sauvegarder.", "The control plane is blind: replicate it and back it up.")],132          [t("Agent de nœud", "Node agent"), t("Lance, surveille et arrête les services du nœud.", "Starts, supervises and stops the node's services."), t("L'état local des processus.", "Local process state."), t("Les services du nœud tournent encore mais ne sont plus pilotés.", "The node's services still run but are no longer managed.")],133          [t("Contrôleur de santé", "Health checker"), t("Sonde les services et les nœuds, signale les écarts.", "Probes services and nodes, reports deviations."), t("Compteurs de sondes récentes.", "Recent probe counters."), t("Les pannes ne sont plus détectées ni réparées.", "Failures are no longer detected or repaired.")],134          [t("Proxy inverse", "Reverse proxy"), t("Termine TLS, route chaque nom d'hôte vers le bon nœud.", "Terminates TLS, routes each host name to the right node."), t("Table de routes, certificats.", "Route table, certificates."), t("Tous les services publics sont injoignables : point de défaillance unique à doubler.", "Every public service is unreachable: a single point of failure to duplicate.")],135          [t("Stockage partagé", "Shared storage"), t("Conserve les données durables.", "Holds durable data."), t("Les données elles-mêmes.", "The data itself."), t("Les services avec état s'arrêtent ou se dégradent.", "Stateful services stop or degrade.")],136        ],137      },138      {139        id: "callout-running", type: "callout", span: 6, tone: "note", title: t("Une propriété recherchée", "A sought-after property"),140        text: t(141          "Dans une architecture bien découplée, la panne du plan de contrôle n'arrête pas les services. Le système Borg est conçu ainsi : les tâches déjà lancées continuent de tourner même si le contrôleur central ou l'agent de la machine tombe[^verma-2015].",142          "In a well-decoupled architecture, a control-plane failure does not stop services. Borg is designed that way: already-running tasks keep running even if the central controller or the machine's agent goes down[^verma-2015].",143        ),144      },145      {146        id: "callout-reconcile", type: "callout", span: 6, tone: "definition", title: t("Boucle de réconciliation", "Reconciliation loop"),147        text: t(148          "Plutôt que d'exécuter une suite d'ordres, le plan de contrôle compare en permanence l'**état voulu** à l'**état observé** et agit pour réduire l'écart. Comme chaque passage repart de l'observation, la boucle résiste aux pannes et aux actions manquées[^burns-2016].",149          "Rather than running a sequence of commands, the control plane continuously compares the **desired state** with the **observed state** and acts to close the gap. Because every pass starts from observation, the loop is robust to failures and missed actions[^burns-2016].",150        ),151      },152      {153        id: "code-reconcile", type: "code", language: "pseudo",154        caption: t("Squelette d'une boucle de réconciliation. Chaque action doit être idempotente : la rejouer ne change rien.", "Skeleton of a reconciliation loop. Every action must be idempotent: replaying it changes nothing."),155        code: locale === "fr"156          ? "boucle indéfiniment :\n    voulu   ← registre.lire_etat_voulu()\n    observe ← sondes.observer_la_grappe()\n    pour chaque service s dans voulu :\n        si s absent de observe         : placer(s) puis demarrer(s)\n        sinon si version ou nœud diffère : remplacer(s)\n        sinon si s est en echec        : redemarrer(s)\n    pour chaque service s dans observe absent de voulu :\n        arreter(s)\n    registre.ecrire_etat_observe(observe)\n    attendre(intervalle)"157          : "loop forever:\n    desired  ← registry.read_desired_state()\n    observed ← probes.observe_cluster()\n    for each service s in desired:\n        if s missing from observed       : place(s) then start(s)\n        else if version or node differs  : replace(s)\n        else if s is failing             : restart(s)\n    for each service s in observed missing from desired:\n        stop(s)\n    registry.write_observed_state(observed)\n    wait(interval)",158      },159160      { id: "sec-scheduler", type: "heading", level: 2, eyebrow: t("Ordonnancement", "Scheduling"), text: t("Choisir un nœud : filtrer, puis noter", "Picking a node: filter, then score") },161      {162        id: "eq-placement", type: "equation", span: 6, label: t("Placement : faisabilité puis score", "Placement: feasibility, then score"), derivation: "derived",163        latex: r`\mathcal{F}(s) = \left\{\, n \;:\; d_{s,k} \le c_{n,k} - u_{n,k}\ \ \forall k \,\right\}, \qquad n^\star(s) = \arg\max_{n\in\mathcal{F}(s)} \ \operatorname{score}(s,n)`,164        explanation: t(165          "Formalisation, proposée ici, de la démarche en deux temps décrite pour Borg : vérification de faisabilité, puis notation des machines faisables[^verma-2015]. La fonction de score est un choix de conception (répartir la charge, regrouper pour libérer des machines, rapprocher des données).",166          "A formalisation, proposed here, of the two-stage approach described for Borg: feasibility checking, then scoring of the feasible machines[^verma-2015]. The score function is a design choice (spread load, pack to free machines, stay close to the data).",167        ),168        variables: [169          { symbol: r`s`, meaning: t("service ou tâche à placer", "service or task to place") },170          { symbol: r`n`, meaning: t("nœud candidat", "candidate node") },171          { symbol: r`k`, meaning: t("type de ressource (processeur, mémoire, disque, port réseau)", "resource type (CPU, memory, disk, network port)") },172          { symbol: r`d_{s,k}`, meaning: t("demande du service $s$ en ressource $k$", "demand of service $s$ for resource $k$") },173          { symbol: r`c_{n,k},\ u_{n,k}`, meaning: t("capacité du nœud $n$ et quantité déjà utilisée", "capacity of node $n$ and amount already in use") },174          { symbol: r`\mathcal{F}(s)`, meaning: t("ensemble des nœuds faisables pour $s$", "set of nodes feasible for $s$") },175        ],176      },177      {178        id: "steps-scheduler", type: "steps", span: 6,179        items: [180          { icon: "search", title: t("Observer", "Observe"), text: t("Relever sur chaque nœud les ressources libres, la charge, les ports occupés et les logiciels disponibles.", "Collect from each node the free resources, load, ports in use and available software.") },181          { icon: "filter", title: t("Filtrer", "Filter"), text: t("Écarter les nœuds qui ne satisfont pas une contrainte dure : ressources insuffisantes, logiciel manquant, nœud réservé ou en panne.", "Discard nodes that fail a hard constraint: insufficient resources, missing software, reserved or failed node.") },182          { icon: "scale", title: t("Noter", "Score"), text: t("Classer les nœuds restants selon des préférences : marge de ressources, proximité des données, répartition entre machines.", "Rank the remaining nodes by preferences: resource headroom, proximity to data, spread across machines.") },183          { icon: "link", title: t("Affecter", "Bind"), text: t("Inscrire l'affectation au registre ; l'agent du nœud la prend en charge.", "Record the assignment in the registry; the node's agent picks it up.") },184        ],185      },186      {187        id: "comparison-schedulers", type: "comparison", sourceIds: ["schwarzkopf-2013"],188        caption: t("Trois architectures d'ordonnanceur, selon la classification de Schwarzkopf et coll.[^schwarzkopf-2013]", "Three scheduler architectures, following the classification of Schwarzkopf et al.[^schwarzkopf-2013]"),189        columns: [190          { title: t("Monolithique", "Monolithic"), tone: "blue" },191          { title: t("À deux niveaux", "Two-level"), tone: "teal" },192          { title: t("À état partagé", "Shared-state"), tone: "violet" },193        ],194        rows: [195          { label: t("Principe", "Principle"), cells: [t("Un seul ordonnanceur traite toutes les demandes avec une même logique.", "A single scheduler handles every request with the same logic."), t("Un gestionnaire de ressources offre des lots de ressources à plusieurs ordonnanceurs spécialisés.", "A resource manager offers bundles of resources to several specialised schedulers."), t("Plusieurs ordonnanceurs voient tout l'état de la grappe et y écrivent en parallèle.", "Several schedulers see the whole cluster state and write to it in parallel.")] },196          { label: t("Conflits", "Conflicts"), cells: [t("Aucun : les décisions sont sérialisées.", "None: decisions are serialised."), t("Évités par verrouillage : une ressource n'est offerte qu'à un ordonnanceur à la fois.", "Avoided by locking: a resource is offered to one scheduler at a time."), t("Détectés après coup par contrôle de concurrence optimiste.", "Detected afterwards through optimistic concurrency control.")] },197          { label: t("Limite", "Limitation"), cells: [t("Difficile à faire évoluer ; goulot d'étranglement possible.", "Hard to evolve; possible bottleneck."), t("Chaque ordonnanceur n'a qu'une vue partielle de la grappe.", "Each scheduler only has a partial view of the cluster."), t("Travail perdu lorsque deux décisions entrent en conflit.", "Wasted work when two decisions conflict.")] },198        ],199        verdict: t(200          "Pour une petite grappe, un ordonnanceur monolithique est le choix simple et suffisant ; les deux autres répondent à des problèmes d'échelle et d'hétérogénéité des charges.",201          "For a small cluster, a monolithic scheduler is the simple and sufficient choice; the other two answer problems of scale and workload heterogeneity.",202        ),203      },204205      { id: "sec-network", type: "heading", level: 2, eyebrow: t("Réseau", "Network"), text: t("Un réseau privé à l'intérieur, une seule porte vers l'extérieur", "A private network inside, a single door to the outside") },206      {207        id: "cards-network", type: "cards", span: 8, columns: 2,208        items: [209          { icon: "network", title: t("Réseau privé superposé", "Private overlay network"), tone: "teal", text: t("Des tunnels chiffrés donnent à chaque machine une adresse privée stable, où qu'elle se trouve. Dans WireGuard, chaque pair est identifié par une clé publique, et une table associe à chaque clé les adresses internes qu'elle a le droit d'émettre ; les paquets voyagent encapsulés dans UDP[^donenfeld-2017].", "Encrypted tunnels give every machine a stable private address wherever it sits. In WireGuard each peer is identified by a public key, and a table associates each key with the inner addresses it may send from; packets travel encapsulated in UDP[^donenfeld-2017].") },210          { icon: "lock", title: t("Proxy inverse et TLS", "Reverse proxy and TLS"), tone: "green", text: t("Le proxy est la seule machine joignable depuis Internet. Il termine TLS, qui assure l'authentification du serveur, la confidentialité et l'intégrité des échanges[^rfc-8446], puis choisit le nœud de destination d'après le nom d'hôte demandé.", "The proxy is the only machine reachable from the Internet. It terminates TLS, which provides server authentication, confidentiality and integrity of the exchange[^rfc-8446], then chooses the destination node from the requested host name.") },211          { icon: "globe", title: "DNS", tone: "neutral", text: t("Les noms publics pointent vers le proxy, jamais vers un nœud : déplacer un service ne demande aucun changement de DNS, seulement une mise à jour de route.", "Public names point to the proxy, never to a node: moving a service needs no DNS change, only a route update.") },212          { icon: "shield", title: t("Surface d'attaque", "Attack surface"), tone: "amber", text: t("Les nœuds n'acceptent le trafic applicatif que par le réseau privé. L'administration passe par la passerelle, avec des clés et non des mots de passe.", "Nodes accept application traffic only through the private network. Administration goes through the gateway, with keys rather than passwords.") },213        ],214      },215      {216        id: "callout-spof", type: "callout", span: 4, tone: "warning", title: t("Point de défaillance unique", "Single point of failure"),217        text: t(218          "Concentrer l'exposition publique sur un proxy simplifie la sécurité, mais fait dépendre **tous** les services de sa disponibilité. Il en va de même du registre d'état. Ce sont les deux premiers composants à redonder.",219          "Concentrating public exposure on one proxy simplifies security, but makes **every** service depend on its availability. The same goes for the state registry. These are the first two components to make redundant.",220        ),221      },222223      { id: "sec-health", type: "heading", level: 2, eyebrow: t("Fiabilité", "Reliability"), text: t("Sondes de santé et disponibilité", "Health checks and availability") },224      {225        id: "cards-health", type: "cards", span: 6, columns: 2,226        items: [227          { icon: "bolt", title: t("Sonde de vivacité", "Liveness probe"), tone: "red", text: t("« Le processus est-il bloqué ? » Un échec répété entraîne un redémarrage.", "\"Is the process stuck?\" Repeated failure triggers a restart.") },228          { icon: "check", title: t("Sonde de disponibilité", "Readiness probe"), tone: "green", text: t("« Le service peut-il répondre maintenant ? » Un échec le retire du routage sans le redémarrer.", "\"Can the service answer right now?\" Failure removes it from routing without restarting it.") },229          { icon: "globe", title: t("Sonde de bout en bout", "End-to-end probe"), tone: "blue", text: t("Une requête par le nom public, à travers le proxy : elle vérifie aussi le DNS, le certificat et la route.", "A request through the public name and the proxy: it also checks DNS, the certificate and the route.") },230          { icon: "clock", title: t("Seuils et délais", "Thresholds and delays"), tone: "amber", text: t("Agir après plusieurs échecs consécutifs, et laisser un délai de démarrage, évite de redémarrer en boucle un service simplement lent.", "Acting after several consecutive failures, and allowing a start-up delay, avoids restart loops on a service that is merely slow.") },231        ],232      },233      {234        id: "eq-availability", type: "equation", span: 6, label: t("Disponibilité en série et en parallèle", "Availability in series and in parallel"),235        latex: r`A_{\text{série}} = \prod_{i=1}^{m} A_i, \qquad A_{\text{parallèle}} = 1 - \prod_{i=1}^{m} \left(1 - A_i\right)`.replace("série", locale === "fr" ? "série" : "series").replace("parallèle", locale === "fr" ? "parallèle" : "parallel"),236        explanation: t(237          "Une requête qui doit traverser $m$ composants (DNS, proxy, tunnel, nœud, stockage) n'aboutit que si tous fonctionnent : les disponibilités se multiplient. À l'inverse, $m$ répliques interchangeables ne sont en panne que si toutes le sont. Les deux formules supposent des pannes **indépendantes**, hypothèse optimiste lorsque les répliques partagent une alimentation, un réseau ou un même défaut logiciel.",238          "A request that must cross $m$ components (DNS, proxy, tunnel, node, storage) succeeds only if all of them work: availabilities multiply. Conversely, $m$ interchangeable replicas are down only if all of them are. Both formulas assume **independent** failures, an optimistic assumption when replicas share a power supply, a network or the same software defect.",239        ),240        variables: [241          { symbol: r`A_i`, meaning: t("disponibilité du composant $i$ : fraction du temps où il fonctionne", "availability of component $i$: fraction of time it works"), unit: t("entre 0 et 1", "between 0 and 1") },242          { symbol: r`m`, meaning: t("nombre de composants en série, ou de répliques en parallèle", "number of components in series, or of replicas in parallel") },243        ],244      },245246      { id: "sec-check", type: "heading", level: 2, eyebrow: t("À retenir", "Takeaways"), text: t("Vérifier sa compréhension", "Check your understanding") },247      {248        id: "quiz-failure", type: "quiz", span: 6,249        question: t(250          "Dans l'architecture décrite, l'ordonnanceur tombe en panne pendant une heure. Que se passe-t-il pour un service déjà déployé et en bonne santé ?",251          "In the architecture described, the scheduler is down for an hour. What happens to a service that is already deployed and healthy?",252        ),253        choices: [254          { text: t("Il continue de servir le trafic ; seuls les nouveaux placements attendent.", "It keeps serving traffic; only new placements wait."), correct: true, explanation: t("Le trafic passe par le proxy et le réseau privé, pas par le plan de contrôle.", "Traffic goes through the proxy and the private network, not the control plane.") },255          { text: t("Il s'arrête, car plus personne ne lui attribue de nœud.", "It stops, because nobody assigns it a node any more."), correct: false, explanation: t("L'affectation est déjà faite et appliquée par l'agent du nœud.", "The assignment is already made and applied by the node's agent.") },256          { text: t("Il devient injoignable, car le proxy perd ses routes.", "It becomes unreachable, because the proxy loses its routes."), correct: false, explanation: t("Le proxy conserve sa table de routes ; elle n'est modifiée que lors d'un déploiement.", "The proxy keeps its route table; it only changes during a deployment.") },257          { text: t("Il est redémarré sur un autre nœud.", "It is restarted on another node."), correct: false, explanation: t("Un déplacement exigerait justement l'ordonnanceur.", "A move would precisely require the scheduler.") },258        ],259      },260      {261        id: "accordion-mistakes", type: "accordion", span: 6,262        items: [263          { title: t("Faire transiter le trafic par le plan de contrôle", "Routing traffic through the control plane"), text: t("Le plan de contrôle devient alors un goulot d'étranglement et sa panne coupe tous les services.", "The control plane then becomes a bottleneck and its failure cuts every service.") },264          { title: t("Garder des données durables sur le disque local d'un nœud", "Keeping durable data on a node's local disk"), text: t("Le service ne peut plus être déplacé, et la perte du nœud devient une perte de données.", "The service can no longer be moved, and losing the node becomes losing data.") },265          { title: t("Inscrire l'emplacement d'un service en dur chez ses clients", "Hard-coding a service's location in its clients"), text: t("Dès que l'ordonnanceur déplace le service, les clients pointent dans le vide. L'emplacement se lit dans le registre ou passe par le proxy.", "As soon as the scheduler moves the service, clients point at nothing. Location is read from the registry or goes through the proxy.") },266          { title: t("Basculer la route avant la sonde de santé", "Switching the route before the health check"), text: t("Les utilisateurs reçoivent des erreurs pendant le démarrage. L'ordre est : démarrer, sonder, puis router.", "Users get errors during start-up. The order is: start, probe, then route.") },267          { title: t("Des actions de déploiement non idempotentes", "Non-idempotent deployment actions"), text: t("Si rejouer une étape après une panne crée un doublon ou corrompt l'état, la boucle de réconciliation ne peut plus réparer seule.", "If replaying a step after a failure creates a duplicate or corrupts state, the reconciliation loop can no longer repair on its own.") },268          { title: t("Sonder seulement de l'intérieur", "Probing only from the inside"), text: t("Un service peut répondre localement alors que son certificat a expiré ou que sa route est fausse. Il faut aussi une sonde par le chemin public.", "A service can answer locally while its certificate has expired or its route is wrong. A probe through the public path is needed too.") },269        ],270      },271      { id: "refs", type: "references", title: t("Références", "References") },272    ],273    sources: [274      doiSource("verma-2015", "article", "Large-scale cluster management at Google with Borg", ["Abhishek Verma", "Luis Pedrosa", "Madhukar Korupolu", "David Oppenheimer", "Eric Tune", "John Wilkes"], 2015, "Proceedings of the Tenth European Conference on Computer Systems (EuroSys), 1–17", "10.1145/2741948.2741964"),275      doiSource("burns-2016", "article", "Borg, Omega, and Kubernetes", ["Brendan Burns", "Brian Grant", "David Oppenheimer", "Eric Brewer", "John Wilkes"], 2016, "Communications of the ACM, 59(5), 50–57", "10.1145/2890784"),276      doiSource("schwarzkopf-2013", "article", "Omega: flexible, scalable schedulers for large compute clusters", ["Malte Schwarzkopf", "Andy Konwinski", "Michael Abd-El-Malek", "John Wilkes"], 2013, "Proceedings of the 8th ACM European Conference on Computer Systems (EuroSys), 351–364", "10.1145/2465351.2465386"),277      doiSource("donenfeld-2017", "article", "WireGuard: Next Generation Kernel Network Tunnel", ["Jason A. Donenfeld"], 2017, "Proceedings 2017 Network and Distributed System Security Symposium (NDSS)", "10.14722/ndss.2017.23160"),278      doiSource("rfc-8446", "documentation", "The Transport Layer Security (TLS) Protocol Version 1.3", ["E. Rescorla"], 2018, "RFC 8446, RFC Editor", "10.17487/RFC8446"),279    ],280    claims: [281      { id: "c-generic", text: t("Les gestionnaires de grappes documentés publiquement partagent une structure commune : contrôleur central, agent par machine, ordonnanceur.", "Publicly documented cluster managers share a common structure: central controller, per-machine agent, scheduler."), status: "sourced", sourceIds: ["verma-2015", "burns-2016"], blockId: "lead" },282      { id: "c-running", text: t("Dans Borg, les tâches déjà lancées continuent de tourner si le contrôleur central ou l'agent de la machine tombe.", "In Borg, already-running tasks keep running if the central controller or the machine's agent goes down."), status: "sourced", sourceIds: ["verma-2015"], blockId: "callout-running" },283      { id: "c-reconcile", text: t("Kubernetes repose sur des boucles de réconciliation qui comparent l'état voulu à l'état observé.", "Kubernetes relies on reconciliation loops that compare the desired state with the observed state."), status: "sourced", sourceIds: ["burns-2016"], blockId: "callout-reconcile" },284      { id: "c-scheduling", text: t("L'ordonnancement de Borg procède en deux temps : vérification de faisabilité, puis notation des machines faisables.", "Borg scheduling proceeds in two stages: feasibility checking, then scoring of feasible machines."), status: "sourced", sourceIds: ["verma-2015"], blockId: "eq-placement" },285      { id: "c-architectures", text: t("Les ordonnanceurs de grappe se classent en monolithiques, à deux niveaux et à état partagé ; ces derniers utilisent un contrôle de concurrence optimiste.", "Cluster schedulers fall into monolithic, two-level and shared-state designs; the latter use optimistic concurrency control."), status: "sourced", sourceIds: ["schwarzkopf-2013"], blockId: "comparison-schedulers" },286      { id: "c-wireguard", text: t("WireGuard identifie les pairs par leur clé publique, associe à chaque clé des adresses internes autorisées et encapsule les paquets dans UDP.", "WireGuard identifies peers by public key, associates allowed inner addresses with each key and encapsulates packets in UDP."), status: "sourced", sourceIds: ["donenfeld-2017"], blockId: "cards-network" },287      { id: "c-tls", text: t("TLS 1.3 fournit l'authentification, la confidentialité et l'intégrité du canal.", "TLS 1.3 provides authentication, confidentiality and integrity of the channel."), status: "sourced", sourceIds: ["rfc-8446"], blockId: "cards-network" },288      { id: "c-availability", text: t("Sous l'hypothèse de pannes indépendantes, les disponibilités de composants en série se multiplient.", "Assuming independent failures, the availabilities of components in series multiply."), status: "derived", sourceIds: [], blockId: "eq-availability" },289    ],290  };291}292293export const computeClusterArchitecture: TemplateDef = {294  id: "compute-cluster-architecture",295  title: { fr: "Architecture d'une grappe de calcul", en: "Architecture of a compute cluster" },296  description: {297    fr: "Plan de contrôle, ordonnanceur, nœuds de travail, stockage partagé, réseau privé superposé, proxy inverse TLS, sondes de santé et déroulement d'un déploiement.",298    en: "Control plane, scheduler, worker nodes, shared storage, private overlay network, TLS reverse proxy, health checks and the flow of a deployment.",299  },300  category: "infrastructure",301  build,302};303
Files main
Menu

Theme