SPB Git

Repository Public

server.mjs 10.8 KB 184 lines javascript

1import http from "node:http";2import fs from "node:fs";3import path from "node:path";4import { fileURLToPath } from "node:url";5import Anthropic from "@anthropic-ai/sdk";67const ROOT = path.dirname(fileURLToPath(import.meta.url));89// .env minimal (pas de dépendance dotenv)10try {11  for (const line of fs.readFileSync(path.join(ROOT, ".env"), "utf8").split("\n")) {12    const m = line.match(/^\s*([A-Z0-9_]+)\s*=\s*(.*)\s*$/);13    if (m && !(m[1] in process.env)) process.env[m[1]] = m[2].replace(/^["']|["']$/g, "");14  }15} catch {}1617const PORT = Number(process.env.PORT || 8700);18const HOST = process.env.HOST || "0.0.0.0";19const MODEL = "claude-haiku-5-5";20const MAX_BODY = 12 * 1024 * 1024; // JSON (base64 d'une image ≤ ~8 Mo)21const PER_IP_HOUR = Number(process.env.MAX_PAGES_PER_IP_HOUR || 300);22const PER_DAY = Number(process.env.MAX_PAGES_PER_DAY || 5000);2324const client = new Anthropic(); // lit ANTHROPIC_API_KEY2526const SYSTEM = `Tu es un moteur de transcription. On te donne l'image d'une page d'un document PDF. Écris tout le texte de la page, fidèlement, en texte brut.2728Règles :29- Transcris le texte tel qu'il est écrit, dans sa langue d'origine, sans corriger, traduire, résumer ni commenter.30- Suis l'ordre de lecture naturel (colonnes de gauche à droite, de haut en bas). Garde les paragraphes, les titres sur leur propre ligne et les listes.31- Recolle les mots coupés par un trait d'union en fin de ligne et fusionne les lignes d'un même paragraphe.32- Tableaux : une ligne par rangée, cellules séparées par " | ".33- Formules : écris-les en LaTeX entre $…$.34- Graphiques, figures, schémas et diagrammes : ne les saute jamais et ne te contente pas de les mentionner. Réécris leur contenu sous forme de texte logique et structuré, entre une ligne "[Figure]" (ou "[Figure N : titre]" si elle est numérotée ou titrée) et une ligne "[Fin de la figure]" :35  - Graphique (courbes, barres, secteurs, nuage de points…) : type de graphique, titre, axe X et axe Y avec unités et étendue, légende, puis les données sous forme de tableau "catégorie | série 1 | série 2…" avec les valeurs lues ; fais précéder d'un "≈" toute valeur estimée visuellement plutôt qu'écrite. Termine par une ligne "Tendance :" qui énonce ce que le graphique montre (hausse, baisse, pic, croisement, comparaison).36  - Schéma, organigramme, diagramme de flux, architecture, carte conceptuelle : liste les éléments (boîtes, nœuds, acteurs) avec leur libellé, puis les relations une par ligne sous la forme "A -> B : libellé du lien", dans l'ordre logique du flux ; rends la hiérarchie par l'indentation.37  - Photo, illustration, carte, capture d'écran : décris en quelques lignes factuelles ce qui est montré, et transcris tout le texte visible.38  - Dans tous les cas, transcris la légende de la figure, les annotations et la source.39- Inclus les en-têtes, pieds de page, numéros de page et notes de bas de page là où ils apparaissent.40- Passage illisible : écris [illisible]. N'invente jamais de texte.41- Page vide : réponds exactement [page vide].42- Aucun préambule, aucune conclusion, aucun bloc de code Markdown : uniquement le texte de la page.`;4344// ── garde-fous d'usage (en mémoire) ─────────────────────────────────────────45const ipHits = new Map(); // ip -> [timestamps]46let dayKey = "", dayCount = 0;47function allow(ip) {48  const now = Date.now();49  const today = new Date().toISOString().slice(0, 10);50  if (today !== dayKey) { dayKey = today; dayCount = 0; }51  if (dayCount >= PER_DAY) return "Limite quotidienne du service atteinte. Réessayez demain.";52  const hits = (ipHits.get(ip) || []).filter((t) => now - t < 3600_000);53  if (hits.length >= PER_IP_HOUR) return "Trop de pages pour cette heure. Réessayez plus tard.";54  hits.push(now); ipHits.set(ip, hits); dayCount++;55  return null;56}57setInterval(() => {58  const now = Date.now();59  for (const [ip, hits] of ipHits) if (!hits.some((t) => now - t < 3600_000)) ipHits.delete(ip);60}, 600_000).unref();6162// ── fichiers statiques ──────────────────────────────────────────────────────63const MIME = { ".html": "text/html; charset=utf-8", ".js": "text/javascript; charset=utf-8", ".mjs": "text/javascript; charset=utf-8", ".css": "text/css; charset=utf-8", ".svg": "image/svg+xml", ".ico": "image/x-icon", ".wasm": "application/wasm", ".bcmap": "application/octet-stream", ".pfb": "application/octet-stream", ".ttf": "font/ttf" };64const MOUNTS = [65  ["/pdfjs/", path.join(ROOT, "node_modules/pdfjs-dist/")],66  ["/", path.join(ROOT, "public/")],67];68function serveStatic(req, res, pathname) {69  if (pathname === "/") pathname = "/index.html";70  for (const [prefix, dir] of MOUNTS) {71    if (!pathname.startsWith(prefix)) continue;72    const file = path.normalize(path.join(dir, decodeURIComponent(pathname.slice(prefix.length))));73    if (!file.startsWith(dir)) break;74    if (fs.existsSync(file) && fs.statSync(file).isFile()) {75      res.writeHead(200, {76        "Content-Type": MIME[path.extname(file)] || "application/octet-stream",77        "Cache-Control": prefix === "/pdfjs/" ? "public, max-age=86400" : "no-cache",78        "X-Content-Type-Options": "nosniff",79      });80      return fs.createReadStream(file).pipe(res);81    }82  }83  res.writeHead(404, { "Content-Type": "text/plain; charset=utf-8" }).end("Introuvable");84}8586function json(res, status, obj) {87  res.writeHead(status, { "Content-Type": "application/json; charset=utf-8" }).end(JSON.stringify(obj));88}8990function readBody(req) {91  return new Promise((resolve, reject) => {92    const chunks = []; let size = 0;93    req.on("data", (c) => {94      size += c.length;95      if (size > MAX_BODY) { reject(Object.assign(new Error("Image trop volumineuse."), { status: 413 })); req.destroy(); }96      else chunks.push(c);97    });98    req.on("end", () => resolve(Buffer.concat(chunks)));99    req.on("error", reject);100  });101}102103// ── POST /api/page : une image de page → texte en flux ──────────────────────104async function handlePage(req, res) {105  const ip = (req.headers["x-forwarded-for"] || "").split(",")[0].trim() || req.socket.remoteAddress || "?";106  let body;107  try { body = JSON.parse((await readBody(req)).toString("utf8")); }108  catch (e) { return json(res, e.status || 400, { error: e.status ? e.message : "Requête invalide." }); }109110  const m = typeof body.image === "string" && body.image.match(/^data:(image\/(?:jpeg|png|webp));base64,([A-Za-z0-9+/=]+)$/);111  if (!m) return json(res, 400, { error: "Image de page manquante ou invalide." });112  const page = Number.isInteger(body.page) ? body.page : 0;113  const total = Number.isInteger(body.total) ? body.total : 0;114115  const denied = allow(ip);116  if (denied) return json(res, 429, { error: denied });117118  const ac = new AbortController();119  res.on("close", () => { if (!res.writableEnded) ac.abort(); });120121  // Une erreur avant le premier caractère (réseau, surcharge, flux coupé) est réessayée ici ;122  // après, le client reprend la page au complet.123  const ATTEMPTS = 3;124  let started = false;125  for (let attempt = 1; attempt <= ATTEMPTS; attempt++) {126    try {127      const stream = client.messages.stream({128        model: MODEL,129        max_tokens: 32000,130        thinking: { type: "disabled" },131        output_config: { effort: "low" },132        system: SYSTEM,133        messages: [{134          role: "user",135          content: [136            { type: "image", source: { type: "base64", media_type: m[1], data: m[2] } },137            { type: "text", text: `Page ${page || "?"}${total ? ` de ${total}` : ""}. Transcris le texte de cette page.` },138          ],139        }],140      }, { signal: ac.signal });141      for await (const event of stream) {142        if (event.type === "content_block_delta" && event.delta.type === "text_delta") {143          if (!started) {144            started = true;145            res.writeHead(200, { "Content-Type": "text/plain; charset=utf-8", "Cache-Control": "no-store", "X-Accel-Buffering": "no" });146          }147          res.write(event.delta.text);148        }149      }150      const msg = await stream.finalMessage();151      if (!started) res.writeHead(200, { "Content-Type": "text/plain; charset=utf-8", "Cache-Control": "no-store" });152      if (msg.stop_reason === "refusal") res.write("\n[transcription refusée par le modèle pour cette page]");153      else if (msg.stop_reason === "max_tokens") res.write("\n[page tronquée : limite de longueur atteinte]");154      res.end();155      console.log(`page ${page}/${total} ip=${ip} in=${msg.usage.input_tokens} out=${msg.usage.output_tokens} stop=${msg.stop_reason}${attempt > 1 ? ` essai=${attempt}` : ""}`);156      return;157    } catch (err) {158      if (ac.signal.aborted || res.destroyed) return; // client parti159      const retryable = !(err instanceof Anthropic.BadRequestError || err instanceof Anthropic.AuthenticationError || err instanceof Anthropic.PermissionDeniedError);160      console.error(`page ${page}/${total} ip=${ip} octets=${m[2].length} essai=${attempt} ERREUR ${err?.constructor?.name} status=${err?.status} req=${err?.requestID ?? err?.request_id} ${err?.message} ${JSON.stringify(err?.error ?? null)} cause=${err?.cause?.message ?? ""}`);161      if (!started && retryable && attempt < ATTEMPTS) { await new Promise((r) => setTimeout(r, 800 * attempt)); continue; }162      let status = 502, error = "Erreur du modèle. Réessayez.";163      if (err instanceof Anthropic.BadRequestError) { status = 400; error = "Page refusée par l'API (image invalide ou trop grande)."; }164      else if (err instanceof Anthropic.AuthenticationError) { status = 500; error = "Clé API du serveur invalide."; }165      else if (err instanceof Anthropic.RateLimitError) { status = 429; error = "Le modèle est momentanément saturé. Réessayez dans un instant."; }166      else if (err instanceof Anthropic.APIError) { status = 502; error = `Erreur de l'API (${err.status ?? "flux interrompu"}).`; }167      if (!started) json(res, status, { error });168      else res.destroy(); // réponse partielle : on coupe, le client refait la page169      return;170    }171  }172}173174http.createServer((req, res) => {175  const { pathname } = new URL(req.url, "http://x");176  if (pathname === "/api/health") return json(res, 200, { ok: true, model: MODEL, key: Boolean(process.env.ANTHROPIC_API_KEY) });177  if (pathname === "/api/page") {178    if (req.method !== "POST") return json(res, 405, { error: "POST requis." });179    return handlePage(req, res).catch((e) => { console.error(e); if (!res.headersSent) json(res, 500, { error: "Erreur interne." }); else res.end(); });180  }181  if (req.method !== "GET" && req.method !== "HEAD") return json(res, 405, { error: "Méthode non permise." });182  serveStatic(req, res, pathname);183}).listen(PORT, HOST, () => console.log(`pdf2txt sur http://${HOST}:${PORT} (${MODEL})`));184
Files main
Menu

Theme