SPB Git forge

spb/uqo-eval

Public
55commits 2branches 0releases
134.4 MBsize
maindefault branch
3 h agolast push
TypeScript 90.1% JavaScript 3.2% Python 3.2% CSS 1.8% HTML 1.8%

History of scripts/ingest-jdm.mjs · clear filter

  1. Sat, Aug 22, 2026 1

    1. Connecteur incrémental « nouvelles ventes » (JdM/api.qub.ca)
      …
      Ajoute les ventes récentes directement dans data/vraiprix.db sur le nœud,
      sans reconstruire la base (le pipeline batch reste sur le laptop).
      
      - scripts/qub-token.mjs : Bearer QUB via login Scrapfly (connect.qub.ca,
        Akamai + reCAPTCHA v3, réessais sur sessions neuves) puis /api/checklogin.
      - scripts/ingest-jdm.mjs : balayage des 1478 secteurs /v1/locations/all →
        /v1/map (quadtree si plafond), mapping vers schéma transactions, spatial-
        join units (id_provinc/valeur_role), INSERT OR IGNORE (dédup par id).
      - Planifié quotidiennement via pm2 (vrai-prix-ingest, cron 08:00).
      - Gap 2026-07-27 → 2026-08-12 comblé province-wide (+4189 ventes, match 100%).
      - Doc : PIPELINE-DONNEES.md section 9.
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +285