SPB Git forge

spb/qc-election

Public
20commits 1branches 0releases
4.9 MBsize
maindefault branch
20 days agolast push
Python 66.6% HTML 24.8% CSS 4.9% JavaScript 3.6%

History of backend/app/modeling/validation/scoring.py · clear filter

  1. Sun, Aug 30, 2026 2

    1. v3.1.0 — replay historique multi-élections + modèle d'erreur des sondeurs (σ appris)
      …
      Méthodologie ultra avancée, première vague (§100 : replay + scoring + erreur
      dynamique des sondeurs) :
      
      - ingest/wikipedia_historical.py : 462 sondages archivés sur 6 élections
        (2007: 34, 2008: 36, 2012: 121, 2014: 60, 2018: 106, 2022: 105), ères de
        partis (ADQ 2007-2008), cache data/historical/*.csv avec provenance
      - Cœur alr PARAMÉTRÉ par liste de partis (trend/forecast/house_effects/
        fundamentals) — zéro changement de comportement 2026, replay multi-ères
      - validation/historical_replay.py : LOEO STRICT (house effects, fondamentaux
        exclude_year, σ sur les autres élections), rolling origin J-120→J-1,
        CRPS + log score + couverture 50/90/95 + sharpness (scoring.py)
      - national/pollster_error.py : erreur d'INDUSTRIE par élection (2018 CAQ −5,4,
        2007 PLQ −9,2, 2014 PQ +4,9…), σ_industrie estimé LOEO ≈0,21 (composantes
        principales ≥5 %, borné [0,08; 0,25]), house effects hiérarchiques n/(n+k)+τ
      - ADOPTION σ appris (use_empirical_industry_error=True) validée par replay :
        log score −3,80 vs −5,33, CRPS 2,64 vs 2,67, couverture 95 % 83 % vs 76,5 %,
        EAM inchangée (3,71 vs 3,69) — fuite du backtest fondamentaux corrigée
      - API /api/replay, /api/pollster-error (+ v3), POST /api/admin/replay
      - Audits §100 : METHODOLOGY_AUDIT, STATISTICAL_DEBT (dette paramétrique
        complète), V3_MODEL_ARCHITECTURE, HISTORICAL_REPLAY_PLAN
      - 33/33 tests (CRPS/log score, bornes σ, replay 2018 smoke, ère ADQ 5 partis)
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 25 days ago · 1 file +21
    2. v3.0.0 « 127 » — Phases A+B : validation, Social Intelligence, forecast par comté
      …
      Phase A (fondations) :
      - modeling/validation/ : scoring commun (EAM/RMSE, couverture 50/90/95, Brier,
        log loss, sharpness, biais) + cadre d'ABLATION (backtest 2022 par variante,
        deltas vs FULL publiés, data/ablation_report.json, /api/ablation,
        POST /api/admin/ablation)
      - Feature flags conservateurs (enable_social_volatility, enable_tipping_points,
        enable_ablation, enable_social_directional=OFF)
      - Observabilité Apify (table apify_runs) + /api/admin/data-health (§33-34)
      
      Phase B (Social Intelligence Layer) :
      - modeling/signals/social.py : métriques inter-plateformes normalisées
        (attention_z, velocity_z, breadth, cross_platform, stance_balance) +
        filtrage de coordination (quasi-doublons, rafales) → attention organique
      - modeling/signals/volatility.py : multiplicateur de variance unifié
        wiki+social, borné [1, 1,5], variance seulement (§16)
      - modeling/signals/event_detection.py : événements à confirmation croisée
        (≥2 familles : presse, social, Wikipédia), sans effet directionnel présumé
      
      Forecast par comté :
      - simulate.tipping_points : circonscriptions pivots de la majorité (méthode
        des simulations, 64e siège le plus sûr), stocké par run (§24)
      - Page /circonscriptions : 127 fiches (recherche, filtres, tri, détail complet
        IC 95 %/candidatures/2022), pivots avec barres de course, KPIs
      - /api/battlegrounds + API v3 (/api/v3/forecast|ridings|social|battlegrounds|
        events|beyond|calibration|ablation), compatibilité v1 conservée
      
      29/29 tests verts. METHODOLOGY §9 bis. ModelVersion 3.0.0.
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 25 days ago · 1 file +96