SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
8.6 KB

# Salles de spectacle — moteur générique JSON-LD Event (sallesjsonld)

Fiche générée le 2026-08-25 19:01 EDT par scripts/gen_connector_docs.py — ne pas éditer à la main, relancer le script.

Statut : actif · Type : salle-de-spectacle · Connecteur : sortika/connectors/sallesjsonld.py

# Description

  • Source : Salles de spectacle — moteur générique JSON-LD Event
  • Couverture : Longue traîne des salles de spectacle QC (amorce : Grand Théâtre de Québec, Trident, Capitole — Capitale-Nationale)
  • Extraction : par salle configurée : page(s) de programmation → liens de fiche (motif regex) → fiches incrémentales (cache data/sallesjsonld_cache.json, SALLES_FICHE_MAX/sync partagé, re-visite 7 j) → blocs JSON-LD @type Event (nom, dates horodatées, salle, adresse, offres → prix, statut, image) ; heure « T00:00:00 » traitée comme placeholder. Vague 2 2026-08-25 : 17 salles configurées (+13 validées live : Théâtre Denise-Pelletier, MBAM, MNBAQ, Musée de la civilisation, Pointe-à-Callière, Cinémathèque québécoise, TOHU, Spect'Art Rimouski, Hector-Charland, Amphithéâtre Cogeco, Premier Acte, Maison de la littérature, Chasse-galerie Lavaltrie) ; liste du Trident réparée (page d'accueil) ; ~40 salles sondées et écartées (sans JSON-LD, heures faussées ou SSR intermittent — consignées dans le _comment de la config)

# Accès

  • Type : salle-de-spectacle
  • Endpoint : voir URL source (https://grandtheatre.qc.ca/programmation)
  • Auth : Aucune (accès public, identification honnête par User-Agent)
  • Pagination : aucune (flux unique)
  • Backend : GET direct requests (throttlé, UA SortiKa/1.0 identifié)
  • Throttle : 0.8 s entre requêtes
  • Accès légal : robots.txt vérifié PAR SALLE avant ajout à la config (consigné dans data/salles_jsonld.json) — GET throttlés 0,8 s, identification honnête, lien fiche originale
En-tête documentaire du connecteur

connectors/sallesjsonld.py : moteur générique « schema.org/Event » (Phase 3) La LONGUE TRAÎNE des salles de spectacle : beaucoup de sites de salles embarquent un bloc JSON-LD Event complet (dates horodatées, salle, offres, statut) sur chaque fiche. Ce connecteur prend une LISTE DE SALLES configurable (data/salles_jsonld.json, patron stores.json de fabri-ka) : chaque entrée = page(s) de programmation + motif des liens de fiche + ville/salle par défaut. Ajouter une salle = 1 bloc de config, 0 code. Extraction: page liste (1 GET/salle) → fiches incrémentales (cache data/sallesjsonld_cache.json, SALLES_FICHE_MAX/sync partagé, re-visite 7 j) → TOUS les blocs JSON-LD @type Event de la fiche (une fiche multi-dates = plusieurs séances). Salles d'amorce validées 2026-08-19 (Event JSON-LD réel constaté) : Grand Théâtre de Québec, Théâtre du Trident, Théâtre Capitole (Gestev). Accès : robots.txt vérifié PAR SALLE avant l'ajout à la config (consigné dans docs/connecteurs/sallesjsonld.md) ; GET throttlés 0,8 s, identification honnête, lien fiche originale.

# Champs récupérés → schéma

Complétude mesurée sur les 685 événements actifs de la source ; exemples tirés d'un événement réel (sallesjsonld:mnbaq-art-moderne-2026-10-05-2000).

Champ (events.*) Description Complétude Exemple réel
title — Titre titre de l'événement 100 % Revendiquer. Art moderne du Québec
description — Description texte descriptif (source ou fiche détail) 94 %
url — URL lien vers la fiche originale / billetterie 100 % https://www.mnbaq.org/programmation/expositions/art-moderne
categories — Catégories taxonomie canonique Sorti-Ka (JSON) 100 % ["autre"]
venue — Salle (venue) nom du lieu 100 % Musée national des beaux-arts du Québec
address — Adresse adresse civique 73 %
city — Ville municipalité 100 % Québec
region — Région région administrative 100 % Capitale-Nationale
lat — GPS (lat/lng) coordonnées géographiques 98 % 46.7995475, -71.2247544
start_date — Date début date locale AAAA-MM-JJ 100 % 2026-10-05
end_date — Date fin date locale AAAA-MM-JJ 100 % 2026-10-06
start_time — Heure (start_time) heure locale HH:MM (Québec) 90 % 20:00
end_time — Heure de fin (end_time) heure locale HH:MM (Québec) 57 % 19:59
status — Statut cancelled / postponed / soldout (NULL = prévu) 0 %
is_free — Gratuité (is_free) 1 gratuit / 0 payant / NULL inconnu 87 % 0
price_min — Prix min tarif minimal réel ($) 86 %
price_label — Libellé prix étiquette tarifaire affichable 87 % Museum admission required $
artists — Artistes têtes d'affiche / lineup (JSON) 0 % []
organizer — Organisateur promoteur / organisme 0 %
image — Image visuel (og:image ou média source) 53 % https://s3.ca-central-1.amazonaws.com/mnbaq-assets/production/Programmation/Expositions/Art-mode…
website — Site web site officiel de l'événement 100 % https://www.mnbaq.org/programmation/expositions/art-moderne

# Fréquence & budgets

  • Cadence : horaire (watcher PM2, incrémental)
  • Budgets / plafonds (variables d'environnement) :
Variable Défaut Rôle
SALLES_FICHE_MAX 40 total, toutes salles
  • Budget global : géocodage Nominatim plafonné à SORTIKA_GEOCODE_MAX (défaut 120) requêtes réseau/cycle, toutes sources confondues (sortika/geocode.py, cache disque).

# Volumétrie & complétude live

(mesuré le 2026-08-25 19:01 EDT dans data/sortika.db)

  • Événements en base : 775 (dont 685 actifs)
  • GPS : 670/685 actifs (98 %)
  • Prix : 596/685 actifs (87 %)
  • Heure (start_time) : 615/685 actifs (90 %)
  • Heure de fin : 388/685 actifs (57 %)
  • Statut (annulé/reporté/complet) : 1/685 actifs (0 %)
  • Artistes : 0/685 actifs (0 %)
  • Image : 363/685 actifs (53 %)
  • Salle (venue) : 685/685 actifs (100 %)
  • Dernier sync : 2026-08-25 18:53 — fetched 768, +295 ajoutés, ~0 mis à jour, -0 retirés
  • Syncs enregistrés (sync_log) : 139

# Erreurs & dépannage

Aucune erreur dans sync_log pour cette source. ✅

  • Rejouer un sync isolé : python3 run.py sync --source sallesjsonld (ou via le watcher PM2) ; inspecter ensuite sync_log : sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='sallesjsonld' ORDER BY ts DESC LIMIT 5;"

# Licence / attribution

  • robots.txt vérifié PAR SALLE avant ajout à la config (consigné dans data/salles_jsonld.json) — GET throttlés 0,8 s, identification honnête, lien fiche originale

# Historique

  • 2026-08-18 — Vague 1 d'enrichissement (commit 7d9d1b0) : géocodage Nominatim des salles (sortika/geocode.py, cache disque, plafond SORTIKA_GEOCODE_MAX), fiches détail lepointdevente (description, heure, tarifs réels /plugins/rates/<id>), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.
  • 2026-08-18 — Vague 2 d'enrichissement (commit 65d2d33) : colonnes additives events.start_time (HH:MM locale QC) et events.artists (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).
  • 2026-08-19 — Phase 2 (travail de moine) : colonnes additives end_time, status (annulé/reporté/complet) et quarantine (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».

Commits touchant sortika/connectors/sallesjsonld.py :

  • 0b8a6f8 2026-08-19 Phase 3 — 9 nouveaux connecteurs + déroulage des périodes SITQ (fiches d évaluation avant connexion)