SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
8.6 KB · 117 lines markdown
Rendered Raw Blame History
1# Salles de spectacle — moteur générique JSON-LD Event (`sallesjsonld`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `salle-de-spectacle` · Connecteur : `sortika/connectors/sallesjsonld.py`67## Description89- **Source** : [Salles de spectacle — moteur générique JSON-LD Event](https://grandtheatre.qc.ca/programmation)10- **Couverture** : Longue traîne des salles de spectacle QC (amorce : Grand Théâtre de Québec, Trident, Capitole — Capitale-Nationale)11- **Extraction** : par salle configurée : page(s) de programmation → liens de fiche (motif regex) → fiches incrémentales (cache data/sallesjsonld_cache.json, SALLES_FICHE_MAX/sync partagé, re-visite 7 j) → blocs JSON-LD @type Event (nom, dates horodatées, salle, adresse, offres → prix, statut, image) ; heure « T00:00:00 » traitée comme placeholder. Vague 2 2026-08-25 : 17 salles configurées (+13 validées live : Théâtre Denise-Pelletier, MBAM, MNBAQ, Musée de la civilisation, Pointe-à-Callière, Cinémathèque québécoise, TOHU, Spect'Art Rimouski, Hector-Charland, Amphithéâtre Cogeco, Premier Acte, Maison de la littérature, Chasse-galerie Lavaltrie) ; liste du Trident réparée (page d'accueil) ; ~40 salles sondées et écartées (sans JSON-LD, heures faussées ou SSR intermittent — consignées dans le _comment de la config)1213## Accès1415- **Type** : salle-de-spectacle16- **Endpoint** : voir URL source (https://grandtheatre.qc.ca/programmation)17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : aucune (flux unique)19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.8 s entre requêtes21- **Accès légal** : robots.txt vérifié PAR SALLE avant ajout à la config (consigné dans data/salles_jsonld.json) — GET throttlés 0,8 s, identification honnête, lien fiche originale2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/sallesjsonld.py : moteur générique « schema.org/Event » (Phase 3)26> La LONGUE TRAÎNE des salles de spectacle : beaucoup de sites de salles27> embarquent un bloc JSON-LD Event complet (dates horodatées, salle, offres,28> statut) sur chaque fiche. Ce connecteur prend une LISTE DE SALLES29> configurable (data/salles_jsonld.json, patron stores.json de fabri-ka) :30> chaque entrée = page(s) de programmation + motif des liens de fiche +31> ville/salle par défaut. Ajouter une salle = 1 bloc de config, 0 code.32> Extraction: page liste (1 GET/salle) → fiches incrémentales (cache33> data/sallesjsonld_cache.json, SALLES_FICHE_MAX/sync partagé,34> re-visite 7 j) → TOUS les blocs JSON-LD @type Event de la35> fiche (une fiche multi-dates = plusieurs séances).36> Salles d'amorce validées 2026-08-19 (Event JSON-LD réel constaté) :37> Grand Théâtre de Québec, Théâtre du Trident, Théâtre Capitole (Gestev).38> Accès     : robots.txt vérifié PAR SALLE avant l'ajout à la config39> (consigné dans docs/connecteurs/sallesjsonld.md) ; GET40> throttlés 0,8 s, identification honnête, lien fiche originale.4142</details>4344## Champs récupérés → schéma4546Complétude mesurée sur les **685 événements actifs** de la source ; exemples tirés d'un événement réel (`sallesjsonld:mnbaq-art-moderne-2026-10-05-2000`).4748| Champ (`events.*`) | Description | Complétude | Exemple réel |49|---|---|---|---|50| `title` — Titre | titre de l'événement | 100 % | Revendiquer. Art moderne du Québec |51| `description` — Description | texte descriptif (source ou fiche détail) | 94 % | ∅ |52| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.mnbaq.org/programmation/expositions/art-moderne |53| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["autre"] |54| `venue` — Salle (venue) | nom du lieu | 100 % | Musée national des beaux-arts du Québec |55| `address` — Adresse | adresse civique | 73 % | ∅ |56| `city` — Ville | municipalité | 100 % | Québec |57| `region` — Région | région administrative | 100 % | Capitale-Nationale |58| `lat` — GPS (lat/lng) | coordonnées géographiques | 98 % | 46.7995475, -71.2247544 |59| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-10-05 |60| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-10-06 |61| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 90 % | 20:00 |62| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 57 % | 19:59 |63| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |64| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 87 % | 0 |65| `price_min` — Prix min | tarif minimal réel ($) | 86 % | ∅ |66| `price_label` — Libellé prix | étiquette tarifaire affichable | 87 % | Museum admission required $ |67| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |68| `organizer` — Organisateur | promoteur / organisme | 0 % | ∅ |69| `image` — Image | visuel (og:image ou média source) | 53 % | https://s3.ca-central-1.amazonaws.com/mnbaq-assets/production/Programmation/Expositions/Art-mode… |70| `website` — Site web | site officiel de l'événement | 100 % | https://www.mnbaq.org/programmation/expositions/art-moderne |7172## Fréquence & budgets7374- **Cadence** : horaire (watcher PM2, incrémental)75- **Budgets / plafonds (variables d'environnement)** :7677| Variable | Défaut | Rôle |78|---|---|---|79| `SALLES_FICHE_MAX` | `40` | total, toutes salles |80- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8182## Volumétrie & complétude live8384*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*8586- **Événements en base** : 775 (dont **685 actifs**)87- **GPS** : 670/685 actifs (98 %)88- **Prix** : 596/685 actifs (87 %)89- **Heure (start_time)** : 615/685 actifs (90 %)90- **Heure de fin** : 388/685 actifs (57 %)91- **Statut (annulé/reporté/complet)** : 1/685 actifs (0 %)92- **Artistes** : 0/685 actifs (0 %)93- **Image** : 363/685 actifs (53 %)94- **Salle (venue)** : 685/685 actifs (100 %)95- **Dernier sync** : 2026-08-25 18:53 — fetched 768, +295 ajoutés, ~0 mis à jour, -0 retirés96- **Syncs enregistrés** (sync_log) : 1399798## Erreurs & dépannage99100Aucune erreur dans `sync_log` pour cette source. ✅101102- Rejouer un sync isolé : `python3 run.py sync --source sallesjsonld` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='sallesjsonld' ORDER BY ts DESC LIMIT 5;"`103104## Licence / attribution105106- robots.txt vérifié PAR SALLE avant ajout à la config (consigné dans data/salles_jsonld.json) — GET throttlés 0,8 s, identification honnête, lien fiche originale107108## Historique109110- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.111- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).112- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».113114Commits touchant `sortika/connectors/sallesjsonld.py` :115116- `0b8a6f8` 2026-08-19 Phase 3 — 9 nouveaux connecteurs + déroulage des périodes SITQ (fiches d évaluation avant connexion)117