SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
7.7 KB · 115 lines markdown
Rendered Raw Blame History
1# Tourisme Montréal (mtl.org) — festivals et événements (ATR) (`mtlorg`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `tourisme-regional` · Connecteur : `sortika/connectors/mtlorg.py`67## Description89- **Source** : [Tourisme Montréal (mtl.org) — festivals et événements (ATR)](https://www.mtl.org/fr/quoi-faire/festivals-et-evenements)10- **Couverture** : Montréal11- **Extraction** : Index Algolia public du site (prod_fr, facettes _sections:Festivals et événements + content_type:product) : 1 requête/sync → titre, description, plages de dates structurées _open_dates, adresse, GPS, sous-catégories, image CDN ; les fiches sans date (salles/attraits) sont écartées1213## Accès1415- **Type** : tourisme-regional16- **Endpoint** (`BASE`) : `https://www.mtl.org`17- **Endpoint** (`ALGOLIA_URL`) : `https://XGNQMFEPVY-dsn.algolia.net/1/indexes/prod_fr/query`18- **Auth** : Aucune (accès public, identification honnête par User-Agent)19- **Pagination** : par numéro de page20- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)21- **Throttle** : 0.8 s entre requêtes22- **Accès légal** : Clé Algolia « search-only » publiée par le site lui-même — requêtes throttlées, UA honnête, lien vers la fiche originale2324<details><summary>En-tête documentaire du connecteur</summary>2526> connectors/mtlorg.py : Tourisme Montréal — mtl.org (ATR, vague ATR 2026-08)27> Source    : mtl.org/fr/quoi-faire/festivals-et-evenements — répertoire28> officiel de Tourisme Montréal (frontend SvelteKit + Drupal,29> listing servi par le même index Algolia que le site).30> Extraction: index Algolia « prod_fr » (appId/clé de recherche publiques,31> embarquées dans le JS du site — vérifié 2026-08-25), filtre32> facettes _sections:« Festivals et événements » +33> content_type:product → ~650 fiches : titre, surtitre,34> description, plages de dates STRUCTURÉES _open_dates35> [{start,end}], adresse complète (_address), GPS (_geoloc),36> sous-catégories, image CDN, URL. 1 requête/sync37> (hitsPerPage=1000). Les fiches SANS _open_dates (salles /38> attraits permanents listés dans la section) sont écartées :39> un événement sans date publiée n'est pas émis (jamais inventé).40> Accès     : clé Algolia « search-only » publiée par le site lui-même —41> requêtes throttlées, identification honnête, lien vers la42> fiche originale. Ni prix ni heure publiés → jamais inventés.4344</details>4546## Champs récupérés → schéma4748Complétude mesurée sur les **546 événements actifs** de la source ; exemples tirés d'un événement réel (`mtlorg:93794`).4950| Champ (`events.*`) | Description | Complétude | Exemple réel |51|---|---|---|---|52| `title` — Titre | titre de l'événement | 100 % | Edward aux mains d'argent en concert |53| `description` — Description | texte descriptif (source ou fiche détail) | 100 % | «Edward aux mains d'argent en concert» présente le célèbre conte moderne de Tim Burton dans une … |54| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.mtl.org/fr/quoi-faire/festivals-et-evenements/edward-mains-argent-concert |55| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["musique"] |56| `venue` — Salle (venue) | nom du lieu | 92 % | Salle Wilfrid-Pelletier |57| `address` — Adresse | adresse civique | 87 % | Place des Arts, 175, rue Sainte-Catherine Ouest |58| `city` — Ville | municipalité | 94 % | Montréal |59| `region` — Région | région administrative | 100 % | Montréal |60| `lat` — GPS (lat/lng) | coordonnées géographiques | 95 % | 45.508758, -73.567352 |61| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-10-10 |62| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-10-10 |63| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 0 % | ∅ |64| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 0 % | ∅ |65| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |66| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 0 % | ∅ |67| `price_min` — Prix min | tarif minimal réel ($) | 0 % | ∅ |68| `price_label` — Libellé prix | étiquette tarifaire affichable | 0 % | ∅ |69| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |70| `organizer` — Organisateur | promoteur / organisme | 0 % | ∅ |71| `image` — Image | visuel (og:image ou média source) | 79 % | https://cms.mtl.org/files/default/styles/square_600_600/public/2026-08/64070__C5DB5FA9-3100-4C1D… |72| `website` — Site web | site officiel de l'événement | 0 % | ∅ |7374## Fréquence & budgets7576- **Cadence** : quotidienne77- **Budgets / plafonds (variables d'environnement)** :7879| Variable | Défaut | Rôle |80|---|---|---|81| `MTL_PAGE_MAX` | `5` | — |82- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8384## Volumétrie & complétude live8586*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*8788- **Événements en base** : 650 (dont **546 actifs**)89- **GPS** : 516/546 actifs (95 %)90- **Prix** : 0/546 actifs (0 %)91- **Heure (start_time)** : 0/546 actifs (0 %)92- **Heure de fin** : 0/546 actifs (0 %)93- **Statut (annulé/reporté/complet)** : 0/546 actifs (0 %)94- **Artistes** : 0/546 actifs (0 %)95- **Image** : 432/546 actifs (79 %)96- **Salle (venue)** : 501/546 actifs (92 %)97- **Dernier sync** : 2026-08-25 18:25 — fetched 650, +650 ajoutés, ~0 mis à jour, -0 retirés98- **Syncs enregistrés** (sync_log) : 199100## Erreurs & dépannage101102Aucune erreur dans `sync_log` pour cette source. ✅103104- Rejouer un sync isolé : `python3 run.py sync --source mtlorg` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='mtlorg' ORDER BY ts DESC LIMIT 5;"`105106## Licence / attribution107108- Clé Algolia « search-only » publiée par le site lui-même — requêtes throttlées, UA honnête, lien vers la fiche originale109110## Historique111112- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.113- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).114- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».115