spb/sorti-ka

1# Ville de Montréal — Événements publics (`montreal`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `donnees-ouvertes` · Connecteur : `sortika/connectors/montreal.py`67## Description89- **Source** : [Ville de Montréal — Événements publics](https://donnees.montreal.ca/dataset/evenements-publics)10- **Couverture** : Événements municipaux, île de Montréal11- **Extraction** : API CKAN datastore_search (JSON, paginée) — venue = emplacement (si vrai nom de lieu) ou titre_adresse ; address = adresse_principale + adresse_secondaire ; le jeu de données ne publie pas l'heure → heure locale captée dans le JSON-LD des fiches montreal.ca (« startDate »:"…T19:30:00-04:00") lors de l'enrichissement og:image incrémental (cache, plafond MTL_IMG_MAX/sync). MAJ 2026-08-25 : plafond MTL_IMG_MAX doublé (600/sync), collecte complète puis priorisation jamais-visités/date proche — convergence atteinte : image 100 % et heure 99 % des événements à venir1213## Accès1415- **Type** : donnees-ouvertes16- **Endpoint** (`API`) : `https://donnees.montreal.ca/api/3/action/datastore_search`17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : offset/limit19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.4 s entre requêtes21- **Accès légal** : Licence CC BY 4.0 (donnees.montreal.ca) — attribution : Ville de Montréal2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/montreal.py : connecteur Ville de Montréal — événements publics26> Source    : donnees.montreal.ca, jeu « Événements publics » (montreal.ca)27> Extraction: API CKAN datastore_search (JSON, paginée) — données ouvertes,28> Licence CC BY 4.0. Aucune restriction de scraping.29> Couverture: ~5 600 événements municipaux (culture, conseils, famille,30> sport, marchés) avec dates, coût, arrondissement, lat/lng.31> Images    : absentes du jeu de données → enrichissement incrémental par32> og:image des fiches montreal.ca (cache disque, plafonné par33> sync via MTL_IMG_MAX, défaut 600 — doublé 2026-08-25 pour un34> rattrapage plus rapide ; candidats collectés en entier PUIS35> triés — jamais visités d'abord, ensuite par date de début la36> plus proche — avant d'appliquer le plafond).37> https://donnees.montreal.ca/dataset/evenements-publics3839</details>4041## Champs récupérés → schéma4243Complétude mesurée sur les **3691 événements actifs** de la source ; exemples tirés d'un événement réel (`montreal:marche-fermier-laurier-110385`).4445| Champ (`events.*`) | Description | Complétude | Exemple réel |46|---|---|---|---|47| `title` — Titre | titre de l'événement | 100 % | Marché fermier Laurier |48| `description` — Description | texte descriptif (source ou fiche détail) | 100 % | Chaque année, Le Plateau vous propose des march��s publics de quartier pour vous procurer des al… |49| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://montreal.ca/evenements/marche-fermier-laurier-110385 |50| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["marche-foire"] |51| `venue` — Salle (venue) | nom du lieu | 4 % | Place du Coteau-Saint-Louis (sortie nord du métro Laurier) |52| `address` — Adresse | adresse civique | 4 % | 465 avenue Laurier est |53| `city` — Ville | municipalité | 100 % | Montréal |54| `region` — Région | région administrative | 100 % | Montréal |55| `lat` — GPS (lat/lng) | coordonnées géographiques | 99 % | 45.52801, -73.58902 |56| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-08-27 |57| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-08-27 |58| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 99 % | 15:00 |59| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 99 % | 19:00 |60| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |61| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 100 % | 1 |62| `price_min` — Prix min | tarif minimal réel ($) | 0 % | ∅ |63| `price_label` — Libellé prix | étiquette tarifaire affichable | 100 % | Gratuit — Entrée libre |64| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |65| `organizer` — Organisateur | promoteur / organisme | 100 % | Ville de Montréal — Le Plateau-Mont-Royal |66| `image` — Image | visuel (og:image ou média source) | 100 % | https://res.cloudinary.com/villemontreal/image/upload/w_1200,h_630,c_fill/f_auto,dpr_auto,q_auto… |67| `website` — Site web | site officiel de l'événement | 0 % | ∅ |6869## Fréquence & budgets7071- **Cadence** : horaire (watcher PM2)72- **Budgets / plafonds (variables d'environnement)** :7374| Variable | Défaut | Rôle |75|---|---|---|76| `MTL_IMG_MAX` | `600` | — |77- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).7879## Volumétrie & complétude live8081*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*8283- **Événements en base** : 6542 (dont **3691 actifs**)84- **GPS** : 3655/3691 actifs (99 %)85- **Prix** : 3691/3691 actifs (100 %)86- **Heure (start_time)** : 3672/3691 actifs (99 %)87- **Heure de fin** : 3672/3691 actifs (99 %)88- **Statut (annulé/reporté/complet)** : 0/3691 actifs (0 %)89- **Artistes** : 0/3691 actifs (0 %)90- **Image** : 3691/3691 actifs (100 %)91- **Salle (venue)** : 146/3691 actifs (4 %)92- **Dernier sync** : 2026-08-25 18:05 — fetched 5995, +0 ajoutés, ~0 mis à jour, -0 retirés93- **Syncs enregistrés** (sync_log) : 1799495## Erreurs & dépannage9697Erreurs relevées dans `sync_log` :9899| Erreur | Occurrences | Dernière fois |100|---|---|---|101| 503 Server Error: Service Unavailable for url: https://donnees.montreal.ca/api/3/action/datastor… | 1 | 2026-08-22 02:31 |102| 403 Client Error: Forbidden for url: https://donnees.montreal.ca/api/3/action/datastore_search?r… | 1 | 2026-08-17 15:45 |103104- Le WAF de donnees.montreal.ca renvoie **403** à tout User-Agent contenant « bot » — le UA `SortiKa/1.0 (+URL; courriel)` est volontairement sans ce mot. Un 403 ponctuel est en général transitoire (WAF) ; vérifier le UA avant tout.105- Rejouer un sync isolé : `python3 run.py sync --source montreal` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='montreal' ORDER BY ts DESC LIMIT 5;"`106107## Licence / attribution108109- Licence CC BY 4.0 (donnees.montreal.ca) — attribution : Ville de Montréal110111**Mention requise (CC BY 4.0)** : « Contient des données de la **Ville de Montréal**, sous licence CC BY 4.0 (donnees.montreal.ca). » L'attribution doit accompagner toute réutilisation publique des événements de cette source.112113## Historique114115- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.116- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).117- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».118119Commits touchant `sortika/connectors/montreal.py` :120121- `85714fd` 2026-08-19 Phase 2 — connecteurs : heure+description La Vitrine, statuts, end_time, offres, taxonomies122- `65d2d33` 2026-08-18 Vague 2 d'enrichissement : heure précise, artistes, 3 nouveaux connecteurs123- `7d9d1b0` 2026-08-18 Enrichissement des connecteurs + géocodage des salles124- `9164456` 2026-08-17 Sorti·Ka v1 — agrégateur de sorties & événements du Québec125