SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
8.9 KB

# Ville de Montréal — Événements publics (montreal)

Fiche générée le 2026-08-25 19:01 EDT par scripts/gen_connector_docs.py — ne pas éditer à la main, relancer le script.

Statut : actif · Type : donnees-ouvertes · Connecteur : sortika/connectors/montreal.py

# Description

  • Source : Ville de Montréal — Événements publics
  • Couverture : Événements municipaux, île de Montréal
  • Extraction : API CKAN datastore_search (JSON, paginée) — venue = emplacement (si vrai nom de lieu) ou titre_adresse ; address = adresse_principale + adresse_secondaire ; le jeu de données ne publie pas l'heure → heure locale captée dans le JSON-LD des fiches montreal.ca (« startDate »:"…T19:30:00-04:00") lors de l'enrichissement og:image incrémental (cache, plafond MTL_IMG_MAX/sync). MAJ 2026-08-25 : plafond MTL_IMG_MAX doublé (600/sync), collecte complète puis priorisation jamais-visités/date proche — convergence atteinte : image 100 % et heure 99 % des événements à venir

# Accès

  • Type : donnees-ouvertes
  • Endpoint (API) : https://donnees.montreal.ca/api/3/action/datastore_search
  • Auth : Aucune (accès public, identification honnête par User-Agent)
  • Pagination : offset/limit
  • Backend : GET direct requests (throttlé, UA SortiKa/1.0 identifié)
  • Throttle : 0.4 s entre requêtes
  • Accès légal : Licence CC BY 4.0 (donnees.montreal.ca) — attribution : Ville de Montréal
En-tête documentaire du connecteur

connectors/montreal.py : connecteur Ville de Montréal — événements publics Source : donnees.montreal.ca, jeu « Événements publics » (montreal.ca) Extraction: API CKAN datastore_search (JSON, paginée) — données ouvertes, Licence CC BY 4.0. Aucune restriction de scraping. Couverture: ~5 600 événements municipaux (culture, conseils, famille, sport, marchés) avec dates, coût, arrondissement, lat/lng. Images : absentes du jeu de données → enrichissement incrémental par og:image des fiches montreal.ca (cache disque, plafonné par sync via MTL_IMG_MAX, défaut 600 — doublé 2026-08-25 pour un rattrapage plus rapide ; candidats collectés en entier PUIS triés — jamais visités d'abord, ensuite par date de début la plus proche — avant d'appliquer le plafond). https://donnees.montreal.ca/dataset/evenements-publics

# Champs récupérés → schéma

Complétude mesurée sur les 3691 événements actifs de la source ; exemples tirés d'un événement réel (montreal:marche-fermier-laurier-110385).

Champ (events.*) Description Complétude Exemple réel
title — Titre titre de l'événement 100 % Marché fermier Laurier
description — Description texte descriptif (source ou fiche détail) 100 % Chaque année, Le Plateau vous propose des march��s publics de quartier pour vous procurer des al…
url — URL lien vers la fiche originale / billetterie 100 % https://montreal.ca/evenements/marche-fermier-laurier-110385
categories — Catégories taxonomie canonique Sorti-Ka (JSON) 100 % ["marche-foire"]
venue — Salle (venue) nom du lieu 4 % Place du Coteau-Saint-Louis (sortie nord du métro Laurier)
address — Adresse adresse civique 4 % 465 avenue Laurier est
city — Ville municipalité 100 % Montréal
region — Région région administrative 100 % Montréal
lat — GPS (lat/lng) coordonnées géographiques 99 % 45.52801, -73.58902
start_date — Date début date locale AAAA-MM-JJ 100 % 2026-08-27
end_date — Date fin date locale AAAA-MM-JJ 100 % 2026-08-27
start_time — Heure (start_time) heure locale HH:MM (Québec) 99 % 15:00
end_time — Heure de fin (end_time) heure locale HH:MM (Québec) 99 % 19:00
status — Statut cancelled / postponed / soldout (NULL = prévu) 0 % ∅
is_free — Gratuité (is_free) 1 gratuit / 0 payant / NULL inconnu 100 % 1
price_min — Prix min tarif minimal réel ($) 0 % ∅
price_label — Libellé prix étiquette tarifaire affichable 100 % Gratuit — Entrée libre
artists — Artistes têtes d'affiche / lineup (JSON) 0 % []
organizer — Organisateur promoteur / organisme 100 % Ville de Montréal — Le Plateau-Mont-Royal
image — Image visuel (og:image ou média source) 100 % https://res.cloudinary.com/villemontreal/image/upload/w_1200,h_630,c_fill/f_auto,dpr_auto,q_auto…
website — Site web site officiel de l'événement 0 % ∅

# Fréquence & budgets

  • Cadence : horaire (watcher PM2)
  • Budgets / plafonds (variables d'environnement) :
Variable Défaut Rôle
MTL_IMG_MAX 600 —
  • Budget global : géocodage Nominatim plafonné à SORTIKA_GEOCODE_MAX (défaut 120) requêtes réseau/cycle, toutes sources confondues (sortika/geocode.py, cache disque).

# Volumétrie & complétude live

(mesuré le 2026-08-25 19:01 EDT dans data/sortika.db)

  • Événements en base : 6542 (dont 3691 actifs)
  • GPS : 3655/3691 actifs (99 %)
  • Prix : 3691/3691 actifs (100 %)
  • Heure (start_time) : 3672/3691 actifs (99 %)
  • Heure de fin : 3672/3691 actifs (99 %)
  • Statut (annulé/reporté/complet) : 0/3691 actifs (0 %)
  • Artistes : 0/3691 actifs (0 %)
  • Image : 3691/3691 actifs (100 %)
  • Salle (venue) : 146/3691 actifs (4 %)
  • Dernier sync : 2026-08-25 18:05 — fetched 5995, +0 ajoutés, ~0 mis à jour, -0 retirés
  • Syncs enregistrés (sync_log) : 179

# Erreurs & dépannage

Erreurs relevées dans sync_log :

Erreur Occurrences Dernière fois
503 Server Error: Service Unavailable for url: https://donnees.montreal.ca/api/3/action/datastor… 1 2026-08-22 02:31
403 Client Error: Forbidden for url: https://donnees.montreal.ca/api/3/action/datastore_search?r… 1 2026-08-17 15:45
  • Le WAF de donnees.montreal.ca renvoie 403 à tout User-Agent contenant « bot » — le UA SortiKa/1.0 (+URL; courriel) est volontairement sans ce mot. Un 403 ponctuel est en général transitoire (WAF) ; vérifier le UA avant tout.
  • Rejouer un sync isolé : python3 run.py sync --source montreal (ou via le watcher PM2) ; inspecter ensuite sync_log : sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='montreal' ORDER BY ts DESC LIMIT 5;"

# Licence / attribution

Mention requise (CC BY 4.0) : « Contient des données de la Ville de Montréal, sous licence CC BY 4.0 (donnees.montreal.ca). » L'attribution doit accompagner toute réutilisation publique des événements de cette source.

# Historique

  • 2026-08-18 — Vague 1 d'enrichissement (commit 7d9d1b0) : géocodage Nominatim des salles (sortika/geocode.py, cache disque, plafond SORTIKA_GEOCODE_MAX), fiches détail lepointdevente (description, heure, tarifs réels /plugins/rates/<id>), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.
  • 2026-08-18 — Vague 2 d'enrichissement (commit 65d2d33) : colonnes additives events.start_time (HH:MM locale QC) et events.artists (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).
  • 2026-08-19 — Phase 2 (travail de moine) : colonnes additives end_time, status (annulé/reporté/complet) et quarantine (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».

Commits touchant sortika/connectors/montreal.py :

  • 85714fd 2026-08-19 Phase 2 — connecteurs : heure+description La Vitrine, statuts, end_time, offres, taxonomies
  • 65d2d33 2026-08-18 Vague 2 d'enrichissement : heure précise, artistes, 3 nouveaux connecteurs
  • 7d9d1b0 2026-08-18 Enrichissement des connecteurs + géocodage des salles
  • 9164456 2026-08-17 Sorti·Ka v1 — agrégateur de sorties & événements du Québec