SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
9.6 KB

# Ticketmaster — Discovery API (Québec) (ticketmaster)

Fiche générée le 2026-08-25 19:01 EDT par scripts/gen_connector_docs.py — ne pas éditer à la main, relancer le script.

Statut : actif · Type : billetterie · Connecteur : sortika/connectors/ticketmaster.py

# Description

  • Source : Ticketmaster — Discovery API (Québec)
  • Couverture : Grands spectacles, sports et concerts — Montréal/Laval/Brossard, Québec, Gatineau
  • Extraction : SANS clé (mode par défaut) : scraping léger des pages découverte publiques www.ticketmaster.ca/discover/?page=N (montreal, quebec-city, gatineau) — l'état Next.js (NEXT_DATA, requête serveur cityEvents) livre 20 événements/page : titre, date UTC + fuseau → date/heure locales, salle géolocalisée (lat/lng), adresse, code postal, ville, URL billetterie, catégorie majeure, plan de salle (image) ; plafonds TM_MAX_EVENTS=360 / TM_PAGES_PER_CITY=8 ; Scrapfly ASP sans render_js en secours anti-bot ; aucun prix publié dans ce flux → jamais inventé. REPLI AUTOMATIQUE : si TICKETMASTER_API_KEY apparaît dans .env, bascule sur la Discovery API v2 officielle (priceRanges, attractions → artistes, images 16:9) — identifiants identiques, zéro doublon.
  • Note : Fonctionne sans clé (scraping découverte). TICKETMASTER_API_KEY optionnelle : active le mode API riche (prix, artistes, images).

# Accès

  • Type : billetterie
  • Endpoint (API) : https://app.ticketmaster.com/discovery/v2/events.json
  • Endpoint (DISCOVER) : https://www.ticketmaster.ca/discover/{city}?page={page}
  • Auth : Clé API gratuite TICKETMASTER_API_KEY (developer.ticketmaster.com)
  • Pagination : par numéro de page
  • Backend : Scrapfly (anti-bot / rendu JS) via base.get_scrapfly()
  • Throttle : 1.0 s entre requêtes
  • Accès légal : pages découverte publiques rendues serveur — robots.txt n'interdit pas /discover/ (seuls /api/ismds/*) ; GET throttlés 1 s, lien direct vers la billetterie officielle ; API officielle (clé gratuite) utilisée dès qu'une clé est fournie
En-tête documentaire du connecteur

connectors/ticketmaster.py : connecteur Ticketmaster Canada (Québec) — SANS clé Mode principal (sans clé) : scraping léger des pages découverte publiques www.ticketmaster.ca/discover/?page=N (montreal, quebec-city, gatineau). Chaque page embarque son état Next.js (NEXT_DATA) : la requête serveur cityEvents y est déjà résolue avec 20 événements/page (titre, date UTC + fuseau, salle géolocalisée lat/lng, adresse, code postal, ville, URL billetterie, catégorie majeure, seatmap). Pagination par ?page=N (vérifié 2026-08-18 : montreal total=1165, quebec-city=136). Aucun prix publié dans ce flux → is_free/price_* inconnus (jamais inventés). Artistes : patrons sûrs des titres (artists_from_title). robots.txt : /discover/ non interdit (seuls /api/ismds/* le sont). Anti-bot : GET direct d'abord ; si bloqué → Scrapfly ASP SANS render_js. Plafonds : TM_MAX_EVENTS (défaut 360), TM_PAGES_PER_CITY (défaut 8). Mode repli automatique (si TICKETMASTER_API_KEY apparaît dans .env) : Discovery API officielle v2 — plus riche (priceRanges, attractions → artistes, images 16:9). Les identifiants d'événements sont IDENTIQUES dans les deux modes → aucun doublon lors d'un changement de mode.

# Champs récupérés → schéma

Complétude mesurée sur les 360 événements actifs de la source ; exemples tirés d'un événement réel (ticketmaster:31006476DB368606).

Champ (events.*) Description Complétude Exemple réel
title — Titre titre de l'événement 100 % ANNULÉ - Rock This Town
description — Description texte descriptif (source ou fiche détail) 0 %
url — URL lien vers la fiche originale / billetterie 100 % https://www.ticketmaster.ca/annule-rock-this-town-quebec-quebec-09-13-2026/event/31006476DB36860…
categories — Catégories taxonomie canonique Sorti-Ka (JSON) 100 % ["musique"]
venue — Salle (venue) nom du lieu 100 % Théâtre Capitole
address — Adresse adresse civique 100 % 972 Rue Saint-Jean
city — Ville municipalité 100 % Québec
region — Région région administrative 100 % Capitale-Nationale
lat — GPS (lat/lng) coordonnées géographiques 100 % 46.813254, -71.214215
start_date — Date début date locale AAAA-MM-JJ 100 % 2026-09-13
end_date — Date fin date locale AAAA-MM-JJ 100 % 2026-09-13
start_time — Heure (start_time) heure locale HH:MM (Québec) 97 % 20:00
end_time — Heure de fin (end_time) heure locale HH:MM (Québec) 0 %
status — Statut cancelled / postponed / soldout (NULL = prévu) 4 % cancelled
is_free — Gratuité (is_free) 1 gratuit / 0 payant / NULL inconnu 0 %
price_min — Prix min tarif minimal réel ($) 0 %
price_label — Libellé prix étiquette tarifaire affichable 0 %
artists — Artistes têtes d'affiche / lineup (JSON) 0 % []
organizer — Organisateur promoteur / organisme 0 %
image — Image visuel (og:image ou média source) 88 % https://mapsapi.tmol.io/maps/geometry/3/event/31006476DB368606/staticImage?type=png&systemId=HOS…
website — Site web site officiel de l'événement 0 %

# Fréquence & budgets

  • Cadence : horaire (watcher PM2)
  • Budgets / plafonds (variables d'environnement) :
Variable Défaut Rôle
TM_MAX_EVENTS 360
TM_PAGES_PER_CITY 8
SCRAPFLY_API_KEY
TICKETMASTER_API_KEY ``
  • Budget global : géocodage Nominatim plafonné à SORTIKA_GEOCODE_MAX (défaut 120) requêtes réseau/cycle, toutes sources confondues (sortika/geocode.py, cache disque).

# Volumétrie & complétude live

(mesuré le 2026-08-25 19:01 EDT dans data/sortika.db)

  • Événements en base : 437 (dont 360 actifs)
  • GPS : 360/360 actifs (100 %)
  • Prix : 0/360 actifs (0 %)
  • Heure (start_time) : 349/360 actifs (97 %)
  • Heure de fin : 0/360 actifs (0 %)
  • Statut (annulé/reporté/complet) : 15/360 actifs (4 %)
  • Artistes : 0/360 actifs (0 %)
  • Image : 315/360 actifs (88 %)
  • Salle (venue) : 360/360 actifs (100 %)
  • Dernier sync : 2026-08-25 18:07 — fetched 360, +0 ajoutés, ~0 mis à jour, -0 retirés
  • Syncs enregistrés (sync_log) : 160

# Erreurs & dépannage

Aucune erreur dans sync_log pour cette source. ✅

  • Sans TICKETMASTER_API_KEY dans .env, le connecteur tourne en mode REPLI (scraping des pages découverte publiques) : pas de prix, pas de statut, images = plans de salle. La clé Discovery (gratuite, inscription developer.ticketmaster.com) débloque priceRanges, dates.status.code (annulé/reporté), visuels 16:9 HD et attractions → artistes. Quota API : 5 req/s (throttle 0,25 s côté connecteur).
  • Rejouer un sync isolé : python3 run.py sync --source ticketmaster (ou via le watcher PM2) ; inspecter ensuite sync_log : sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='ticketmaster' ORDER BY ts DESC LIMIT 5;"

# Licence / attribution

  • pages découverte publiques rendues serveur — robots.txt n'interdit pas /discover/ (seuls /api/ismds/*) ; GET throttlés 1 s, lien direct vers la billetterie officielle ; API officielle (clé gratuite) utilisée dès qu'une clé est fournie

# Historique

  • 2026-08-18 — Vague 1 d'enrichissement (commit 7d9d1b0) : géocodage Nominatim des salles (sortika/geocode.py, cache disque, plafond SORTIKA_GEOCODE_MAX), fiches détail lepointdevente (description, heure, tarifs réels /plugins/rates/<id>), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.
  • 2026-08-18 — Vague 2 d'enrichissement (commit 65d2d33) : colonnes additives events.start_time (HH:MM locale QC) et events.artists (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).
  • 2026-08-19 — Phase 2 (travail de moine) : colonnes additives end_time, status (annulé/reporté/complet) et quarantine (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».

Commits touchant sortika/connectors/ticketmaster.py :

  • 85714fd 2026-08-19 Phase 2 — connecteurs : heure+description La Vitrine, statuts, end_time, offres, taxonomies
  • 86b1494 2026-08-18 Vague 3 : Ticketmaster SANS clé + Eventbrite + Longueuil + Cantons-de-l'Est
  • 65d2d33 2026-08-18 Vague 2 d'enrichissement : heure précise, artistes, 3 nouveaux connecteurs