SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
7.9 KB

# Tourisme Laurentides — calendrier des événements (ATR) (laurentides)

Fiche générée le 2026-08-25 19:01 EDT par scripts/gen_connector_docs.py — ne pas éditer à la main, relancer le script.

Statut : actif · Type : tourisme-regional · Connecteur : sortika/connectors/laurentides.py

# Description

  • Source : Tourisme Laurentides — calendrier des événements (ATR)
  • Couverture : Laurentides
  • Extraction : API REST /wp-json/wp/v2/mec-events (~228 fiches : titre, description, image) via auto-escalade anti-bot (WAF 403 → Scrapfly ASP) ; dates+heures réelles, tarif, salle et adresse via fiches détail MEC incrémentales pilotées par « modified » (cache, LAU_FICHE_MAX=10/sync). RÉHABILITÉE 2026-08-25 (écartée Phase 3 pour WAF)

# Accès

  • Type : tourisme-regional
  • Endpoint (BASE) : https://www.laurentides.com
  • Auth : Aucune côté source ; SCRAPFLY_API_KEY requis pour le backend Scrapfly
  • Pagination : par numéro de page, per_page
  • Backend : Scrapfly (anti-bot / rendu JS) via base.get_scrapfly()
  • Throttle : 1.0 s entre requêtes
  • Accès légal : API REST publique ; WAF contourné par proxy/Scrapfly avec requêtes throttlées et plafonnées — UA honnête, lien vers la fiche originale
En-tête documentaire du connecteur

connectors/laurentides.py : Tourisme Laurentides (ATR) — RÉHABILITÉE (vague ATR 2026-08 ; écartée Phase 3 pour WAF 403 : la chaîne anti-bot passe) Source : laurentides.com/evenements — calendrier officiel de l'ATR (WordPress + Modern Events Calendar « mec-events »). Extraction: API REST WordPress /wp-json/wp/v2/mec-events (paginée per_page=100, ~228 fiches, X-WP-TotalPages vérifié 2026-08-25) via BaseConnector.get() dont l'AUTO-ESCALADE anti-bot (Oxylabs → Scrapfly ASP → Bright Data) perce le WAF qui bloque le GET direct (403). La liste donne titre, description (content), image (_embedded featuredmedia), lien, modified. MEC n'expose PAS les dates en REST → fiches détail incrémentales (cache data/laurentides_cache.json, plafond LAU_FICHE_MAX/sync, re-visite si modified change) : dates (mec-start/end-date-label « Déc 05 2026 »), tarif (mec-events-event-cost), lieu + adresse (mec-single-event-location). Accès : API REST publique (aucune auth) ; le WAF de l'hébergeur bloque les UA non-navigateur → escalade proxy/Scrapfly, requêtes throttlées et plafonnées (coût par requête), lien vers la fiche originale. Prix : texte source, jamais inventé.

# Champs récupérés → schéma

Complétude mesurée sur les 228 événements actifs de la source ; exemples tirés d'un événement réel (laurentides:86265).

Champ (events.*) Description Complétude Exemple réel
title — Titre titre de l'événement 100 % Marché de Noël du Lac-Supérieur
description — Description texte descriptif (source ou fiche détail) 100 % Plongez dans l’ambiance féérique du temps des Fêtes lors du Marché de Noël de Lac-Supérieur, qui…
url — URL lien vers la fiche originale / billetterie 100 % https://www.laurentides.com/evenement/marche-de-noel-du-lac-superieur/
categories — Catégories taxonomie canonique Sorti-Ka (JSON) 100 % ["marche-foire"]
venue — Salle (venue) nom du lieu 5 % Hôtel de ville à Lac-Supérieur
address — Adresse adresse civique 5 % 1281 Chemin du Lac-Supérieur, Lac-Supérieur, QC, J0T 1J0
city — Ville municipalité 2 % Lac-Supérieur
region — Région région administrative 100 % Laurentides
lat — GPS (lat/lng) coordonnées géographiques 2 % 46.1637638, -74.4703258
start_date — Date début date locale AAAA-MM-JJ 5 % 2026-12-05
end_date — Date fin date locale AAAA-MM-JJ 5 % 2026-12-05
start_time — Heure (start_time) heure locale HH:MM (Québec) 5 % 10:00
end_time — Heure de fin (end_time) heure locale HH:MM (Québec) 5 % 16:00
status — Statut cancelled / postponed / soldout (NULL = prévu) 0 % ∅
is_free — Gratuité (is_free) 1 gratuit / 0 payant / NULL inconnu 4 % 1
price_min — Prix min tarif minimal réel ($) 1 % ∅
price_label — Libellé prix étiquette tarifaire affichable 4 % Gratuite
artists — Artistes têtes d'affiche / lineup (JSON) 0 % []
organizer — Organisateur promoteur / organisme 0 % ∅
image — Image visuel (og:image ou média source) 92 % https://www.laurentides.com/wp-content/uploads/2026/08/marchenoellacsuperieur-e1787503165656.jpg
website — Site web site officiel de l'événement 0 % ∅

# Fréquence & budgets

  • Cadence : quotidienne (backfill des fiches ~3 semaines, puis incrémental)
  • Budgets / plafonds (variables d'environnement) :
Variable Défaut Rôle
LAU_PAGE_MAX 6 —
LAU_FICHE_MAX 10 —
  • Budget global : géocodage Nominatim plafonné à SORTIKA_GEOCODE_MAX (défaut 120) requêtes réseau/cycle, toutes sources confondues (sortika/geocode.py, cache disque).

# Volumétrie & complétude live

(mesuré le 2026-08-25 19:01 EDT dans data/sortika.db)

  • Événements en base : 228 (dont 228 actifs)
  • GPS : 4/228 actifs (2 %)
  • Prix : 9/228 actifs (4 %)
  • Heure (start_time) : 11/228 actifs (5 %)
  • Heure de fin : 11/228 actifs (5 %)
  • Statut (annulé/reporté/complet) : 0/228 actifs (0 %)
  • Artistes : 0/228 actifs (0 %)
  • Image : 210/228 actifs (92 %)
  • Salle (venue) : 12/228 actifs (5 %)
  • Dernier sync : 2026-08-25 18:46 — fetched 228, +228 ajoutés, ~0 mis à jour, -0 retirés
  • Syncs enregistrés (sync_log) : 1

# Erreurs & dépannage

Aucune erreur dans sync_log pour cette source. ✅

  • Rejouer un sync isolé : python3 run.py sync --source laurentides (ou via le watcher PM2) ; inspecter ensuite sync_log : sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='laurentides' ORDER BY ts DESC LIMIT 5;"

# Licence / attribution

  • API REST publique ; WAF contourné par proxy/Scrapfly avec requêtes throttlées et plafonnées — UA honnête, lien vers la fiche originale

# Historique

  • 2026-08-18 — Vague 1 d'enrichissement (commit 7d9d1b0) : géocodage Nominatim des salles (sortika/geocode.py, cache disque, plafond SORTIKA_GEOCODE_MAX), fiches détail lepointdevente (description, heure, tarifs réels /plugins/rates/<id>), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.
  • 2026-08-18 — Vague 2 d'enrichissement (commit 65d2d33) : colonnes additives events.start_time (HH:MM locale QC) et events.artists (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).
  • 2026-08-19 — Phase 2 (travail de moine) : colonnes additives end_time, status (annulé/reporté/complet) et quarantine (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».