SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
7.9 KB · 118 lines markdown
Rendered Raw Blame History
1# Tourisme Laurentides — calendrier des événements (ATR) (`laurentides`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `tourisme-regional` · Connecteur : `sortika/connectors/laurentides.py`67## Description89- **Source** : [Tourisme Laurentides — calendrier des événements (ATR)](https://www.laurentides.com/evenements/)10- **Couverture** : Laurentides11- **Extraction** : API REST /wp-json/wp/v2/mec-events (~228 fiches : titre, description, image) via auto-escalade anti-bot (WAF 403 → Scrapfly ASP) ; dates+heures réelles, tarif, salle et adresse via fiches détail MEC incrémentales pilotées par « modified » (cache, LAU_FICHE_MAX=10/sync). RÉHABILITÉE 2026-08-25 (écartée Phase 3 pour WAF)1213## Accès1415- **Type** : tourisme-regional16- **Endpoint** (`BASE`) : `https://www.laurentides.com`17- **Auth** : Aucune côté source ; `SCRAPFLY_API_KEY` requis pour le backend Scrapfly18- **Pagination** : par numéro de page, per_page19- **Backend** : Scrapfly (anti-bot / rendu JS) via `base.get_scrapfly()`20- **Throttle** : 1.0 s entre requêtes21- **Accès légal** : API REST publique ; WAF contourné par proxy/Scrapfly avec requêtes throttlées et plafonnées — UA honnête, lien vers la fiche originale2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/laurentides.py : Tourisme Laurentides (ATR) — RÉHABILITÉE (vague26> ATR 2026-08 ; écartée Phase 3 pour WAF 403 : la chaîne anti-bot passe)27> Source    : laurentides.com/evenements — calendrier officiel de l'ATR28> (WordPress + Modern Events Calendar « mec-events »).29> Extraction: API REST WordPress /wp-json/wp/v2/mec-events (paginée30> per_page=100, ~228 fiches, X-WP-TotalPages vérifié 2026-08-25)31> via BaseConnector.get() dont l'AUTO-ESCALADE anti-bot32> (Oxylabs → Scrapfly ASP → Bright Data) perce le WAF qui bloque33> le GET direct (403). La liste donne titre, description34> (content), image (_embedded featuredmedia), lien, modified.35> MEC n'expose PAS les dates en REST → fiches détail36> incrémentales (cache data/laurentides_cache.json, plafond37> LAU_FICHE_MAX/sync, re-visite si `modified` change) : dates38> (mec-start/end-date-label « Déc 05 2026 »), tarif39> (mec-events-event-cost), lieu + adresse40> (mec-single-event-location).41> Accès     : API REST publique (aucune auth) ; le WAF de l'hébergeur42> bloque les UA non-navigateur → escalade proxy/Scrapfly,43> requêtes throttlées et plafonnées (coût par requête), lien44> vers la fiche originale. Prix : texte source, jamais inventé.4546</details>4748## Champs récupérés → schéma4950Complétude mesurée sur les **228 événements actifs** de la source ; exemples tirés d'un événement réel (`laurentides:86265`).5152| Champ (`events.*`) | Description | Complétude | Exemple réel |53|---|---|---|---|54| `title` — Titre | titre de l'événement | 100 % | Marché de Noël du Lac-Supérieur |55| `description` — Description | texte descriptif (source ou fiche détail) | 100 % | Plongez dans l’ambiance féérique du temps des Fêtes lors du Marché de Noël de Lac-Supérieur, qui… |56| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.laurentides.com/evenement/marche-de-noel-du-lac-superieur/ |57| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["marche-foire"] |58| `venue` — Salle (venue) | nom du lieu | 5 % | Hôtel de ville à Lac-Supérieur |59| `address` — Adresse | adresse civique | 5 % | 1281 Chemin du Lac-Supérieur, Lac-Supérieur, QC, J0T 1J0 |60| `city` — Ville | municipalité | 2 % | Lac-Supérieur |61| `region` — Région | région administrative | 100 % | Laurentides |62| `lat` — GPS (lat/lng) | coordonnées géographiques | 2 % | 46.1637638, -74.4703258 |63| `start_date` — Date début | date locale AAAA-MM-JJ | 5 % | 2026-12-05 |64| `end_date` — Date fin | date locale AAAA-MM-JJ | 5 % | 2026-12-05 |65| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 5 % | 10:00 |66| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 5 % | 16:00 |67| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |68| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 4 % | 1 |69| `price_min` — Prix min | tarif minimal réel ($) | 1 % | ∅ |70| `price_label` — Libellé prix | étiquette tarifaire affichable | 4 % | Gratuite |71| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |72| `organizer` — Organisateur | promoteur / organisme | 0 % | ∅ |73| `image` — Image | visuel (og:image ou média source) | 92 % | https://www.laurentides.com/wp-content/uploads/2026/08/marchenoellacsuperieur-e1787503165656.jpg |74| `website` — Site web | site officiel de l'événement | 0 % | ∅ |7576## Fréquence & budgets7778- **Cadence** : quotidienne (backfill des fiches ~3 semaines, puis incrémental)79- **Budgets / plafonds (variables d'environnement)** :8081| Variable | Défaut | Rôle |82|---|---|---|83| `LAU_PAGE_MAX` | `6` | — |84| `LAU_FICHE_MAX` | `10` | — |85- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8687## Volumétrie & complétude live8889*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*9091- **Événements en base** : 228 (dont **228 actifs**)92- **GPS** : 4/228 actifs (2 %)93- **Prix** : 9/228 actifs (4 %)94- **Heure (start_time)** : 11/228 actifs (5 %)95- **Heure de fin** : 11/228 actifs (5 %)96- **Statut (annulé/reporté/complet)** : 0/228 actifs (0 %)97- **Artistes** : 0/228 actifs (0 %)98- **Image** : 210/228 actifs (92 %)99- **Salle (venue)** : 12/228 actifs (5 %)100- **Dernier sync** : 2026-08-25 18:46 — fetched 228, +228 ajoutés, ~0 mis à jour, -0 retirés101- **Syncs enregistrés** (sync_log) : 1102103## Erreurs & dépannage104105Aucune erreur dans `sync_log` pour cette source. ✅106107- Rejouer un sync isolé : `python3 run.py sync --source laurentides` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='laurentides' ORDER BY ts DESC LIMIT 5;"`108109## Licence / attribution110111- API REST publique ; WAF contourné par proxy/Scrapfly avec requêtes throttlées et plafonnées — UA honnête, lien vers la fiche originale112113## Historique114115- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.116- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).117- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».118