spb/sorti-ka

1# Atuvu.ca — calendrier culturel (`atuvu`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `agregateur` · Connecteur : `sortika/connectors/atuvu.py`67## Description89- **Source** : [Atuvu.ca — calendrier culturel](https://atuvu.ca/)10- **Couverture** : Sorties culturelles, Grand Montréal11- **Extraction** : sitemaps XML publics + fiches HTML en GET direct (repli Scrapfly seulement sur défi Cloudflare) — cache versionné v2 : heure précise (92 % des fiches v2), tarifs après mise en vente (46 %), séances multiples le même jour suffixées -HHMM ; re-visite roulante 14 j des fiches à venir, plafond ATUVU_MAX_FETCH/sync1213## Accès1415- **Type** : agregateur16- **Endpoint** (`SITEMAP_INDEX`) : `https://atuvu.ca/atuvu_sitemap_index.xml`17- **Auth** : Aucune côté source ; `SCRAPFLY_API_KEY` requis pour le backend Scrapfly18- **Pagination** : parcours de sitemap XML19- **Backend** : Scrapfly (anti-bot / rendu JS) via `base.get_scrapfly()`20- **Throttle** : 1.0 s entre requêtes21- **Accès légal** : robots.txt : Allow / + sitemap public2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/atuvu.py : connecteur Atuvu.ca — calendrier culturel (Grand Montréal +)26> Source    : atuvu.ca (théâtre, musique, humour, danse, expositions…)27> Extraction: GET direct d'abord (vérifié 200 depuis le nœud de prod,28> 2026-08-25 ; escalade anti-bot auto du BaseConnector), repli29> SCRAPFLY si défi Cloudflare — sitemaps XML publics30> (evenements_N_2000.xml, lastmod par fiche) puis pages fiche31> (h1, blocs .event-play : date FR + HEURE, salle, ville, prix).32> INCRÉMENTAL avec cache disque (data/atuvu_cache.json), version33> de parse « v » (patron lavitrine) : fiches nouvelles/modifiées34> d'abord, backfill v<2 (rows figés sans heure/prix par un35> parseur antérieur — constaté 2026-08-25), puis re-visite36> roulante 14 j des fiches à venir (les tarifs apparaissent37> souvent APRÈS la mise en vente, sans bump de lastmod),38> plafonné à ATUVU_MAX_FETCH pages/sync.39> Accès     : robots.txt « User-Agent: * / Allow: / » + sitemap public.40> Prix      : bloc .price-reg de la fiche (prix régulier) → price_min ;41> « Invitation gratuite » = offre membre, PAS gratuité → ignorée.42> Séances   : 2 représentations le même jour = 2 événements (suffixe -HHMM43> dès la 2ᵉ séance du jour ; la 1ʳᵉ garde l'id historique).4445</details>4647## Champs récupérés → schéma4849Complétude mesurée sur les **227 événements actifs** de la source ; exemples tirés d'un événement réel (`atuvu:requiem-de-mozart-2026-11-07`).5051| Champ (`events.*`) | Description | Complétude | Exemple réel |52|---|---|---|---|53| `title` — Titre | titre de l'événement | 100 % | Requiem de Mozart |54| `description` — Description | texte descriptif (source ou fiche détail) | 0 % | ∅ |55| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://atuvu.ca/billets-spectacle/requiem-de-mozart |56| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["musique", "cinema"] |57| `venue` — Salle (venue) | nom du lieu | 100 % | Basilique Notre-Dame de Montréal |58| `address` — Adresse | adresse civique | 0 % | ∅ |59| `city` — Ville | municipalité | 98 % | Montréal |60| `region` — Région | région administrative | 96 % | Montréal |61| `lat` — GPS (lat/lng) | coordonnées géographiques | 82 % | 45.5044365, -73.5559901 |62| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-11-07 |63| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-11-07 |64| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 56 % | 14:00 |65| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 0 % | ∅ |66| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |67| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 19 % | 0 |68| `price_min` — Prix min | tarif minimal réel ($) | 22 % | 54.58 |69| `price_label` — Libellé prix | étiquette tarifaire affichable | 19 % | 54.58 $ (prix régulier atuvu.ca) |70| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |71| `organizer` — Organisateur | promoteur / organisme | 0 % | ∅ |72| `image` — Image | visuel (og:image ou média source) | 100 % | https://atuvu.ca/uploads/images/2026/08/requiem-mozart.jpg |73| `website` — Site web | site officiel de l'événement | 0 % | ∅ |7475## Fréquence & budgets7677- **Cadence** : horaire (watcher PM2, incrémental)78- **Budgets / plafonds (variables d'environnement)** :7980| Variable | Défaut | Rôle |81|---|---|---|82| `ATUVU_MAX_FETCH` | `120` | fiches/sync (coût Scrapfly) |83- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8485## Volumétrie & complétude live8687*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*8889- **Événements en base** : 273 (dont **227 actifs**)90- **GPS** : 187/227 actifs (82 %)91- **Prix** : 49/227 actifs (22 %)92- **Heure (start_time)** : 127/227 actifs (56 %)93- **Heure de fin** : 0/227 actifs (0 %)94- **Statut (annulé/reporté/complet)** : 0/227 actifs (0 %)95- **Artistes** : 0/227 actifs (0 %)96- **Image** : 227/227 actifs (100 %)97- **Salle (venue)** : 227/227 actifs (100 %)98- **Dernier sync** : 2026-08-25 17:59 — fetched 274, +3 ajoutés, ~12 mis à jour, -0 retirés99- **Syncs enregistrés** (sync_log) : 175100101## Erreurs & dépannage102103Aucune erreur dans `sync_log` pour cette source. ✅104105- Source derrière anti-bot/JS lourd → backend **Scrapfly** requis : vérifier `SCRAPFLY_API_KEY` dans `.env` et le solde de crédits Scrapfly si le connecteur ne rapporte plus rien.106- Rejouer un sync isolé : `python3 run.py sync --source atuvu` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='atuvu' ORDER BY ts DESC LIMIT 5;"`107108## Licence / attribution109110- robots.txt : Allow / + sitemap public111112## Historique113114- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.115- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).116- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».117118Commits touchant `sortika/connectors/atuvu.py` :119120- `85714fd` 2026-08-19 Phase 2 — connecteurs : heure+description La Vitrine, statuts, end_time, offres, taxonomies121- `65d2d33` 2026-08-18 Vague 2 d'enrichissement : heure précise, artistes, 3 nouveaux connecteurs122- `9164456` 2026-08-17 Sorti·Ka v1 — agrégateur de sorties & événements du Québec123