SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
7.2 KB · 111 lines markdown
Rendered Raw Blame History
1# Ville de Drummondville — Calendrier des événements (`drummondville`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `municipal` · Connecteur : `sortika/connectors/drummondville.py`67## Description89- **Source** : [Ville de Drummondville — Calendrier des événements](https://www.drummondville.ca/culture-loisirs-et-sports/calendrier-des-evenements/)10- **Couverture** : Drummondville (Centre-du-Québec)11- **Extraction** : HTML serveur Toolset (?wpv_view_count extrait du formulaire + wpv_paged) + fiches (lieu, coût) en cache incrémental (DRU_FICHES=40)1213## Accès1415- **Type** : municipal16- **Endpoint** (`LIST_URL`) : `https://www.drummondville.ca/culture-loisirs-et-sports/calendrier-des-evenements/`17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : par numéro de page19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.8 s entre requêtes21- **Accès légal** : site municipal public, robots.txt permissif (wp-admin seulement)2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/drummondville.py : connecteur Ville de Drummondville — calendrier26> Source    : https://www.drummondville.ca/culture-loisirs-et-sports/27> calendrier-des-evenements/ (WordPress + Toolset Views).28> Extraction: la vue Toolset se pagine CÔTÉ SERVEUR par ?wpv_paged=N29> (vérifié 2026-08-25) → cartes HTML (10/page) : plage de dates30> FR, heure texte (« 19 h » / « Horaire variable »), catégorie,31> titre, url fiche, image. Enrichissement par fiche32> /evenement/<slug>/ (lieu « event-place », coût « Gratuit »)33> — CACHE INCRÉMENTAL disque, plafond DRU_FICHES par sync.34> Accès     : site municipal public, robots.txt permissif (wp-admin35> seulement). GET directs throttlés, identification honnête.36> Prix      : la fiche publie le coût (souvent « Gratuit ») → price_label37> fidèle, jamais inventé.3839</details>4041## Champs récupérés → schéma4243Complétude mesurée sur les **117 événements actifs** de la source ; exemples tirés d'un événement réel (`drummondville:open-mic-parlez-moi-de-vous-parc-mgr-adolphe-demers-2026-08-28`).4445| Champ (`events.*`) | Description | Complétude | Exemple réel |46|---|---|---|---|47| `title` — Titre | titre de l'événement | 100 % | Open Mic : Parlez-moi de vous! \| Parc Mgr-Adolphe-Demers |48| `description` — Description | texte descriptif (source ou fiche détail) | 0 % | ∅ |49| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.drummondville.ca/evenement/open-mic-parlez-moi-de-vous-parc-mgr-adolphe-demers/ |50| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["communautaire"] |51| `venue` — Salle (venue) | nom du lieu | 50 % | Parc Mgr-Adolphe-Demers |52| `address` — Adresse | adresse civique | 0 % | ∅ |53| `city` — Ville | municipalité | 100 % | Drummondville |54| `region` — Région | région administrative | 100 % | Centre-du-Québec |55| `lat` — GPS (lat/lng) | coordonnées géographiques | 3 % | 45.8754175, -72.4883908 |56| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-08-28 |57| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-08-28 |58| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 91 % | 18:30 |59| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 0 % | ∅ |60| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |61| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 50 % | 1 |62| `price_min` — Prix min | tarif minimal réel ($) | 0 % | ∅ |63| `price_label` — Libellé prix | étiquette tarifaire affichable | 50 % | Gratuit |64| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |65| `organizer` — Organisateur | promoteur / organisme | 100 % | Ville de Drummondville |66| `image` — Image | visuel (og:image ou média source) | 100 % | https://www.drummondville.ca/wp-content/uploads/2026/05/cheerful-woman-speaking-microphone-works… |67| `website` — Site web | site officiel de l'événement | 0 % | ∅ |6869## Fréquence & budgets7071- **Cadence** : quotidien72- **Budgets / plafonds (variables d'environnement)** :7374| Variable | Défaut | Rôle |75|---|---|---|76| `DRU_PAGES` | `12` | — |77| `DRU_FICHES` | `40` | — |78- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).7980## Volumétrie & complétude live8182*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*8384- **Événements en base** : 117 (dont **117 actifs**)85- **GPS** : 3/117 actifs (3 %)86- **Prix** : 58/117 actifs (50 %)87- **Heure (start_time)** : 107/117 actifs (91 %)88- **Heure de fin** : 0/117 actifs (0 %)89- **Statut (annulé/reporté/complet)** : 0/117 actifs (0 %)90- **Artistes** : 0/117 actifs (0 %)91- **Image** : 117/117 actifs (100 %)92- **Salle (venue)** : 58/117 actifs (50 %)93- **Dernier sync** : 2026-08-25 18:34 — fetched 117, +117 ajoutés, ~0 mis à jour, -0 retirés94- **Syncs enregistrés** (sync_log) : 19596## Erreurs & dépannage9798Aucune erreur dans `sync_log` pour cette source. ✅99100- Rejouer un sync isolé : `python3 run.py sync --source drummondville` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='drummondville' ORDER BY ts DESC LIMIT 5;"`101102## Licence / attribution103104- site municipal public, robots.txt permissif (wp-admin seulement)105106## Historique107108- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.109- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).110- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».111