SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
8.8 KB · 125 lines markdown
Rendered Raw Blame History
1# Le point de vente — billetterie québécoise (`lepointdevente`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `billetterie` · Connecteur : `sortika/connectors/lepointdevente.py`67## Description89- **Source** : [Le point de vente — billetterie québécoise](https://lepointdevente.com/billets)10- **Couverture** : Concerts, humour, théâtre, festivals — partout au Québec (~2 500 événements à venir)11- **Extraction** : pages de liste HTML rendues serveur (paginées), parse des cartes (titre, date FR + heure « 17 août 2026, 20h00 » → start_time, salle, ville, image) + fiches détail /billets/<id> incrémentales (cache data/lepointdevente_cache.json, 150 fiches/sync, re-visite 7 j) : description og:description, heure précise, tarifs JSON réels via /plugins/rates/<id> → price_min/price_label/is_free ; artistes extraits des titres par patrons sûrs seulement (« Artiste - Salle », « X en concert »). MAJ 2026-08-25 (fiches v2, LPDV_DETAIL_MAX=150/sync) : adresse civique en microdonnées schema.org (streetAddress + addressLocality, 84 % des fiches) → géocodage aval1213## Accès1415- **Type** : billetterie16- **Endpoint** (`BASE`) : `https://lepointdevente.com`17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : par numéro de page19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.8 s entre requêtes21- **Accès légal** : robots.txt : « User-Agent: * / Allow: * » — GET throttlés, identification honnête, lien direct vers chaque billetterie2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/lepointdevente.py : connecteur Le point de vente (lepointdevente.com)26> Source    : billetterie québécoise indépendante — concerts, humour, théâtre,27> festivals, partout au Québec (~1 500 événements à venir).28> Extraction: pages de liste HTML rendues serveur (/billets?page=N, paginé),29> parse regex des cartes (titre, date FR, salle + ville, image).30> Aucun rendu JS nécessaire.31> Accès     : robots.txt = « User-Agent: * / Allow: * » (scraping permis) ;32> GET throttlés 0,6 s, identification honnête, ~65 requêtes/sync.33> Détail    : enrichissement incrémental par fiches /billets/<id> (modèle34> lavitrine, version de parse « v ») — cache disque35> data/lepointdevente_cache.json, plafond LPDV_DETAIL_MAX36> fiches/sync (défaut 150), re-visite après 7 jours, throttle37> poli 0,8 s. Chaque fiche donne : description (og:description),38> heure précise (data-event-name), ADRESSE CIVIQUE du lieu39> (microdonnées schema.org PostalAddress : streetAddress +40> addressLocality, vérifié 2026-08-25 → géocodage aval, la41> liste ne donnait ni adresse ni GPS) et l'id interne du widget42> billetterie (data-reference) → tarifs JSON réels via43> /plugins/rates/<id> (prix TTC affichés par la billetterie44> elle-même : price_min / price_label / is_free si tous les45> tarifs sont à 0 $). Jamais de prix inventé.4647</details>4849## Champs récupérés → schéma5051Complétude mesurée sur les **1734 événements actifs** de la source ; exemples tirés d'un événement réel (`lepointdevente:tetu-levis`).5253| Champ (`events.*`) | Description | Complétude | Exemple réel |54|---|---|---|---|55| `title` — Titre | titre de l'événement | 100 % | TÊTU - En rodage |56| `description` — Description | texte descriptif (source ou fiche détail) | 87 % | Têtu – En rodageAvec son humour incisif et ses anecdotes percutantes, Biko observe le quotidien,… |57| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://lepointdevente.com/billets/tetu-levis |58| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["autre"] |59| `venue` — Salle (venue) | nom du lieu | 99 % | Vignoble Le Nordet |60| `address` — Adresse | adresse civique | 0 % | ∅ |61| `city` — Ville | municipalité | 100 % | Lévis |62| `region` — Région | région administrative | 98 % | Chaudière-Appalaches |63| `lat` — GPS (lat/lng) | coordonnées géographiques | 34 % | 46.7239469, -71.1296216 |64| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-09-27 |65| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-09-27 |66| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 94 % | 20:00 |67| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 0 % | ∅ |68| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |69| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 93 % | 0 |70| `price_min` — Prix min | tarif minimal réel ($) | 90 % | 21.95 |71| `price_label` — Libellé prix | étiquette tarifaire affichable | 93 % | Prévente 21.95 $ · Admission générale 27.22 $ |72| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 1 % | ["TÊTU"] |73| `organizer` — Organisateur | promoteur / organisme | 0 % | ∅ |74| `image` — Image | visuel (og:image ou média source) | 100 % | https://tpos.s3.amazonaws.com/events/PMR/26/07/27/001/pmr260727001-1152x648-fr-6a4d50b7.png |75| `website` — Site web | site officiel de l'événement | 0 % | ∅ |7677## Fréquence & budgets7879- **Cadence** : horaire (watcher PM2)80- **Budgets / plafonds (variables d'environnement)** :8182| Variable | Défaut | Rôle |83|---|---|---|84| `LPDV_DETAIL_MAX` | `150` | fiches/sync |85- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8687## Volumétrie & complétude live8889*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*9091- **Événements en base** : 4565 (dont **1734 actifs**)92- **GPS** : 585/1734 actifs (34 %)93- **Prix** : 1610/1734 actifs (93 %)94- **Heure (start_time)** : 1635/1734 actifs (94 %)95- **Heure de fin** : 0/1734 actifs (0 %)96- **Statut (annulé/reporté/complet)** : 0/1734 actifs (0 %)97- **Artistes** : 17/1734 actifs (1 %)98- **Image** : 1734/1734 actifs (100 %)99- **Salle (venue)** : 1725/1734 actifs (99 %)100- **Dernier sync** : 2026-08-25 18:05 — fetched 1732, +0 ajoutés, ~9 mis à jour, -7 retirés101- **Syncs enregistrés** (sync_log) : 179102103## Erreurs & dépannage104105Aucune erreur dans `sync_log` pour cette source. ✅106107- L'enrichissement par fiches détail est incrémental (cache `data/lepointdevente_cache.json`, plafond `LPDV_DETAIL_MAX`/sync, re-visite 7 j) : la complétude description/heure/prix monte au fil des cycles.108- Rejouer un sync isolé : `python3 run.py sync --source lepointdevente` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='lepointdevente' ORDER BY ts DESC LIMIT 5;"`109110## Licence / attribution111112- robots.txt : « User-Agent: * / Allow: * » — GET throttlés, identification honnête, lien direct vers chaque billetterie113114## Historique115116- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.117- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).118- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».119120Commits touchant `sortika/connectors/lepointdevente.py` :121122- `65d2d33` 2026-08-18 Vague 2 d'enrichissement : heure précise, artistes, 3 nouveaux connecteurs123- `7d9d1b0` 2026-08-18 Enrichissement des connecteurs + géocodage des salles124- `9164456` 2026-08-17 Sorti·Ka v1 — agrégateur de sorties & événements du Québec125