SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
8.8 KB · 127 lines markdown
Rendered Raw Blame History
1# Zeffy — billetterie OSBL (`zeffy`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `billetterie` · Connecteur : `sortika/connectors/zeffy.py`67## Description89- **Source** : [Zeffy — billetterie OSBL](https://www.zeffy.com/)10- **Couverture** : ~100-200 événements OSBL QC actifs (galas, spectacles-bénéfice, ateliers communautaires), toutes régions11- **Extraction** : sitemap des organisations (api.zeffy.com/sitemap/organizations/sitemap-0.xml, ~4 400 pages fr-CA/en-CA) → pages org rendues serveur (__NEXT_DATA__ organizationPage.upcomingEvents : dates UTC, adresse, image, URL) filtrées « , QC » et formCategory=Event, puis fiches billetterie JSON-LD offers[].price pour les tarifs réels ; incrémental cache 7 j, plafonds ZEFFY_ORG_MAX=400 / ZEFFY_DETAIL_MAX=80. RÉACTIVÉE 2026-08-25 (le sitemap billets était infaisable ; les pages d'organisations sont la bonne surface)1213## Accès1415- **Type** : billetterie16- **Endpoint** (`ORG_SITEMAP`) : `https://api.zeffy.com/sitemap/organizations/sitemap-0.xml`17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : par numéro de page, parcours de sitemap XML19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.8 s entre requêtes21- **Accès légal** : robots.txt Disallow: /*=$ uniquement (aucune URL visée) + sitemaps publiés ; GET throttlés, identification honnête, pas d'anti-bot constaté2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/zeffy.py : connecteur Zeffy (zeffy.com) — billetterie OSBL26> Source    : billetterie gratuite très utilisée par les OSBL québécois27> (galas, spectacles-bénéfice, marches, ateliers communautaires).28> Extraction: 1) sitemap des organisations (api.zeffy.com/sitemap/29> organizations/sitemap-0.xml) → pages d'organisation fr-CA/en-CA30> (~4 400, dont ~1 300 fr-CA) ; 2) chaque page d'organisation est31> rendue serveur (Next.js __NEXT_DATA__ → organizationPage.32> upcomingEvents : titre, description, adresse postale complète,33> occurrences startUtc/endUtc, bannière, URL de billetterie) —34> AUCUN rendu JS requis ; 3) fiches billetterie des événements QC35> retenus : JSON-LD (offers[].price) → tarifs réels publiés.36> Périmètre QUÉBEC : on ne garde que les événements datés dont37> l'adresse porte « , QC » (les organisations fr-CA/en-CA38> couvrent tout le Canada). Le sitemap des BILLETS (55 000+ URLs39> fr-CA mêlant dons/adhésions/archives, sans dates) est ignoré :40> la page d'organisation est la seule surface « à venir » fiable.41> INCRÉMENTAL avec cache disque (data/zeffy_cache.json) :42> nouvelles organisations d'abord, re-visite après 7 jours,43> plafonds ZEFFY_ORG_MAX pages org et ZEFFY_DETAIL_MAX fiches44> prix par sync.45> Accès     : robots.txt « User-agent: * / Disallow: /*=$ » (seules les URLs46> finissant par « = » sont exclues — aucune de celles qu'on47> visite) + sitemaps publiés ; GET throttlés, identification48> honnête, pas d'anti-bot constaté (sondé 2026-08-25).49> Prix      : offers[].price du JSON-LD de la fiche (tarifs affichés par50> l'organisme ; Zeffy suggère un pourboire plateforme au paiement,51> non inclus). is_free=True si TOUS les tarifs publiés sont à 0 $.52> Jamais inventé (événement sans fiche lisible → prix inconnu).5354</details>5556## Champs récupérés → schéma5758Complétude mesurée sur les **15 événements actifs** de la source ; exemples tirés d'un événement réel (`zeffy:e77cf52c-dd96-4290-b747-50ab8564771d:60c945f7-c2e8-44f8-82dc-c840f808e2ed`).5960| Champ (`events.*`) | Description | Complétude | Exemple réel |61|---|---|---|---|62| `title` — Titre | titre de l'événement | 100 % | Dîner Spaghetti |63| `description` — Description | texte descriptif (source ou fiche détail) | 100 % | Partagez un bon repas de spaghetti 🍝 et un moment convivial en l’honneur des 175 ans de Sainte‑H… |64| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.zeffy.com/en-CA/ticketing/diner-spaghetti-6 |65| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["autre"] |66| `venue` — Salle (venue) | nom du lieu | 0 % | ∅ |67| `address` — Adresse | adresse civique | 100 % | 1299 Rte Sainte-Thérèse |68| `city` — Ville | municipalité | 100 % | Sainte-Hénédine |69| `region` — Région | région administrative | 100 % | Chaudière-Appalaches |70| `lat` — GPS (lat/lng) | coordonnées géographiques | 80 % | 46.5585152, -70.9836412 |71| `start_date` — Date début | date locale AAAA-MM-JJ | 100 % | 2026-08-23 |72| `end_date` — Date fin | date locale AAAA-MM-JJ | 100 % | 2026-09-23 |73| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 100 % | 11:00 |74| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 100 % | 14:00 |75| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |76| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 100 % | 0 |77| `price_min` — Prix min | tarif minimal réel ($) | 100 % | 5.0 |78| `price_label` — Libellé prix | étiquette tarifaire affichable | 100 % | Adulte 25 $ · Enfant (5 à 12 ans) 15 $ · Enfant 0-5 ans 5 $ |79| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |80| `organizer` — Organisateur | promoteur / organisme | 100 % | 175e de Sainte-Hénédine |81| `image` — Image | visuel (og:image ou média source) | 87 % | https://res.cloudinary.com/hxn9dbuhd/image/upload/v1785879985/organizations/a/2/5/b/a25bf52d-2cf… |82| `website` — Site web | site officiel de l'événement | 0 % | ∅ |8384## Fréquence & budgets8586- **Cadence** : quotidienne87- **Budgets / plafonds (variables d'environnement)** :8889| Variable | Défaut | Rôle |90|---|---|---|91| `ZEFFY_LOCALES` | `fr-CA,en-CA` | — |92| `ZEFFY_ORG_MAX` | `400` | — |93| `ZEFFY_DETAIL_MAX` | `80` | — |94- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).9596## Volumétrie & complétude live9798*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*99100- **Événements en base** : 15 (dont **15 actifs**)101- **GPS** : 12/15 actifs (80 %)102- **Prix** : 15/15 actifs (100 %)103- **Heure (start_time)** : 15/15 actifs (100 %)104- **Heure de fin** : 15/15 actifs (100 %)105- **Statut (annulé/reporté/complet)** : 0/15 actifs (0 %)106- **Artistes** : 0/15 actifs (0 %)107- **Image** : 13/15 actifs (87 %)108- **Salle (venue)** : 0/15 actifs (0 %)109- **Dernier sync** : 2026-08-25 18:49 — fetched 15, +15 ajoutés, ~0 mis à jour, -0 retirés110- **Syncs enregistrés** (sync_log) : 1111112## Erreurs & dépannage113114Aucune erreur dans `sync_log` pour cette source. ✅115116- Rejouer un sync isolé : `python3 run.py sync --source zeffy` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='zeffy' ORDER BY ts DESC LIMIT 5;"`117118## Licence / attribution119120- robots.txt Disallow: /*=$ uniquement (aucune URL visée) + sitemaps publiés ; GET throttlés, identification honnête, pas d'anti-bot constaté121122## Historique123124- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.125- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).126- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».127