SPB Git forge

spb/sorti-ka

Public

Toutes les sorties et tous les événements du Québec, un seul endroit — 7 connecteurs, fiches SSR, design Groupe KA.

58commits 1branches 0releases
13.7 MBsize
maindefault branch
17 days agolast push
HTML 82.9% Python 15.2% TypeScript 0.9% JavaScript 0.7%
9.1 KB · 135 lines markdown
Rendered Raw Blame History
1# SIT Québec — Ministère du Tourisme (`sitq`)23> Fiche générée le 2026-08-25 19:01 EDT par `scripts/gen_connector_docs.py` — ne pas éditer à la main, relancer le script.45**Statut : actif** · Type : `donnees-ouvertes` · Connecteur : `sortika/connectors/sitq.py`67## Description89- **Source** : [SIT Québec — Ministère du Tourisme](https://www.donneesquebec.ca/recherche/dataset/sit-quebec-evenements)10- **Couverture** : Événements touristiques, toutes les régions du Québec11- **Extraction** : API JSON (Tourinsoft, syndication publique) — dates, géoloc, thèmes, contacts ; le flux ne publie ni heure (T00:00:00 partout) ni tarif ni photo (re-vérifié 2026-08-25) → enrichissement incrémental des SITES OFFICIELS des événements : og:image + og:description (filtre anti-slogan <30 car.), cache versionné v2, plafond SITQ_IMG_MAX=200/sync (90 % des sites livrent une vraie description)1213## Accès1415- **Type** : donnees-ouvertes16- **Endpoint** (`FEED`) : `https://api-v3.tourinsoft.com/api/syndications/mto.tourinsoft.com/c6ab1c9e-f594-463e-b036-5a029197f3a9?format=json`17- **Auth** : Aucune (accès public, identification honnête par User-Agent)18- **Pagination** : aucune (flux unique)19- **Backend** : GET direct `requests` (throttlé, UA `SortiKa/1.0` identifié)20- **Throttle** : 0.3 s entre requêtes21- **Accès légal** : Licence Creative Commons 4.0 (Données Québec) — API officielle publiée par le Ministère du Tourisme2223<details><summary>En-tête documentaire du connecteur</summary>2425> connectors/sitq.py : connecteur SIT Québec — Ministère du Tourisme26> Source    : Système d'information touristique Québec (Données Québec)27> Extraction: API JSON officielle Tourinsoft (syndication publique)28> Accès     : données ouvertes — Licence CC 4.0 (Données Québec), API publiée29> par le Ministère du Tourisme. Aucune restriction de scraping.30> Couverture: ~1 600 événements touristiques, TOUTES les régions du Québec31> (festivals, salons, manifestations sportives et culturelles),32> avec région touristique, thèmes, dates, géolocalisation, site web.33> Contacts  : TelephonePrincipals / Courriels (moyens de communication) →34> ligne « Renseignements : … » en description (le flux syndiqué35> ne publie AUCUN groupe Descriptions* ni bloc tarifs — vérifié36> sur l'union des clés des 1 598 fiches, 2026-08, re-vérifié37> 2026-08-25 : aucune heure non plus, tous les Datedebut/Datefin38> à T00:00:00 ; is_free/price_*/start_time restent donc39> inconnus, jamais inventés).40> Fiches    : le site officiel de chaque événement (SiteInternets) est41> visité incrémentalement (cache disque, plafond SITQ_IMG_MAX)42> pour og:image ET og:description (v2 — ~60 % des 40 sites43> sondés la publient, 2026-08-25) ; AUCUN des 40 sites sondés44> ne publie de JSON-LD Event → l'heure n'est pas récupérable à45> coût raisonnable. La fiche quebecoriginal.com n'est pas46> dérivable du SyndicObjectID (301 → bonjourquebec.com → 404,47> vérifié 2026-08-25).48> https://www.donneesquebec.ca/recherche/dataset/sit-quebec-evenements4950</details>5152## Champs récupérés → schéma5354Complétude mesurée sur les **963 événements actifs** de la source ; exemples tirés d'un événement réel (`sitq:EVENMTOV502C96`).5556| Champ (`events.*`) | Description | Complétude | Exemple réel |57|---|---|---|---|58| `title` — Titre | titre de l'événement | 100 % | Startupfest |59| `description` — Description | texte descriptif (source ou fiche détail) | 90 % | Renseignements : info@startupfest.com |60| `url` — URL | lien vers la fiche originale / billetterie | 100 % | https://www.startupfest.com/fr-FR/ |61| `categories` — Catégories | taxonomie canonique Sorti-Ka (JSON) | 100 % | ["festival"] |62| `venue` — Salle (venue) | nom du lieu | 75 % | Grand Quai du Port de Montréal |63| `address` — Adresse | adresse civique | 84 % | 200 Rue de la Commune Ouest |64| `city` — Ville | municipalité | 95 % | Montréal |65| `region` — Région | région administrative | 99 % | Montréal |66| `lat` — GPS (lat/lng) | coordonnées géographiques | 97 % | 45.502414, -73.552842 |67| `start_date` — Date début | date locale AAAA-MM-JJ | 98 % | 2027-07-07 |68| `end_date` — Date fin | date locale AAAA-MM-JJ | 98 % | 2027-07-09 |69| `start_time` — Heure (start_time) | heure locale HH:MM (Québec) | 0 % | ∅ |70| `end_time` — Heure de fin (end_time) | heure locale HH:MM (Québec) | 0 % | ∅ |71| `status` — Statut | cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |72| `is_free` — Gratuité (is_free) | 1 gratuit / 0 payant / NULL inconnu | 0 % | ∅ |73| `price_min` — Prix min | tarif minimal réel ($) | 0 % | ∅ |74| `price_label` — Libellé prix | étiquette tarifaire affichable | 0 % | ∅ |75| `artists` — Artistes | têtes d'affiche / lineup (JSON) | 0 % | [] |76| `organizer` — Organisateur | promoteur / organisme | 100 % | Tourisme Montréal |77| `image` — Image | visuel (og:image ou média source) | 63 % | https://assets.embrase.com/assets/02487d6f-539b-466d-88ad-90d49428cf06?key=social-image-landscap… |78| `website` — Site web | site officiel de l'événement | 96 % | https://www.startupfest.com/fr-FR/ |7980## Fréquence & budgets8182- **Cadence** : horaire (watcher PM2)83- **Budgets / plafonds (variables d'environnement)** :8485| Variable | Défaut | Rôle |86|---|---|---|87| `SITQ_IMG_MAX` | `200` | — |88- **Budget global** : géocodage Nominatim plafonné à `SORTIKA_GEOCODE_MAX` (défaut 120) requêtes réseau/cycle, toutes sources confondues (`sortika/geocode.py`, cache disque).8990## Volumétrie & complétude live9192*(mesuré le 2026-08-25 19:01 EDT dans `data/sortika.db`)*9394- **Événements en base** : 1814 (dont **963 actifs**)95- **GPS** : 930/963 actifs (97 %)96- **Prix** : 0/963 actifs (0 %)97- **Heure (start_time)** : 0/963 actifs (0 %)98- **Heure de fin** : 0/963 actifs (0 %)99- **Statut (annulé/reporté/complet)** : 0/963 actifs (0 %)100- **Artistes** : 0/963 actifs (0 %)101- **Image** : 604/963 actifs (63 %)102- **Salle (venue)** : 721/963 actifs (75 %)103- **Dernier sync** : 2026-08-25 18:06 — fetched 0, +0 ajoutés, ~0 mis à jour, -0 retirés, **erreur : Error binding parameter 27: type 'dict' is not supported**104- **Syncs enregistrés** (sync_log) : 180105106## Erreurs & dépannage107108Erreurs relevées dans `sync_log` :109110| Erreur | Occurrences | Dernière fois |111|---|---|---|112| Error binding parameter 27: type 'dict' is not supported | 1 | 2026-08-25 18:06 |113| database is locked | 1 | 2026-08-19 02:22 |114| 502 Server Error: Bad Gateway for url: https://api-v3.tourinsoft.com/api/syndications/mto.tourin… | 1 | 2026-08-19 01:19 |115116- Rejouer un sync isolé : `python3 run.py sync --source sitq` (ou via le watcher PM2) ; inspecter ensuite `sync_log` : `sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='sitq' ORDER BY ts DESC LIMIT 5;"`117118## Licence / attribution119120- Licence Creative Commons 4.0 (Données Québec) — API officielle publiée par le Ministère du Tourisme121122**Mention requise (CC 4.0 — Données Québec)** : « Données du **SIT Québec — Ministère du Tourisme**, diffusées sous licence Creative Commons 4.0 via Données Québec. » L'attribution au Ministère du Tourisme est obligatoire.123124## Historique125126- **2026-08-18 — Vague 1 d'enrichissement** (commit `7d9d1b0`) : géocodage Nominatim des salles (`sortika/geocode.py`, cache disque, plafond `SORTIKA_GEOCODE_MAX`), fiches détail lepointdevente (description, heure, tarifs réels `/plugins/rates/<id>`), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD.127- **2026-08-18 — Vague 2 d'enrichissement** (commit `65d2d33`) : colonnes additives `events.start_time` (HH:MM locale QC) et `events.artists` (JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown).128- **2026-08-19 — Phase 2 (travail de moine)** : colonnes additives `end_time`, `status` (annulé/reporté/complet) et `quarantine` (règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».129130Commits touchant `sortika/connectors/sitq.py` :131132- `0b8a6f8` 2026-08-19 Phase 3 — 9 nouveaux connecteurs + déroulage des périodes SITQ (fiches d évaluation avant connexion)133- `7d9d1b0` 2026-08-18 Enrichissement des connecteurs + géocodage des salles134- `9164456` 2026-08-17 Sorti·Ka v1 — agrégateur de sorties & événements du Québec135