Ville de Laval — calendrier vivant laval.ca (lavalweb)
Fiche générée le 2026-08-25 19:01 EDT par
scripts/gen_connector_docs.py— ne pas éditer à la main, relancer le script.
Statut : actif · Type : municipal · Connecteur : sortika/connectors/lavalweb.py
Description
- Source : Ville de Laval — calendrier vivant laval.ca
- Couverture : Activités municipales, Laval (remplace le jeu Données Québec mort à la source depuis 2025-12)
- Extraction : listes SSR paginées (cartes .event-item : date FR « 18 août 2026 | 18 h » → date + heure, titre, lieu, lien, image lazy) + fiches détail incrémentales (cache data/lavalweb_cache.json, LAVALWEB_FICHE_MAX/sync, re-visite 7 j) : og:description ; GPS via annuaire de salles + géocodeur
Accès
- Type : municipal
- Endpoint (
BASE) :https://www.laval.ca - Auth : Aucune (accès public, identification honnête par User-Agent)
- Pagination : par numéro de page
- Backend : GET direct
requests(throttlé, UASortiKa/1.0identifié) - Throttle : 0.5 s entre requêtes
- Accès légal : robots.txt laval.ca : Disallow /wp-admin/ seulement — pages calendrier publiques, GET throttlés 0,5 s, identification honnête
En-tête documentaire du connecteur
connectors/lavalweb.py : Ville de Laval — calendrier VIVANT laval.ca (Phase 3) Remplace la source « laval » (jeu Données Québec MORT À LA SOURCE depuis 2025-12, consigné Phase 2). L'ancien connecteur reste branché (réveil automatique si la Ville republie) ; le recoupement éventuel est géré par dedup_key. Source : https://www.laval.ca/calendrier-activites/ — WordPress, listes rendues serveur, pagination ?findstr[group]=events&findstr[page]=N (~58 pages × 8 cartes ≈ 460 activités à venir, vérifié 2026-08-19). Extraction: cartes .event-item (date FR « 18 août 2026 | 18 h », titre, lieu, lien, image lazy) + fiches détail incrémentales (cache data/lavalweb_cache.json, LAVALWEB_FICHE_MAX/sync, re-visite 7 j) : og:description. GPS via annuaire de salles/géocodeur. Accès : robots.txt laval.ca : « Disallow: /wp-admin/ » seulement — les pages calendrier sont libres. GET throttlés 0,5 s, UA honnête.
Champs récupérés → schéma
Complétude mesurée sur les 427 événements actifs de la source ; exemples tirés d'un événement réel (lavalweb:famille-fete).
Champ (events.*) |
Description | Complétude | Exemple réel |
|---|---|---|---|
title — Titre |
titre de l'événement | 100 % | Famille à la fête |
description — Description |
texte descriptif (source ou fiche détail) | 51 % | Participez à une fête de quartier intergénérationnelle mettant en valeur le patrimoine et l’hist… |
url — URL |
lien vers la fiche originale / billetterie | 100 % | https://www.laval.ca/calendrier-activites/famille-fete/ |
categories — Catégories |
taxonomie canonique Sorti-Ka (JSON) | 100 % | ["famille"] |
venue — Salle (venue) |
nom du lieu | 100 % | Parc de la Renaissance |
address — Adresse |
adresse civique | 0 % | ∅ |
city — Ville |
municipalité | 100 % | Laval |
region — Région |
région administrative | 100 % | Laval |
lat — GPS (lat/lng) |
coordonnées géographiques | 89 % | 45.602079, -73.7961698 |
start_date — Date début |
date locale AAAA-MM-JJ | 100 % | 2026-09-05 |
end_date — Date fin |
date locale AAAA-MM-JJ | 100 % | 2026-09-05 |
start_time — Heure (start_time) |
heure locale HH:MM (Québec) | 98 % | 11:00 |
end_time — Heure de fin (end_time) |
heure locale HH:MM (Québec) | 0 % | ∅ |
status — Statut |
cancelled / postponed / soldout (NULL = prévu) | 0 % | ∅ |
is_free — Gratuité (is_free) |
1 gratuit / 0 payant / NULL inconnu | 0 % | ∅ |
price_min — Prix min |
tarif minimal réel ($) | 0 % | ∅ |
price_label — Libellé prix |
étiquette tarifaire affichable | 0 % | ∅ |
artists — Artistes |
têtes d'affiche / lineup (JSON) | 0 % | [] |
organizer — Organisateur |
promoteur / organisme | 100 % | Ville de Laval |
image — Image |
visuel (og:image ou média source) | 0 % | ∅ |
website — Site web |
site officiel de l'événement | 0 % | ∅ |
Fréquence & budgets
- Cadence : horaire (watcher PM2, incrémental)
- Budgets / plafonds (variables d'environnement) :
| Variable | Défaut | Rôle |
|---|---|---|
LAVALWEB_PAGES_MAX |
60 |
— |
LAVALWEB_FICHE_MAX |
30 |
— |
- Budget global : géocodage Nominatim plafonné à
SORTIKA_GEOCODE_MAX(défaut 120) requêtes réseau/cycle, toutes sources confondues (sortika/geocode.py, cache disque).
Volumétrie & complétude live
(mesuré le 2026-08-25 19:01 EDT dans data/sortika.db)
- Événements en base : 563 (dont 427 actifs)
- GPS : 382/427 actifs (89 %)
- Prix : 0/427 actifs (0 %)
- Heure (start_time) : 418/427 actifs (98 %)
- Heure de fin : 0/427 actifs (0 %)
- Statut (annulé/reporté/complet) : 0/427 actifs (0 %)
- Artistes : 0/427 actifs (0 %)
- Image : 0/427 actifs (0 %)
- Salle (venue) : 427/427 actifs (100 %)
- Dernier sync : 2026-08-25 18:04 — fetched 426, +0 ajoutés, ~0 mis à jour, -1 retirés
- Syncs enregistrés (sync_log) : 136
Erreurs & dépannage
Erreurs relevées dans sync_log :
| Erreur | Occurrences | Dernière fois |
|---|---|---|
| HTTPSConnectionPool(host='www.laval.ca', port=443): Read timed out. (read timeout=60) | 1 | 2026-08-19 14:16 |
- Rejouer un sync isolé :
python3 run.py sync --source lavalweb(ou via le watcher PM2) ; inspecter ensuitesync_log:sqlite3 data/sortika.db "SELECT * FROM sync_log WHERE source='lavalweb' ORDER BY ts DESC LIMIT 5;"
Licence / attribution
- robots.txt laval.ca : Disallow /wp-admin/ seulement — pages calendrier publiques, GET throttlés 0,5 s, identification honnête
Historique
- 2026-08-18 — Vague 1 d'enrichissement (commit
7d9d1b0) : géocodage Nominatim des salles (sortika/geocode.py, cache disque, plafondSORTIKA_GEOCODE_MAX), fiches détail lepointdevente (description, heure, tarifs réels/plugins/rates/<id>), contacts Tourinsoft (SITQ), heure locale Montréal via JSON-LD. - 2026-08-18 — Vague 2 d'enrichissement (commit
65d2d33) : colonnes additivesevents.start_time(HH:MM locale QC) etevents.artists(JSON) + migration auto ; heure captée partout où la source la publie (lepointdevente, evenko, Laval, Sherbrooke, Montréal, atuvu) ; artistes (headliners evenko, lineup Bandsintown, attractions Ticketmaster, patrons sûrs sur les titres) ; 3 nouveaux connecteurs (brossard, ticketmaster, bandsintown). - 2026-08-19 — Phase 2 (travail de moine) : colonnes additives
end_time,status(annulé/reporté/complet) etquarantine(règles anti-aberrations, non publié mais réintégrable) ; règle d'ARCHIVAGE des événements terminés à chaque cycle (jamais supprimés) ; dedup_key inclut désormais l'heure (les séances multiples d'un même jour ne sont plus écrasées à l'affichage) ; alerte « 0 événement futur / chute > 80 % » par source (data/future_counts.json + /api/sources) ; heure et description La Vitrine ; end_time/organisateur/statut Eventbrite ; og:description Atuvu ; premières parties + portes + tournée evenko ; offres billets Bandsintown ; taxonomie type-event + description intégrale Brossard ; image Longueuil ; géocodage par ADRESSE CIVIQUE prioritaire ; villes normalisées au Répertoire MAMH (data/villes_canon.json) ; laval consignée « morte-a-la-source ».
Commits touchant sortika/connectors/lavalweb.py :
0b8a6f82026-08-19 Phase 3 — 9 nouveaux connecteurs + déroulage des périodes SITQ (fiches d évaluation avant connexion)