SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
3 days agolast push
HTML 98.9% Python 0.6%
5.7 KB

# Groupe Dallaire (Faubourg du Moulin) — connecteur groupe_dallaire

Fiche générée automatiquement par scripts/gen_connector_docs.py le 2026-09-04 14:12 — ne pas éditer à la main, régénérer.

État : actif (dégradé) · Région : Québec · Backend : Scrapfly · Annonces actives : 249/260

# Description de la source

connecteur Groupe Dallaire — Faubourg du Moulin (faubourgdumoulin.ca). Complexes Alizé, Noroît (I-II), Sirocco, Sonora, Zéphyr (I-II) — rue Lionel-Audet, Québec (Beauport). La page /disponibilite charge les unités via JetEngine (admin-ajax.php) : on rejoue l'appel get_listing (lazy-load) puis la pagination jet_smart_filters pour récupérer toutes les unités disponibles (numéro, étage, prix, date de disponibilité, plan). Les fiches d'unité (via cache BD) ajoutent type d'unité, superficie nette (« Pieds carrés ») et inclusions réelles (« Incluant »). 2026-08-18 : le pare-feu du site bloque l'IP du serveur Lou-Ka (timeout TCP sur TOUT le domaine, même la page d'accueil — vérifié : OK depuis une autre IP). On tente d'abord la voie directe avec un timeout court (8 s), puis on bascule automatiquement sur Scrapfly en proxy simple (asp=False, render_js=False — 1 crédit/appel) pour rejouer les mêmes requêtes.

# Accès

  • Type d'accès : API admin-ajax (WordPress)
  • Endpoint de base : https://faubourgdumoulin.ca
  • URLs de départ (constantes du module) : https://faubourgdumoulin.ca
  • Authentification : aucune — contenu public (clé Scrapfly côté Lou-Ka)
  • Pagination : pagination par numéro de page
  • Backend anti-bot / rendu : requests direct (session UA LouKaBot, throttling poli) ; Scrapfly (asp + render_js — contournement anti-bot)
  • Politesse : 0.6 s entre requêtes, timeout 8 s, User-Agent identifiable LouKaBot/1.0 (+https://www.lou-ka.com/bot)

# Champs récupérés → schéma cible

Le connecteur (Scrapfly, API admin-ajax (WordPress)) alimente les colonnes de la table listings. Complétude mesurée en SQL sur les 249 annonces actives ; exemple tiré d'une ligne réelle de la BD.

Colonne listings Contenu Renseignée (actives) Exemple réel
title Titre de l'annonce 100 % Faubourg du Moulin (Sonora) — Unité 101 (5½)
address Adresse civique 100 % rue Lionel-Audet, Québec (Faubourg du Moulin)
city Ville (normalisée) 100 % Québec
sector Secteur / quartier 100 % Beauport
unit_type Type d'unité (3½, 4½…) 100 % 5½
price Loyer mensuel ($) 100 % 2 475 $
bedrooms Chambres 100 % 3
bathrooms Salles de bain 0 % —
area_sqft Superficie (pi²) 100 % 1098
availability_date Date de disponibilité 100 % now
lat GPS (lat/lng) 100 % 46.867479301768
description Description 100 % Complexe Sonora | Étage 1
images Photos (JSON) 100 % 2 photo(s) — https://faubourgdumoulin.ca/wp-content/uploads/2025/09/Sonora_101_5.5.jpg
amenities Commodités (JSON) 100 % ["Stationnement extérieur ou intérieur", "Eau chaude", "Internet haute vitesse", "Forfait…
details Détails additionnels (JSON) 100 % {"inclusions": {"hot_water": true, "internet": true}, "appliances": {"washer_dryer_hookup…
url URL de l'annonce source 100 % https://faubourgdumoulin.ca/unites/sonora-101/

# Fréquence & budget

  • Cadence observée (médiane des passages OK, sync_log) : ≈ 3.4 h
  • Dernier passage OK : 2026-09-04 13:40 — 249 trouvées, +0 / ~0 / -0
  • Throttling : 0.6 s entre requêtes (constante de classe request_delay)
  • Cache des pages détail (BD detail_cache) : activé — évite de re-visiter les fiches inchangées

# Volumétrie & complétude

  • Annonces en BD : 260 au total, 249 actives
  • Première ingestion : 2026-08-06 · Dernière observation : 2026-09-04
  • Complétude clé (actives) : GPS 100 % · prix 100 % · photos 100 % · description 100 %
  • Runs journalisés (60 derniers) : 60, dont 0 en erreur

# Erreurs connues & dépannage

Aucune erreur dans les 60 derniers runs journalisés.

Note du registre : actif (dégradé) — le pare-feu de faubourgdumoulin.ca bloque l'IP du serveur Lou-Ka depuis ~2026-08-17 : repli automatique sur proxy Scrapfly (timeout direct 8 s)

Rejouer la source seule : python3 run.py sync groupe_dallaire · vérifier ensuite sync_log (SELECT * FROM sync_log WHERE source='groupe_dallaire' ORDER BY ts DESC LIMIT 5;).

# Licence, attribution & conditions

  • Scraping poli d'annonces publiques (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.
  • User-Agent identifiable avec page d'information et contact : LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai) ; throttling 0.6 s ; cache détail pour minimiser les requêtes.
  • Chaque annonce affichée sur Lou-Ka pointe vers l'annonce d'origine (colonne url) — la source garde le trafic de conversion.
  • Retrait sur demande : contact@spboucher.ai.

# Historique

  • 2026-08-06 — premières annonces de la source ingérées dans la BD.
  • 2026-08-17 — mention au registre : « …ctif (dégradé) — le pare-feu de faubourgdumoulin.ca bloque l'IP du serveur Lou-Ka depuis ~2026-08-17 : repli automatique sur proxy Scrapfly (timeout direct 8 s)… »
  • 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par scripts/gen_connector_docs.py).