SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
2 days agolast push
HTML 98.9% Python 0.6%
5.9 KB

# Starlight Investments — connecteur starlight

Fiche générée automatiquement par scripts/gen_connector_docs.py le 2026-09-04 14:12 — ne pas éditer à la main, régénérer.

État : pause · Région : Ontario — multi-régions · Backend : direct · Annonces actives : 319/319

# Description de la source

connecteur Starlight Investments (starlightinvest.com) Plus grand propriétaire résidentiel privé du Canada (~60 000 unités). Le site corpo (Craft CMS) n'a pas de page /properties : le portefeuille est exposé par le « Property Finder » de /real-estate/canadian-residential, alimenté par un index Algolia PUBLIC (appId PX9UWFRLZ3, clé search-only embarquée dans la page, index prod_properties, ~549 immeubles dont ~391 « live » en Ontario). Chaque enregistrement donne : nom d'immeuble (le plus souvent l'adresse civique), ville, province et l'URL d'un MICROSITE par immeuble. Aucun prix/plan d'étage dans l'index. Les microsites (317 domaines ON distincts) partagent majoritairement un gabarit Duda + PropertyVista, MAIS les plans d'étage y sont chargés par un GraphQL (DudaWebsiteService_getFloorplanList) dont l'endpoint vit dans une collection Duda vista_api_url inaccessible hors runtime (400/500 même en navigateur headless — vérifié via Scrapfly js_scenario) : pas de pattern prix exploitable. On émet donc UNE annonce PAR PROPRIÉTÉ (granularité immeuble, sans prix — jamais de valeur inventée) et on enrichit chaque fiche avec le HTML serveur du microsite (meta description, téléphone, galerie irp.cdn-website.com filtrée par l'alias du site) via le cache BD self.detail() — budget max_details par sync, le reste vient du cache. Les immeubles dont le « microsite » est en réalité une page metcap.com ou cogir.net sont SAUTÉS : les connecteurs dédiés metcap et cogir (tous deux gatés Ontario) couvrent déjà ces gestionnaires — zéro doublon. Idem sterlingkaramar.com (65 propriétés) : couvert par rsgw_sterlingkaramar.

# Accès

# Champs récupérés → schéma cible

Le connecteur (direct, API GraphQL interne) alimente les colonnes de la table listings. Complétude mesurée en SQL sur les 319 annonces actives ; exemple tiré d'une ligne réelle de la BD.

Colonne listings Contenu Renseignée (actives) Exemple réel
title Titre de l'annonce 100 % 1637 - 1645 Bathurst Street
address Adresse civique 98 % 1637 - 1645 Bathurst Street, Toronto, ON
city Ville (normalisée) 100 % Toronto
sector Secteur / quartier 0 % —
unit_type Type d'unité (3½, 4½…) 0 % —
price Loyer mensuel ($) 0 % —
bedrooms Chambres 1 % —
bathrooms Salles de bain 0 % —
area_sqft Superficie (pi²) 0 % —
availability_date Date de disponibilité 0 % —
lat GPS (lat/lng) 96 % 43.7195958
description Description 11 % —
images Photos (JSON) 11 % —
amenities Commodités (JSON) 0 % []
details Détails additionnels (JSON) 100 % {"property_manager_site": "https://www.1637bathurst.com/"}
url URL de l'annonce source 100 % https://www.1637bathurst.com/

# Fréquence & budget

  • Cadence observée (médiane des passages OK, sync_log) : ≈ 4.3 h
  • Dernier passage OK : 2026-08-27 14:39 — 319 trouvées, +0 / ~10 / -0
  • Throttling : 1.0 s entre requêtes (constante de classe request_delay)
  • Cache des pages détail (BD detail_cache) : activé — évite de re-visiter les fiches inchangées

# Volumétrie & complétude

  • Annonces en BD : 319 au total, 319 actives
  • Première ingestion : 2026-08-27 · Dernière observation : 2026-08-27
  • Complétude clé (actives) : GPS 96 % · prix 0 % · photos 11 % · description 11 %
  • Runs journalisés (60 derniers) : 4, dont 0 en erreur

# Erreurs connues & dépannage

Aucune erreur dans les 60 derniers runs journalisés.

Note du registre : pause

Rejouer la source seule : python3 run.py sync starlight · vérifier ensuite sync_log (SELECT * FROM sync_log WHERE source='starlight' ORDER BY ts DESC LIMIT 5;).

# Licence, attribution & conditions

  • Scraping poli d'annonces publiques (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.
  • User-Agent identifiable avec page d'information et contact : LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai) ; throttling 1.0 s ; cache détail pour minimiser les requêtes.
  • Chaque annonce affichée sur Lou-Ka pointe vers l'annonce d'origine (colonne url) — la source garde le trafic de conversion.
  • Retrait sur demande : contact@spboucher.ai.

# Historique

  • 2026-08-27 — premières annonces de la source ingérées dans la BD.
  • 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par scripts/gen_connector_docs.py).