SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
3 days agolast push
HTML 98.9% Python 0.6%
6.3 KB · 82 lines markdown
Rendered Raw Blame History
1# Skyline Living — connecteur `skyline`23_Fiche générée automatiquement par `scripts/gen_connector_docs.py` le 2026-09-04 14:12 — ne pas éditer à la main, régénérer._45**État : pause** · Région : Ontario — multi-régions · Backend : direct · Annonces actives : 431/43267## Description de la source89connecteur Skyline Living (skylineliving.ca) Gestionnaire clé des villes secondaires ontariennes (~22 000 unités, ~38 villes : Guelph HQ, Est ontarien, Niagara, Sud-Ouest, Nord, Centre). Le site est une SPA Rentsync « nouvelle génération » : ses bundles (cdn.rentsync.com/site/skyline) appellent la passerelle JSON publique `https://website-gateway-cdn.rentsync.com/v1/skyline/…` (aucun jeton, le UA de base passe). Endpoints utilisés : - /properties?limit=1000 — tous les immeubles actifs (~193) : adresse, lat/lng, cityId, description, caractéristiques, animaux, contact ; - /cities?where=id~in:…&relations=province:p — nom de ville + province (filtre ON strict : Skyline a aussi quelques immeubles hors Ontario) ; - /units?where=status:enabled,available~in:1 — types d'unités avec vacance (loyer, cc/sdb, pi², date), paginés (meta.totalPages) ; - /photos?relations=buildingsHasPhotos:bhp&where=bhp.buildingId~in:… — galeries par lots d'immeubles (images S3 lws_lift, taille « full »). Une annonce par type d'unité disponible (comme capreit). NB : dans les tours neuves en location (ex. Sky Towers à Barrie), le flux publie UNE rangée PAR APPARTEMENT (champ `number`) du même plan — on regroupe donc par (immeuble, typeName, cc, sdb) : loyer plancher « à partir de », date la plus proche, identifiant stable immeuble+plan. Tout vient de l'API par lots (~15 requêtes au total) : aucune page détail à visiter, donc pas besoin du cache BD self.detail(). Expansion Ontario 2026-08 — gaté LOUKA_ONTARIO : sans la variable, le connecteur est `disabled` (exclu du registre), prod QC inchangée. NB : le parc Thunder Bay a été vendu (2025-2026) — absent du flux, normal.1011- **Site** : https://www.skylineliving.ca12- **Page des annonces** : https://www.skylineliving.ca/apartments-for-rent13- **Secteurs couverts** : Guelph, villes secondaires ON (~38 villes : Est, Niagara, Sud-Ouest, Nord, Centre)14- **Module** : `louka/connectors/skyline.py` — classe `SkylineConnector`1516## Accès1718- **Type d'accès** : pages HTML (rendu serveur)19- **Endpoint de base** : https://www.skylineliving.ca20- **URLs de départ (constantes du module)** : https://website-gateway-cdn.rentsync.com/v1/skyline/…` · https://www.skylineliving.ca · https://website-gateway-cdn.rentsync.com/v1/skyline · https://s3.amazonaws.com/lws_lift/skyline/images/gallery/full21- **Authentification** : aucune — contenu public22- **Pagination** : pagination par numéro de page23- **Backend anti-bot / rendu** : requests direct (session UA LouKaBot, throttling poli)24- **Politesse** : 0.8 s entre requêtes, timeout 30 s, User-Agent identifiable `LouKaBot/1.0 (+https://www.lou-ka.com/bot)`2526## Champs récupérés → schéma cible2728Le connecteur (direct, pages HTML (rendu serveur)) alimente les colonnes de la table `listings`. Complétude mesurée en SQL sur les 431 annonces actives ; exemple tiré d'une ligne réelle de la BD.2930| Colonne `listings` | Contenu | Renseignée (actives) | Exemple réel |31|---|---|---|---|32| `title` | Titre de l'annonce | 100 % | Portage Place Apartments — 1 Bedroom |33| `address` | Adresse civique | 100 % | 4613, 4615, 4617 & 4619 Portage Rd., Niagara Falls, ON L2E 6A9 |34| `city` | Ville (normalisée) | 100 % | Niagara Falls |35| `sector` | Secteur / quartier | 7 % | — |36| `unit_type` | Type d'unité (3½, 4½…) | 100 % | 3½ |37| `price` | Loyer mensuel ($) | 100 % | 1 715 $ |38| `bedrooms` | Chambres | 100 % | 1 |39| `bathrooms` | Salles de bain | 100 % | 1 |40| `area_sqft` | Superficie (pi²) | 100 % | 650 |41| `availability_date` | Date de disponibilité | 100 % | now |42| `lat` | GPS (lat/lng) | 100 % | 43.1068888803548 |43| `description` | Description | 100 % | Welcome to Portage Place Apartments, a peaceful community set in a residential neighbourh… |44| `images` | Photos (JSON) | 100 % | 15 photo(s) — https://s3.amazonaws.com/lws_lift/skyline/images/gallery/full/1744153371_ex… |45| `amenities` | Commodités (JSON) | 61 % | ["grocery store nearby", "highway access", "nature area / trails nearby", "near schools",… |46| `details` | Détails additionnels (JSON) | 100 % | {"balcony": true, "laundry": true, "storage": true, "pets": "oui", "smoking": false, "con… |47| `url` | URL de l'annonce source | 100 % | https://www.skylineliving.ca/en/apartments/ontario/niagara-falls/portage-place-apartments |4849## Fréquence & budget5051- **Cadence observée** (médiane des passages OK, sync_log) : ≈ 4.8 h52- **Dernier passage OK** : 2026-08-27 14:38 — 422 trouvées, +10 / ~12 / -053- **Throttling** : 0.8 s entre requêtes (constante de classe `request_delay`)54- **Cache des pages détail (BD `detail_cache`)** : activé — évite de re-visiter les fiches inchangées5556## Volumétrie & complétude5758- **Annonces en BD** : 432 au total, **431 actives**59- **Première ingestion** : 2026-08-27 · **Dernière observation** : 2026-08-2760- **Complétude clé (actives)** : GPS 100 % · prix 100 % · photos 100 % · description 100 %61- **Runs journalisés (60 derniers)** : 4, dont 0 en erreur6263## Erreurs connues & dépannage6465Aucune erreur dans les 60 derniers runs journalisés.6667**Note du registre** : pause6869Rejouer la source seule : `python3 run.py sync skyline` · vérifier ensuite `sync_log` (`SELECT * FROM sync_log WHERE source='skyline' ORDER BY ts DESC LIMIT 5;`).7071## Licence, attribution & conditions7273- Scraping poli d'annonces **publiques** (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.74- User-Agent **identifiable** avec page d'information et contact : `LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai)` ; throttling 0.8 s ; cache détail pour minimiser les requêtes.75- Chaque annonce affichée sur Lou-Ka **pointe vers l'annonce d'origine** (colonne `url`) — la source garde le trafic de conversion.76- Retrait sur demande : contact@spboucher.ai.7778## Historique7980- 2026-08-27 — premières annonces de la source ingérées dans la BD.81- 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par `scripts/gen_connector_docs.py`).82