SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
3 days agolast push
HTML 98.9% Python 0.6%
5.5 KB · 80 lines markdown
Rendered Raw Blame History
1# Rentals.ca (Québec) — connecteur `rentals_ca`23_Fiche générée automatiquement par `scripts/gen_connector_docs.py` le 2026-09-04 14:12 — ne pas éditer à la main, régénérer._45**État : actif** · Région : Province · Backend : Scrapfly · Annonces actives : 4729/602867## Description de la source89Rentals.ca — portail locatif national, filtré PROVINCE DE QUÉBEC. Même plateforme GraphQL que Louer.ca (mêmes City.id, mutation acquireAuthInfo, clé publique `rentalsGqlKey` de window.appconf), mais l'inventaire de marque est un peu plus large (~+15 % vérifié sur Québec : 78 annonces contre 67 côté Louer.ca) — les doublons inter-marques sont résorbés par la dédup (rentals_ca est dans la liste PORTALS). ⚠️ rentals.ca est derrière Cloudflare (« Just a moment… ») : chaque appel GraphQL est REJOUÉ via Scrapfly ASP SANS rendu JS (POST JSON, coût minime par rapport à un render_js). Pour contenir le budget Scrapfly : - villes limitées (LOUKA_RENTALSCA_CITIES) et plafond par ville ; - pages de 200 annonces (1 à 4 requêtes liste par ville) ; - détails PAR LOTS de 40 via nodes(ids:[…]) — 1 requête pour 40 fiches — avec cache TTL : seuls les lots nouveaux/périmés sont re-téléchargés. Régime de croisière : ~25-40 appels Scrapfly par synchronisation. ⚠️ CGU Rentals.ca : extraction interdite sans accord écrit (même réserve que louer_ca).1011- **Site** : https://rentals.ca12- **Page des annonces** : https://rentals.ca/quebec-city13- **Secteurs couverts** : Grandes villes QC — même plateforme GraphQL que Louer.ca mais inventaire de marque ~15 % plus large ; accès via Scrapfly ASP (Cloudflare), volumes plafonnés par ville14- **Module** : `louka/connectors/rentals_ca.py` — classe `RentalsCaConnector`1516## Accès1718- **Type d'accès** : API GraphQL interne19- **Endpoint de base** : https://rentals.ca/20- **URLs de départ (constantes du module)** : https://rentals.ca/ · https://rentals.ca/graphql · https://rentals.ca21- **Authentification** : aucune — contenu public (clé Scrapfly côté Lou-Ka)22- **Pagination** : page de liste unique (pas de pagination)23- **Backend anti-bot / rendu** : Scrapfly (asp + render_js — contournement anti-bot)24- **Politesse** : 0.3 s entre requêtes, timeout 30 s, User-Agent identifiable `LouKaBot/1.0 (+https://www.lou-ka.com/bot)`2526## Champs récupérés → schéma cible2728Le connecteur (Scrapfly, API GraphQL interne) alimente les colonnes de la table `listings`. Complétude mesurée en SQL sur les 4729 annonces actives ; exemple tiré d'une ligne réelle de la BD.2930| Colonne `listings` | Contenu | Renseignée (actives) | Exemple réel |31|---|---|---|---|32| `title` | Titre de l'annonce | 100 % | 1225 Saint Marc Street |33| `address` | Adresse civique | 99 % | 1225 Saint Marc Street |34| `city` | Ville (normalisée) | 100 % | Montréal |35| `sector` | Secteur / quartier | 17 % | — |36| `unit_type` | Type d'unité (3½, 4½…) | 100 % | 3½ |37| `price` | Loyer mensuel ($) | 100 % | 1 450 $ |38| `bedrooms` | Chambres | 100 % | 1 |39| `bathrooms` | Salles de bain | 100 % | 1 |40| `area_sqft` | Superficie (pi²) | 78 % | 400 |41| `availability_date` | Date de disponibilité | 94 % | now |42| `lat` | GPS (lat/lng) | 100 % | 45.492189 |43| `description` | Description | 99 % | Le Marco Situé au 1225, rue Saint Marc, à proximité du métro Guy-Concordia, ce quartier o… |44| `images` | Photos (JSON) | 99 % | 12 photo(s) — https://images.rentals.ca/property-pictures/large/montreal-qc/809380/apartm… |45| `amenities` | Commodités (JSON) | 92 % | ["Cuisinière", "Non-fumeur", "Balcon", "Réfrigérateur", "Électricité incluse", "Chauffage… |46| `details` | Détails additionnels (JSON) | 100 % | {"inclusions": {"heating": true, "electricity": true}, "appliances": {"fridge": true, "st… |47| `url` | URL de l'annonce source | 100 % | https://rentals.ca/montreal/le-marco-1225-st-marc-st |4849## Fréquence & budget5051- **Cadence observée** (médiane des passages OK, sync_log) : ≈ 3.4 h52- **Dernier passage OK** : 2026-09-04 08:39 — 4233 trouvées, +132 / ~1766 / -15453- **Throttling** : 0.3 s entre requêtes (constante de classe `request_delay`)54- **Cache des pages détail (BD `detail_cache`)** : activé — évite de re-visiter les fiches inchangées5556## Volumétrie & complétude5758- **Annonces en BD** : 6028 au total, **4729 actives**59- **Première ingestion** : 2026-08-18 · **Dernière observation** : 2026-09-0460- **Complétude clé (actives)** : GPS 100 % · prix 100 % · photos 99 % · description 99 %61- **Runs journalisés (60 derniers)** : 60, dont 0 en erreur6263## Erreurs connues & dépannage6465Aucune erreur dans les 60 derniers runs journalisés.6667Rejouer la source seule : `python3 run.py sync rentals_ca` · vérifier ensuite `sync_log` (`SELECT * FROM sync_log WHERE source='rentals_ca' ORDER BY ts DESC LIMIT 5;`).6869## Licence, attribution & conditions7071- Scraping poli d'annonces **publiques** (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.72- User-Agent **identifiable** avec page d'information et contact : `LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai)` ; throttling 0.3 s ; cache détail pour minimiser les requêtes.73- Chaque annonce affichée sur Lou-Ka **pointe vers l'annonce d'origine** (colonne `url`) — la source garde le trafic de conversion.74- Retrait sur demande : contact@spboucher.ai.7576## Historique7778- 2026-08-18 — premières annonces de la source ingérées dans la BD.79- 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par `scripts/gen_connector_docs.py`).80