SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
2 days agolast push
HTML 98.9% Python 0.6%
5.6 KB

# Facebook Marketplace (location) — connecteur fb_marketplace

Fiche générée automatiquement par scripts/gen_connector_docs.py le 2026-09-04 14:12 — ne pas éditer à la main, régénérer.

État : actif · Région : Province · Backend : direct · Annonces actives : 1585/36387

# Description de la source

Facebook Marketplace — catégorie location (propertyrentals), TOUTE la province. Annonces de particuliers, fort complément aux gestionnaires. Depuis 2026-08-22 le scraping est délégué à l'ACTEUR APIFY MAISON gorgeous_thistle/ka-fb-marketplace (source : actors/ka-fb-marketplace de ce repo) : HTML public déconnecté SANS rendu JS (les JSON de recherche, la fiche PDP et la galerie MediaViewer préchargée vivent dans le HTML brut) via proxy résidentiel CA — ~100× moins cher que l'ancienne chaîne Scrapfly ASP+render_js, et couverture élargie de 10 à 33 villes (IDs Marketplace des villes régionales validés ; les slugs inventés retombent sur des villes aléatoires, ne pas en ajouter sans les valider). Le scroll infini reste bloqué hors connexion (~25 annonces/URL) : on pagine par TRANCHES DE PRIX et on accumule sur plusieurs synchronisations. Le flux public TOURNE : une phase de RATTRAPAGE (extraDetailIds) visite les fiches actives jamais enrichies (budget LOUKA_FBMP_BACKFILL). Le connecteur garde le cache détail BD (clé v2, payloads compatibles) et passe à l'acteur la liste des fiches fraîches à NE PAS revisiter. ⚠️ Données personnelles (Loi 25) : ne jamais republier nom/téléphone du vendeur, garder le lien sortant.

# Accès

# Champs récupérés → schéma cible

Le connecteur (direct, API JSON interne du site) alimente les colonnes de la table listings. Complétude mesurée en SQL sur les 1585 annonces actives ; exemple tiré d'une ligne réelle de la BD.

Colonne listings Contenu Renseignée (actives) Exemple réel
title Titre de l'annonce 100 % Appartement de 3 chambres et 2 salles de bain
address Adresse civique 45 % St-Lambert-de-Lauzon
city Ville (normalisée) 99 % St-Lambert-de-Lauzon
sector Secteur / quartier 0 % —
unit_type Type d'unité (3½, 4½…) 94 % 5½
price Loyer mensuel ($) 100 % 2 142 $
bedrooms Chambres 94 % 3
bathrooms Salles de bain 46 % 2
area_sqft Superficie (pi²) 11 % —
availability_date Date de disponibilité 29 % —
lat GPS (lat/lng) 55 % 46.59363
description Description 55 % Magnifique Condo à louer grand 5 1/2, avec 2 salles de bain complète, situé au 2e étage u…
images Photos (JSON) 100 % 8 photo(s) — https://scontent.fyka1-1.fna.fbcdn.net/v/t39.84726-6/776252941_1418111590182…
amenities Commodités (JSON) 35 % []
details Détails additionnels (JSON) 52 % {"pets": "oui", "walk_score": 48, "bike_score": 45}
url URL de l'annonce source 100 % https://www.facebook.com/marketplace/item/1068693059043768/

# Fréquence & budget

  • Cadence observée (médiane des passages OK, sync_log) : ≈ 3.4 h
  • Dernier passage OK : 2026-09-04 13:36 — 1081 trouvées, +353 / ~332 / -429
  • Throttling : 1.0 s entre requêtes (constante de classe request_delay)
  • Cache des pages détail (BD detail_cache) : activé — évite de re-visiter les fiches inchangées

# Volumétrie & complétude

  • Annonces en BD : 36387 au total, 1585 actives
  • Première ingestion : 2026-08-17 · Dernière observation : 2026-09-04
  • Complétude clé (actives) : GPS 55 % · prix 100 % · photos 100 % · description 55 %
  • Runs journalisés (60 derniers) : 60, dont 1 en erreur

# Erreurs connues & dépannage

Date Message (sync_log)
2026-08-27 00:47 Response ended prematurely

Rejouer la source seule : python3 run.py sync fb_marketplace · vérifier ensuite sync_log (SELECT * FROM sync_log WHERE source='fb_marketplace' ORDER BY ts DESC LIMIT 5;).

# Licence, attribution & conditions

  • Scraping poli d'annonces publiques (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.
  • User-Agent identifiable avec page d'information et contact : LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai) ; throttling 1.0 s ; cache détail pour minimiser les requêtes.
  • Chaque annonce affichée sur Lou-Ka pointe vers l'annonce d'origine (colonne url) — la source garde le trafic de conversion.
  • Retrait sur demande : contact@spboucher.ai.

# Historique

  • 2026-08-17 — premières annonces de la source ingérées dans la BD.
  • 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par scripts/gen_connector_docs.py).