SPB Git forge

spb/rent-ka

Public
8commits 1branches 0releases
7.4 MBsize
maindefault branch
19 days agolast push
Python 68.8% TypeScript 18.6% CSS 8.7% JavaScript 3.3% HTML 0.6%
5.4 KB

# Facebook Marketplace (location) — connecteur fb_marketplace

Fiche générée automatiquement par scripts/gen_connector_docs.py le 2026-08-25 01:59 — ne pas éditer à la main, régénérer.

État : actif · Région : Province · Backend : direct · Annonces actives : 1599/26851

# Description de la source

Facebook Marketplace — catégorie location (propertyrentals), TOUTE la province. Annonces de particuliers, fort complément aux gestionnaires. Depuis 2026-08-22 le scraping est délégué à l'ACTEUR APIFY MAISON gorgeous_thistle/ka-fb-marketplace (source : actors/ka-fb-marketplace de ce repo) : HTML public déconnecté SANS rendu JS (les JSON de recherche, la fiche PDP et la galerie MediaViewer préchargée vivent dans le HTML brut) via proxy résidentiel CA — ~100× moins cher que l'ancienne chaîne Scrapfly ASP+render_js, et couverture élargie de 10 à 33 villes (IDs Marketplace des villes régionales validés ; les slugs inventés retombent sur des villes aléatoires, ne pas en ajouter sans les valider). Le scroll infini reste bloqué hors connexion (~25 annonces/URL) : on pagine par TRANCHES DE PRIX et on accumule sur plusieurs synchronisations. Le flux public TOURNE : une phase de RATTRAPAGE (extraDetailIds) visite les fiches actives jamais enrichies (budget LOUKA_FBMP_BACKFILL). Le connecteur garde le cache détail BD (clé v2, payloads compatibles) et passe à l'acteur la liste des fiches fraîches à NE PAS revisiter. ⚠️ Données personnelles (Loi 25) : ne jamais republier nom/téléphone du vendeur, garder le lien sortant.

# Accès

# Champs récupérés → schéma cible

Le connecteur (direct, API JSON interne du site) alimente les colonnes de la table listings. Complétude mesurée en SQL sur les 1599 annonces actives ; exemple tiré d'une ligne réelle de la BD.

Colonne listings Contenu Renseignée (actives) Exemple réel
title Titre de l'annonce 100 % 4 1/2 à louer
address Adresse civique 48 % —
city Ville (normalisée) 99 % Montréal
sector Secteur / quartier 0 % —
unit_type Type d'unité (3½, 4½…) 92 % 4½
price Loyer mensuel ($) 100 % 1 400 $
bedrooms Chambres 93 % 2
bathrooms Salles de bain 49 % —
area_sqft Superficie (pi²) 11 % —
availability_date Date de disponibilité 34 % —
lat GPS (lat/lng) 61 % 45.557556152344
description Description 61 % 2222 rue Fleury Est
images Photos (JSON) 100 % 9 photo(s) — https://scontent-yyz1-1.xx.fbcdn.net/v/t39.84726-6/774513165_105675990685739…
amenities Commodités (JSON) 40 % []
details Détails additionnels (JSON) 59 % {}
url URL de l'annonce source 100 % https://www.facebook.com/marketplace/item/1795905304891036/

# Fréquence & budget

  • Cadence observée (médiane des passages OK, sync_log) : ≈ 2.8 h
  • Dernier passage OK : 2026-08-24 22:42 — 1049 trouvées, +237 / ~429 / -373
  • Throttling : 1.0 s entre requêtes (constante de classe request_delay)
  • Cache des pages détail (BD detail_cache) : activé — évite de re-visiter les fiches inchangées

# Volumétrie & complétude

  • Annonces en BD : 26851 au total, 1599 actives
  • Première ingestion : 2026-08-17 · Dernière observation : 2026-08-24
  • Complétude clé (actives) : GPS 61 % · prix 100 % · photos 100 % · description 61 %
  • Runs journalisés (60 derniers) : 60, dont 0 en erreur

# Erreurs connues & dépannage

Aucune erreur dans les 60 derniers runs journalisés.

Rejouer la source seule : python3 run.py sync fb_marketplace · vérifier ensuite sync_log (SELECT * FROM sync_log WHERE source='fb_marketplace' ORDER BY ts DESC LIMIT 5;).

# Licence, attribution & conditions

  • Scraping poli d'annonces publiques (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.
  • User-Agent identifiable avec page d'information et contact : LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai) ; throttling 1.0 s ; cache détail pour minimiser les requêtes.
  • Chaque annonce affichée sur Lou-Ka pointe vers l'annonce d'origine (colonne url) — la source garde le trafic de conversion.
  • Retrait sur demande : contact@spboucher.ai.

# Historique

  • 2026-08-17 — premières annonces de la source ingérées dans la BD.
  • 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par scripts/gen_connector_docs.py).