spb/lou-ka

Mon, Aug 17, 2026 1

1. Nouvelles sources + déduplication inter-sources

   …

   8 connecteurs (208 → 212), testés en live :
   - logisquebec — portail (~9 800 fiches) : sitemaps + JSON-LD, expiration HTTP 410
   - duproprio — location par particuliers (~4 200, 0 % chevauchement) : sitemaps gz + JSON-LD, retrait = 302
   - louer_ca — réseau Rentals.ca (~1 700) : API GraphQL interne (JWT), 1 annonce par plan d'étage
   - roomies — chambres/colocation : JSON-LD Room
   - groupe_maurice — 37 résidences pour aînés (RPA) : API REST + grilles de prix
   - bons_locataires — agence Montréal : carte MapListPro + fiches WordPress
   - omhm — logements abordables ENHARMONIE
   - fb_marketplace — Scrapfly ASP, pagination par tranches de prix (scroll bloqué hors login)
   
   Déduplication inter-sources (louka/dedup.py) :
   - colonnes dup_of / dup_sources (migration db.py), recalcul idempotent dans ingest.watch() après géocodage
   - blocage par clé d'adresse (civique + rue normalisée FR/EN + ville), confirmation type + prix ±4 %
   - contrainte « ≤1 annonce par source par groupe » (évite de fusionner des unités distinctes d'un immeuble)
   - canonique = source la plus autoritaire (gestionnaire direct > portail > petites annonces)
   - web.py n'affiche que les annonces canoniques (dup_of IS NULL) ; dup_sources exposé pour le badge « aussi publiée sur »
   - résultat : 147 groupes, 154 doublons masqués sur 18 536 annonces
   
   Utilitaire _detailutil.TtlDetailCache : cache de pages détail avec TTL + budget par sync.
   
   Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

   Simon-Pierre Boucher committed 1 mo ago · 1 file +86
   f229d90