SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
3 days agolast push
HTML 98.9% Python 0.6%

History of docs/connecteurs/jutras.md · clear filter

  1. Fri, Sep 4, 2026 1

  2. Tue, Aug 25, 2026 1

    1. Campagne connecteurs province 2026-08-24 : 149 nouveaux connecteurs (+3 685 annonces)
      …
      Création massive issue de la recherche province (reports/expansion/
      recherche-province-2026-08-24.md), en 17 lots parallèles :
      - 149 connecteurs actifs (Building Stack, RentCafe/Yardi, Rentsync/
        LiftSystem, Planpoint, Livya, silo.immo, Webflow, Wix SSR, WordPress
        admin-ajax/wp-json/SSR, PDF+pdfplumber, OCR tesseract, Google Sheets CSV)
      - helpers partagés _planpoint.py et _livya.py
      - 9 sources documentées non connectables (doublons Cogir, vitrines sans
        inventaire, OMHQ annuaire, Skyline 0 propriété QC)
      - registre data/sources.json : 281 → 439 sources
      - fix groupe_mathieu : découverte via /condos-locatifs/ (le méga-menu Jet
        n'est servi que par certaines variantes de cache Elementor)
      - pdfplumber ajouté aux dépendances ; doc régénérée (367 fiches)
      
      Syncs initiaux : 3 685 annonces ajoutées.
      
      Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +4 −4
  3. Sat, Aug 22, 2026 2

    1. apartments_com : acteur Apify maison ka-apartments-com (toute la province via Bright Data) + enrichissement PDP fb_marketplace
      …
      - nouvel acteur actors/ka-apartments-com : recherche /qc/ paginée (arrêt sur
        retombée page 1 via <title>), fiches détail en français (GPS, description,
        plans d'unités dédoublonnés, commodités, galerie), déblocage Akamai délégué
        au Web Unlocker Bright Data (curl_cffi/Scrapfly/Oxylabs → 403)
      - connecteur louka/connectors/apartments_com.py : 1 annonce = 1 propriété,
        prix « à partir de » (minimum des plans), bedrooms/bathrooms = minimum,
        cache détail 30 j, cadence LOUKA_APTS_INTERVAL_H (12 h) avec ré-émission
        des actives entre deux runs — 615 propriétés QC au premier passage
      - fb_marketplace : acteur 0.1.3 (adresse civique, beds/sdb, commodités,
        disponibilité, walk/transit/bike scores, visite virtuelle) + PAYLOAD_VERSION
        pour re-visiter progressivement le cache, filtre hors-Québec state+bbox GPS
      - sources.json : apartments_com passe de « non connectable » à actif
      - docs connecteurs régénérées (218 fiches)
      
      Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +2 −2
    2. fb_marketplace : acteur Apify maison ka-fb-marketplace (33 villes, tout le Québec)
      …
      Remplace la chaîne Scrapfly par un acteur Apify maison (curl_cffi sans rendu
      JS, proxy Oxylabs résidentiel CA via proxyUrlTemplate) : recherche 116 URLs
      (10 grandes villes × 7 tranches de prix + 23 régions par ID Marketplace),
      fiches détail (GPS, description, statut) et galerie complète via le
      MediaViewer préchargé. Filtre hors-Québec à deux niveaux : state du
      reverse_geocode dès la recherche + filet bbox GPS côté connecteur (FB glisse
      des suggestions d'autres provinces dans le flux public). Coût ~100× moindre.
      
      Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +10 −10
  4. Tue, Aug 18, 2026 2

    1. Vague 3 : connecteurs Zumper (API directe), Atimco (Livya), Simplex (Supabase)
      …
      - zumper : API JSON interne en DIRECT (bundle CSRF -> pages/listables par bbox
        -> fiches /buildings avec cache BD cle modified_on), 8 bbox QC, filtre
        state=QC ; 4 345 annonces au premier sync (2 391 absorbees par la dedup =
        +1 954 nettes). PadMapper = meme API (ids 100/100 identiques) : couvert.
      - _livya : base commune des gestionnaires servis par Livya (ex-RealVuu),
        patron generalise du connecteur thrace (flux RSC des pages plans).
      - atimco : ~18 projets Monteregie (Longueuil, St-Constant, St-Hyacinthe,
        Chambly, Chateauguay, St-Jean, Sorel, Cowansville) — 299 unites disponibles,
        prix/GPS/chambres/sdb complets, 0 doublon.
      - simplex : catalogue Supabase public (RPC get_public_rental_listings_page),
        Trois-Rivieres/Shawinigan — 3 annonces actives (28 publiees en rotation).
      - sources.json : +6 entrees (zumper, atimco, simplex actifs ; padmapper
        couvert via zumper ; apartments.com non connectable — 403 CoStar ;
        cloria non connectable — inventaire Livya complet mais 0 prix publie).
      - docs/connecteurs regeneres (217 fiches).
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +2 −2
    2. docs: documentation standardisée des 214 connecteurs (générateur + fiches)
      …
      scripts/gen_connector_docs.py : générateur 100 % programmatique et rejouable
      qui croise data/sources.json, l introspection statique (ast) du code des
      connecteurs et la BD live (volumétrie, complétude SQL par champ, sync_log).
      Écrit docs/connecteurs/INDEX.md + une fiche par connecteur (sections fixes :
      description, accès, champs -> schéma, fréquence & budget, volumétrie,
      erreurs, licence, historique).
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +79