SPB Git forge

spb/lou-ka

Public

Lou·Ka — tous les logements à louer du Québec, un seul endroit.

232commits 1branches 0releases
172.9 MBsize
maindefault branch
2 days agolast push
HTML 98.9% Python 0.6%

History of louka/connectors/deschenes_pepin.py · clear filter

  1. Sun, Sep 13, 2026 1

    1. [ka2] fix connecteur deschenes_pepin: contournement du challenge sgcaptcha SiteGround via proxy résidentiel Oxylabs — même cause et même fix que boreal_abitibi (8923045), citiluxx (d17f5fe) et cromwell (8351131), hébergeur SiteGround identique. Le sync du 2026-09-13 01:56 a rapporté found=0 ok=1 missed=5 (médiane 5.0, stale) : SiteGround sert son anti-bot sgcaptcha (HTTP 202, 174 octets, en-tête sg-captcha: challenge, meta refresh vers /.well-known/sgcaptcha/) à l'IP datacenter du nœud — un 2xx sans HTTPError, avalé par le `except Exception: return listings` de fetch() en « 0 trouvé ok », invisible du disjoncteur. Vérifié live : IP directe → 202 challenge ; IP résidentielle Oxylabs CA → 200, 234 Ko, les 2 liens /projet/ (Le Blüm Longueuil + Sainte-Julie) présents. Fix minimal, pattern cromwell : _get_html() détecte le challenge (en-tête sg-captcha ou marqueur /.well-known/sgcaptcha/) et bascule la session sur pr.oxylabs.io:7777 en session collante -cc-CA (liste + fiches projet partagent l'IP), erreur franche si le challenge persiste — la page de liste lève désormais au lieu de retourner [] (fini le zéro silencieux, ingest journalise ok=0), les fiches projet gardent le continue (résultats partiels acceptables) ; _fetch_project() passe aussi par _get_html(). Le chemin direct reste tenté d'abord (gratuit si SiteGround déflague l'IP). Testé : fetch() venv → 5 annonces (Le Blüm Sainte-Julie 3½/4½, Le Blüm Longueuil 3½/4½/5½, photos 12-20, adresses complètes — médiane 5.0 restaurée), run.py sync deschenes_pepin → found=5 ok, pm2 restart lou-ka-sync, site :8095 → 200.
      Simon-Pierre Boucher committed 12 days ago · 1 file +45 −5
  2. Tue, Aug 25, 2026 1

    1. Campagne connecteurs province 2026-08-24 : 149 nouveaux connecteurs (+3 685 annonces)
      …
      Création massive issue de la recherche province (reports/expansion/
      recherche-province-2026-08-24.md), en 17 lots parallèles :
      - 149 connecteurs actifs (Building Stack, RentCafe/Yardi, Rentsync/
        LiftSystem, Planpoint, Livya, silo.immo, Webflow, Wix SSR, WordPress
        admin-ajax/wp-json/SSR, PDF+pdfplumber, OCR tesseract, Google Sheets CSV)
      - helpers partagés _planpoint.py et _livya.py
      - 9 sources documentées non connectables (doublons Cogir, vitrines sans
        inventaire, OMHQ annuaire, Skyline 0 propriété QC)
      - registre data/sources.json : 281 → 439 sources
      - fix groupe_mathieu : découverte via /condos-locatifs/ (le méga-menu Jet
        n'est servi que par certaines variantes de cache Elementor)
      - pdfplumber ajouté aux dépendances ; doc régénérée (367 fiches)
      
      Syncs initiaux : 3 685 annonces ajoutées.
      
      Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +147