spb/lou-ka

- louka/connectors/ubee.py + docs/connecteurs/ubee.md supprimés, ligne INDEX retirée
- data/sources.json : ubee → retiré (ne pas réactiver sans accord écrit)
- louka/web.py : les statuts inactif/retiré sont aussi déclarés disabled_sources à api-ka
- base : listings (466), price_log (505), fairvalue (375), listing_events (319),
  recycled_cache (77), managers (1), sync_log (372), image_checks (12 701 URL
  Cloudinary ubee-media) effacés ; dédup inter-sources recalculée
- sauvegarde à froid hors dépôt : ~/ubee-retrait-20261008/

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

- .env : LOUKA_ONTARIO=1 commenté (les 56 connecteurs gatés sortent du registre)
- sources.json : 65 sources ON -> status pause + note_pause
- quality.evaluate : quarantaine pause-ontario (published=0) pour province=ON
  tant que le flag n'est pas reposé ; province ajoutée au backfill et à
  l'évaluation à l'ingestion (db.py)
- docs/ONTARIO-PAUSE.md : quoi/pourquoi/comment réactiver

5 851 annonces ON conservées en base, dépubliées. QC intact (62 412 publiées).

Création massive issue de la recherche province (reports/expansion/
recherche-province-2026-08-24.md), en 17 lots parallèles :
- 149 connecteurs actifs (Building Stack, RentCafe/Yardi, Rentsync/
  LiftSystem, Planpoint, Livya, silo.immo, Webflow, Wix SSR, WordPress
  admin-ajax/wp-json/SSR, PDF+pdfplumber, OCR tesseract, Google Sheets CSV)
- helpers partagés _planpoint.py et _livya.py
- 9 sources documentées non connectables (doublons Cogir, vitrines sans
  inventaire, OMHQ annuaire, Skyline 0 propriété QC)
- registre data/sources.json : 281 → 439 sources
- fix groupe_mathieu : découverte via /condos-locatifs/ (le méga-menu Jet
  n'est servi que par certaines variantes de cache Elementor)
- pdfplumber ajouté aux dépendances ; doc régénérée (367 fiches)

Syncs initiaux : 3 685 annonces ajoutées.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

- nouvel acteur actors/ka-apartments-com : recherche /qc/ paginée (arrêt sur
  retombée page 1 via <title>), fiches détail en français (GPS, description,
  plans d'unités dédoublonnés, commodités, galerie), déblocage Akamai délégué
  au Web Unlocker Bright Data (curl_cffi/Scrapfly/Oxylabs → 403)
- connecteur louka/connectors/apartments_com.py : 1 annonce = 1 propriété,
  prix « à partir de » (minimum des plans), bedrooms/bathrooms = minimum,
  cache détail 30 j, cadence LOUKA_APTS_INTERVAL_H (12 h) avec ré-émission
  des actives entre deux runs — 615 propriétés QC au premier passage
- fb_marketplace : acteur 0.1.3 (adresse civique, beds/sdb, commodités,
  disponibilité, walk/transit/bike scores, visite virtuelle) + PAYLOAD_VERSION
  pour re-visiter progressivement le cache, filtre hors-Québec state+bbox GPS
- sources.json : apartments_com passe de « non connectable » à actif
- docs connecteurs régénérées (218 fiches)

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

Remplace la chaîne Scrapfly par un acteur Apify maison (curl_cffi sans rendu
JS, proxy Oxylabs résidentiel CA via proxyUrlTemplate) : recherche 116 URLs
(10 grandes villes × 7 tranches de prix + 23 régions par ID Marketplace),
fiches détail (GPS, description, statut) et galerie complète via le
MediaViewer préchargé. Filtre hors-Québec à deux niveaux : state du
reverse_geocode dès la recherche + filet bbox GPS côté connecteur (FB glisse
des suggestions d'autres provinces dans le flux public). Coût ~100× moindre.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

Mission 1 — enrichissement des connecteurs et qualité :
- quality.py : score de complétude 0-100 + seuil de publication (quarantaine
  des annonces sans prix plausible / localisation / contenu exploitable)
- imgcheck.py : audit des images (liens morts 404/410, minuscules, placeholders
  multi-adresses, doublons) -> galeries nettoyées images_ok, cache image_checks,
  politesse 3 requêtes/hôte, écriture hors transaction réseau
- 26 connecteurs enrichis (galeries complètes, descriptions, prix, adresses) :
  kangalou, royal_lepage, medway, remax_quebec, groupe_maurice, mellem, sutton,
  lespac, heafey, kijiji, fb_marketplace, zumper, equinoxe_batimo, logis_experts,
  quartier_sila, msi, summum, quartier_plus, urban_services, cosoltec, garic,
  lakle, matinale, huma, jutras, groupe_theoret, ferrovia
- normalize : clean_city/clean_sector (rues et entités HTML retirées des menus),
  kijiji : adresses françaises « 89, rue X » correctement découpées
- geocode : virgule après le n° civique corrigée (lot AQ), base en WAL
- dedup : une annonce en quarantaine ne masque jamais un doublon publié

Mission 2 — mobile :
- /api/img : miniatures WebP servies à la taille de l écran (cache disque)
- SmartImg : miniature -> original -> visuel de secours Lou-Ka (jamais d icône cassée)
- lightbox tactile : balayage scroll-snap + pincement + double-tape
- bannière témoins : ne recouvre plus le bouton Filtres (--consent-h)
- cibles tactiles >= 44 px (pointer: coarse) ; KA Agent plein écran à l ouverture
- stats : complétude moyenne, quarantaine par source

Mission 3 — juste valeur locative (fairvalue.py, fv-logement-1.0) :
- 3 niveaux : segments médians (repli en échelle) + coefficients de
  caractéristiques appris et centrés + comparables kNN géographiques (médiane
  pondérée) ; couloir de sécurité, fourchette, indice de confiance
- prudence : pas de verdict si confiance faible, prix « à partir de »,
  prix non mensuel, écart hors plausible ; chambres/coloc = segment dédié
- pastilles sous/dans/au-dessus du marché (cartes + fiche), bloc Analyse de
  prix avec histogramme, filtre « Sous le marché » + tri, page /juste-valeur
- API : champs fv_* + deal/sort, /api/fairvalue/{uid} ; stats + PDF ;
  historisation fv_segments ; tests synthétiques ; docs/FAIRVALUE*.md

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- zumper : API JSON interne en DIRECT (bundle CSRF -> pages/listables par bbox
  -> fiches /buildings avec cache BD cle modified_on), 8 bbox QC, filtre
  state=QC ; 4 345 annonces au premier sync (2 391 absorbees par la dedup =
  +1 954 nettes). PadMapper = meme API (ids 100/100 identiques) : couvert.
- _livya : base commune des gestionnaires servis par Livya (ex-RealVuu),
  patron generalise du connecteur thrace (flux RSC des pages plans).
- atimco : ~18 projets Monteregie (Longueuil, St-Constant, St-Hyacinthe,
  Chambly, Chateauguay, St-Jean, Sorel, Cowansville) — 299 unites disponibles,
  prix/GPS/chambres/sdb complets, 0 doublon.
- simplex : catalogue Supabase public (RPC get_public_rental_listings_page),
  Trois-Rivieres/Shawinigan — 3 annonces actives (28 publiees en rotation).
- sources.json : +6 entrees (zumper, atimco, simplex actifs ; padmapper
  couvert via zumper ; apartments.com non connectable — 403 CoStar ;
  cloria non connectable — inventaire Livya complet mais 0 prix publie).
- docs/connecteurs regeneres (217 fiches).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

scripts/gen_connector_docs.py : générateur 100 % programmatique et rejouable
qui croise data/sources.json, l introspection statique (ast) du code des
connecteurs et la BD live (volumétrie, complétude SQL par champ, sync_log).
Écrit docs/connecteurs/INDEX.md + une fiche par connecteur (sections fixes :
description, accès, champs -> schéma, fréquence & budget, volumétrie,
erreurs, licence, historique).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>