spb/lou-ka

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- .env : LOUKA_ONTARIO=1 commenté (les 56 connecteurs gatés sortent du registre)
- sources.json : 65 sources ON -> status pause + note_pause
- quality.evaluate : quarantaine pause-ontario (published=0) pour province=ON
  tant que le flag n'est pas reposé ; province ajoutée au backfill et à
  l'évaluation à l'ingestion (db.py)
- docs/ONTARIO-PAUSE.md : quoi/pourquoi/comment réactiver

5 851 annonces ON conservées en base, dépubliées. QC intact (62 412 publiées).

Socle : Listing.province + bbox coordonnées ON (schema.py), migration
province TEXT DEFAULT 'QC' (db.py), géocodage ON via Nominatim sans repli
Adresses Québec (geocode.py), townhouse/bungalow résidentiels (quality.py).

Nouveaux connecteurs (disabled hors gate) : liftsystem.py (13 clients
dynamiques lift_* via data/liftsystem_clients.json — Greenwin, Park,
Williams & McDaniel, Briarlane, DMS, Signet, Shelter, York, Terracorp,
RentSarnia, First North, TVM, Urbandale ; 922 propriétés résidentielles),
rentcafe.py (4 clients rc_* via data/rentcafe_clients.json — Effort Trust,
Osgoode ON, GWLRA, O'Shanter ; Scrapfly ASP), homestead.py + skyline.py
(passerelle publique website-gateway.rentsync.com), killam.py (blob
#available_prop RentCafe).

Connecteurs QC élargis sous gate (uids QC vérifiés identiques hors gate) :
capreit +189, boardwalk +74, minto +81, hazelview +14, interrent +83,
morguard +258, akelius +95, metcap +60, realstar +12, cogir +38,
centurion +52 annonces ON potentielles.

sources.json : +19 entrées ON (status inactif) + skyline recyclé.
Registre : 365 connecteurs sans gate (inchangé), 385 avec LOUKA_ONTARIO=1.
Potentiel à l'activation : ~1 200-1 600 annonces ON (~30 sources).

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

Certaines sources mêlent aux logements des cases de stationnement (~200 $),
garages/entreposage, locaux commerciaux/bureaux, objets divers et tarifs à la
nuit. relevance_reason() les détecte (titre + description + seuils de prix,
sans faux positif sur les logements « avec stationnement inclus ») et evaluate()
les met en quarantaine (published=0). Backfill appliqué : 78 annonces retirées.

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>

· environment.py : inventaire OSM par tuile (Overpass) — routes majeures,
  rails, aéroports, zones industrielles, bars, pistes cyclables (géométrie
  densifiée) et TOUS les POI par catégorie ; cache env_tiles ~3 mois.
· kascores.py : 5 scores 0-100 par immeuble + global pondéré, barème
  versionné (2026.08-v1), détails honnêtes par score, « Données
  insuffisantes »/« Non desservi » plutôt que des 0 trompeurs ; Transit =
  proximité des arrêts × percentile PMD StatCan ; calcul incrémental
  (7 900 immeubles en ~8 s), distribution de calibration en sortie.
· API : ks_* joints à /api/listings et /api/search (tri « ka », filtre
  kascore_min), détail complet sur la fiche, /api/kascores/stats.
· Frontend : pastille KA sur les cartes d annonces, section KA Scores de
  la fiche (5 jauges + détail dépliable + date/version), page /ka-scores
  (méthodologie publique + pondérations personnelles en curseurs), tri
  « Meilleur KA Score » dans la vue carte, filtre « KA Score minimal ».
· Boucle watch : env (4 tuiles max) + kascores incrémental à chaque sync.
· Tests : test_kascores.py (barème, honnêteté, rendement décroissant,
  cohérence spatiale sur le parc réel).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Mission 1 — enrichissement des connecteurs et qualité :
- quality.py : score de complétude 0-100 + seuil de publication (quarantaine
  des annonces sans prix plausible / localisation / contenu exploitable)
- imgcheck.py : audit des images (liens morts 404/410, minuscules, placeholders
  multi-adresses, doublons) -> galeries nettoyées images_ok, cache image_checks,
  politesse 3 requêtes/hôte, écriture hors transaction réseau
- 26 connecteurs enrichis (galeries complètes, descriptions, prix, adresses) :
  kangalou, royal_lepage, medway, remax_quebec, groupe_maurice, mellem, sutton,
  lespac, heafey, kijiji, fb_marketplace, zumper, equinoxe_batimo, logis_experts,
  quartier_sila, msi, summum, quartier_plus, urban_services, cosoltec, garic,
  lakle, matinale, huma, jutras, groupe_theoret, ferrovia
- normalize : clean_city/clean_sector (rues et entités HTML retirées des menus),
  kijiji : adresses françaises « 89, rue X » correctement découpées
- geocode : virgule après le n° civique corrigée (lot AQ), base en WAL
- dedup : une annonce en quarantaine ne masque jamais un doublon publié

Mission 2 — mobile :
- /api/img : miniatures WebP servies à la taille de l écran (cache disque)
- SmartImg : miniature -> original -> visuel de secours Lou-Ka (jamais d icône cassée)
- lightbox tactile : balayage scroll-snap + pincement + double-tape
- bannière témoins : ne recouvre plus le bouton Filtres (--consent-h)
- cibles tactiles >= 44 px (pointer: coarse) ; KA Agent plein écran à l ouverture
- stats : complétude moyenne, quarantaine par source

Mission 3 — juste valeur locative (fairvalue.py, fv-logement-1.0) :
- 3 niveaux : segments médians (repli en échelle) + coefficients de
  caractéristiques appris et centrés + comparables kNN géographiques (médiane
  pondérée) ; couloir de sécurité, fourchette, indice de confiance
- prudence : pas de verdict si confiance faible, prix « à partir de »,
  prix non mensuel, écart hors plausible ; chambres/coloc = segment dédié
- pastilles sous/dans/au-dessus du marché (cartes + fiche), bloc Analyse de
  prix avec histogramme, filtre « Sous le marché » + tri, page /juste-valeur
- API : champs fv_* + deal/sort, /api/fairvalue/{uid} ; stats + PDF ;
  historisation fv_segments ; tests synthétiques ; docs/FAIRVALUE*.md

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- Schéma : colonnes bedrooms/bathrooms REAL (additives) dérivées dans
  finalize() — details explicites > type d'unité (n½ -> n-2, convention QC)
  > extraction texte ; backfill one-shot : 96,7 % bedrooms / 51 % bathrooms
  sur le parc actif.
- fb_marketplace : recherche et détails Scrapfly EN PARALLÈLE (6 fils,
  mêmes requêtes, aucun volume perdu), TTL détail 10 -> 30 j, annonces
  louées filtrées avant enrichissement : 43-47 min -> 7,3 min/cycle.
- logisquebec : budget détail 1200 -> 400 (dimensionné TTL 7 j / ~10
  passes/j), fiches jamais vues servies en premier, délai 0,7 -> 0,5 s :
  19 min -> 7,6 min/cycle, parc complet (6 393 fiches).
- Kangalou (nouveau) : découverte en 1 requête via les pins de la carte
  (/fr/recherche/ajax/search-map/, loués/commerciaux exclus), fiches SSR
  (adresse, chambres/SDB, GPS, galerie, dispo, superficie) : 7 916 annonces.
- Rentals.ca (nouveau) : même GraphQL que Louer.ca mais inventaire ~+15 %,
  rejoué via Scrapfly ASP sans rendu JS (Cloudflare), détails PAR LOTS de
  40 via nodes(ids), villes/volumes plafonnés : 3 452 annonces (les
  recoupements Louer.ca sont résorbés par la dédup, déjà dans PORTALS).
- Visites virtuelles : details.virtual_tour — tours{} Matterport/YouTube
  du réseau Rentals.ca (louer_ca clé cache v2 + rentals_ca) + détection
  générique Matterport/iGUIDE/Klapty dans les fiches logisquebec,
  duproprio, kangalou. 1 107 annonces actives en ont déjà une.
- TtlDetailCache : peek()/put() pour la planification de lots parallèles.
- sources.json : +kangalou, +rentals_ca (275 sources, 212 connecteurs).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

8 connecteurs (208 → 212), testés en live :
- logisquebec — portail (~9 800 fiches) : sitemaps + JSON-LD, expiration HTTP 410
- duproprio — location par particuliers (~4 200, 0 % chevauchement) : sitemaps gz + JSON-LD, retrait = 302
- louer_ca — réseau Rentals.ca (~1 700) : API GraphQL interne (JWT), 1 annonce par plan d'étage
- roomies — chambres/colocation : JSON-LD Room
- groupe_maurice — 37 résidences pour aînés (RPA) : API REST + grilles de prix
- bons_locataires — agence Montréal : carte MapListPro + fiches WordPress
- omhm — logements abordables ENHARMONIE
- fb_marketplace — Scrapfly ASP, pagination par tranches de prix (scroll bloqué hors login)

Déduplication inter-sources (louka/dedup.py) :
- colonnes dup_of / dup_sources (migration db.py), recalcul idempotent dans ingest.watch() après géocodage
- blocage par clé d'adresse (civique + rue normalisée FR/EN + ville), confirmation type + prix ±4 %
- contrainte « ≤1 annonce par source par groupe » (évite de fusionner des unités distinctes d'un immeuble)
- canonique = source la plus autoritaire (gestionnaire direct > portail > petites annonces)
- web.py n'affiche que les annonces canoniques (dup_of IS NULL) ; dup_sources exposé pour le badge « aussi publiée sur »
- résultat : 147 groupes, 154 doublons masqués sur 18 536 annonces

Utilitaire _detailutil.TtlDetailCache : cache de pages détail avec TTL + budget par sync.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Frontend : MapView réécrit sur @groupe-ka/ka-maps (file:../../ka-maps) —
style Mapbox Standard 3D par défaut + bouton 2D, pastilles de prix encre/
blanc, grappes compte + loyer moyen (clamp anti-prix aberrants),
« Rechercher dans cette zone », aperçu React (fin du popup HTML injecté),
sync liste↔carte (sélection + survol), caméra dans l'URL, badge Lou-Ka
Maps · Groupe Ka, jeton public Mapbox (kamaps/config.ts). Recherche
debouncée (fin des requêtes à chaque frappe).
Backend : /api/listings.geojson accepte bbox + limit et renvoie
totalGeocoded/totalMatching ; index idx_listings_geo(lat,lng) ; PRAGMA
optimize au cycle d'ingestion (le planificateur choisissait le mauvais
index).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- louka/profile.py : PUT /api/me/profile (nom affiché, bio 280, ville,
  téléphone, site web, réseaux instagram/facebook/x/linkedin/tiktok/youtube),
  POST /api/me/avatar (Pillow : EXIF, recadrage carré centré, 512 px, JPEG,
  purge des anciennes photos), DELETE /api/me/avatar (retour avatar Google)
- /uploads/ monté (data/uploads/), colonnes users (display_name, avatar_url,
  bio, city, phone, website, socials JSON)
- /api/me : nom et avatar « effectifs » (display_name > Google, upload >
  Google) + tous les champs ; profil public /u/{ka_id} : bio, ville, rôle,
  site, réseaux (jamais courriel/téléphone)
- /profil : éditeur complet (photo avec téléversement, nom affiché, bio avec
  compteur, ville, téléphone, site, 6 réseaux avec icônes maison)
- /u/{ka_id} : bio, chips ville/rôle/site, boutons réseaux sociaux
- python-multipart ajouté (formulaires multipart FastAPI)

- KA-ID : identifiant membre unique « ka- » + 10 chiffres, attribué à la
  création du compte (index unique, backfill au premier /api/me)
- /profil : carte de membre Groupe KA (encre + lime, KA-ID en vedette, avatar,
  ancienneté, bande décorative), infos du compte, copie du KA-ID
- Profil PUBLIC opt-in : /u/{ka_id} (nom, avatar, ancienneté — jamais le
  courriel ; 404 indistinguable si non public), toggle + lien copiable
- Rôles à l'intégration (/bienvenue après le premier login Google) :
  · locataire — favoris (cœur sur les cartes, page /favoris, toggle optimiste)
  · gestionnaire — réclame la page de SA source (1/compte, 1 compte/source)
    et la personnalise (/gestion : accroche, description, contact, logo) ;
    page publique /g/{source} avec inventaire relié + pagination
- louka/accounts.py (rôles, favoris, source_profiles), tables favorites +
  source_profiles + colonnes users (ka_id, public, role, org_source)
- Contexte de compte partagé (account.tsx) : header, cartes et pages reliés

- louka/auth.py : flux authorization-code serveur (login -> Google -> callback),
  state signé, upsert table users, session HMAC-SHA256 en cookie httpOnly 30 j
  (stdlib seulement), /api/me, /api/auth/logout, /api/auth/config
- db.py : table users (google_sub unique, email, name, picture)
- Frontend : bouton « Connexion » (logo Google) dans le header, avatar + menu
  compte (courriel, se déconnecter) — masqué tant que l'OAuth n'est pas configuré
- .env : SESSION_SECRET généré ; GOOGLE_CLIENT_ID/SECRET à coller
  (redirect URI : https://www.lou-ka.com/api/auth/google/callback)

- Ordre mobile : galerie (balayage natif + compteur) -> prix + badge
  « vs le secteur » (seuils -15 %/+10 %) -> chips clés défilantes -> ancres ->
  description -> inclusions (confirmées ✓ vs mentionnées, badge 0 $ de frais
  cachés) -> détails pratiques -> quartier -> à proximité groupé repliable
  avec temps de marche estimés
- Desktop : 2 colonnes (logement | synthèse+quartier) via display:contents
- CTA source sticky en bas d'écran mobile (toujours visible)
- Criminalité reformulée (« 15 % sous la moyenne canadienne ✅ »)
- Backend : table price_log (historique de prix aux changements), colonne
  digest (description structurée, pipeline en cours), « en ligne depuis X
  jours », plomberie schema/db/web

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- louka/quartier.py : jointure lat/lng -> aire de diffusion 2021 (point-dans-
  polygone local, préfiltre bbox), assemblage fiche (démographie recensement,
  scores de proximité StatCan, défavorisation INSPQ, îlot de chaleur,
  criminalité SPVM <500 m sur l'île / indice IGC ailleurs), enrichissement
  listings.dauid dans la boucle watch
- data/quartier.db : base statique construite par scripts/ (fusion via
  scripts/merge_quartier.py), défensif si absente
- fiche : section « Le quartier » (tuiles démographiques, barres de proximité
  0-100, badges chaleur/criminalité, attributions licences ouvertes)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- louka/poi.py : une requête Overpass par immeuble (13 catégories : épicerie,
  dépanneur, pharmacie, école, garderie, parc, bus, métro, gym, café,
  clinique, hôpital, bibliothèque), plus proche par catégorie avec distance,
  cache permanent par coordonnées arrondies (~11 m), politesse 1 req/s,
  rafraîchissement aux 3 mois
- run.py poi [n] + intégration à la boucle watch (80 nouveaux immeubles/cycle)
- /api/listings/{uid} : champ poi[] joint depuis le cache
- fiche : section « À proximité » (icône, nom réel, distance formatée),
  mention données OpenStreetMap

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

- schema.Listing : availability_date (ISO/now), area_sqft, pets, furnished,
  details (JSON structuré) + finalize() appliqué à toutes les sources
- normalize.py : dates FR/EN → ISO, superficies pi²/m², prix robuste,
  types d'unité (chambres→½, 6½+, MDV…), commodités → tags canoniques,
  stationnement/animaux/fumeur/contact extraits du texte
- db.py : migration auto, délai de grâce (2 syncs) avant désactivation,
  détection de dérive (volume + taux de prix null) avec retraits suspendus,
  cache des pages détail, cache de géocodage (préparé pour la carte)
- fixtures.py + run.py record : enregistrement/rejeu des réponses HTTP,
  tests de régression pytest par connecteur (snapshot + validité schéma)
- web.py : nouveaux filtres pets/furnished/available_by/area_min

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

Plateforme complète : 68 connecteurs de gestionnaires immobiliers, schéma
standardisé avec détection de changements (hash), API FastAPI, frontend
React/Vite PWA (design éditorial sharp, thème clair), déployée sur
www.lou-ka.com avec resynchronisation horaire.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>