retrait: connecteur Ubee supprimé et 466 inscriptions effacées (plainte de Ubee, 2026-10-08)

- louka/connectors/ubee.py + docs/connecteurs/ubee.md supprimés, ligne INDEX retirée
- data/sources.json : ubee → retiré (ne pas réactiver sans accord écrit)
- louka/web.py : les statuts inactif/retiré sont aussi déclarés disabled_sources à api-ka
- base : listings (466), price_log (505), fairvalue (375), listing_events (319),
  recycled_cache (77), managers (1), sync_log (372), image_checks (12 701 URL
  Cloudinary ubee-media) effacés ; dédup inter-sources recalculée
- sauvegarde à froid hors dépôt : ~/ubee-retrait-20261008/

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>

Simon-Pierre Boucher committed 1 mo ago (Oct 8, 2026) parent cf20c1b Browse files

5 changed files +2 −205

modified data/sources.json +1 −1

				`@@ -2606,7 +2606,7 @@`
2606	"listing_url": "https://ubee.com/a-louer",	2606	"listing_url": "https://ubee.com/a-louer",
2607	"sectors": "Province entière — API SearchProperties listingType Renter (résidentiel)",	2607	"sectors": "Province entière — API SearchProperties listingType Renter (résidentiel)",
2608	"connector": "ubee",	2608	"connector": "ubee",
2609	− "status": "actif",	2609	+ "status": "retiré — 2026-10-08, à la demande de Ubee (plainte) : connecteur supprimé, 466 inscriptions effacées. NE PAS RÉACTIVER sans accord écrit de Ubee.",
2610	"region": "Province"	2610	"region": "Province"
2611	},	2611	},
2612	{	2612	{

modified docs/connecteurs/INDEX.md +0 −1

				@@ -365,7 +365,6 @@ _Généré automatiquement par `scripts/gen_connector_docs.py` le 2026-09-04 14:
365	\| [`trouve_ton_appart`](trouve_ton_appart.md) \| Trouve Ton Appart (Construction Léandre… \| Chaudière-Appalaches \| pages HTML (rendu serveur) \| direct \| 5/5 \| 80 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|	365	\| [`trouve_ton_appart`](trouve_ton_appart.md) \| Trouve Ton Appart (Construction Léandre… \| Chaudière-Appalaches \| pages HTML (rendu serveur) \| direct \| 5/5 \| 80 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|
366	\| [`trudel`](trudel.md) \| Trudel (Fleur de Lys, LGC) \| Québec \| pages HTML (rendu serveur) \| direct \| 30/30 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 14:08 \|	366	\| [`trudel`](trudel.md) \| Trudel (Fleur de Lys, LGC) \| Québec \| pages HTML (rendu serveur) \| direct \| 30/30 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 14:08 \|
367	\| [`trylon`](trylon.md) \| Trylon Apartments \| Montréal \| pages HTML (rendu serveur) \| direct \| 7/7 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|	367	\| [`trylon`](trylon.md) \| Trylon Apartments \| Montréal \| pages HTML (rendu serveur) \| direct \| 7/7 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|
368	−\| [`ubee`](ubee.md) \| Ubee (location) \| Province \| API JSON interne du site \| direct \| 247/258 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|
369	\| [`uneo`](uneo.md) \| Unéo Gestion Immobilière \| Montérégie \| pages HTML (rendu serveur) \| direct \| 4/4 \| 25 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|	368	\| [`uneo`](uneo.md) \| Unéo Gestion Immobilière \| Montérégie \| pages HTML (rendu serveur) \| direct \| 4/4 \| 25 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|
370	\| [`uptimo`](uptimo.md) \| Uptimo Gestion immobilière \| Estrie \| pages HTML (rendu serveur) \| direct \| 66/81 \| 98 % \| 98 % \| 100 % \| actif \| 2026-09-04 08:58 \|	369	\| [`uptimo`](uptimo.md) \| Uptimo Gestion immobilière \| Estrie \| pages HTML (rendu serveur) \| direct \| 66/81 \| 98 % \| 98 % \| 100 % \| actif \| 2026-09-04 08:58 \|
371	\| [`urban_services`](urban_services.md) \| Urban Services (Urban Tenant Solutions) \| Outaouais \| pages HTML (rendu serveur) \| direct \| 48/61 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|	370	\| [`urban_services`](urban_services.md) \| Urban Services (Urban Tenant Solutions) \| Outaouais \| pages HTML (rendu serveur) \| direct \| 48/61 \| 100 % \| 100 % \| 100 % \| actif \| 2026-09-04 08:58 \|

deleted docs/connecteurs/ubee.md +0 −79

+−# Ubee (location) — connecteur `ubee`
+−
+−_Fiche générée automatiquement par `scripts/gen_connector_docs.py` le 2026-09-04 14:12 — ne pas éditer à la main, régénérer._
+−
+−**État : actif** · Région : Province · Backend : direct · Annonces actives : 247/258
+−
+−## Description de la source
+−
+−Ubee (ubee.com) — plateforme immobilière québécoise API publique anonyme : POST api.ubee.ca/api/anonymous/Search/SearchProperties (pageIndex=N, 24 résultats/page, JSON riche : adresse, GPS, loyer, pièces, superficies m², année, galerie Cloudinary complète). Volet LOCATION : listingType=Renter + isResidential (~250 annonces) ; `askPrice` est le loyer MENSUEL ($) pour ce volet (vérifié en live : 300–5 300 $/mois). Les fiches location vivent sous /a-louer/{ville}/{slug} (canonical du site). Les terrains et le volet commercial sont écartés — pas des logements. Adapté du connecteur « à vendre » d'Immo-Ka (agent-courtage/immoka).
+−
+−- **Site** : https://ubee.com
+−- **Page des annonces** : https://ubee.com/a-louer
+−- **Secteurs couverts** : Province entière — API SearchProperties listingType Renter (résidentiel)
+−- **Module** : `louka/connectors/ubee.py` — classe `UbeeConnector`
+−
+−## Accès
+−
+−- **Type d'accès** : API JSON interne du site
+−- **Endpoint de base** : https://api.ubee.ca/api/anonymous/Search/SearchProperties
+−- **URLs de départ (constantes du module)** : https://api.ubee.ca/api/anonymous/Search/SearchProperties · https://ubee.com
+−- **Authentification** : aucune — contenu public
+−- **Pagination** : page de liste unique (pas de pagination)
+−- **Backend anti-bot / rendu** : requests direct (session UA LouKaBot, throttling poli)
+−- **Politesse** : 0.5 s entre requêtes, timeout 30 s, User-Agent identifiable `LouKaBot/1.0 (+https://www.lou-ka.com/bot)`
+−
+−## Champs récupérés → schéma cible
+−
+−Le connecteur (direct, API JSON interne du site) alimente les colonnes de la table `listings`. Complétude mesurée en SQL sur les 247 annonces actives ; exemple tiré d'une ligne réelle de la BD.
+−
+−| Colonne `listings` | Contenu | Renseignée (actives) | Exemple réel |
+−|---|---|---|---|
+−| `title` | Titre de l'annonce | 100 % | Condo à louer — Montréal (Le Plateau-Mont-Royal) |
+−| `address` | Adresse civique | 100 % | 3456, Av. du Parc |
+−| `city` | Ville (normalisée) | 100 % | Montréal (Le Plateau-Mont-Royal) |
+−| `sector` | Secteur / quartier | 0 % | — |
+−| `unit_type` | Type d'unité (3½, 4½…) | 100 % | 3½ |
+−| `price` | Loyer mensuel ($) | 100 % | 1 800 $ |
+−| `bedrooms` | Chambres | 100 % | 1 |
+−| `bathrooms` | Salles de bain | 99 % | 1 |
+−| `area_sqft` | Superficie (pi²) | 90 % | 592 |
+−| `availability_date` | Date de disponibilité | 0 % | — |
+−| `lat` | GPS (lat/lng) | 100 % | 45.50889466 |
+−| `description` | Description | 0 % | — |
+−| `images` | Photos (JSON) | 100 % | 10 photo(s) — https://res.cloudinary.com/ubee-media/image/private/t_default_size/v1786588… |
+−| `amenities` | Commodités (JSON) | 6 % | [] |
+−| `details` | Détails additionnels (JSON) | 100 % | {"Courtier": "Ubee", "Type": "Condo", "Salles de bain": "1", "Année de construction": "20… |
+−| `url` | URL de l'annonce source | 100 % | https://ubee.com/a-louer/montreal/condo-3456-av-du-parc-49ac28 |
+−
+−## Fréquence & budget
+−
+−- **Cadence observée** (médiane des passages OK, sync_log) : ≈ 3.4 h
+−- **Dernier passage OK** : 2026-09-04 08:58 — 243 trouvées, +7 / ~5 / -0
+−- **Throttling** : 0.5 s entre requêtes (constante de classe `request_delay`)
+−- **Cache des pages détail (BD `detail_cache`)** : activé — évite de re-visiter les fiches inchangées
+−
+−## Volumétrie & complétude
+−
+−- **Annonces en BD** : 258 au total, **247 actives**
+−- **Première ingestion** : 2026-08-12 · **Dernière observation** : 2026-09-04
+−- **Complétude clé (actives)** : GPS 100 % · prix 100 % · photos 100 % · description 0 %
+−- **Runs journalisés (60 derniers)** : 60, dont 0 en erreur
+−
+−## Erreurs connues & dépannage
+−
+−Aucune erreur dans les 60 derniers runs journalisés.
+−
+−Rejouer la source seule : `python3 run.py sync ubee` · vérifier ensuite `sync_log` (`SELECT * FROM sync_log WHERE source='ubee' ORDER BY ts DESC LIMIT 5;`).
+−
+−## Licence, attribution & conditions
+−
+−- Scraping poli d'annonces **publiques** (données factuelles : prix, adresse, disponibilité) publiées par le gestionnaire sur son propre site.
+−- User-Agent **identifiable** avec page d'information et contact : `LouKaBot/1.0 (+https://www.lou-ka.com/bot; contact@spboucher.ai)` ; throttling 0.5 s ; cache détail pour minimiser les requêtes.
+−- Chaque annonce affichée sur Lou-Ka **pointe vers l'annonce d'origine** (colonne `url`) — la source garde le trafic de conversion.
+−- Retrait sur demande : contact@spboucher.ai.
+−
+−## Historique
+−
+−- 2026-08-12 — premières annonces de la source ingérées dans la BD.
+−- 2026-08-18 — vague d'enrichissement : standardisation de la documentation des connecteurs (fiche générée par `scripts/gen_connector_docs.py`).

deleted louka/connectors/ubee.py +0 −123

+−# -----------------------------------------------------------------------------
+−# Lou-Ka — Agrégateur de logements à louer (province de Québec)
+−# Auteur : Simon-Pierre Boucher — contact@spboucher.ai
+−# connectors/ubee.py : Ubee (ubee.com) — plateforme immobilière québécoise
+−#   API publique anonyme : POST api.ubee.ca/api/anonymous/Search/SearchProperties
+−#   (pageIndex=N, 24 résultats/page, JSON riche : adresse, GPS, loyer, pièces,
+−#   superficies m², année, galerie Cloudinary complète). Volet LOCATION :
+−#   listingType=Renter + isResidential (~250 annonces) ; `askPrice` est le
+−#   loyer MENSUEL ($) pour ce volet (vérifié en live : 300–5 300 $/mois).
+−#   Les fiches location vivent sous /a-louer/{ville}/{slug} (canonical du
+−#   site). Les terrains et le volet commercial sont écartés — pas des
+−#   logements. Adapté du connecteur « à vendre » d'Immo-Ka
+−#   (agent-courtage/immoka).
+−# -----------------------------------------------------------------------------
+−from __future__ import annotations
+−
+−from ..schema import Listing
+−from .base import BaseConnector
+−
+−API = "https://api.ubee.ca/api/anonymous/Search/SearchProperties"
+−SITE = "https://ubee.com"
+−M2_TO_SQFT = 10.7639
+−
+−# type d'inscription -> vocabulaire brut (finalize() normalise) ;
+−# Terrain/Commercial ne sont pas des logements -> exclus au filtrage
+−_TYPES = {
+−    "Unifamiliale": "Maison", "Condo": "Condo",
+−    "Plex": "Logement", "Chalet": "Chalet", "Fermette": "Fermette",
+−}
+−_EXCLUDE_TYPES = {"Terrain", "Commercial"}
+−
+−
+−class UbeeConnector(BaseConnector):
+−    source_id = "ubee"
+−    request_delay = 0.5
+−
+−    def _search(self, body: dict) -> list[dict]:
+−        out, page = [], 0
+−        while True:
+−            r = self.post(f"{API}?pageIndex={page}", json=body).json()
+−            results = r.get("results") or []
+−            out.extend(results)
+−            if len(out) >= (r.get("totalCount") or 0) or not results:
+−                break
+−            page += 1
+−            if page > 200:   # garde-fou
+−                break
+−        return out
+−
+−    def _to_listing(self, it: dict) -> Listing | None:
+−        lid = str(it.get("id") or "")
+−        slug = it.get("slugFr") or it.get("slugEn") or ""
+−        if not lid or not slug:
+−            return None
+−        itype = (it.get("inscriptionType") or "").strip()
+−        if itype in _EXCLUDE_TYPES:      # terrain/local : pas un logement
+−            return None
+−        city = (it.get("city") or "").strip()
+−        url = f"{SITE}/a-louer/{it.get('citySlug') or ''}/{slug}"
+−        images = [im["publicUrls"]["default_size"]
+−                  for im in it.get("images") or []
+−                  if (im.get("publicUrls") or {}).get("default_size")]
+−        living = it.get("livingSurfaceInMeters")
+−        ptype = _TYPES.get(itype, itype or "Logement")
+−
+−        # askPrice = loyer mensuel sur le volet Renter (vérifié en live)
+−        price = it.get("askPrice")
+−        if not isinstance(price, (int, float)) or price <= 0:
+−            price = None
+−
+−        # type d'unité : nb de chambres (normalisé n+2 ½ par finalize())
+−        beds = it.get("nbBedrooms")
+−        unit_type = ""
+−        if isinstance(beds, int):
+−            unit_type = "Studio" if beds == 0 else f"{beds} chambres"
+−
+−        details: dict = {"Courtier": "Ubee", "Type": ptype}
+−        if isinstance(it.get("nbBathrooms"), int) and it["nbBathrooms"] > 0:
+−            details["Salles de bain"] = str(it["nbBathrooms"])
+−        if isinstance(it.get("nbHalfBaths"), int) and it["nbHalfBaths"] > 0:
+−            details["Salles d'eau"] = str(it["nbHalfBaths"])
+−        for k, lab in (("propertyType", "Sous-type"),
+−                       ("buildingType", "Type de bâtiment"),
+−                       ("yearBuilt", "Année de construction")):
+−            if it.get(k):
+−                details[lab] = str(it[k])
+−
+−        lst = Listing(
+−            source=self.source_id,
+−            external_id=lid,
+−            url=url,
+−            title=f"{ptype} à louer — {city}" if city else f"{ptype} à louer",
+−            address=it.get("address") or "",
+−            city=city,
+−            unit_type=unit_type,
+−            price=price,
+−            price_label=(f"{price:,.0f} $/mois".replace(",", " ")
+−                         if price else ""),
+−            area_sqft=round(living * M2_TO_SQFT) if living else None,
+−            amenities=[f for f in (
+−                "Neuf / à construire" if it.get("toBuild") else "",
+−            ) if f],
+−            details=details,
+−            images=images,
+−            lat=it.get("latitude"),
+−            lng=it.get("longitude"),
+−        )
+−        return lst
+−
+−    def fetch(self) -> list[Listing]:
+−        # une seule passe : le volet isCommercial=Renter ne renvoie que des
+−        # locaux commerciaux (vérifié en live) — pas des logements
+−        out: dict[str, Listing] = {}
+−        body = {"sortBy": "DateDescending", "listingType": "Renter",
+−                "isResidential": True}
+−        for it in self._search(body):
+−            # Québec seulement (l'API est QC par nature, on double-vérifie)
+−            if (it.get("province") or "QC") != "QC":
+−                continue
+−            lst = self._to_listing(it)
+−            if lst is not None:
+−                out.setdefault(lst.uid, lst)
+−        return list(out.values())

modified louka/web.py +1 −1

				`@@ -907,7 +907,7 @@ def stats(syncs_since_h: float \| None = None):`
907	disabled = [	907	disabled = [
908	s["id"]	908	s["id"]
909	for s in json.loads(SOURCES_PATH.read_text(encoding="utf-8"))["sources"]	909	for s in json.loads(SOURCES_PATH.read_text(encoding="utf-8"))["sources"]
910	− if (s.get("status") or "").startswith("pause")	910	+ if (s.get("status") or "").startswith(("pause", "inactif", "retir"))
911	]	911	]
912	return {**dict(row), "quality": dict(qual), "recent_syncs": log,	912	return {**dict(row), "quality": dict(qual), "recent_syncs": log,
913	"disabled_sources": disabled}	913	"disabled_sources": disabled}
914		914

spb/lou-ka

retrait: connecteur Ubee supprimé et 466 inscriptions effacées (plainte de Ubee, 2026-10-08)

Theme