API-KA — plateforme centrale : collecte quotidienne des 8 services KA, historisation append-only et API publique sur www.api-ka.com
1<!-- Auteur : Simon-Pierre Boucher — contact@spboucher.ai -->23<p align="center">4 <a href="https://www.api-ka.com"><img src="https://www.api-ka.com/og.png" width="760" alt="API·Ka — La donnée de l'écosystème, par API"></a>5</p>6<h1 align="center">API·Ka</h1>7<p align="center"><b>La donnée de l'écosystème, par API</b></p>89<div align="center">1011[](https://www.api-ka.com)12[](https://www.api-ka.com/doc/)13[](https://www.api-ka.com/doc/api-ka-documentation.pdf)14[](https://www.api-ka.com/docs)1516171819[](https://www.api-ka.com/api/stats)20[](https://www.api-ka.com/api/stats)21[](https://www.api-ka.com/api/stats)22[](https://www.api-ka.com/stats)23[](https://www.api-ka.com/stats)24[](https://www.api-ka.com/health)25[](https://www.api-ka.com/health)26272829303132333435363738</div>3940**API·Ka** ([www.api-ka.com](https://www.api-ka.com)) est la **plateforme de données centrale de l'écosystème Groupe KA**. Chaque jour, **9 collecteurs** (lou-ka, immo-ka, food-ka, auto-ka, fabri-ka, resto-ka, sorti-ka, crea-ka, job-ka) sauvegardent les données des plateformes dans une base **PostgreSQL** unifiée (fetch → validation → checksum → insertion → backup → journal de run, retry 3× avec backoff 30 s → 2 min → 10 min), puis les exposent via une **API FastAPI publique** : données paginées, historiques par date, statistiques, rapports PDF.4142Elle héberge aussi le **KA Agent** — l'assistant IA central du groupe (Claude Haiku 4.5, SSE, boucle de **24 outils** branchés sur les API publiques des plateformes) servi en widget (`/ka-agent.js`) aux 13 domaines de l'écosystème — et sert de **superviseur des connecteurs** (~3 270 connecteurs suivis au 2026-08-24 : historique des collectes `/api/v1/runs`, santé par service, alertes). L'accès à l'API produit exige une authentification : session **KA ID** ou **jeton personnel** (`kapi_`, généré sur groupe-ka.com/compte).4344## Chiffres live (au 2026-08-24)4546Instantané de `GET /api/stats` et `GET /health` — les pastilles dynamiques ci-dessus restent à jour en continu.4748| Métrique | Valeur |49|---|---|50| Collectes sur 7 jours | **63 / 63 réussies** (0 échec) |51| Enregistrements collectés sur 7 jours | **4 158 204** |52| Enregistrements de la collecte du jour (9 services) | **663 770** |53| Appels API sur 7 jours | **6 196** |54| Connecteurs supervisés (écosystème) | **3 271** — 3 098 OK · 169 dégradés · 3 en panne · 1 périmé |5556Dernière collecte par service (2026-08-24) :5758| Service | Enregistrements | | Service | Enregistrements |59|---|---|---|---|---|60| fabrika | 385 061 | | autoka | 48 446 |61| immoka | 67 702 | | jobka | 21 492 |62| foodka | 50 936 | | sortika | 17 147 |63| louka | 45 479 | | restoka | 14 716 |64| creaka | 12 791 | | **Total** | **663 770** |6566## Visite guidée6768*Captures du 2026-08-25 (mobile 390×844 · desktop 1440×900).*6970<table>71 <tr>72 <td align="center"><img src="docs/screenshots/desktop/doc.webp" width="420" alt="Documentation"><br><sub><b>www.api-ka.com/doc — le guide public de l'API (desktop)</b></sub></td>73 <td align="center"><img src="docs/screenshots/mobile/doc.webp" width="220" alt="Documentation mobile"><br><sub><b>Guide — version mobile</b></sub></td>74 </tr>75 <tr>76 <td align="center" colspan="2"><img src="docs/screenshots/desktop/docs.webp" width="640" alt="Swagger"><br><sub><b>/docs — l'API interactive (OpenAPI)</b></sub></td>77 </tr>78</table>7980### Nouveautés (2026-08-25)8182- **KA Agent v3.2** — 33 outils (recherche fédérée, annuaires déménageurs/inspecteurs, historique/coût réel/TAL logement, ValoPlex, KA Scores) ; cartes d'annonces construites **côté serveur** (`afficher_cartes`), lien public `lien_fiche` sur chaque résultat, reprise automatique après coupure `max_tokens`.83- **Widget ka-agent v4** servi aux 13 domaines — cartes cliquables (`ka-card`) et choix en boutons (`ka-choix`).84- **Monitoring des connecteurs** — statut `retired` pour les sources désactivées ou disparues.85- **Nav mobile v2** sur les pages web.8687> 🗄️ Les captures d'époque sont conservées dans [`docs/archive/`](docs/archive/).8889## Fonctionnalités9091- **9 collecteurs quotidiens** — un par plateforme Ka (Job-Ka intégré le 2026-08-18), avec validation, checksum, retry 3× (backoff exponentiel) et journal de run ; tout échec après 3 tentatives est loggé (`collection_runs`, `logs/alerts.log`).92- **Scheduler APScheduler** — job quotidien à 02:00 (collecteurs en parallèle et indépendants) + **backfill automatique** des dates manquées (7 derniers jours).93- **API publique de données** — `GET /api/v1/{service}` (pagination, limit max 500), `/latest`, `/date/{YYYY-MM-DD}`, `/stats`, `/api/v1/runs` (historique des collectes), pour `{service}` ∈ louka, immoka, foodka, autoka, fabrika, restoka, sortika, creaka, jobka.94- **Authentification obligatoire sur l'API produit** — session KA ID ou jeton Bearer `kapi_` ; monitoring, stats et agent restent ouverts.95- **KA Agent (IA)** — `POST /api/agent/chat` en SSE (Claude Haiku 4.5, boucle de 24 outils sur les données live des plateformes : logements, propriétés, véhicules, emplois, épicerie, produits, restos, plats, menus, inspections MAPAQ, sorties, créateurs, juste prix, estimateur Vrai-Prix, boutiques, suggestions, facettes, stats, état des services) + recherche floue en cascade + widget embarquable `GET /ka-agent.js` (v3 : bulle déplaçable, position mémorisée par site), CORS ouvert aux 13 domaines.96- **SSO KA ID** — `GET /api/auth/ka/{login,callback}`, session `/api/auth/me`, et échange de jeton pour les apps natives (`POST /api/ios/auth/exchange`, vérification HS256, `aud` ∈ ka-ios, ka-android).97- **Stats & rapports** — tableau de bord `/stats`, `GET /api/stats` (KPI compact JSON), `GET /api/stats/report` (PDF de la plateforme) et `GET /api/stats/ecosystem-report` (rapport PDF consolidé de l'écosystème, liste dynamique via `ecosystem.json`) + rapports PDF personnalisés (catalogue + constructeur).98- **Recherche transversale** — `GET /api/v1/search` + `GET /api/v1/suggest` (proxy du moteur Trouve-Ka, pivot moteur de recherche Groupe KA).99- **Backups quotidiens** horodatés par service (`data/backups/YYYY-MM-DD/`, rétention 90 jours).100- **Santé & supervision** — `GET /health` (nœud, état DB, dernière collecte par service) ; chaque service vérifie le hostname au démarrage et refuse de tourner en production ailleurs que sur `m3u96b`.101- **SEO du site de doc** — robots.txt, sitemap.xml, canonical/hreflang/JSON-LD.102103## API (endpoints principaux)104105Référence interactive complète : **Swagger sur [/docs](https://www.api-ka.com/docs)**. 🔒 = session KA ID ou jeton Bearer `kapi_` requis.106107| Méthode & endpoint | Description |108|---|---|109| `GET /health` | santé : nœud, état DB, dernière collecte par service |110| `GET /api/stats` | KPI compact JSON : collectes 7 j, enregistrements, appels API, connecteurs (alimente les pastilles ci-dessus) |111| 🔒 `GET /api/v1/{service}` | données paginées (limit max 500) — service ∈ louka, immoka, foodka, autoka, fabrika, restoka, sortika, creaka, jobka |112| 🔒 `GET /api/v1/{service}/latest` | dernière collecte du service |113| 🔒 `GET /api/v1/{service}/date/{YYYY-MM-DD}` | collecte d'une date précise |114| 🔒 `GET /api/v1/{service}/stats` | statistiques du service |115| 🔒 `GET /api/v1/louka/fairvalue/{uid}` | juste prix d'une annonce Lou·Ka (proxy live, utilisé par l'app iOS KA) |116| `GET /api/v1/runs` | historique des runs de collecte (supervision) |117| `GET /api/v1/monitoring/connectors` · `/connectors/{service}` | santé des connecteurs de l'écosystème (~3 270 suivis) |118| `GET /api/stats/dashboard` · `/report` · `/catalog` · `POST /api/stats/report/custom` | tableau de bord + rapports PDF (catalogue, personnalisés) |119| `GET /api/stats/ecosystem-report` | rapport PDF consolidé des 13 plateformes |120| `POST /api/agent/chat` (SSE) · `GET /ka-agent.js` | KA Agent (Claude Haiku 4.5 + 24 outils live) et son widget embarquable |121| `GET /api/v1/search` · `GET /api/v1/suggest` | recherche transversale (incl. recherche floue) et suggestions — proxy Trouve-Ka |122| `GET /api/auth/config` · `/ka/login` · `/ka/callback` · `/me` · `POST /api/auth/logout` | SSO KA ID |123| `POST /api/ios/auth/exchange` | échange de jeton pour les apps natives (`aud` ka-ios / ka-android) |124125## Architecture126127- **FastAPI + Uvicorn** (`src/api/`) : 9 routeurs (health, auth, runs, monitoring, stats, search, services, agent, iosauth) + pages web et PDF (fpdf2).128- **PostgreSQL** via **SQLAlchemy 2** (+ **Alembic** pour les migrations, `psycopg2`) : une table de données par service (`{service}_data`) + journal `collection_runs`.129- **Collecteurs** (`src/collectors/`) : classe abstraite `base_collector` (fetch, validate, save, retry) + 9 collecteurs concrets, httpx.130- **Scheduler** (`src/scheduler/`) : `daily_job.py` (02:00) + `backfill.py`.131- **Utils** (`src/utils/`) : backups quotidiens, rétention 90 jours ; `src/monitoring/` pour la supervision.132- **anthropic** SDK pour le KA Agent.133134Collecteurs et cadence :135136| Collecteur | Source | Cadence |137|---|---|---|138| `louka` · `immoka` · `foodka` · `autoka` · `fabrika` · `restoka` · `sortika` · `creaka` · `jobka` | API publique de chaque plateforme Ka (`{SERVICE}_SOURCE_URL`) | quotidien 02:00 (parallèle, indépendants) |139| backfill | dates manquées des 7 derniers jours | au démarrage du job quotidien |140| backups | dump horodaté par service (`data/backups/YYYY-MM-DD/`) | quotidien, rétention 90 jours |141142Processus PM2 sur le nœud (commandes de start réelles) :143144| Processus | Commande | Rôle |145|---|---|---|146| `apika-api` | `venv/bin/uvicorn src.api.main:app --host 127.0.0.1 --port 8000` | l'API FastAPI/Uvicorn sur le port **8000** (liée à 127.0.0.1) |147| `apika-scheduler` | `venv/bin/python -m src.scheduler.daily_job` | le job quotidien 02:00 + backfill |148| `apika-ngrok` | `ngrok http --domain=www.api-ka.com 8000 --log stdout` | tunnel vers **www.api-ka.com** |149150## Démarrage rapide151152```bash153git clone gitsrv:api-ka.git && cd api-ka154python3 -m venv venv && source venv/bin/activate155pip install -r requirements.txt156cp .env.example .env # puis remplir les valeurs157158python -m src.database.db --init # initialiser la base PostgreSQL159uvicorn src.api.main:app --reload --port 8000 # API en dev → http://127.0.0.1:8000160python -m src.scheduler.daily_job --now # collecte manuelle immédiate161python -m src.scheduler.backfill --date 2026-08-15162pytest tests/ -v # 8 modules de tests (api, collectors, retry, backfill, search, stats, connector_health)163```164165## Variables d'environnement166167Déclarées dans `.env.example` (copier vers `.env`, jamais commité — aucun secret dans le repo) :168169| Variable | Rôle |170|---|---|171| `APP_ENV` · `NODE_NAME` | environnement + garde-fou de hostname (`m3u96b` en prod) |172| `DATABASE_URL` | connexion PostgreSQL (SQLAlchemy) |173| `API_PORT` · `RATE_LIMIT_PER_MINUTE` | port de l'API (8000) et rate-limit |174| `DAILY_RUN_HOUR` · `BACKUP_RETENTION_DAYS` | heure du job quotidien (02) et rétention des backups (90) |175| `NGROK_AUTHTOKEN` · `NGROK_DOMAIN` | tunnel ngrok (www.api-ka.com) |176| `LOUKA_SOURCE_URL` … `JOBKA_SOURCE_URL` (×9) | URL source de chaque collecteur |177| `TROUVEKA_SEARCH_URL` · `TROUVEKA_SUGGEST_URL` | proxy du moteur de recherche Trouve-Ka |178| `KA_HUB_URL` · `KA_SSO_SECRET` · `KA_IOS_SSO_SECRET` · `SESSION_SECRET` | SSO KA ID (hub groupe-ka.com) + sessions |179| `ANTHROPIC_API_KEY` | clé du KA Agent (lue par le SDK anthropic) |180| `APIKA_BASE_URL` | base URL publique de l'API |181182## Données & conformité183184- **Provenance** : les données proviennent exclusivement des **API publiques des 9 plateformes Ka** (aucun scraping tiers dans ce repo) ; chaque enregistrement passe par validation + checksum avant insertion.185- **Cadence** : resynchronisation **quotidienne à 02:00** (collecteurs parallèles) + backfill automatique des 7 derniers jours ; backups quotidiens horodatés, rétention 90 jours.186- **Accès** : l'API produit exige une authentification (session KA ID ou jeton `kapi_` révocable sur groupe-ka.com/compte) ; monitoring, stats et agent restent publics ; rate-limit 120 req/min.187- **Traçabilité** : chaque run de collecte est journalisé (`collection_runs`, exposé via `/api/v1/runs`) ; alertes dans `logs/alerts.log`.188189## Structure du repo190191```192/opt/api-ka193├── src/ # api/ (routes, web, PDF), collectors/ (9), scheduler/, database/, monitoring/, utils/, config.py194├── scripts/ # deploy_m3u96b.sh, healthcheck.sh, run_daily_backup.sh, start_ngrok.sh…195├── systemd/ # unités historiques (le déploiement actuel utilise PM2)196├── tests/ # pytest (8 modules)197├── data/ # backups/YYYY-MM-DD/ (rétention 90 jours)198├── logs/ # logs centralisés + alerts.log199├── docs/ # captures d'écran200└── alembic.ini · pyproject.toml · requirements.txt · CLAUDE.md201```202203## Documentation204205- **Guide en ligne** : [www.api-ka.com/doc/](https://www.api-ka.com/doc/) — à quoi sert la plateforme, le parcours en 3 étapes (site de doc → Swagger `/docs` → supervision `/stats`), d'où viennent les données, FAQ.206- **Guide PDF** : [api-ka-documentation.pdf](https://www.api-ka.com/doc/api-ka-documentation.pdf) — la même documentation, téléchargeable.207- **Swagger interactif** : [www.api-ka.com/docs](https://www.api-ka.com/docs) — tous les endpoints, schémas et essais en direct.208- Les captures du guide sont versionnées dans `src/api/web/doc/img/` (etape1 → etape3).209210## Historique211212| Date | Jalon |213|---|---|214| 2026-08-17 | naissance de la plateforme : collecte quotidienne des 8 services KA + API publique (`d8b3b82`), design Groupe KA + SSO KA ID, page `/stats`, rapport écosystème PDF, **KA Agent v1** (Claude Haiku, SSE, 12 outils, CORS 13 domaines) |215| 2026-08-18 | **Job-Ka devient le 9ᵉ service** (collecteur + supervision, `609d6bb`) ; supervision centralisée des connecteurs de l'écosystème ; auth mobile ka-ios/ka-android |216| 2026-08-19 | **KA Agent v2** : 24 outils + recherche floue en cascade + widget v2 (`e548e0d`) ; socle mobile (anti-zoom 16 px) |217| 2026-08-22 | ka-agent v3 : bulle déplaçable, position mémorisée par site ; standard header KA |218| 2026-08-23 | **authentification obligatoire** sur l'API produit (KA ID / jeton `kapi_`, `99ebb9e`) ; stats v3 (rapports PDF personnalisés) ; recherche `/api/v1/search` (proxy Trouve-Ka) ; SEO complet ; monitoring affiné (fenêtre 6 h, sources vides ≠ pannes) |219| 2026-08-24 | page documentation `/doc` + guide PDF ; README v2 puis **v3** (chiffres live, pastilles dynamiques) |220221## Développement (remote-first)222223**La source de vérité est le repo git sur le nœud M3U96b** (`/opt/api-ka`) — on n'édite jamais les copies laptop. Toute modification se fait sur le nœud via SSH : édition, tests, `pm2 restart`, puis commit/push depuis le nœud.224225- Remote `origin` = **spbgit** (git perso [git.spboucher.ai](https://git.spboucher.ai), bare repos sur M3U96a). **Pas GitHub.**226- L'agent forwarding SSH est actif : le `git push origin main` fonctionne pendant une session SSH depuis le laptop.227- Chaque fichier du dépôt porte l'en-tête d'auteur obligatoire (voir `CLAUDE.md`).228229```bash230pm2 restart apika-api # après un changement en production231```232233## Déploiement234235- **Nœud** : M3U96b (Mac Studio, cluster MacLustr) — répertoire `/opt/api-ka` (hostname vérifié au démarrage)236- **Port** : **8000** (API liée à 127.0.0.1, exposée uniquement via le tunnel)237- **Processus PM2** : `apika-api` (API) + `apika-scheduler` (collectes) + `apika-ngrok` (tunnel)238- **Domaine** : **https://www.api-ka.com** (tunnel ngrok)239240## Écosystème Groupe KA241242| Plateforme | Vocation |243|---|---|244| [groupe-ka.com](https://www.groupe-ka.com) | portail du groupe et compte unique KA ID |245| [lou-ka.com](https://www.lou-ka.com) | logements à louer |246| [immo-ka.com](https://www.immo-ka.com) | propriétés à vendre |247| [vrai-prix.com](https://www.vrai-prix.com) | estimation immobilière |248| [auto-ka.com](https://www.auto-ka.com) | véhicules |249| [fabri-ka.com](https://www.fabri-ka.com) | produits québécois |250| [food-ka.com](https://www.food-ka.com) | épicerie et alimentation |251| [resto-ka.com](https://www.resto-ka.com) | restaurants |252| [sorti-ka.com](https://www.sorti-ka.com) | sorties et événements |253| [job-ka.com](https://www.job-ka.com) | emplois |254| [crea-ka.com](https://www.crea-ka.com) | créateurs de contenu |255| [trouve-ka.com](https://www.trouve-ka.com) | petites annonces |256| [api-ka.com](https://www.api-ka.com) | API de données *(ce repo)* |257258## Contact259260**Simon-Pierre Boucher** — fondateur, Groupe KA261📧 [contact@spboucher.ai](mailto:contact@spboucher.ai)262263---264265© Groupe KA — Simon-Pierre Boucher · contact@spboucher.ai266Ce repo vit sur **spbgit** ([git.spboucher.ai](https://git.spboucher.ai)).267