# ✨ Aperçu

Tableau de bord temps réel (thème rouge)	Répertoire structuré — graphe global interactif

Les captures ci-dessus utilisent assets/ka4_dashboard.png et assets/ka4_explorer.png.

# 🎯 Positionnement — Édition agressive

Le Groupe KA opère trois bots jumeaux partageant le même moteur, à trois paliers :

Ce dépôt = ka4 (Édition agressive, thème rouge).

# 🧠 Comment ça marche

                       ┌──────────────────────────────────────────────┐
   Missions  ───────▶  │  Agent (Claude)  — planifie, cherche,        │
   (dashboard)         │  approfondit (deep_dive), pilote via outils  │
                       └───────────────┬──────────────────────────────┘
                                       │ outils
        search_web / map_site / scrape_page / deep_dive / crawl_queue
                                       │
             ┌─────────────────────────▼─────────────────────────┐
             │  Firecrawl (principal) → Scrapfly (repli anti-bot) │
             │  robots.txt + rate-limit + fail-fast + coupe-circuit│
             └─────────────────────────┬─────────────────────────┘
                                       │  markdown
                          ┌────────────▼────────────┐
                          │  Extracteur (Haiku)      │
                          │  → GRAPHE {entités,      │
                          │     relations typées}    │
                          └────────────┬────────────┘
                                       │ résolution d'entités + provenance
                          ┌────────────▼────────────┐
                          │  SQLite (WAL)            │
                          │  entités · relations ·  │
                          │  liens sociaux · sources │
                          └────────────┬────────────┘
                                       │ SSE temps réel
                          ┌────────────▼────────────┐
                          │  Dashboard + Répertoire  │
                          │  (FastAPI, 3 vues)       │
                          └──────────────────────────┘

# 🚀 Fonctionnalités

• 🕸️ Graphe de connaissances — entités normalisées + relations typées (WORKS_AT, FOUNDER_OF, REPRESENTED_BY, COLLABORATES_WITH, SPONSORED_BY, MEMBER_OF, PARTNER_OF…), avec rôle et provenance.
• 🧩 Résolution d'entités / déduplication (nom normalisé + domaine + région) et régions QC canoniques.
• 👤 Modèle créateur/influenceur — type creator/agency/brand, handle, plateforme, abonnés (par plateforme), niche, langues.
• ⚡ Crawling concurrent (10 pages en parallèle) + frontière agressive (auto-découverte de liens).
• 🛟 Robustesse — timeouts fail-fast, retries par URL (dead-letter), coupe-circuit par domaine.
• 🧭 Agent rigoureux (plan → découverte → collecte → vérification) + auto-compaction du contexte.
• 🎛️ Contrôles de mission — arrêter la mission en cours, lancer maintenant (prioriser), supprimer.
• 🗄️ Archives — snapshot des données puis remise à zéro ; historique restaurable / exportable.
• 🖥️ Dashboard temps réel (SSE) — KPIs, flux d'activité, réglages en direct, thème rouge, responsive.
• 🔎 Répertoire structuré — 3 vues : Cartes, Tableau triable, Graphe global (force-directed, pan/zoom), facettes (type/secteur/région), recherche, export CSV/JSON.
• 🇶🇨 Conforme — robots.txt respecté, rate-limiting, note Loi 25 (Québec) / LPRPDE, données publiques.

# ⚙️ Configuration (.env)

⚠️ Le fichier .env (clés API) n'est pas versionné (.gitignore).

# 🏗️ Installation & exécution

python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env          # renseigner les clés

# Dashboard (web)
uvicorn web.app:app --host 127.0.0.1 --port 8899

# Bot long terme (crawler)
python main.py run

# Modes ponctuels
python main.py pipeline --query "influenceurs beauté Québec"
python main.py agent --goal "Cartographier les agences d'influence de Montréal"
python main.py stats
python main.py export --out exports/entites.json

# ☁️ Déploiement (cluster MacLustr — node M4M36)

bash deploy/deploy.sh M4M36 8899 www.ka4.bot

Crée 3 services launchd résilients : com.ka4.web, com.ka4.bot, com.ka4.ngrok (tunnel --url=https://www.ka4.bot, inspection ngrok sur :4041 pour cohabiter avec les autres bots).

# 🔌 API principale

# 🗃️ Modèle de données (SQLite)

entities (type, nom, canonical/norm, domaine, secteur, région, coordonnées, niche/handle/plateforme/abonnés, provenance) · relations (from, to, type, rôle, source, confiance) · social_links (plateforme, url, abonnés) · sources · entity_mentions · crawl_queue · missions · events · settings · archives.

# ⚖️ Conformité & usage responsable

Données publiques uniquement · robots.txt respecté · rate-limiting · finalités légitimes (annuaire, veille, recherche de marché). Encadré par la Loi 25 (Québec) et la LPRPDE. Ne pas constituer de profils de personnes privées à des fins de surveillance ou de démarchage non sollicité.