SPB Git

spb/trouve-ka Public

Trouve-KA — moteur de recherche web indépendant, Québec-first. Crawler distribué, index OpenSearch, ranking bilingue, galerie d'images. En prod : www.trouve-ka.com

Python 76.8% TypeScript 15.7% SQL 3.9% Shell 1.4% CSS 1.3% Dockerfile 0.7%
421 B · 13 lines python
Raw Blame History
1# Trouve-KA — crawler2# Author: Simon-Pierre Boucher3# Contact: contact@spboucher.ai45"""Le crawler de Trouve-KA : frontier Postgres, politesse par hôte, robots.txt,6fetch HTTP sécurisé (SSRF), pièges de crawl, pipeline inline fetch→parse→score→index."""78from .robots import RobotsCache9from .fetcher import Fetcher10from .traps import looks_like_trap1112__all__ = ["RobotsCache", "Fetcher", "looks_like_trap"]13