Trouve-KA — moteur de recherche web indépendant, Québec-first. Crawler distribué, index OpenSearch, ranking bilingue, galerie d'images. En prod : www.trouve-ka.com
Python 51.9%
TypeScript 32.7%
JavaScript 4.8%
CSS 4.1%
Shell 2.9%
HTML 1.8%
SQL 1.5%
1-- Trouve-KA — migration 003 : cap réel d'URLs par domaine + autovacuum frontier2-- Author: Simon-Pierre Boucher3-- Contact: contact@spboucher.ai4--5-- 1) domains.url_count : le cap max_urls_per_domain comparait page_count6-- (pages crawlées) au lieu du nombre d'URLs connues — un domaine pouvait7-- accumuler 20 000+ URLs pending avant que le cap ne morde.8-- 2) frontier_items churne énormément (claim/defer/release = UPDATE) : les9-- réglages autovacuum par défaut (20 % de la table) laissent s'accumuler10-- des centaines de milliers de tuples morts qui ralentissent le claim.1112BEGIN;1314ALTER TABLE domains ADD COLUMN IF NOT EXISTS url_count integer NOT NULL DEFAULT 0;1516UPDATE domains d SET url_count = c.n17FROM (SELECT domain_id, count(*) AS n FROM urls GROUP BY domain_id) c18WHERE c.domain_id = d.id;1920ALTER TABLE frontier_items SET (21 autovacuum_vacuum_scale_factor = 0.02,22 autovacuum_vacuum_cost_delay = 0,23 autovacuum_analyze_scale_factor = 0.0524);2526INSERT INTO schema_migrations (version) VALUES (3) ON CONFLICT DO NOTHING;2728COMMIT;29