SPB Git forge

spb/crea-ka

Public

Créa·Ka — annuaire public cross-plateforme des créateurs de contenu québécois (crea-ka.com)

52commits 1branches 0releases
11.3 MBsize
maindefault branch
19 days agolast push
Python 73.6% HTML 13.2% TypeScript 6% JavaScript 4.5% CSS 1.7% Dockerfile 0.6%

History of data/sources.json · clear filter

  1. Tue, Aug 18, 2026 5

    1. crea-ka: couverture 13 plateformes (Apify) + refresh auto 7j + max-parallélisme
      …
      - +patreon-apify +discord-apify (code invit sensible à la casse via URL)
      - run_actor_sharded : N runs parallèles (défaut 32x2Go), retry+jitter, hook target_of
      - rotation hebdo (APIFY_REVISIT_DAYS=7) : le watch PM2 quotidien couvre tout le bassin en <=7j
      - +tavily-seed (1271 graines moissonnées) +snowball-ig (related_profiles) pour lexpansion
      - frontend : stats/badges/contenu récent par plateforme
      
      Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +36
    2. crea-ka: 12 connecteurs Apify maison (enrichissement multi-plateforme ultra détaillé)
      …
      Acteurs KA (compte Apify gorgeous_thistle, proxy résidentiel) branchés comme
      connecteurs denrichissement:
      - instagram/tiktok/x/youtube/twitch/kick/facebook/threads/snapchat/fansly-apify
      - profils détaillés: abonnés, bio, badges, engagement, cadence + contenu récent
        (posts/vidéos/tweets avec likes/commentaires/vues), liens croisés (cross_link)
      - rotation par fraîcheur (revisit_days), garde-fous Scrapfly (_fresh 72h)
      - onlyfans-apify + instagram-decouverte présents mais hors ordre auto
        (SPA / topsearch fermé aux sessions anonymes)
      
      Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +108
    3. Vague 4 — expansion massive : twitch-decouverte + kick-decouverte (Scrapfly), YT 1361 requêtes (bloc EN, 13 thèmes×56 villes, +100 passe-temps), iTunes 146 requêtes, +5 catégories Wikipédia, enrichisseur region-bio (ville déclarée en bio → région §7)
      …
      +3 596 créateurs (5 841 → 9 437), +3 684 comptes (10 512). Twitch 292, Kick 122 comptes. region-bio : 1 391 fiches localisées. Avatars 96,5 %.
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +28 −1
    4. Vague 3 : Twitch GQL public sans clé (abonnés), stats YouTube sans clé (InnerTube), découvertes wikipedia-qc + palmares-apple, fix marqueurs QC
      …
      - twitch : plus de SkipSource — API GQL publique du site (Client-ID public,
        requêtes groupées 20/POST) : abonnés, bio, avatar, partenaire/affilié,
        dernière diffusion ; voie Helix officielle conservée si clés fournies ;
        repli curl-binaire si empreinte TLS refusée. 21/26 comptes avec abonnés.
      - youtube : voie publique complète sans clé — page de chaîne + InnerTube
        browse du panneau À propos (vues totales, nb vidéos, pays) + page /videos
        (date de la dernière vidéo → dormant >12 mois) ; bannière, avatar,
        description → bio ; cap 300 chaînes/passage, rotation 14 j (yt_checked).
        Passage initial : 264 chaînes (vues+vidéos 264, last_video 261, bannières 245).
      - wikipedia-qc (découverte) : catégories fr+en de créateurs QC (API MediaWiki)
        → marqueur QC obligatoire pour les catégories pan-canadiennes → handles
        sociaux curés Wikidata (P2003/P7085/P2397/P2002/P5797/P2013 + P856) ;
        décédés exclus, is_minor via P569. 76 nouvelles fiches + 35 fusions.
      - palmares-apple (découverte) : top 100 podcasts Canada (API marketing
        officielle Apple, sans clé) + lookup groupé + attribution QC prudente
        (langue fr ET marqueur dans l en-tête du flux). Spotify charts (API morte),
        ADISQ (SPA sans liens) et Bible urbaine (prose sans handles) évalués et
        écartés — documenté dans sources.json.
      - fix _QC_MARKERS : frontières de mot (« levis » matchait teLEVISion,
        « estrie » tapESTRIEs) — faux positifs purgés de la base.
      - sources.json (16 sources), docs connecteurs régénérées, tests vague 3
        (46 verts).
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +25 −7
    5. Vague 2 : balados-rss (RSS sans clé), Podcast Index (prêt — clés requises), abonnés X sans clé, bio-liens, plateformes spotify/discord/apple-podcasts
      …
      - balados-rss : flux RSS auto-déclarés (cap 150/passage, re-visite 7 j, fetch
        parallèle poli, repli regex) → épisodes réels, dernier épisode/dormant,
        pochette→avatar, description→bio, catégories→niches, <link>→site-web
        (portails partagés et domaines de plateformes exclus — anti-fusion §12.2)
      - podcastindex : connecteur complet API officielle, sauté proprement sans
        clés (SkipSource) ; PODCASTINDEX_API_KEY/SECRET dans .env.example
      - x-profil : abonnés/abonnements/badge X via le service public de syndication
        (widgets officiels) + repli page x.com ; fetch via curl (requests 429-é par
        empreinte TLS, constaté) ; followbutton mort et Facebook bloqué → documenté
      - bio-liens : liaison croisée conservatrice depuis les URLs complètes des
        bios déjà stockées (cross_link, cap 5/fiche, jamais de @handle textuel)
      - normalize/frontend : plateformes spotify, discord, apple-podcasts→podcast
        (fusion par collectionId) ; icônes simple-icons ; PLAT du SPA
      - sources.json : 4 nouvelles sources documentées ; tests vague 2 (35 verts)
      
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher committed 1 mo ago · 1 file +38 −1
  2. Mon, Aug 17, 2026 1

    1. Simon-Pierre Boucher committed 1 mo ago · 1 file +98