spb/fabri-ka

1# Transport de secours Scrapfly (`scrapfly-transport`)23*Généré le 2026-08-23 16:01 par `scripts/gen_connector_docs.py` — fichier produit automatiquement, ne pas éditer à la main.*45## Mécanique67- `POST` → `https://api.scrapfly.io/scrape` avec `asp=true` (anti-bot) et `country=ca`, `render_js` optionnel.8- Employé **en dernier recours** quand l'accès direct échoue (403/429/HTML au lieu de JSON) ; chaque appel consomme des crédits et les échecs définitifs sont mémorisés.9- Clé : variable d'environnement `SCRAPFLY_API_KEY` (`.env`).10- Throttle interne : verrou global, 0,5 s minimum entre appels.1112**En-tête du module :**1314> Fabri-Ka — Agrégateur de produits québécois15> Auteur : Simon-Pierre Boucher — contact@spboucher.ai16> connectors/scrapfly.py : transport de secours via l'API Scrapfly (anti-bot,17>   rendu JS optionnel). Utilisé quand l'accès direct échoue (403/429/HTML18>   au lieu de JSON). Chaque appel consomme des crédits : on ne l'emploie19>   qu'en dernier recours et on mémorise les échecs définitifs.2021## Gotchas2223- **`large_object`** : au-delà d'une certaine taille, Scrapfly ne renvoie pas le contenu mais une URL `https://api.scrapfly.io/scrape/large_object/…` qu'il faut suivre (2e GET, avec la clé en paramètre) pour obtenir le corps réel — géré depuis le commit `4c85b1f` (repli Scrapfly robuste).24- Utilisé aussi par les scripts d'enrichissement (`enrich_stores.py`) pour les pages d'accueil en 403.2526