# Transport de secours Scrapfly (`scrapfly-transport`)

*Généré le 2026-08-23 16:01 par `scripts/gen_connector_docs.py` — fichier produit automatiquement, ne pas éditer à la main.*

## Mécanique

- `POST` → `https://api.scrapfly.io/scrape` avec `asp=true` (anti-bot) et `country=ca`, `render_js` optionnel.
- Employé **en dernier recours** quand l'accès direct échoue (403/429/HTML au lieu de JSON) ; chaque appel consomme des crédits et les échecs définitifs sont mémorisés.
- Clé : variable d'environnement `SCRAPFLY_API_KEY` (`.env`).
- Throttle interne : verrou global, 0,5 s minimum entre appels.

**En-tête du module :**

> Fabri-Ka — Agrégateur de produits québécois
> Auteur : Simon-Pierre Boucher — contact@spboucher.ai
> connectors/scrapfly.py : transport de secours via l'API Scrapfly (anti-bot,
>   rendu JS optionnel). Utilisé quand l'accès direct échoue (403/429/HTML
>   au lieu de JSON). Chaque appel consomme des crédits : on ne l'emploie
>   qu'en dernier recours et on mémorise les échecs définitifs.

## Gotchas

- **`large_object`** : au-delà d'une certaine taille, Scrapfly ne renvoie pas le contenu mais une URL `https://api.scrapfly.io/scrape/large_object/…` qu'il faut suivre (2e GET, avec la clé en paramètre) pour obtenir le corps réel — géré depuis le commit `4c85b1f` (repli Scrapfly robuste).
- Utilisé aussi par les scripts d'enrichissement (`enrich_stores.py`) pour les pages d'accueil en 403.