# Transport de secours Scrapfly (scrapfly-transport)

Généré le 2026-08-23 16:01 par scripts/gen_connector_docs.py — fichier produit automatiquement, ne pas éditer à la main.

# Mécanique

• POST → https://api.scrapfly.io/scrape avec asp=true (anti-bot) et country=ca, render_js optionnel.
• Employé en dernier recours quand l'accès direct échoue (403/429/HTML au lieu de JSON) ; chaque appel consomme des crédits et les échecs définitifs sont mémorisés.
• Clé : variable d'environnement SCRAPFLY_API_KEY (.env).
• Throttle interne : verrou global, 0,5 s minimum entre appels.

En-tête du module :

Fabri-Ka — Agrégateur de produits québécois Auteur : Simon-Pierre Boucher — contact@spboucher.ai connectors/scrapfly.py : transport de secours via l'API Scrapfly (anti-bot, rendu JS optionnel). Utilisé quand l'accès direct échoue (403/429/HTML au lieu de JSON). Chaque appel consomme des crédits : on ne l'emploie qu'en dernier recours et on mémorise les échecs définitifs.

# Gotchas

• large_object : au-delà d'une certaine taille, Scrapfly ne renvoie pas le contenu mais une URL https://api.scrapfly.io/scrape/large_object/… qu'il faut suivre (2e GET, avec la clé en paramètre) pour obtenir le corps réel — géré depuis le commit 4c85b1f (repli Scrapfly robuste).
• Utilisé aussi par les scripts d'enrichissement (enrich_stores.py) pour les pages d'accueil en 403.