Famille scrapfly-asp — Catalogues derrière anti-bot — Scrapfly (ASP)
Généré automatiquement par scripts/gen_connector_docs.py — ne pas éditer à la main.
Vue d'ensemble
- Sources membres : 7
- Produits actifs (BD) : 6 590
Sources membres (BD live)
| Source | Nom | Tech | Région | Produits actifs | En rabais | Dernier sync | Statut |
|---|---|---|---|---|---|---|---|
club_entrepot |
Club Entrepôt | Next.js (NEXT_DATA) derrière Akamai — Scrapfly (ASP) | Québec (grossiste Loblaw) | 921 | 49 | 2026-08-18 02:45 | OK (731 trouvés) |
maxi |
Maxi | Next.js (NEXT_DATA) derrière Akamai — Scrapfly (ASP) | Tout le Québec | 1164 | 151 | 2026-08-18 03:01 | OK (866 trouvés) |
metro |
Metro | HTML rendu serveur derrière Cloudflare — Scrapfly (ASP) | Tout le Québec | 1394 | 425 | 2026-08-18 06:09 | OK (1005 trouvés) |
provigo |
Provigo | Next.js (NEXT_DATA) derrière Akamai — Scrapfly (ASP) | Tout le Québec | 1101 | 94 | 2026-08-18 03:11 | OK (753 trouvés) |
superc |
Super C | Même plateforme que Metro — Scrapfly (ASP) | Tout le Québec | 810 | 225 | 2026-08-18 03:16 | OK (735 trouvés) |
tt |
T&T Supermarket | Magento GraphQL derrière Akamai — Scrapfly (ASP) | Montréal (Saint-Laurent) | 400 | 35 | 2026-08-18 03:22 | OK (400 trouvés) |
walmart |
Walmart Canada | Next.js derrière Akamai + PerimeterX — Scrapfly (ASP) | Tout le Québec | 800 | 165 | 2026-08-18 03:26 | OK (681 trouvés) |
Complétude des champs (produits actifs, N = 6 590)
| Champ | % rempli |
|---|---|
| Prix | 99.0 % |
| Prix régulier | 16.3 % |
| Format (size_label) | 90.9 % |
| Prix unitaire | 86.9 % |
| Marque | 77.4 % |
| Images | 87.9 % |
| Nutrition OFF (details.off) | 1.3 % |
Gotchas
- Chaque requête passe par Scrapfly en mode ASP (anti-scraping protection) : coût par appel — les plafonds de pagination par allée/catégorie bornent le budget de chaque sync.
- Metro et Super C partagent le socle
_metro.py(tuiles rendues serveur, pagination « <allée>-page-N ») ; Maxi, Provigo et Club Entrepôt partagent_loblaw.py(grille complète dans__NEXT_DATA__).
Mécanique par source (en-têtes des modules)
club_entrepot — Club Entrepôt
Plafonds/env : —
Même plateforme Next.js que Maxi/Provigo -> Scrapfly (voir _loblaw.py)
maxi — Maxi
Plafonds/env : —
Site Next.js derrière Cloudflare -> Scrapfly (voir _loblaw.py)
metro — Metro
Plafonds/env : —
Anti-bot agressif -> Scrapfly (voir _metro.py) Allées prioritaires (fruits-légumes, viandes, produits laitiers) : 4 pages au lieu de 2 (~90 produits de plus par allée). Coût mesuré : 40-80 crédits Scrapfly/page (ASP sans render_js) -> +6 pages ≈ +360 crédits/sync.
provigo — Provigo
Plafonds/env : —
Site Next.js derrière Cloudflare -> Scrapfly (voir _loblaw.py)
superc — Super C
Plafonds/env : —
Même plateforme que metro.ca -> Scrapfly (voir _metro.py)
tt — T&T Supermarket
Plafonds/env : —
Adobe Commerce (Magento PWA) headless derrière Akamai : requêtes directes refusées (403), mais l'API GraphQL /graphql répond via Scrapfly ASP en GET — SANS rendu JavaScript (1 requête légère par catégorie). Prix courant et prix régulier dans price_range.minimum_price, stock, image et url_key. Catégories via categoryList (uid base64) ; magasin « default » (EN).
walmart — Walmart Canada
Plafonds/env : —
Site Next.js derrière Akamai/PerimeterX (curl direct → HTTP 418) : on lit la grille produits embarquée dans