spb/auto-ka

1# Module `d2c_dealers` — D2C Media23_Généré automatiquement par `scripts/gen_connector_docs.py` — ne pas éditer à la main._45## Vue d'ensemble67- **Fichier** : `autoka/connectors/d2c_dealers.py`8- **Sources membres** : 669- **Annonces actives (BD)** : 573610- **Backend de fetch** : requests direct — Firecrawl par source au besoin (`use_firecrawl`, sites derrière Cloudflare)11- **Mécanique détectée** : sitemap, JSON-LD schema.org, endpoint JSON12- **Plafonds / cache** : AUTOKA_MAX_DETAILS, cache détail BD (detail_cache)13- **Classes** : `GirardAutos` → `girardautos` ; `ForceOccasion` → `forceoccasion` ; `GervaisAuto` → `gervaisauto` ; `EquipeFormule` → `equipeformule` ; `AutosEvasion` → `autosevasion` ; `MFerlandAuto` → `mferlandauto` … (+60)1415## Mécanique (en-tête du module)1617> connectors/d2c_dealers.py : connecteurs des concessionnaires sur plateforme18> D2C Media (le fournisseur de sites le plus répandu chez les marchands19> d'occasion au Québec).20> 21> Stratégie : le sitemap (/fr/sitemap.xml) recense chaque page véhicule22> (…-id123456.html). Chaque page détail expose un JSON-LD schema.org23> complet (@type Vehicle/Car) : VIN, kilométrage, transmission, carburant,24> carrosserie, couleurs, prix, photos. Les pages détail sont mises en cache25> (clé hebdomadaire) : seuls les nouveaux véhicules — et une revalidation26> par semaine pour les prix — génèrent de vraies requêtes.27> 28> Enrichissement (clé de cache v3) — en plus du JSON-LD (qui ne liste que29> 3 photos, parfois avec des ids corrompus — bug D2C) :30> - galerie COMPLÈTE : les URLs imagescdn.d2cmedia.ca/<hash>/<dealer>/<id>/31> <n>/… présentes dans le HTML (préférence à la variante « cb » grand32> format, sinon « mb »/« s8 »), triées par index de photo ;33> - endpoint JSON par véhicule /js/json/<id>.json (celui que le JS du site34> appelle pour révéler la section « Options ») : optionsTextFR (liste35> d'équipements en français), moteur + cylindre, carprooflink (rapport36> Carfax direct quand le concessionnaire l'expose) ;37> - repli équipements : titres des topFeatures/safetyFeatures du blob38> window.__vdpJSON embarqué dans la page.39> 40> Le lastmod du sitemap est bumpé quotidiennement par D2C (inutilisable41> comme clé de cache) — d'où la clé temporelle hebdomadaire.4243## Complétude des champs (annonces actives, N = 5 736)4445| Champ | % rempli |46|---|---|47| Marque | 100.0 % |48| Modèle | 100.0 % |49| Année | 100.0 % |50| Kilométrage | 100.0 % |51| Prix | 99.0 % |52| Carburant | 99.9 % |53| Boîte (transmission) | 99.8 % |54| VIN | 98.7 % |55| Photos | 99.5 % |56| Carfax | 32.2 % |57| GPS (lat/lng) | 100.0 % |5859## Sources membres (BD live)6061| Source | Nom | Ville | Région | Actives | Masquées (dup VIN) | Dernier sync | Statut |62|---|---|---|---|---|---|---|---|63| `abitibiautocredit` | Abitibi Auto Crédit | Rouyn-Noranda | Abitibi-Témiscamingue | 98 | 92 | 2026-09-13 15:47 | OK (98 trouvés) |64| `almahonda` | Alma Honda | Alma | Saguenay–Lac-Saint-Jean | 40 | 0 | 2026-09-13 15:50 | OK (40 trouvés) |65| `autoquebeclevis` | AutoQuébec Occasion Lévis | Lévis | Chaudière-Appalaches | 148 | 0 | 2026-09-13 15:47 | OK (148 trouvés) |66| `autoquebectm` | AutoQuébec Occasion Thetford Mines | Thetford Mines | Chaudière-Appalaches | 39 | 0 | 2026-09-13 15:47 | OK (39 trouvés) |67| `autosevasion` | Autos Évasion | Sherbrooke | Estrie | 47 | 0 | 2026-09-13 15:47 | OK (47 trouvés) |68| `autosoccasionld` | Autos Occasion LD | Lévis | Chaudière-Appalaches | 167 | 0 | 2026-09-13 15:47 | OK (167 trouvés) |69| `autosthubert` | Auto St-Hubert | Saint-Hubert | Montérégie | 141 | 0 | 2026-09-13 15:48 | OK (141 trouvés) |70| `autovilleneuve` | Automobile Villeneuve Amqui | Amqui | Bas-Saint-Laurent | 7 | 0 | 2026-09-13 15:51 | OK (7 trouvés) |71| `baiecomeautoyota` | Baie-Comeau Toyota | Baie-Comeau | Côte-Nord | 318 | 25 | 2026-09-13 15:51 | OK (318 trouvés) |72| `berniercrepeau` | Bernier Crépeau | Trois-Rivières | Mauricie | 29 | 0 | 2026-09-13 15:48 | OK (29 trouvés) |73| `charlesbourgtoyota` | Charlesbourg Toyota | Québec | Capitale-Nationale | 99 | 0 | 2026-09-13 15:50 | OK (99 trouvés) |74| `charlevoixtoyota` | Charlevoix Toyota | La Malbaie | Capitale-Nationale | 51 | 0 | 2026-09-13 15:51 | OK (51 trouvés) |75| `chomedeytoyota` | Chomedey Toyota Laval | Laval | Laval | 69 | 0 | 2026-09-13 15:48 | OK (69 trouvés) |76| `drummondvilleford` | Drummondville Ford | Drummondville | Centre-du-Québec | 49 | 0 | 2026-09-13 15:48 | OK (49 trouvés) |77| `drummondvillevw` | Drummondville Volkswagen | Drummondville | Centre-du-Québec | 100 | 0 | 2026-09-13 15:48 | OK (100 trouvés) |78| `dubechrysler` | Dubé Chrysler | Rivière-du-Loup | Bas-Saint-Laurent | 183 | 0 | 2026-09-13 15:48 | OK (183 trouvés) |79| `ducloslongueuil` | Duclos Longueuil Chrysler | Longueuil | Montérégie | 60 | 0 | 2026-09-13 15:48 | OK (60 trouvés) |80| `dupontautomobile` | Dupont Automobile | Alma | Saguenay–Lac-Saint-Jean | 51 | 0 | 2026-09-13 15:50 | OK (51 trouvés) |81| `dynastiehyundai` | Dynastie Hyundai | Rouyn-Noranda | Abitibi-Témiscamingue | 27 | 26 | 2026-09-13 15:48 | OK (27 trouvés) |82| `equipeformule` | Équipe Formule | Rimouski | Bas-Saint-Laurent | 70 | 0 | 2026-09-13 15:47 | OK (70 trouvés) |83| `fichaultkia` | Fichault Kia | Châteauguay | Montérégie | 43 | 0 | 2026-09-13 15:48 | OK (43 trouvés) |84| `forceoccasion` | Force Occasion | Québec | Capitale-Nationale | 483 | 0 | 2026-09-13 15:47 | OK (483 trouvés) |85| `fordthetford` | Ford Thetford | Thetford Mines | Chaudière-Appalaches | 38 | 0 | 2026-09-13 15:48 | OK (38 trouvés) |86| `gaspesiehyundai` | Gaspésie Hyundai | Bonaventure | Gaspésie–Îles-de-la-Madeleine | 37 | 22 | 2026-09-13 15:48 | OK (37 trouvés) |87| `gaspetoyota` | Gaspé Toyota | Gaspé | Gaspésie–Îles-de-la-Madeleine | 10 | 0 | 2026-09-13 15:48 | OK (10 trouvés) |88| `gervaisauto` | Gervais Auto | Shawinigan | Mauricie | 534 | 0 | 2026-09-13 15:47 | OK (534 trouvés) |89| `girardautos` | Girard Autos | Trois-Rivières | Mauricie | 21 | 0 | 2026-09-13 15:47 | OK (21 trouvés) |90| `granbytoyota` | Granby Toyota | Granby | Montérégie | 21 | 0 | 2026-09-13 15:48 | OK (21 trouvés) |91| `grandportage` | Groupe Grand-Portage | Rivière-du-Loup | Bas-Saint-Laurent | 106 | 0 | 2026-09-13 15:48 | OK (106 trouvés) |92| `groupemotion` | Groupe Motion | Longueuil | Montérégie | 94 | 0 | 2026-09-13 15:48 | OK (94 trouvés) |93| `hondacharlesbourg` | Honda Charlesbourg | Québec | Capitale-Nationale | 10 | 0 | 2026-09-13 15:50 | OK (10 trouvés) |94| `hondacharlevoix` | Honda Charlevoix | La Malbaie | Capitale-Nationale | 36 | 0 | 2026-09-13 15:50 | OK (36 trouvés) |95| `hondanewrichmond` | Honda New Richmond | New Richmond | Gaspésie–Îles-de-la-Madeleine | 67 | 0 | 2026-09-13 15:50 | OK (67 trouvés) |96| `hullhyundai` | Hull Hyundai | Gatineau | Outaouais | 103 | 0 | 2026-09-13 15:48 | OK (103 trouvés) |97| `hyundaibeauce` | Hyundai Beauce | Saint-Georges | Chaudière-Appalaches | 28 | 0 | 2026-09-13 15:48 | OK (28 trouvés) |98| `hyundaicharlevoix` | Hyundai Charlevoix | Baie-Saint-Paul | Capitale-Nationale | 19 | 0 | 2026-09-13 15:51 | OK (19 trouvés) |99| `hyundaidrummondville` | Hyundai Drummondville | Drummondville | Centre-du-Québec | 97 | 0 | 2026-09-13 15:48 | OK (97 trouvés) |100| `hyundailanaudiere` | Hyundai Lanaudière | Joliette | Lanaudière | 62 | 0 | 2026-09-13 15:48 | OK (62 trouvés) |101| `hyundailongueuil` | Hyundai Longueuil | Longueuil | Montérégie | 17 | 0 | 2026-09-13 15:48 | OK (17 trouvés) |102| `hyundaistjerome` | Hyundai St-Jérôme | Mirabel | Laurentides | 139 | 0 | 2026-09-13 15:48 | OK (139 trouvés) |103| `jeandumas` | Jean Dumas Multiconcessionnaire | Alma | Saguenay–Lac-Saint-Jean | 119 | 119 | 2026-09-13 15:48 | OK (119 trouvés) |104| `jeandumasfordbc` | Jean Dumas Ford Baie-Comeau | Baie-Comeau | Côte-Nord | 119 | 91 | 2026-09-13 15:48 | OK (119 trouvés) |105| `jeandumashondabc` | Jean Dumas Honda Baie-Comeau | Baie-Comeau | Côte-Nord | 119 | 28 | 2026-09-13 15:49 | OK (119 trouvés) |106| `joliettemitsubishi` | Joliette Mitsubishi | Joliette | Lanaudière | 81 | 0 | 2026-09-13 15:49 | OK (81 trouvés) |107| `kiabeauport` | Kia Beauport | Québec | Capitale-Nationale | 64 | 0 | 2026-09-13 15:50 | OK (64 trouvés) |108| `kiajoliette` | Kia Joliette | Joliette | Lanaudière | 66 | 0 | 2026-09-13 15:49 | OK (66 trouvés) |109| `lamihonda` | L'Ami Honda | Rouyn-Noranda | Abitibi-Témiscamingue | 98 | 0 | 2026-09-13 15:49 | OK (98 trouvés) |110| `leoautomobile` | Léo Automobile | Chicoutimi | Saguenay–Lac-Saint-Jean | 47 | 0 | 2026-09-13 15:49 | OK (47 trouvés) |111| `levisautos` | Lévis Autos | Lévis | Chaudière-Appalaches | 79 | 0 | 2026-09-13 15:47 | OK (79 trouvés) |112| `levistoyota` | Lévis Toyota | Lévis | Chaudière-Appalaches | 49 | 0 | 2026-09-13 15:49 | OK (49 trouvés) |113| `longueuilhonda` | Longueuil Honda | Longueuil | Montérégie | 44 | 0 | 2026-09-13 15:49 | OK (44 trouvés) |114| `mferlandauto` | M. Ferland Auto | Sherbrooke | Estrie | 18 | 0 | 2026-09-13 15:47 | OK (18 trouvés) |115| `nicoloccasion` | Nicol Occasion | La Sarre | Abitibi-Témiscamingue | 66 | 0 | 2026-09-13 15:47 | OK (66 trouvés) |116| `olivierchryslerbc` | Olivier Chrysler Baie-Comeau | Baie-Comeau | Côte-Nord | 31 | 0 | 2026-09-13 15:49 | OK (31 trouvés) |117| `olivierhyundaibc` | Olivier Hyundai Baie-Comeau | Baie-Comeau | Côte-Nord | 23 | 0 | 2026-09-13 15:50 | OK (23 trouvés) |118| `olivieroccasionseptiles` | Olivier Occasion Sept-Îles | Sept-Îles | Côte-Nord | 88 | 0 | 2026-09-13 15:50 | OK (88 trouvés) |119| `poirieroccasion` | Poirier Occasion | Val-d'Or | Abitibi-Témiscamingue | 233 | 1 | 2026-09-13 15:48 | OK (233 trouvés) |120| `sherbrookeautooccasion` | Sherbrooke Auto Occasion | Sherbrooke | Estrie | 101 | 0 | 2026-09-13 15:48 | OK (101 trouvés) |121| `stgeorgesgm` | St-Georges Chevrolet Buick GMC | Saint-Georges | Chaudière-Appalaches | 50 | 0 | 2026-09-13 15:49 | OK (50 trouvés) |122| `stjeromemitsubishi` | St-Jérôme Mitsubishi | Saint-Jérôme | Laurentides | 172 | 2 | 2026-09-13 15:49 | OK (172 trouvés) |123| `subaruvictoriaville` | Subaru Victoriaville | Victoriaville | Centre-du-Québec | 42 | 0 | 2026-09-13 15:49 | OK (42 trouvés) |124| `toyotabdc` | Toyota Baie des Chaleurs | Caplan | Gaspésie–Îles-de-la-Madeleine | 38 | 15 | 2026-09-13 15:49 | OK (38 trouvés) |125| `troisriviereshonda` | Trois-Rivières Honda | Trois-Rivières | Mauricie | 64 | 0 | 2026-09-13 15:50 | OK (64 trouvés) |126| `trtoyota` | Trois-Rivières Toyota | Trois-Rivières | Mauricie | 49 | 0 | 2026-09-13 15:50 | OK (49 trouvés) |127| `vaudreuilvw` | Vaudreuil Volkswagen | Vaudreuil-Dorion | Montérégie | 32 | 0 | 2026-09-13 15:50 | OK (32 trouvés) |128| `vwsherbrooke` | VW Sherbrooke | Sherbrooke | Estrie | 86 | 0 | 2026-09-13 15:50 | OK (86 trouvés) |129130## Erreurs de synchronisation récentes (sync_log, ok = 0)131132| Source | Quand | Message |133|---|---|---|134| `baiecomeautoyota` | 2026-09-10 12:32 | 404 Client Error: Not Found for url: https://www.baiecomeautoyota.com/inventory-sitemap.xml |135| `hondacharlevoix` | 2026-08-16 19:00 | HTTPSConnectionPool(host='www.hondacharlevoix.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[ |136| `fordthetford` | 2026-08-16 18:59 | HTTPSConnectionPool(host='www.fordthetford.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[SSL |137| `fordthetford` | 2026-08-16 16:36 | HTTPSConnectionPool(host='www.fordthetford.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[SSL |138| `hondacharlevoix` | 2026-08-16 09:24 | HTTPSConnectionPool(host='www.hondacharlevoix.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[ |139| `fordthetford` | 2026-08-16 09:24 | HTTPSConnectionPool(host='www.fordthetford.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[SSL |140| `fordthetford` | 2026-08-16 02:13 | HTTPSConnectionPool(host='www.fordthetford.com', port=443): Max retries exceeded with url: /fr/sitemap.xml (Caused by SSLError(SSLCertVerificationError(1, '[SSL |141| `poirieroccasion` | 2026-08-12 08:46 | 404 Client Error: Not Found for url: https://www.poirieroccasion.com/occasion/Hyundai-Palisade-2021-id12939722.html |142