# Guichet-Emplois (Canada) (`guichet_emplois`) — portail agrégateur **Portail agrégateur** (`dedup.AGGREGATORS`) : source complémentaire, moins autoritaire qu'une page carrière. En cas de doublon avec une offre directe, **l'offre directe gagne la canonique** et la copie portail est masquée (`dup_of`). Ces offres ne portent pas le badge « Offre directe ». ## Description - **Portail** : [Guichet-Emplois (Canada)](https://www.guichetemplois.gc.ca) - **Secteurs** : Portail, Tous secteurs > Portail Guichet-Emplois (guichetemplois.gc.ca — gouvernement du Canada). > > Recherche HTML rendue côté serveur (27 offres/page) filtrée province=QC et > publication récente (fage). Chaque résultat inclut titre, employeur, ville, > salaire et date — la description est lue sur la page de l'offre (cache BD + > budget). Chaque fiche renvoie vers la page Guichet-Emplois, qui référence > l'offre originale — conformité aux conditions d'utilisation du site. > > robots.txt impose « Crawl-delay: 5 » : request_delay = 5 s, d'où une fenêtre > volontairement bornée (pages et détails limités par synchronisation). ## Accès - **Endpoint** (`BASE`) : `https://www.guichetemplois.gc.ca` - **Pagination** : flux unique (une requête liste) - **Backend** : GET direct `requests` (throttlé, UA `JobKaBot/1.0`) - **Throttle** : 5.0 s entre requêtes — **respect du `Crawl-delay: 5` de robots.txt**. ## Champs → schéma Complétude mesurée sur les **610 offres actives** de la source (base live, 2026-09-21 18:06 EDT). | Champ (`jobs.*`) | Rôle | Complétude | |---|---|---| | `title` — Titre | titre du poste | 100 % | | `employer` — Employeur | nom de l'entreprise | 100 % | | `url` — URL | lien direct vers l'offre originale | 100 % | | `description` — Description | texte complet (HTML nettoyé) | 33 % | | `city` — Ville | municipalité normalisée | 100 % | | `region` — Région | région administrative | 100 % | | `address` — Adresse | adresse du lieu de travail | 0 % | | `postal_code` — Code postal | code postal si publié | 0 % | | `work_mode` — Mode | presentiel / hybride / teletravail | 0 % | | `employment_type` — Type | temps_plein / temps_partiel / … | 1 % | | `salary` — Salaire ($) | bornes numériques normalisées $/h et $/an | 99 % | | `salary_label` — Libellé salaire | texte salarial original | 100 % | | `benefits` — Avantages | avantages sociaux publiés (JSON) | 5 % | | `requirements` — Exigences | scolarité, expérience, langues (JSON) | 23 % | | `date_posted` — Date de parution | ISO 8601 | 100 % | | `date_deadline` — Date limite | date limite pour postuler | 0 % | | `category` — Catégorie | taxonomie interne (TI, Santé, …) | 52 % | | `language` — Langue | fr / en / bilingue (source ou heuristique) | 33 % | | `company_logo` — Logo employeur | URL du logo si exposé par la source | 0 % | | `apply_url` — Candidature | lien de candidature directe | 0 % | | `gps` — GPS | lat/lng (géocodage sans invention) | 97 % | Exemple réel : *ouvrier/ouvrière à la production* — Laval · 19,00 $ de l'heure · parue le 2026-09-21. ## Fréquence & budgets - **Cadence** : resynchronisation **horaire** (PM2 `job-ka-sync` = `run.py watch 60`), suivie du géocodage en lot puis de la déduplication inter-sources. - **Throttle** : 5.0 s minimum entre deux requêtes vers la source (`request_delay`). - **Budgets / plafonds (variables d'environnement)** : | Variable | Défaut | |---|---| | `JOBKA_GUICHET_DAYS` | `7` | | `JOBKA_GUICHET_PAGES` | `20` | | `JOBKA_GUICHET_DETAIL_LIMIT` | `50` | - Cache BD des pages détail (`detail_cache`) : le détail d'une offre n'est re-téléchargé que si sa ligne de liste change. ## Volumétrie & complétude live *(mesuré le 2026-09-21 18:06 EDT dans `data/jobka.db`)* - **Offres en base** : 17020 (dont **610 actives**, 3 masquées comme doublons `dup_of`) - **Salaire** : 602/610 actives (99 %) - **GPS** : 592/610 actives (97 %) - **Mode** : 0/610 actives (0 %) - **Parution** : 610/610 actives (100 %) - **Dernier sync** : 2026-09-21 17:08 — trouvées 494, +110, ~0, -99 - **Syncs enregistrés** (`sync_log`) : 337 ## Erreurs & dépannage Erreurs relevées dans `sync_log` : | Erreur | Occurrences | Dernière fois | |---|---|---| | 503 Server Error: Service Unavailable for url: https://www.guichetemplois.gc.ca/jobsearch/… | 2 | 2026-08-18 21:43 | | 503 Server Error: Service Unavailable for url: https://www.guichetemplois.gc.ca/jobsearch/… | 1 | 2026-08-18 13:04 | | HTTPSConnectionPool(host='www.guichetemplois.gc.ca', port=443): Read timed out. (read time… | 1 | 2026-08-18 11:25 | | ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'… | 3 | 2026-08-18 11:10 | - Le WAF gouvernemental coupe parfois la connexion en cours de pagination : le connecteur fait un retry puis conserve l'acquis partiel (commit `1604ff9`) — une erreur `RemoteDisconnected`/`Read timed out` ponctuelle est attendue et non bloquante. - Rejouer un sync isolé : `.venv/bin/python run.py sync guichet_emplois` puis inspecter `sync_log` : `sqlite3 data/jobka.db "SELECT * FROM sync_log WHERE source='guichet_emplois' ORDER BY ts DESC LIMIT 5;"` - Garde-fous : une source qui retourne ≤ 25 % de sa médiane historique déclenche une alerte et les retraits sont suspendus ; une offre doit manquer 2 syncs consécutifs avant `active=0`. ## Licence / conformité Scraping de pages **publiques** (gouvernement du Canada) avec lien vers la fiche Guichet-Emplois, qui référence l'offre originale. `robots.txt` respecté — **Crawl-delay: 5 s appliqué** (`request_delay = 5.0`), fenêtre bornée (pages + détails plafonnés). Aucune donnée personnelle de candidat collectée. ## Historique **Mission connecteurs du 2026-08-18** — passage de 135 à 217 employeurs directs connectés, de 9 à 17 plateformes ATS, ajout de 3 portails agrégateurs et du canal de dépôt direct : - `fd4bfc8` qualité lieux : rejet des villes hors Québec, bâtiments McGill → Montréal ; - `5a66f48` +59 employeurs (sondage massif d'ATS + détection de pages carrières) ; - `4917d57` 8 nouveaux ATS (Taleo, Njoyn, UltiPro, iCIMS, SuccessFactors, ADP WFN, Digital Recruiters, Workland) + 23 employeurs publics/parapublics ; - `f6e7571` portails Guichet-Emplois, Jobillico, Espresso-Jobs — l'offre directe gagne toujours la canonique (dédup) ; - `744cbfc` badge « Offre directe », stats directes/portails, dépôt direct employeurs ; - `1604ff9` reprise sur coupure WAF Guichet-Emplois (retry + acquis partiel). Commits touchant `jobka/connectors/guichet_emplois.py` : - `0010f33` 2026-08-30 [ka6] snapshot pré-mission ocadogroup - `49067dd` 2026-08-19 Connecteurs phase 2 — correctifs et enrichissement champ par champ. Correctifs : villes SuccessFactors à trait d'union (préfixe municipal MAMH sur le slug, bogue « St »/« Pointe »), colonne date Taleo = date LIMITE chez agnico_eagle (+ garde-fou date future). Enrichissement : SmartRecruiters experienceLevel/function/industry/language/refNumber (lignes de liste, zéro requête), BambooHR locationType→work_mode, Breezy is_remote/logo_url/streetAddress, JSON-LD logo/industry/educationRequirements/skills (portails+icims+DR), Ashby applyUrl + composantes Bonus/Equity/Commission, Lever applyUrl + blocs opening/additional + allLocations, Workable application_url + function/industry, Recruitee careers_apply_url + description FR (translations) + expérience/scolarité + heures/sem, Greenhouse language + requisition_id, Workday externalUrl→apply_url + work_mode via facette Remote Type + clé cache v2, Guichet-Emplois avantages structurés + langue de travail, njoyn apply_url en colonne ; secours cache périmé quand le budget détail est épuisé (plus de fiches vidées) - `1604ff9` 2026-08-18 Guichet-Emplois : reprise sur coupure WAF (retry + acquis partiel) ; fixtures cascades/cssdm - `f6e7571` 2026-08-18 Portails agrégateurs : Guichet-Emplois, Jobillico, Espresso-Jobs — l offre directe gagne toujours la canonique