SPB Git forge

spb/job-ka

Public
229commits 1branches 0releases
38.1 MBsize
maindefault branch
36 min agolast push
HTML 82.1% Python 14.6% TypeScript 1.9% CSS 1% JavaScript 0.5%
8.3 KB

# Jobillico (jobillico) — portail agrégateur

Portail agrégateur (dedup.AGGREGATORS) : source complémentaire, moins autoritaire qu'une page carrière. En cas de doublon avec une offre directe, l'offre directe gagne la canonique et la copie portail est masquée (dup_of). Ces offres ne portent pas le badge « Offre directe ».

# Description

  • Portail : Jobillico
  • Secteurs : Portail, Tous secteurs

Portail Jobillico (jobillico.com).

  • liste : sitemaps publics sitemap_job_postings_{1..4}.xml (~30 000 offres, loc + lastmod) — on suit les N plus récentes (fenêtre glissante) ;
  • détail : chaque page offre embarque un JSON-LD schema.org/JobPosting complet (employeur, description, lieu, salaire) — cache BD + budget de nouvelles visites par synchronisation.

Le filtre Québec s'applique après lecture du détail (le portail publie aussi quelques offres hors province).

# Accès

  • Endpoint (BASE) : https://www.jobillico.com
  • Pagination : parcours de sitemap XML
  • Backend : GET direct requests (throttlé, UA JobKaBot/1.0)
  • Throttle : 0.6 s entre requêtes.

# Champs → schéma

Complétude mesurée sur les 1425 offres actives de la source (base live, 2026-09-21 18:06 EDT).

Champ (jobs.*) Rôle Complétude
title — Titre titre du poste 100 %
employer — Employeur nom de l'entreprise 100 %
url — URL lien direct vers l'offre originale 100 %
description — Description texte complet (HTML nettoyé) 100 %
city — Ville municipalité normalisée 100 %
region — Région région administrative 97 %
address — Adresse adresse du lieu de travail 57 %
postal_code — Code postal code postal si publié 57 %
work_mode — Mode presentiel / hybride / teletravail 5 %
employment_type — Type temps_plein / temps_partiel / … 21 %
salary — Salaire ($) bornes numériques normalisées $/h et $/an 36 %
salary_label — Libellé salaire texte salarial original 8 %
benefits — Avantages avantages sociaux publiés (JSON) 1 %
requirements — Exigences scolarité, expérience, langues (JSON) 90 %
date_posted — Date de parution ISO 8601 100 %
date_deadline — Date limite date limite pour postuler 100 %
category — Catégorie taxonomie interne (TI, Santé, …) 85 %
language — Langue fr / en / bilingue (source ou heuristique) 100 %
company_logo — Logo employeur URL du logo si exposé par la source 100 %
apply_url — Candidature lien de candidature directe 0 %
gps — GPS lat/lng (géocodage sans invention) 100 %

Exemple réel : Opérateur(trice) de ponts roulants — Sherbrooke · On t’offre un salaire selon ton expérience à partir de 24,71 $/h de l’heure parce que les … · parue le 2026-09-21.

# Fréquence & budgets

  • Cadence : resynchronisation horaire (PM2 job-ka-sync = run.py watch 60), suivie du géocodage en lot puis de la déduplication inter-sources.
  • Throttle : 0.6 s minimum entre deux requêtes vers la source (request_delay).
  • Budgets / plafonds (variables d'environnement) :
Variable Défaut
JOBKA_JOBILLICO_TRACK 2500
JOBKA_JOBILLICO_DETAIL_LIMIT 250
  • Cache BD des pages détail (detail_cache) : le détail d'une offre n'est re-téléchargé que si sa ligne de liste change.

# Volumétrie & complétude live

(mesuré le 2026-09-21 18:06 EDT dans data/jobka.db)

  • Offres en base : 18765 (dont 1425 actives, 28 masquées comme doublons dup_of)
  • Salaire : 513/1425 actives (36 %)
  • GPS : 1425/1425 actives (100 %)
  • Mode : 66/1425 actives (5 %)
  • Parution : 1425/1425 actives (100 %)
  • Dernier sync : 2026-09-21 17:19 — trouvées 1458, +72, ~34, -31
  • Syncs enregistrés (sync_log) : 327

# Erreurs & dépannage

Erreurs relevées dans sync_log :

Erreur Occurrences Dernière fois
Exceeded 30 redirects. 1 2026-09-10 11:47
410 Client Error: Gone for url: https://www.jobillico.com/fr/offre-d-emploi/crt-constructi… 1 2026-08-25 11:28
410 Client Error: Gone for url: https://www.jobillico.com/fr/offre-d-emploi/supermarche-fa… 1 2026-08-24 19:51
410 Client Error: Gone for url: https://www.jobillico.com/en/job-offer/winnipeg-regional-h… 1 2026-08-22 19:45
410 Client Error: Gone for url: https://www.jobillico.com/fr/offre-d-emploi/iga-extra-conv… 1 2026-08-21 18:57
  • Un 410 Gone sur une page offre est normal (offre retirée entre le sitemap et la visite) — non bloquant.
  • Rejouer un sync isolé : .venv/bin/python run.py sync jobillico puis inspecter sync_log : sqlite3 data/jobka.db "SELECT * FROM sync_log WHERE source='jobillico' ORDER BY ts DESC LIMIT 5;"
  • Garde-fous : une source qui retourne ≤ 25 % de sa médiane historique déclenche une alerte et les retraits sont suspendus ; une offre doit manquer 2 syncs consécutifs avant active=0.

# Licence / conformité

Parcours des sitemaps publics (sitemap_job_postings_*.xml) et lecture du JSON-LD schema.org/JobPosting que chaque page offre publie à destination des moteurs de recherche. Lien vers l'offre originale sur Jobillico. robots.txt respecté ; budgets de visites par sync. Aucune donnée personnelle de candidat collectée.

# Historique

Mission connecteurs du 2026-08-18 — passage de 135 à 217 employeurs directs connectés, de 9 à 17 plateformes ATS, ajout de 3 portails agrégateurs et du canal de dépôt direct :

  • fd4bfc8 qualité lieux : rejet des villes hors Québec, bâtiments McGill → Montréal ;
  • 5a66f48 +59 employeurs (sondage massif d'ATS + détection de pages carrières) ;
  • 4917d57 8 nouveaux ATS (Taleo, Njoyn, UltiPro, iCIMS, SuccessFactors, ADP WFN, Digital Recruiters, Workland) + 23 employeurs publics/parapublics ;
  • f6e7571 portails Guichet-Emplois, Jobillico, Espresso-Jobs — l'offre directe gagne toujours la canonique (dédup) ;
  • 744cbfc badge « Offre directe », stats directes/portails, dépôt direct employeurs ;
  • 1604ff9 reprise sur coupure WAF Guichet-Emplois (retry + acquis partiel).

Commits touchant jobka/connectors/jobillico.py :

  • 1309720 2026-09-10 [ka6] snapshot pré-mission gus
  • 936416d 2026-08-25 [ka6] fix connecteur jobillico: un 410/404 sur une page détail (offre retirée entre le sitemap et la visite) n'avorte plus tout le sync — skip de l'offre; erreurs serveur/réseau ponctuelles → repli cache périmé (pattern guichet_emplois)
  • 49067dd 2026-08-19 Connecteurs phase 2 — correctifs et enrichissement champ par champ. Correctifs : villes SuccessFactors à trait d'union (préfixe municipal MAMH sur le slug, bogue « St »/« Pointe »), colonne date Taleo = date LIMITE chez agnico_eagle (+ garde-fou date future). Enrichissement : SmartRecruiters experienceLevel/function/industry/language/refNumber (lignes de liste, zéro requête), BambooHR locationType→work_mode, Breezy is_remote/logo_url/streetAddress, JSON-LD logo/industry/educationRequirements/skills (portails+icims+DR), Ashby applyUrl + composantes Bonus/Equity/Commission, Lever applyUrl + blocs opening/additional + allLocations, Workable application_url + function/industry, Recruitee careers_apply_url + description FR (translations) + expérience/scolarité + heures/sem, Greenhouse language + requisition_id, Workday externalUrl→apply_url + work_mode via facette Remote Type + clé cache v2, Guichet-Emplois avantages structurés + langue de travail, njoyn apply_url en colonne ; secours cache périmé quand le budget détail est épuisé (plus de fiches vidées)
  • f6e7571 2026-08-18 Portails agrégateurs : Guichet-Emplois, Jobillico, Espresso-Jobs — l offre directe gagne toujours la canonique