SPB Git forge

spb/job-ka

Public
229commits 1branches 0releases
38.1 MBsize
maindefault branch
1 h agolast push
HTML 82.1% Python 14.6% TypeScript 1.9% CSS 1% JavaScript 0.5%

[ka6] fix connecteur derumarketcatering: retrait définitif de la source (précédent projevia 7b871e8) — double condamnation confirmée en direct le 2026-09-11 : (1) le compte JazzHR du tenant est désactivé de façon permanente (page 200 « Inactive Career Page / this account is no longer active », détectée explicitement par jazzhr._fetch_list depuis la mission du 2026-09-04 → RuntimeError sans retry, 60 échecs consécutifs) ; (2) l'employeur était un faux positif de génération : Deru Market + Catering est un restaurant de Kirkland, État de WASHINGTON (derumarket.com, ZipRecruiter « Kirkland, WA »), pas Kirkland QC — sa seule offre jamais ingérée (FOH Staff, Kirkland WA) était américaine et est inactive en base depuis le fix is_quebec_location f4038e4. Deux missions ka6 (2026-08-26, 2026-09-04) avaient déjà conclu site_source_mort sans retirer la source : la supervision la resynchronisait donc en boucle (statut broken). Retrait complet selon le pattern maison : suppression de jobka/connectors/derumarketcatering.py (registre auto-découvrant → 1105 connecteurs), de l'entrée data/sources.json (1107 sources, employeurs_directs 1048→1047, page Sources vérifiée sans Deru) et de la fiche docs/connecteurs/derumarketcatering.md (INDEX/ats-jazzhr seront nettoyés à la prochaine régénération gen_connector_docs). Données en base conservées (offre déjà active=0, historique sync_log intact). Aucune modification de la plateforme jazzhr : non-régression tenant cliniqued found=1 ok. run.py sync derumarketcatering → « connecteur inconnu » (comportement attendu). 101 tests pytest verts. pm2 restart job-ka-sync OK, site 200.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
Simon-Pierre Boucher committed 13 days ago (Sep 11, 2026) parent 5d4b023

3 changed files +2 −136

modified data/sources.json +2 −12
@@ -3,9 +3,9 @@
3 3 "project": "Job·Ka — Groupe KA",
4 4 "author": "Simon-Pierre Boucher <contact@spboucher.ai>",
5 5 "role": "Registre descriptif des sources (alimente la page Sources)",
6 − "updated": "2026-08-25",
6 + "updated": "2026-09-11",
7 7 "counts": {
8 − "employeurs_directs": 1048,
8 + "employeurs_directs": 1047,
9 9 "plateformes_ats": 23,
10 10 "portails": 3,
11 11 "depot_direct": 1,
@@ -13135,16 +13135,6 @@
13135 13135 "status": "actif",
13136 13136 "region": "Québec (province)"
13137 13137 },
13138 − {
13139 − "id": "derumarketcatering",
13140 − "name": "Deru Market + Catering",
13141 − "url": "",
13142 − "careers_url": "https://derumarketcatering.applytojob.com/apply/",
13143 − "sectors": [],
13144 − "connector": "jazzhr",
13145 − "status": "actif",
13146 − "region": "Québec (province)"
13147 − },
13148 13138 {
13149 13139 "id": "digitalmoment",
13150 13140 "name": "Digital Moment",
deleted docs/connecteurs/derumarketcatering.md +0 −109
@@ -1,109 +0,0 @@
1 −<!--
2 −=============================================================================
3 −Job·Ka — Groupe KA
4 −Auteur : Simon-Pierre Boucher
5 −Contact : contact@spboucher.ai
6 −Fichier : docs/connecteurs/derumarketcatering.md
7 −Rôle : Fiche connecteur — Deru Market + Catering (employeur direct, ATS jazzhr)
8 −Généré : 2026-08-25 08:45 EDT par scripts/gen_connector_docs.py — NE PAS ÉDITER,
9 − relancer le script pour régénérer.
10 −=============================================================================
11 −-->
12 −
13 −# Deru Market + Catering (`derumarketcatering`)
14 −
15 −**Employeur direct** · Plateforme ATS : [`jazzhr`](ats-jazzhr.md) · Statut registre : actif · Connecteur : `jobka/connectors/derumarketcatering.py`
16 −
17 −## Description
18 −
19 −- **Site** : [Deru Market + Catering]()
20 −- **Page carrières** : https://derumarketcatering.applytojob.com/apply/
21 −- **Secteurs** : n/d
22 −- **Région** : Québec (province)
23 −- Offres marquées **« Offre directe »** dans l'app (badge) : la candidature se fait chez l'employeur, jamais via un intermédiaire.
24 −
25 −## Accès
26 −
27 −- **Mécanique** : voir la fiche plateforme [`ats-jazzhr.md`](ats-jazzhr.md) — API JSON publique du site carrières, backend `requests` direct (Scrapfly seulement si indiqué sur la fiche plateforme).
28 −- **Identifiants du tenant** (attributs du connecteur) :
29 −
30 −| Attribut | Valeur |
31 −|---|---|
32 −| `EMPLOYER` | `Deru Market + Catering` |
33 −| `ORG` | `derumarketcatering` |
34 −- **Throttle** : 1.0 s entre requêtes.
35 −- **Filtre Québec** : seuls les postes localisés au Québec sont conservés (facette serveur quand l'ATS en offre une, sinon `is_quebec_location` côté client).
36 −
37 −## Champs → schéma
38 −
39 −Complétude mesurée sur les **1 offres actives** de la source (base live, 2026-08-25 08:45 EDT).
40 −
41 −| Champ (`jobs.*`) | Rôle | Complétude |
42 −|---|---|---|
43 −| `title` — Titre | titre du poste | 100 % |
44 −| `employer` — Employeur | nom de l'entreprise | 100 % |
45 −| `url` — URL | lien direct vers l'offre originale | 100 % |
46 −| `description` — Description | texte complet (HTML nettoyé) | 100 % |
47 −| `city` — Ville | municipalité normalisée | 100 % |
48 −| `region` — Région | région administrative | 100 % |
49 −| `address` — Adresse | adresse du lieu de travail | 0 % |
50 −| `postal_code` — Code postal | code postal si publié | 100 % |
51 −| `work_mode` — Mode | presentiel / hybride / teletravail | 0 % |
52 −| `employment_type` — Type | temps_plein / temps_partiel / … | 0 % |
53 −| `salary` — Salaire ($) | bornes numériques normalisées $/h et $/an | 100 % |
54 −| `salary_label` — Libellé salaire | texte salarial original | 100 % |
55 −| `benefits` — Avantages | avantages sociaux publiés (JSON) | 100 % |
56 −| `requirements` — Exigences | scolarité, expérience, langues (JSON) | 0 % |
57 −| `date_posted` — Date de parution | ISO 8601 | 100 % |
58 −| `date_deadline` — Date limite | date limite pour postuler | 100 % |
59 −| `category` — Catégorie | taxonomie interne (TI, Santé, …) | 100 % |
60 −| `language` — Langue | fr / en / bilingue (source ou heuristique) | 100 % |
61 −| `company_logo` — Logo employeur | URL du logo si exposé par la source | 100 % |
62 −| `apply_url` — Candidature | lien de candidature directe | 0 % |
63 −| `gps` — GPS | lat/lng (géocodage sans invention) | 0 % |
64 −
65 −Exemple réel : *FOH Staff at Farm to Table Restaurant* — Kirkland · DERU MARKET IS HIRING FOR YEAR-ROUND FOH STAFF! ($22 - $24 PER HOUR) · parue le 2026-07-22.
66 −
67 −## Fréquence & budgets
68 −
69 −- **Cadence** : resynchronisation **horaire** (PM2 `job-ka-sync` = `run.py watch 60`), suivie du géocodage en lot puis de la déduplication inter-sources.
70 −- **Throttle** : 1.0 s minimum entre deux requêtes vers la source (`request_delay`).
71 −- **Budgets / plafonds (variables d'environnement)** :
72 −
73 −| Variable | Défaut |
74 −|---|---|
75 −| `JOBKA_JAZZHR_DETAIL_LIMIT` | `60` |
76 −- Cache BD des pages détail (`detail_cache`) : le détail d'une offre n'est re-téléchargé que si sa ligne de liste change.
77 −
78 −## Volumétrie & complétude live
79 −
80 −*(mesuré le 2026-08-25 08:45 EDT dans `data/jobka.db`)*
81 −
82 −- **Offres en base** : 1 (dont **1 actives**, 0 masquées comme doublons `dup_of`)
83 −- **Salaire** : 1/1 actives (100 %)
84 −- **GPS** : 0/1 actives (0 %)
85 −- **Mode** : 0/1 actives (0 %)
86 −- **Parution** : 1/1 actives (100 %)
87 −- **Dernier sync** : 2026-08-25 08:20 — trouvées 1, +1, ~0, -0
88 −- **Syncs enregistrés** (`sync_log`) : 1
89 −
90 −## Erreurs & dépannage
91 −
92 −Aucune erreur dans `sync_log` pour cette source.
93 −
94 −- Rejouer un sync isolé : `.venv/bin/python run.py sync derumarketcatering` puis inspecter `sync_log` : `sqlite3 data/jobka.db "SELECT * FROM sync_log WHERE source='derumarketcatering' ORDER BY ts DESC LIMIT 5;"`
95 −- Garde-fous : une source qui retourne ≤ 25 % de sa médiane historique déclenche une alerte et les retraits sont suspendus ; une offre doit manquer 2 syncs consécutifs avant `active=0`.
96 −
97 −## Licence / conformité
98 −
99 −**Flux public du site carrières officiel de l'employeur** (API JSON de l'ATS ou HTML rendu serveur) — le même contenu que la page carrière affiche publiquement, prévu pour la diffusion des offres, sans authentification. Chaque offre conserve son URL originale et le bouton « Postuler chez Deru Market + Catering » renvoie chez l'employeur. Aucune donnée personnelle de candidat n'est collectée. User-Agent identifié `JobKaBot/1.0 (+https://www.job-ka.com; contact@spboucher.ai)` sur les accès directs ; requêtes throttlées et plafonnées par budgets.
100 −
101 −## Historique
102 −
103 −**Mission connecteurs du 2026-08-18** — passage de 135 à 217 employeurs directs connectés, de 9 à 17 plateformes ATS, ajout de 3 portails agrégateurs et du canal de dépôt direct :
104 −- `fd4bfc8` qualité lieux : rejet des villes hors Québec, bâtiments McGill → Montréal ;
105 −- `5a66f48` +59 employeurs (sondage massif d'ATS + détection de pages carrières) ;
106 −- `4917d57` 8 nouveaux ATS (Taleo, Njoyn, UltiPro, iCIMS, SuccessFactors, ADP WFN, Digital Recruiters, Workland) + 23 employeurs publics/parapublics ;
107 −- `f6e7571` portails Guichet-Emplois, Jobillico, Espresso-Jobs — l'offre directe gagne toujours la canonique (dédup) ;
108 −- `744cbfc` badge « Offre directe », stats directes/portails, dépôt direct employeurs ;
109 −- `1604ff9` reprise sur coupure WAF Guichet-Emplois (retry + acquis partiel).
deleted jobka/connectors/derumarketcatering.py +0 −15
@@ -1,15 +0,0 @@
1 −# =============================================================================
2 −# Job·Ka — Groupe KA
3 −# Auteur : Simon-Pierre Boucher
4 −# Contact : contact@spboucher.ai
5 −# Fichier : jobka/connectors/jobka/connectors/derumarketcatering.py
6 −# Rôle : Connecteur Deru Market + Catering — JazzHR (derumarketcatering.applytojob.com)
7 −# Créé : 2026-08-25 Modifié : 2026-08-25
8 −# =============================================================================
9 −from .jazzhr import JazzHRConnector
10 −
11 −
12 −class DerumarketcateringConnector(JazzHRConnector):
13 − source_id = "derumarketcatering"
14 − EMPLOYER = "Deru Market + Catering"
15 − ORG = "derumarketcatering"
16