SPB Git
spboucher.ai

spb/job-ka

Public

[ka6] fix connecteur cultures_genv: repli « détail seulement » pendant les maintenances nocturnes d'ADP WFN — cause de l'échec du 2026-08-29 22:01 : deuxième fenêtre de maintenance planifiée d'ADP Workforce Now (samedi soir ~22:00→02:00 ET, après celle de vendredi déjà documentée), pendant laquelle tout workforcenow.adp.com redirige vers sorry.adp.com et la liste job-requisitions renvoie du HTML (« Expecting value: line 1 column 1 »). TOUS les connecteurs ADP passés entre 22:00 et 23:27 ont échoué à l'identique (cookit, groupe_nordik, h2o_innovation, msi_gestion, mitsubishi_hc_capital, nemaska_lithium, richelieu, etc.) = systémique côté ADP, aucun tenant en cause. Comme le cycle met ~3 h entre deux passages, un seul passage raté pendant la fenêtre dépasse le seuil stale de 4 h. Fix (pattern ciena ae44d7c) : si la liste échoue en 5xx/non-JSON, revalidation une à une des offres actives connues via l'API détail job-requisitions/<itemID> (réquisition complète live : titre, date, lieux, description — aucune donnée inventée) ; 404 = offre retirée ; si RIEN n'est validable (maintenance totale) l'erreur d'origine est propagée (sync en échec, inventaire préservé). Le chemin liste normal reprend seul dès la fin de la maintenance. Tests réels : repli avec liste 502 simulée → 7 offres revalidées live ; run.py sync cultures_genv (chemin normal) → ok, found=7 (= médiane 7.0), 7 actives en base. pm2 restart job-ka-sync OK, site local 200, www.job-ka.com 200.

Simon-Pierre Boucher committed (Aug 30, 2026) parent ae44d7c Browse files

1 changed file +112 −3

Unified Split
modified jobka/connectors/cultures_genv.py +112 −3
@@ -4,10 +4,37 @@
4 # Contact : contact@spboucher.ai 4 # Contact : contact@spboucher.ai
5 # Fichier : jobka/connectors/cultures_genv.py 5 # Fichier : jobka/connectors/cultures_genv.py
6 # Rôle : Connecteur Cultures Gen V (serres — Sainte-Clotilde, Montérégie) 6 # Rôle : Connecteur Cultures Gen V (serres — Sainte-Clotilde, Montérégie)
7−# — ADP Workforce Now 7+# — ADP Workforce Now + repli « détail seulement » quand l'API
8−# Créé : 2026-08-19 Modifié : 2026-08-19 8+# liste échoue (maintenances nocturnes récurrentes d'ADP WFN)
9+# Créé : 2026-08-19 Modifié : 2026-08-30
9 # ============================================================================= 10 # =============================================================================
10−from .adp import ADPWorkforceNowConnector 11+"""Cultures Gen V — ADP Workforce Now, avec repli de revalidation.
12+
13+Contexte (2026-08-28/29) : ADP Workforce Now a des fenêtres de maintenance
14+nocturnes récurrentes (vendredi ET samedi soir ~22:00 → 02:00 ET) pendant
15+lesquelles TOUT workforcenow.adp.com redirige vers sorry.adp.com — la liste
16+job-requisitions renvoie alors du HTML, d'où le « Expecting value: line 1
17+column 1 » des syncs de 22:01 (29/08) et 22:04 (28/08). Comme le cycle
18+complet met ~3 h entre deux passages de la source, un seul passage raté
19+pendant la fenêtre suffit à dépasser le seuil stale de 4 h.
20+
21+D'où le repli ci-dessous (même pattern que ciena.py pour Workday) : si la
22+pagination liste échoue en 5xx ou en non-JSON, on revalide une à une les
23+offres actives connues en base via l'API détail job-requisitions/<itemID>
24+(qui renvoie la réquisition complète : titre, date, lieux, description).
25+Aucune donnée inventée — tout vient de la réponse live. Une offre en 404 est
26+considérée retirée. Si AUCUNE offre n'est validable (maintenance totale :
27+le détail redirige aussi vers sorry.adp.com), l'erreur d'origine est
28+propagée pour que le sync reste un échec (inventaire préservé). Limite
29+assumée : le repli ne découvre pas les NOUVELLES offres — le chemin liste
30+normal reprend seul au cycle suivant la fin de la maintenance.
31+"""
32+from __future__ import annotations
33+
34+import requests
35+
36+from ..schema import JobPosting, clean_html
37+from .adp import _API, ADPWorkforceNowConnector
11 38
12 39
13 class CulturesGenVConnector(ADPWorkforceNowConnector): 40 class CulturesGenVConnector(ADPWorkforceNowConnector):
@@ -15,3 +42,85 @@ class CulturesGenVConnector(ADPWorkforceNowConnector):
15 EMPLOYER = "Cultures Gen V" 42 EMPLOYER = "Cultures Gen V"
16 CID = "8b346731-d189-4cf2-a14c-9e48d38befde" 43 CID = "8b346731-d189-4cf2-a14c-9e48d38befde"
17 CCID = "36427051_2" 44 CCID = "36427051_2"
45+
46+ def fetch(self) -> list[JobPosting]:
47+ try:
48+ return super().fetch()
49+ except (requests.RequestException, ValueError) as exc:
50+ resp = getattr(exc, "response", None)
51+ if resp is not None and resp.status_code < 500:
52+ raise # 4xx franc : pas une panne liste, ne pas masquer
53+ jobs = self._fetch_known_jobs()
54+ if jobs is None:
55+ raise # API détail cassée aussi : vraie panne totale
56+ return jobs
57+
58+ def _known_ids(self) -> list[str]:
59+ """itemID (external_id) des offres actives de la source en base."""
60+ from .. import db
61+ con = db.connect()
62+ try:
63+ rows = con.execute(
64+ "SELECT external_id FROM jobs WHERE source=? AND active=1",
65+ (self.source_id,)).fetchall()
66+ finally:
67+ con.close()
68+ return [str(eid) for (eid,) in rows if eid]
69+
70+ def _fetch_known_jobs(self) -> list[JobPosting] | None:
71+ """Repli sans liste : chaque offre connue est revalidée via l'API
72+ détail (la réquisition complète, source de vérité de son existence).
73+ Aucune donnée inventée — tout vient de la réponse du moment."""
74+ out: list[JobPosting] = []
75+ errors = 0
76+ for iid in self._known_ids():
77+ try:
78+ r = self.get(f"{_API}/{iid}", params=self._params(),
79+ headers={"Accept": "application/json"}).json()
80+ except requests.HTTPError as exc:
81+ h = getattr(exc, "response", None)
82+ if h is not None and h.status_code == 404:
83+ continue # offre retirée chez l'employeur
84+ errors += 1
85+ continue
86+ except (requests.RequestException, ValueError):
87+ errors += 1 # non-JSON (maintenance) ou réseau
88+ continue
89+ if not (r or {}).get("requisitionTitle"):
90+ errors += 1 # réponse inattendue : ne pas conclure au retrait
91+ continue
92+ locations = self._locations(r)
93+ if not self._keep(locations):
94+ continue
95+ qc = next((l for l in locations
96+ if l["prov"].upper() == "QC"),
97+ locations[0] if locations else
98+ {"city": self.FORCE_CITY, "postal": "",
99+ "label": self.FORCE_CITY})
100+ job = JobPosting(
101+ source=self.source_id, external_id=iid,
102+ url=("https://workforcenow.adp.com/mascsr/default/mdf/"
103+ f"recruitment/recruitment.html?cid={self.CID}"
104+ f"&ccId={self.CCID}&lang={self.LANG}&jobId={iid}"),
105+ employer=self.EMPLOYER,
106+ title=r.get("requisitionTitle") or "",
107+ city=qc["city"], postal_code=qc["postal"],
108+ location_label=qc["label"],
109+ date_posted=r.get("postDate") or None,
110+ ats=self.ats,
111+ )
112+ pay = r.get("payGradeRange") or {}
113+ lo = (pay.get("minimumRate") or {}).get("amountValue")
114+ hi = (pay.get("maximumRate") or {}).get("amountValue")
115+ if lo:
116+ job.salary_min = float(lo)
117+ job.salary_max = float(hi) if hi else None
118+ job.salary_unit = "year" if float(lo) > 5000 else "hour"
119+ wl = (r.get("workLevelCode") or {}).get("shortName")
120+ if wl:
121+ job.details["employment_label"] = wl
122+ job.description = clean_html(r.get("requisitionDescription") or "")
123+ out.append(job)
124+ if not out and errors:
125+ return None # rien de validable : laisser le sync échouer
126+ return out
18 127
Menu

Theme
↑↓ navigate ↵ open esc close / or ⌘K anywhere