SPB Git
spboucher.ai

spb/job-ka

Public
History of tests/test_normalize.py Clear filter
page 1

  1. Tue, Oct 6, 2026 3

    1. [ka6] fix connecteur dentons: stale causé par un ROLLBACK AUTOMATIQUE COLLATÉRAL — réapplication du commit 89aedd9 (revert du revert c52c1eb). Le connecteur dentons (SuccessFactors careers.dentons.com, créé le 2026-10-06 matin par la mission dentons_europe) était SAIN et VERT (syncs found=2 à 10:10 et 10:14), mais le commit entier 89aedd9 a été reverté à 10:20 par le rollback automatique de la supervision (vraisemblablement déclenché par le volet dentons_europe found=0 du même commit — un found=0 pourtant structurel et documenté). Le revert a supprimé jobka/connectors/dentons.py et son entrée sources.json → plus aucun sync depuis 10:14 → stale 7.7 h. La source est re-vérifiée VIVANTE : sitemap 200, ~140 offres, les 2 offres QC toujours présentes (1362877757 « Accounts Payable Lead » + 1362980357 « Responsable, Comptes fournisseurs », paire FR/EN, Montréal). Réparation minimale : git revert --no-commit c52c1eb — restaure le connecteur dentons, l'entrée registre, les 3 fixes génériques successfactors.py (_balanced_itemprop, titre via itemprop=title, garde QC sur addressLocality multi-villes), parse_date java.util.Date dans normalize.py + son test, et les fiches docs/connecteurs/. Tests réels : sync dentons ×2 → found=2 (= médiane 2.0), ok=1, 0,4 s, les 2 offres réactivées ; non-régression plateforme SF sur alstom → found=247 (médiane ~224), ok=1, 8,6 s ; 107 tests pytest verts. Leçon pour la supervision : un rollback de commit multi-volets peut tuer un connecteur frère sain — si dentons_europe est re-signalé avec found=0, c'est STRUCTUREL (board Europe sans offre QC), ne pas re-reverter ce commit.
      Simon-Pierre Boucher · 1 file +8 −1
    2. Revert "[ka6] fix connecteur dentons_europe: faux positif « volume QC nul » (43e cas du pattern, 1re intervention) + RÉCUPÉRATION RÉELLE par portail frère inter-ATS — variante pwc 8d150eb sur un AUTRE ATS. Le connecteur dentons_europe (Workable, org dentons-europe) est SAIN : son unique offre QC (1454A1A702 « Global Value Pricing and Project Manager », Montréal, parue 2026-05-06) a été DÉPUBLIÉE entre 05:09 et 08:08 EDT (found 1 → 0, missed=1, puis removed=1 via le garde-fou 2-miss au sync rejoué), sync_log VERT en continu (ok=1). Marqueur Workable confirmé live : détail = 302 → /oops. Board re-vérifié : 200, 64 offres mondiales (Pologne/Italie/Tchéquie/Afrique), 0 lieu CA/QC (multi-lieux et 23 remote inspectés), recherche v3 Montreal/Quebec/Canada = 0 ; orgs frères Workable « dentons » et « dentons-global » = 200 mais 0 offre ; pas de migration (board vivant, c'est le portail EUROPE du cabinet). MAIS le vrai board des postes du bureau de Montréal est ailleurs : careers.dentons.com = SuccessFactors CSB (141 offres mondiales, sitemap urlset), 2 offres QC VIVANTES (paire FR/EN « Responsable, Comptes fournisseurs / Accounts Payable Lead », Montréal, multi-villes Ottawa/Toronto/Montréal) non couvertes par job-ka → NOUVEAU connecteur frère dentons (SuccessFactorsConnector, 4 lignes), volume employeur 0 → 2 (médiane historique 1.0). Ce tenant SF a exposé 3 angles morts GÉNÉRIQUES de la plateforme, corrigés dans successfactors.py : (1) description vide — le span itemprop=description enveloppe des span/p imbriqués et la capture non gourmande _ITEMPROP_RE s'arrêtait au premier </p> → extraction ÉQUILIBRÉE _balanced_itemprop (compte d'imbrication du même tag, ancien regex en repli) → descriptions 10 937/8 141 car.; (2) titre tronqué — slug terminé par la province abrégée seule (« …-Payable-Lead-Queb/ », marqueur Kiewit) alors que l'heuristique [:-3] suppose une queue -Prov-CP1-CP2 → le titre de la page détail (itemprop=title) fait désormais autorité; (3) offre multi-villes — meta addressLocality répétée (Ottawa/Toronto/Montreal, dernière gagnante) pouvait écraser la ville QC du slug par une ville hors QC → garde-fou is_quebec_location sur l'override. Bonus normalize.py : parse_date apprend le format java.util.Date.toString() (« Sun Oct 04 02:00:00 UTC 2026 », émis par les meta datePosted des sites SF CSB) qui rendait date_posted NULL — + test test_date_java_tostring. Artefact vague C comblé dans sources.json : url employeur vide → https://www.dentons.com (vérifié 200 via Scrapfly, « Dentons - Home », curl direct = 403 anti-bot) + entrée registre du nouveau connecteur dentons. Docstrings dentons_europe.py (chronologie) et dentons.py (généalogie du portail) écrites. Tests réels : sync dentons ×2 → found=2, ok=1, 2,9-3,0 s, fiches complètes (titres entiers, dates 2026-10-04, fr/en, GPS-ready) ; sync dentons_europe rejoué → found=0 stable, ok=1, 0,3 s (structurel tant que le board Europe ne republie pas de rôle Global à Montréal — même classe que strongtie a295929 / reworld c59448d) ; non-régression plateforme SF sur tenant vivant alstom : found=245 (médiane ~224), ok=1, 8,6 s. Fiches docs/connecteurs/ dentons.md (nouvelle) + dentons_europe.md + ats-successfactors.md + ats-workable.md + INDEX.md régénérées via scripts/gen_connector_docs.py (les 1129 autres fiches, dont seuls les instantanés horodatés changeaient, restaurées — hors périmètre). 107 tests pytest verts (106 + 1 nouveau). pm2 restart job-ka-sync OK, site local 200, www.job-ka.com 200."
      …
      This reverts commit 89aedd99e79c43621f55e258f9e2cb5f055e347b.
      Simon-Pierre Boucher · 1 file +1 −8
    3. [ka6] fix connecteur dentons_europe: faux positif « volume QC nul » (43e cas du pattern, 1re intervention) + RÉCUPÉRATION RÉELLE par portail frère inter-ATS — variante pwc 8d150eb sur un AUTRE ATS. Le connecteur dentons_europe (Workable, org dentons-europe) est SAIN : son unique offre QC (1454A1A702 « Global Value Pricing and Project Manager », Montréal, parue 2026-05-06) a été DÉPUBLIÉE entre 05:09 et 08:08 EDT (found 1 → 0, missed=1, puis removed=1 via le garde-fou 2-miss au sync rejoué), sync_log VERT en continu (ok=1). Marqueur Workable confirmé live : détail = 302 → /oops. Board re-vérifié : 200, 64 offres mondiales (Pologne/Italie/Tchéquie/Afrique), 0 lieu CA/QC (multi-lieux et 23 remote inspectés), recherche v3 Montreal/Quebec/Canada = 0 ; orgs frères Workable « dentons » et « dentons-global » = 200 mais 0 offre ; pas de migration (board vivant, c'est le portail EUROPE du cabinet). MAIS le vrai board des postes du bureau de Montréal est ailleurs : careers.dentons.com = SuccessFactors CSB (141 offres mondiales, sitemap urlset), 2 offres QC VIVANTES (paire FR/EN « Responsable, Comptes fournisseurs / Accounts Payable Lead », Montréal, multi-villes Ottawa/Toronto/Montréal) non couvertes par job-ka → NOUVEAU connecteur frère dentons (SuccessFactorsConnector, 4 lignes), volume employeur 0 → 2 (médiane historique 1.0). Ce tenant SF a exposé 3 angles morts GÉNÉRIQUES de la plateforme, corrigés dans successfactors.py : (1) description vide — le span itemprop=description enveloppe des span/p imbriqués et la capture non gourmande _ITEMPROP_RE s'arrêtait au premier </p> → extraction ÉQUILIBRÉE _balanced_itemprop (compte d'imbrication du même tag, ancien regex en repli) → descriptions 10 937/8 141 car.; (2) titre tronqué — slug terminé par la province abrégée seule (« …-Payable-Lead-Queb/ », marqueur Kiewit) alors que l'heuristique [:-3] suppose une queue -Prov-CP1-CP2 → le titre de la page détail (itemprop=title) fait désormais autorité; (3) offre multi-villes — meta addressLocality répétée (Ottawa/Toronto/Montreal, dernière gagnante) pouvait écraser la ville QC du slug par une ville hors QC → garde-fou is_quebec_location sur l'override. Bonus normalize.py : parse_date apprend le format java.util.Date.toString() (« Sun Oct 04 02:00:00 UTC 2026 », émis par les meta datePosted des sites SF CSB) qui rendait date_posted NULL — + test test_date_java_tostring. Artefact vague C comblé dans sources.json : url employeur vide → https://www.dentons.com (vérifié 200 via Scrapfly, « Dentons - Home », curl direct = 403 anti-bot) + entrée registre du nouveau connecteur dentons. Docstrings dentons_europe.py (chronologie) et dentons.py (généalogie du portail) écrites. Tests réels : sync dentons ×2 → found=2, ok=1, 2,9-3,0 s, fiches complètes (titres entiers, dates 2026-10-04, fr/en, GPS-ready) ; sync dentons_europe rejoué → found=0 stable, ok=1, 0,3 s (structurel tant que le board Europe ne republie pas de rôle Global à Montréal — même classe que strongtie a295929 / reworld c59448d) ; non-régression plateforme SF sur tenant vivant alstom : found=245 (médiane ~224), ok=1, 8,6 s. Fiches docs/connecteurs/ dentons.md (nouvelle) + dentons_europe.md + ats-successfactors.md + ats-workable.md + INDEX.md régénérées via scripts/gen_connector_docs.py (les 1129 autres fiches, dont seuls les instantanés horodatés changeaient, restaurées — hors périmètre). 107 tests pytest verts (106 + 1 nouveau). pm2 restart job-ka-sync OK, site local 200, www.job-ka.com 200.
      …
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher · 1 file +8 −1

  2. Mon, Sep 14, 2026 1

    1. [ka6] fix connecteur solmentalhealth: faux positif du filtre Québec — « Quebec St. » (nom de rue à Denver) matchait \bquebec\b — le statut stale vient de la dépublication NORMALE de l'unique offre du tenant (Psychiatric Clinician, id 4704220005, 404 live, retirée à 16:08 miss_count=2 → active=0), mais cette offre n'aurait JAMAIS dû être publiée : son lieu réel est « 3401 Quebec St. Suite 8000, Denver, CO, 80207 » (bureau de SOL Mental Health sur Quebec Street à Denver), classé ville=Québec/Capitale-Nationale et géocodé à Québec parce que _QC_MARKERS (\bquebec\b) est évalué avant le rejet _NON_QC_REGION_RE (« , CO ») dans is_quebec_location. La médiane historique 1.0 est donc elle-même un artefact : le bon volume QC de ce tenant est 0 (vérifié live : API Greenhouse 200, 65 offres, toutes aux États-Unis — NY/VA/MD/CO/DC). Correctif : nouveau _QUEBEC_STREET_RE — « quebec » suivi d'un type de voie anglophone (st/street/ave/blvd/rd/dr/ct/ln/way/pl/hwy/pkwy…) = nom de rue, neutralisé avant tout matching dans is_quebec_location ET parse_location ; le garde (?!-) préserve les abréviations de saints des libellés QC légitimes vérifiés en base (« CAN Quebec St-Hubert/St-Laurent/St-Hyacinthe/Ste-Thérèse », agropur). Tests unitaires ajoutés (4 rues US rejetées, libellés agropur et QC classiques conservés). Correction au passage du même artefact sources.json que samsara/delos_data/findevcanada/dupont : url vide → https://www.solmentalhealth.com (la fiche affichait « Site : []() »). Sync isolé rejoué post-patch : found=0 en 0,2 s, ok — 0 est le volume légitime, l'offre Denver ne reviendra plus même si republiée. 104 tests pytest verts. pm2 restart job-ka-sync OK, site 200.
      Simon-Pierre Boucher · 1 file +14 −1

  3. Sat, Sep 12, 2026 1

    1. [ka6] fix connecteur cambria: ajout de Fermont au dictionnaire _QC_CITIES (normalize.py) — l'offre QC courante du tenant workday cambria.wd1 (« Mechanic » R-103013, site minier Sitec à Fermont, Côte-Nord, publiée le 2026-04-10, description en français) était INVISIBLE depuis la création du connecteur (Vague D 2026-08-25) : Workday l'affiche sous le libellé « Sitec Fermont » sans province ni code postal, et Fermont manquait au dictionnaire partagé _QC_CITIES, si bien que is_quebec_location la rejetait au filtre client ET au repli de facette serveur (_find_qc_facet — ce tenant n'expose aucune facette province, seulement pays Canada=1 + lieux plats). Le connecteur ne voyait donc que l'offre montréalaise historique (Market Sales Representative R-103079), dépubliée par l'employeur le 2026-09-02 (miss_count=2, retrait normal) → found=0 depuis, d'où le statut stale (la supervision date le succès au dernier sync found>0). L'unique vrai échec (2026-09-12 03:08, « Workday non-JSON HTTP 200 text/html ») est la fenêtre de maintenance hebdomadaire Workday du vendredi nuit, transitoire. Correctif minimal dans la couche partagée (même famille que f4038e4) : « fermont »: « Fermont » — mot à graphie unique, aucun homonyme hors QC (≠ Fremont), garde-fous _NON_QC_CITIES/_NON_QC_REGION_RE intacts ; test ajouté sur le libellé exact « Sitec Fermont ». Sync isolé rejoué : found=1, added=1 en 2,9 s — R-103013 en base, ville Fermont, région Côte-Nord, statut ok (médiane historique 0–1). 102 tests pytest verts. pm2 restart job-ka-sync OK, site 200.
      Simon-Pierre Boucher · 1 file +5 −1

  4. Wed, Aug 19, 2026 1

    1. Normalisation phase 2 : bornes/réinterprétation des salaires structurés (sanitize_salary), extraction salariale par phrases avec garde-fou de contexte (financement/remboursements), clean_html itératif (contenus sur-échappés), détection de langue fr/en/bilingue, extraction des blocs Avantages, titre d'affichage normalisé (title_clean), régions administratives MAMH (17 régions), quarantaine qualité (jobka/quality.py) + colonnes company_logo/language/apply_url/title_clean/quarantine, secours cache détail périmé, expiration des offres orphelines
      …
      Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher · 1 file +149

  5. Mon, Aug 17, 2026 1

    1. Fondation Job·Ka : socle backend, 5 connecteurs pilotes, frontend, tests
      …
      - Schéma JobPosting + normalisation (salaires $/h↔$/an, dates ISO, villes
  canoniques, catégories) — 25 tests unitaires
- Pipeline hérité de Lou·Ka : diff par content_hash, délai de grâce,
  anti-dérive, expiration sur date limite, dédup union-find, géocodage
  Nominatim + Adresses Québec avec cache
- Plateformes ATS : Workday (facette Québec auto-découverte), Lever,
  Greenhouse, SmartRecruiters — connecteurs pilotes CAE, Desjardins, Poka,
  Mistplay, Ubisoft (442 offres QC)
- API FastAPI (/api/jobs, geojson, facets, sources, stats, /health) +
  frontend React/Vite (liste, fiche, carte MapLibre, stats)
- Fixtures HTTP enregistrées/rejouées hors ligne + hook pre-commit
  d'en-tête d'auteur (section 17)

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
      Simon-Pierre Boucher · 1 file +178
Menu

Theme
↑↓ navigate ↵ open esc close / or ⌘K anywhere