TeX 93.9%
Python 6%
1<!--2Author: Simon-Pierre Boucher3Contact: simon-pierre.boucher@uqo.ca4-->56# REVIEW REPORT — Editorial board, révision scientifique complète (2026-10-17)78**Papier** : WP 13 — *VQuant: An Agentic Large Language Model Architecture for Automated Quantitative Financial9Analysis and Document Generation* (v1.0, June 2026 → v1.1, October 2026 ; ex « WP 10 », jamais audité, jamais soumis).10**Board** : systèmes d'information (design science), LLM et agents, finance computationnelle, méthodologie de la11recherche en systèmes.12**Revues de référence** : *Journal of Financial Data Science*, *Decision Support Systems*, *Expert Systems with13Applications*, *ACM TMIS*, *Information Systems Research* ; *JEL* pour la littérature IA-économie.14**Journal des modifications** : `docs/CHANGELOG-REVISION.md`. **Preuves** : `docs/verify/` (script d'audit, JSON),15clone lecture seule de `vquant.git` (commit `e2a148a`).1617---1819## 1. Verdict d'ensemble2021Le manuscrit v1.0 est un **papier système sans évaluation**. Il décrit avec soin et, pour l'essentiel, exactement22une architecture réelle (boucle d'outils récursive en streaming, gestion de contexte, sandbox Python, pipeline23documentaire), mais il présentait cette description sous les étiquettes d'un papier empirique — fichiers24`results.tex`/`robustness.tex`, section « Performance, Reliability, and Security », table de « caractéristiques25opérationnelles » avec des latences non mesurées, résumé parlant d'« innovations » — sans aucune mesure26d'exactitude numérique, de taux d'hallucination, de latence, de coût, d'ablation ni de baseline. Il n'y a rien à27recalculer : il n'y a ni données ni scripts. La seule vérification possible — **confronter la description au28code** — a été faite ligne par ligne et a révélé une dizaine d'écarts, dont trois substantiels : (i) des fonctions29décrites (SSO, plafonds quotidiens, bring-your-own-keys, clés API chiffrées) **n'existent dans aucun commit** ;30(ii) quatre « outils numériques exposés au modèle » n'ont **pas de définition d'outil** et sont donc injoignables31(seul le pricer d'options l'est) ; (iii) la « correction exacte » du comptage de tokens repose sur un tokenizer32OpenAI appliqué à des sorties Claude. La couche modèle décrite comme « Claude only » est multi-fournisseur depuis33au moins août 2026, et une référence centrale de la revue de littérature (Kim–Muhn–Nikolaev 2024) a été retirée par34ses auteurs en février 2025.3536La révision a (1) **requalifié** le papier en contribution de design science (implémentation située +37démonstration, évaluation spécifiée mais non exécutée), avec un résumé qui dit ce qu'il ne contient pas ;38(2) **corrigé** chaque écart avec le code et ajouté une table d'audit (33 énoncés → fichier:lignes) ;39(3) remplacé les « résultats » par une table de **rationale** (mécanisme, constante, propriété visée, mesure qui40la testerait), un **walk-through** sans chiffre, des **menaces à la validité** et une section **reproductibilité**41honnête (température 1, pas de graine, code écrit par le modèle) ; (4) rédigé un **protocole d'évaluation42pré-enregistré** (suite de tâches, métriques dont le taux de nombres non étayés, ablations, baselines, contrôles),43explicitement non exécuté ; (5) vérifié les 20 références et porté la bibliographie à 46 entrées toutes vérifiées.4445**Le papier révisé est honnête et reproductible dans sa description, mais il n'est pas publiable en l'état dans une46revue empirique** : sa valeur scientifique dépend de l'exécution du protocole de §6.6. Voir §7.4748## 2. Diagnostic par section (v1.0 → v1.1)4950| Section | Forces (v1.0) | Faiblesses / erreurs trouvées | Traitement |51|---|---|---|---|52| Titre / résumé | Problème (grounding) bien posé | « production-grade », « innovations », « remarkable » ; aucune mention de l'absence d'évaluation ; comptes faux (200+/265+/17/4) | Résumé réécrit : design science, comptes audités, « reports no empirical evaluation » ; titre et sous-titre conservés |53| Introduction | Division du travail modèle/code claire ; 4 contributions | « Contributions … methodological and architectural rather than empirical » mais le reste du texte parle de résultats ; termes « agentic », « tool use », « reasoning » non définis ; pas de genre déclaré | Paragraphes « What kind of paper this is », « Audit against the code », « Terminology » ; contributions reformulées + protocole comme 5e contribution |54| Related work | Quatre axes pertinents ; classiques présents | 20 réf., 0 DOI ; rien sur l'évaluation des agents, sur la sélection d'outils à grande échelle (Gorilla, ToolLLM), sur les longs contextes, sur le design science ; Kim et al. retiré ; Lopez-Lira & Tang publié depuis | 5 sous-sections, 46 réf. vérifiées ; §2.1 design science ; §2.3 évaluation ; note sur le retrait de Kim et al. |55| Architecture (§3) | Trois tiers, SSE, ORM bien décrits | « Claude family » (faux depuis août 2026) ; second fournisseur EODHD absent ; « four web services » (3 exposés) ; schéma inventé (clés chiffrées, daily usage) ; comptes approximatifs | Tout réaligné sur `e2a148a` ; Table 1 avec identifiants Anthropic vérifiés, adaptateur OpenAI-compatible (cap 128 outils), appel Beamer épinglé |56| Méthodologie (§4) | Description fidèle du parseur SSE, de la récursion, du batching, de la summarisation | Troncature à l'exécution (3 000/15 000) omise ; constantes du résumé (2 000 tokens, T = 0,5, repli 500) non données ; « exact tokenizer » faux ; barème de coût unique non dit ; tour assistant sans texte ni thinking non dit ; pas de borne de récursion ; outils cités dans le prompt mais absents du catalogue | Algorithmes 1–2 réécrits avec les constantes réelles ; §4.7 corrigée ; §4.8 « convention » (appliquée par instruction, pas par code) ; incohérence prompt/catalogue signalée |57| « Results » (§5) | Sandbox et pipeline PDF/Beamer/DOCX exacts | Section nommée comme des résultats ; 17 bibliothèques (29 tentées) ; quatre outils numériques « exposés » (un seul l'est) ; dépendance CDN KaTeX et figures éphémères non dites | Renommée ; §5.2 corrigée ; §5.4 walk-through de contrôle (sans chiffre) |58| « Robustness » (§6) | §6.5 Limitations déjà honnête | Table 4 de latences « indicatives » sans mesure ; §6.2 contredit §4.7 ; §6.3 décrit SSO/limites/BYOK inexistants ; « sandbox » présenté comme sécurité | Renommée ; Table 4 → rationale ; §6.2 authentification réelle ; §6.3 sécurité avec modèle de menace ; §6.4 menaces ; §6.5 reproductibilité ; §6.6 protocole |59| Conclusion | Agenda d'évaluation esquissé | Reprend « innovations », « agentic financial intelligence » | Réécrite : situated implementation + demonstration ; trois corrections de code recommandées ; pattern présenté comme hypothèse |60| Annexes | Structure du prompt, formules classiques | Schéma faux (C6) ; événements client incomplets (15 types émis) ; pas d'équations numérotées | Appendix B corrigée (12 entités) ; D : 15 types ; C : équations (1)–(3) ; **E : table d'audit** |61| Figures (TikZ) | Lisibles, cohérentes | Compteurs périmés (265+, 17, 4) | Mis à jour ; un Overfull de 16 pt corrigé |6263## 3. Méthodologie — verdict motivé (points du §3 du master prompt, adaptés à un papier système)6465| Point | Verdict | Motif / action |66|---|---|---|67| Spécification de l'artefact justifiée | Oui (v1.1) | Chaque décision reliée à une propriété visée et à une mesure (Table 4) ; genre design science déclaré |68| Hypothèses explicites | Oui (v1.1) | Constantes réelles (5/500 ms ; 3 000/15 000/5 000 ; 10^5 ; k = 5 ; 2 000 ; 0,5 ; 64 000 ; T = 1 ; 90 s ; 150 dpi) et leur origine (jugement, pas mesure) |69| Définitions correctes | Oui | « agentic », « tool use », « reasoning-capable » définis ; « convention » vs « mécanisme » distingués |70| Correspondance description ↔ implémentation | **Non en v1.0 → Oui en v1.1** | 33 énoncés tracés (Appendix E) ; 10 corrections |71| Inférence / robustesse | Sans objet | Aucune statistique dans le papier ; aucune n'a été inventée |72| Interprétation vs mécanisme établi | Oui (v1.1) | Toute affirmation de gain (latence, hallucination) reformulée en hypothèse testable |73| Claims causaux / de supériorité | Retirés | « materially reduces latency », « largest latency saving », « eliminates » → hypothèses du protocole |74| Reproductibilité | Partielle, documentée | Design reproductible ; sorties non (T = 1, pas de graine, code généré) ; chaque nombre d'un rapport l'est à partir des entrées persistées |75| Sécurité (spécifique) | Qualifiée | Isolation par processus ≠ frontière de sécurité ; guardrail de prompt sans garantie |7677## 4. Littérature7879- **Vérifiées** : les 20 références initiales (Crossref/arXiv/PMLR) ; corrections de pages/DOI pour 9 d'entre elles ;80 Lopez-Lira & Tang passée en JFE 2026 ; Kim et al. marquée retirée.81- **Ajoutées (26)** : design science (3), LLM/agents/contexte (9), évaluation (6), finance-économie (8) — toutes avec82 DOI ou identifiant arXiv/SSRN/venue (liste et sources dans le changelog §4).83- **Non ajoutées faute de vérification complète** : aucune ; Chen–Kelly–Xiu citée comme working paper sans numéro SSRN84 (page SSRN inaccessible), existence confirmée par la présentation Wharton Jacobs Levy et des listes de séminaires.85- **Retirées** : aucune.8687## 5. Résultats — incohérences trouvées8889Il n'y a pas de résultats empiriques. Incohérences internes de v1.0 corrigées : §6.2 vs §4.7 sur le rôle du90tokenizer ; Appendix D (9 types d'événements « principaux ») vs code (15) ; Table 3 (« 200+ ») vs README de la91plateforme (213) vs code (245) ; §3.5 « Claude family » vs sélecteur à trois fournisseurs ; §5.2 vs catalogue92d'outils ; §6.3/Appendix B vs schéma.9394## 6. Analyses recommandées non exécutées95961. **Protocole §6.6** (≈ 350 tâches, 3 répétitions, 6 ablations, 4 baselines, instantané de données figé) — le97 cœur de ce qui manque. Coût estimé : quelques centaines de dollars d'API et deux évaluateurs humains pour les98 50 rapports.992. **Rétention d'information après summarisation** (faits plantés en début de session, seuils 5·10^4 / 10^5 / 2·10^5,100 k = 3/5/10).1013. **Taux de désobéissance à la convention single-call** et taux d'échec du sandbox par cause.1024. **Audit de facturation** : grand livre vs facture fournisseur sur un mois (le barème unique 3 $/15 $ est faux103 pour plusieurs modèles).1045. **Test de pénétration du sandbox** (le processus enfant a les privilèges et le réseau du serveur).105106## 7. Maturité pour publication107108- **État** : description de système honnête, précise et auditée ; aucune preuve empirique. En vocabulaire design109 science : *situated implementation* + *demonstration* ; *evaluation* manquante.110- **Revue cible réaliste aujourd'hui** : aucune revue empirique n'acceptera le papier sans §6.6 exécutée. Options :111 (a) **exécuter le protocole** puis viser *Decision Support Systems* ou *Expert Systems with Applications* (papier112 système + évaluation) ou *Journal of Financial Data Science* (angle finance) ; (b) en l'état, un atelier113 « systems/demo » (ICAIF demo track, FinNLP) ou un dépôt comme *working paper* technique.114- **Risques de rejet** : absence d'évaluation (rédhibitoire en revue) ; dépendance à des API propriétaires et à un115 code privé (reproductibilité limitée au design) ; contribution perçue comme ingénierie plutôt que comme116 connaissance de design (il faudrait au moins formuler des principes de design testables, ce que la Table 4117 amorce) ; évolution rapide des modèles (identifiants et constantes datés).118- **Corrections de code à faire avant toute évaluation** (dans `vquant.git`, remote-first) : borne de récursion ;119 barème de prix par modèle ; réintégration des outils numériques dans le catalogue ou retrait du prompt ;120 vérification au démarrage des dépendances (TeX, CDN KaTeX) ; graine optionnelle pour le Monte Carlo.121