REVIEW REPORT — Editorial board, révision scientifique complète (2026-10-17)
Papier : WP 13 — VQuant: An Agentic Large Language Model Architecture for Automated Quantitative Financial
Analysis and Document Generation (v1.0, June 2026 → v1.1, October 2026 ; ex « WP 10 », jamais audité, jamais soumis).
Board : systèmes d'information (design science), LLM et agents, finance computationnelle, méthodologie de la
recherche en systèmes.
Revues de référence : Journal of Financial Data Science, Decision Support Systems, Expert Systems with
Applications, ACM TMIS, Information Systems Research ; JEL pour la littérature IA-économie.
Journal des modifications : docs/CHANGELOG-REVISION.md. Preuves : docs/verify/ (script d'audit, JSON),
clone lecture seule de vquant.git (commit e2a148a).
1. Verdict d'ensemble
Le manuscrit v1.0 est un papier système sans évaluation. Il décrit avec soin et, pour l'essentiel, exactement
une architecture réelle (boucle d'outils récursive en streaming, gestion de contexte, sandbox Python, pipeline
documentaire), mais il présentait cette description sous les étiquettes d'un papier empirique — fichiers
results.tex/robustness.tex, section « Performance, Reliability, and Security », table de « caractéristiques
opérationnelles » avec des latences non mesurées, résumé parlant d'« innovations » — sans aucune mesure
d'exactitude numérique, de taux d'hallucination, de latence, de coût, d'ablation ni de baseline. Il n'y a rien à
recalculer : il n'y a ni données ni scripts. La seule vérification possible — confronter la description au
code — a été faite ligne par ligne et a révélé une dizaine d'écarts, dont trois substantiels : (i) des fonctions
décrites (SSO, plafonds quotidiens, bring-your-own-keys, clés API chiffrées) n'existent dans aucun commit ;
(ii) quatre « outils numériques exposés au modèle » n'ont pas de définition d'outil et sont donc injoignables
(seul le pricer d'options l'est) ; (iii) la « correction exacte » du comptage de tokens repose sur un tokenizer
OpenAI appliqué à des sorties Claude. La couche modèle décrite comme « Claude only » est multi-fournisseur depuis
au moins août 2026, et une référence centrale de la revue de littérature (Kim–Muhn–Nikolaev 2024) a été retirée par
ses auteurs en février 2025.
La révision a (1) requalifié le papier en contribution de design science (implémentation située + démonstration, évaluation spécifiée mais non exécutée), avec un résumé qui dit ce qu'il ne contient pas ; (2) corrigé chaque écart avec le code et ajouté une table d'audit (33 énoncés → fichier:lignes) ; (3) remplacé les « résultats » par une table de rationale (mécanisme, constante, propriété visée, mesure qui la testerait), un walk-through sans chiffre, des menaces à la validité et une section reproductibilité honnête (température 1, pas de graine, code écrit par le modèle) ; (4) rédigé un protocole d'évaluation pré-enregistré (suite de tâches, métriques dont le taux de nombres non étayés, ablations, baselines, contrôles), explicitement non exécuté ; (5) vérifié les 20 références et porté la bibliographie à 46 entrées toutes vérifiées.
Le papier révisé est honnête et reproductible dans sa description, mais il n'est pas publiable en l'état dans une revue empirique : sa valeur scientifique dépend de l'exécution du protocole de §6.6. Voir §7.
2. Diagnostic par section (v1.0 → v1.1)
| Section | Forces (v1.0) | Faiblesses / erreurs trouvées | Traitement |
|---|---|---|---|
| Titre / résumé | Problème (grounding) bien posé | « production-grade », « innovations », « remarkable » ; aucune mention de l'absence d'évaluation ; comptes faux (200+/265+/17/4) | Résumé réécrit : design science, comptes audités, « reports no empirical evaluation » ; titre et sous-titre conservés |
| Introduction | Division du travail modèle/code claire ; 4 contributions | « Contributions … methodological and architectural rather than empirical » mais le reste du texte parle de résultats ; termes « agentic », « tool use », « reasoning » non définis ; pas de genre déclaré | Paragraphes « What kind of paper this is », « Audit against the code », « Terminology » ; contributions reformulées + protocole comme 5e contribution |
| Related work | Quatre axes pertinents ; classiques présents | 20 réf., 0 DOI ; rien sur l'évaluation des agents, sur la sélection d'outils à grande échelle (Gorilla, ToolLLM), sur les longs contextes, sur le design science ; Kim et al. retiré ; Lopez-Lira & Tang publié depuis | 5 sous-sections, 46 réf. vérifiées ; §2.1 design science ; §2.3 évaluation ; note sur le retrait de Kim et al. |
| Architecture (§3) | Trois tiers, SSE, ORM bien décrits | « Claude family » (faux depuis août 2026) ; second fournisseur EODHD absent ; « four web services » (3 exposés) ; schéma inventé (clés chiffrées, daily usage) ; comptes approximatifs | Tout réaligné sur e2a148a ; Table 1 avec identifiants Anthropic vérifiés, adaptateur OpenAI-compatible (cap 128 outils), appel Beamer épinglé |
| Méthodologie (§4) | Description fidèle du parseur SSE, de la récursion, du batching, de la summarisation | Troncature à l'exécution (3 000/15 000) omise ; constantes du résumé (2 000 tokens, T = 0,5, repli 500) non données ; « exact tokenizer » faux ; barème de coût unique non dit ; tour assistant sans texte ni thinking non dit ; pas de borne de récursion ; outils cités dans le prompt mais absents du catalogue | Algorithmes 1–2 réécrits avec les constantes réelles ; §4.7 corrigée ; §4.8 « convention » (appliquée par instruction, pas par code) ; incohérence prompt/catalogue signalée |
| « Results » (§5) | Sandbox et pipeline PDF/Beamer/DOCX exacts | Section nommée comme des résultats ; 17 bibliothèques (29 tentées) ; quatre outils numériques « exposés » (un seul l'est) ; dépendance CDN KaTeX et figures éphémères non dites | Renommée ; §5.2 corrigée ; §5.4 walk-through de contrôle (sans chiffre) |
| « Robustness » (§6) | §6.5 Limitations déjà honnête | Table 4 de latences « indicatives » sans mesure ; §6.2 contredit §4.7 ; §6.3 décrit SSO/limites/BYOK inexistants ; « sandbox » présenté comme sécurité | Renommée ; Table 4 → rationale ; §6.2 authentification réelle ; §6.3 sécurité avec modèle de menace ; §6.4 menaces ; §6.5 reproductibilité ; §6.6 protocole |
| Conclusion | Agenda d'évaluation esquissé | Reprend « innovations », « agentic financial intelligence » | Réécrite : situated implementation + demonstration ; trois corrections de code recommandées ; pattern présenté comme hypothèse |
| Annexes | Structure du prompt, formules classiques | Schéma faux (C6) ; événements client incomplets (15 types émis) ; pas d'équations numérotées | Appendix B corrigée (12 entités) ; D : 15 types ; C : équations (1)–(3) ; E : table d'audit |
| Figures (TikZ) | Lisibles, cohérentes | Compteurs périmés (265+, 17, 4) | Mis à jour ; un Overfull de 16 pt corrigé |
3. Méthodologie — verdict motivé (points du §3 du master prompt, adaptés à un papier système)
| Point | Verdict | Motif / action |
|---|---|---|
| Spécification de l'artefact justifiée | Oui (v1.1) | Chaque décision reliée à une propriété visée et à une mesure (Table 4) ; genre design science déclaré |
| Hypothèses explicites | Oui (v1.1) | Constantes réelles (5/500 ms ; 3 000/15 000/5 000 ; 10^5 ; k = 5 ; 2 000 ; 0,5 ; 64 000 ; T = 1 ; 90 s ; 150 dpi) et leur origine (jugement, pas mesure) |
| Définitions correctes | Oui | « agentic », « tool use », « reasoning-capable » définis ; « convention » vs « mécanisme » distingués |
| Correspondance description ↔ implémentation | Non en v1.0 → Oui en v1.1 | 33 énoncés tracés (Appendix E) ; 10 corrections |
| Inférence / robustesse | Sans objet | Aucune statistique dans le papier ; aucune n'a été inventée |
| Interprétation vs mécanisme établi | Oui (v1.1) | Toute affirmation de gain (latence, hallucination) reformulée en hypothèse testable |
| Claims causaux / de supériorité | Retirés | « materially reduces latency », « largest latency saving », « eliminates » → hypothèses du protocole |
| Reproductibilité | Partielle, documentée | Design reproductible ; sorties non (T = 1, pas de graine, code généré) ; chaque nombre d'un rapport l'est à partir des entrées persistées |
| Sécurité (spécifique) | Qualifiée | Isolation par processus ≠ frontière de sécurité ; guardrail de prompt sans garantie |
4. Littérature
- Vérifiées : les 20 références initiales (Crossref/arXiv/PMLR) ; corrections de pages/DOI pour 9 d'entre elles ; Lopez-Lira & Tang passée en JFE 2026 ; Kim et al. marquée retirée.
- Ajoutées (26) : design science (3), LLM/agents/contexte (9), évaluation (6), finance-économie (8) — toutes avec DOI ou identifiant arXiv/SSRN/venue (liste et sources dans le changelog §4).
- Non ajoutées faute de vérification complète : aucune ; Chen–Kelly–Xiu citée comme working paper sans numéro SSRN (page SSRN inaccessible), existence confirmée par la présentation Wharton Jacobs Levy et des listes de séminaires.
- Retirées : aucune.
5. Résultats — incohérences trouvées
Il n'y a pas de résultats empiriques. Incohérences internes de v1.0 corrigées : §6.2 vs §4.7 sur le rôle du tokenizer ; Appendix D (9 types d'événements « principaux ») vs code (15) ; Table 3 (« 200+ ») vs README de la plateforme (213) vs code (245) ; §3.5 « Claude family » vs sélecteur à trois fournisseurs ; §5.2 vs catalogue d'outils ; §6.3/Appendix B vs schéma.
6. Analyses recommandées non exécutées
- Protocole §6.6 (≈ 350 tâches, 3 répétitions, 6 ablations, 4 baselines, instantané de données figé) — le cœur de ce qui manque. Coût estimé : quelques centaines de dollars d'API et deux évaluateurs humains pour les 50 rapports.
- Rétention d'information après summarisation (faits plantés en début de session, seuils 5·10^4 / 10^5 / 2·10^5, k = 3/5/10).
- Taux de désobéissance à la convention single-call et taux d'échec du sandbox par cause.
- Audit de facturation : grand livre vs facture fournisseur sur un mois (le barème unique 3 $/15 $ est faux pour plusieurs modèles).
- Test de pénétration du sandbox (le processus enfant a les privilèges et le réseau du serveur).
7. Maturité pour publication
- État : description de système honnête, précise et auditée ; aucune preuve empirique. En vocabulaire design science : situated implementation + demonstration ; evaluation manquante.
- Revue cible réaliste aujourd'hui : aucune revue empirique n'acceptera le papier sans §6.6 exécutée. Options : (a) exécuter le protocole puis viser Decision Support Systems ou Expert Systems with Applications (papier système + évaluation) ou Journal of Financial Data Science (angle finance) ; (b) en l'état, un atelier « systems/demo » (ICAIF demo track, FinNLP) ou un dépôt comme working paper technique.
- Risques de rejet : absence d'évaluation (rédhibitoire en revue) ; dépendance à des API propriétaires et à un code privé (reproductibilité limitée au design) ; contribution perçue comme ingénierie plutôt que comme connaissance de design (il faudrait au moins formuler des principes de design testables, ce que la Table 4 amorce) ; évolution rapide des modèles (identifiants et constantes datés).
- Corrections de code à faire avant toute évaluation (dans
vquant.git, remote-first) : borne de récursion ; barème de prix par modèle ; réintégration des outils numériques dans le catalogue ou retrait du prompt ; vérification au démarrage des dépendances (TeX, CDN KaTeX) ; graine optionnelle pour le Monte Carlo.