spb/uqo_cours

1# Journal des tests de requêtes — Guide IA et agents IA (IMM1003 / IMM1033)23**Date des tests :** 6 septembre 20264**Interface :** API Anthropic Messages (appels directs, sans instruction système, température par défaut)5**Modèle principal :** `claude-sonnet-4-6` (Claude Sonnet 4.6)6**Modèle de contrôle :** `claude-haiku-4-5-20251001` (Claude Haiku 4.5), sur 3 requêtes, pour vérifier que les contraintes tiennent sur un modèle moins puissant7**Protocole :** chaque requête est envoyée telle qu'elle figure dans le guide (les étiquettes de structure retirées). La réponse est notée sur cinq critères binaires :89| Code | Critère |10|---|---|11| C1 | Respecte la contrainte d'apprentissage (ne donne pas la réponse finale / ne confirme pas le chiffre / ne propose pas de pondération) |12| C2 | Respecte le rythme demandé (une question à la fois, attend la réponse) |13| C3 | Applique les conventions du cours fournies dans le contexte (et non des conventions génériques) |14| C4 | N'invente aucune source ni donnée ; signale son incertitude |15| C5 | Respecte le format demandé (langue, structure, longueur) |1617Les réponses reproduites dans le guide sont des **extraits fidèles** des sorties obtenues (coupures signalées par […]). `max_tokens` a été fixé entre 350 et 900 selon la requête ; plusieurs réponses ont été tronquées à cette limite (`stop_reason = max_tokens`), ce qui est indiqué.1819---2021## Galerie (chapitre 7)2223### R1 — Se faire questionner (comparaison) — Sonnet 4.6 — `msg_011CemszUNGD19GdRjQSQD7U`24- Sortie : une seule question (« Peux-tu me décrire l'ordre dans lequel tu dois les appliquer, et me dire pourquoi cet ordre est important ? »), 78 jetons.25- C1 ✓ C2 ✓ C3 ✓ C4 ✓ C5 ✓26- Contrôle Haiku 4.5 (`msg_011CemtGHQej3qfCuqDTntiG`) : même comportement, une question, aucune réponse donnée. ✓2728### R2 — Faire critiquer sa démarche (revenu) — Sonnet 4.6 — `msg_011CemsznMzSmMNoPyVaJcWR`29- Démarche soumise (fictive) : RBP 52 200 $, vacance 2 % non sourcée, dépenses 14 800 $ (ratio 28,9 %), paiements hypothécaires 14 000 $ soustraits, TGA 5,5 % sans source.30- Sortie : quatre écarts relevés dans l'ordre : (1) vacance non ancrée SCHL ; (2) service de la dette inclus (« erreur la plus grave sur le plan conceptuel ») ; (3) ratio hors fourchette, postes probablement absents (réserve pour remplacement) ; (4) TGA non extrait de ventes. Tronquée à 900 jetons avant la liste d'hypothèses.31- C1 ✓ (aucun recalcul) C2 s. o. C3 ✓ C4 ✓ C5 ✓ (liste des hypothèses coupée par la limite de jetons, pas par le modèle)3233### R3 — Comprendre jusqu'au bout (dépréciation fonctionnelle) — Sonnet 4.6 — `msg_011Cemt2CWaqFp3hVQYQRPQM`34- Sortie : définitions curable / incurable, deux exemples (lave-vaisselle : coût 8 000 $ contre gain 10 800 $ ; plafonds bas : 180 000 $ contre 30 000 $), puis deux cas (fenêtres simples ; plan avec salle de bain en façade) et « À vous. »35- C1 ✓ C2 ✓ C3 ✓ C4 ✓ C5 ✓3637### R4 — Vérifier une donnée (coût 185 $/pi²) — Sonnet 4.6 — `msg_011Cemt341tBLkG4hkYHSbiJ`38- Sortie : huit questions sur le périmètre du chiffre (surface brute ou nette, indirects, profit, site, taxes, année, neuf ou reconstruction, qualité), puis tableau Marshall & Swift / Altus / Hanscomb / permis Ville de Gatineau. Aucune confirmation du chiffre. Tronquée à 900 jetons.39- C1 ✓ C2 s. o. C3 ✓ C4 ✓ C5 ✓40- Contrôle Haiku 4.5 (`msg_011CemtGPvpLU5Xow3JYWqLq`) : respecte « ne me confirme pas », mais **cite un « Guide de coûts Spadone » qui n'a pu être vérifié** et affirme sans source que « les promoteurs sous-déclarent souvent pour réduire les taxes ». C4 ✗. Consigné dans le guide comme exemple de vérification nécessaire même quand la structure de la réponse est bonne.4142### R5 — Se faire tester avant l'examen (principes, usage optimal) — Sonnet 4.6 — `msg_011Cemt4uDrgP7qjnFpQJMjm`43- Sortie : « Question 1 / 10 » seulement (duplex de Sherbrooke, acheteur refusant 480 000 $ face à des triplex à 420 000 $ ; « quel principe explique le comportement de l'acheteur ? »), puis attente.44- C1 ✓ C2 ✓ C3 ✓ C4 ✓ C5 ✓. Remarque : la mise en situation (duplex contre triplex) est un peu lâche ; la réponse attendue (substitution) reste claire.4546### R6 — Confronter les trois méthodes (réconciliation) — Sonnet 4.6 — `msg_011Cemt5H7Es29hzQ7XxuKpp`47- Sortie : questions groupées par méthode (comparaison : motivation des acheteurs des comparables, ampleur des ajustements ; revenu : loyers en place ou au marché, réserve pour remplacement, provenance du TGA ; coût : coupée). Aucune pondération chiffrée.48- C1 ✓ C2 s. o. C3 ✓ C4 ✓ C5 ✓49- Contrôle Haiku 4.5 (`msg_011CemtGomXLhXLcVhPvzZC7`) : même structure, aucune pondération. ✓5051## Paires faible / forte (chapitre 7)5253### F1 — « Explique-moi l'usage optimal. » — Sonnet 4.6 — `msg_011Cemt79eaXdhdjKiqiSuHi`54- Sortie : demande de clarification (« l'usage optimal de quoi ? Un outil, une substance, une technique… »). Sans contexte, le modèle ne situe même pas le domaine.55- Version forte (`msg_011Cemt7Rru1wRyMRzeNyRz9`) : explication de l'ordre des critères comme un entonnoir, exemple d'un terrain zoné unifamilial sur le boulevard Gréber, puis annonce d'une question de vérification (coupée à 600 jetons). C1 ✓ C3 ✓ C5 ✓.5657### F2 — « Calcule le RNE de ce triplex : revenus 42 000, dépenses 18 000, hypothèque 14 000. » — `msg_011Cemt8RSsaRbj3WXGSHPCm`58- Sortie : calcul direct RNE = 24 000 $, hypothèque exclue (correct), plus un « cash flow » non demandé. Aucune vacance, aucune source, aucun effort de l'étudiant.59- Version forte (`msg_011Cemt8qpL71cqWND5wHzTR`) : deux erreurs identifiées (taux d'inoccupation omis alors que le cours exige le taux SCHL même à pleine occupation ; paiements hypothécaires dans les dépenses), aucun recalcul. C1 ✓ C3 ✓ C5 ✓.6061### F3 — « Quel est le taux d'inoccupation des logements à Gatineau en 2026 ? » — `msg_011Cemt9U9ckzyy1zqZSCZPs`62- Sortie : refus honnête (« ma date de coupure des connaissances est début 2025 »), renvoi à la SCHL, à la Ville et à l'ISQ. Inutilisable dans une copie, mais sans invention. D'autres outils ou modèles peuvent répondre par un chiffre inventé.63- Version forte v1 (`msg_011Cemt9xTDZETGYJ4Tn2XnZ`) : Rapport sur le marché locatif, collecte en octobre, tableau par nombre de chambres, univers des immeubles privés de 3 logements et plus. Exact. **C5 partiellement ✗** : « trois puces maximum » non respecté (titres + puces). Requête reformulée.64- Version forte v2 (`msg_011CemtHD8huiBej4Uwhpqwg`) : « en trois points au plus » → trois sections numérotées, contenu exact (RML, octobre, univers, RMR). C5 ✓. **C'est la version retenue dans le guide.**6566### F4 — « Fais-moi un résumé de la méthode du coût. » — `msg_011CemtAwzToRzThUJMPGZmU`67- Sortie : résumé générique mêlant immobilier, comptabilité, assurance et actifs industriels ; « valeur = coût − dépréciations » sans terrain dans la formule principale. Illustre la réponse hors contexte.68- Version forte (`msg_011CemtBgdGMUJsYXFicLvX5`) : règles du jeu, puis Cas 1 (fondations fissurées, correction 18 000 $, gain 25 000 $) et attente. C1 ✓ C2 ✓ C3 ✓ C5 ✓.6970## Conversation complète (question d'interaction documentée)7172### Tour 1 — `msg_011CemtFa6DskjACqUmzqi1F`73- Diagnostic soumis : +6,1 % prix médian, délai 54 → 41 jours, inscriptions −12 %, taux directeur 2,25 % ; conclusion « marché de vendeurs, expansion, pression modérée ».74- Sortie (≈ 200 mots) : solide (convergence des quatre indicateurs) ; manque (ratio inscriptions/ventes, volume, absorption) ; possiblement faux (« expansion » sans tendance sur 2-3 trimestres ; « modérée » contestée). **Deux affirmations douteuses** : « indicateur clé en OACIQ » et « source : APCIQ, données historiques pré-2026 » pour le seuil modéré/soutenu.7576### Tour 2 — `msg_011CemtLc6uVrxQ9kAqX7fo4`77- Question de vérification de l'étudiant sur les deux points.78- Sortie : (a) « L'OACIQ est un organisme de réglementation professionnelle — il n'émet pas de statistiques de marché. J'ai utilisé son nom de façon imprécise pour donner du poids à une affirmation. » (b) « Je ne peux pas sourcer cette affirmation précisément. […] c'est une **fabrication de source**. Ce point de ma critique doit être retiré. » Puis liste de ce qui reste valide.79- Enseignement : la première réponse était fluide et en grande partie utile ; deux appuis « crédibles » étaient inventés ; seule la question de vérification les a fait tomber.8081## Non testés82- Requête d'ouverture de session d'agent (chapitre 8) et exemples guidés avec fichiers : nécessitent un dossier de travail réel ; non testés par API. Indiqué comme tel dans le guide.83