SPB Git forge
spboucher.ai ↗

spb/uqo_cours

Public
0commits 0branches 0releases
0 Bsize
maindefault branch
—last push
23.8 KB
View source Raw Blame History

# Recherche sur la conception d'examens à l'ère de l'IA générative

# Dossier de recherche pour les examens intra et finaux — IMM1003 (introduction à l'évaluation immobilière) et IMM1033 (méthode du coût), UQO

Contexte : Quatre examens en présentiel, surveillés, en français, avec calculatrice non programmable et aide-mémoire d'une page. Objectif : des examens valides, résistants à l'IA générative, alignés sur les compétences professionnelles attendues d'un futur évaluateur agréé. Date de la recherche : 2026-08-04.

# 1. Évaluer à l'ère de l'IA générative — orientations institutionnelles

# Source 1 — « Évaluer les apprentissages à l'ère de l'intelligence artificielle générative » (10 stratégies)

  • Institution / auteure : Université Laval, Service de soutien à l'enseignement (Marie-Eve Vachon-Savary)
  • Date : septembre 2025
  • URL : https://www.enseigner.ulaval.ca/system/files/public/numerique/intelligence-articielle/10-strategies-eval-IAGen.pdf
  • Principe extrait : L'examen surveillé en présentiel demeure l'ancrage de validité le plus fiable, mais il doit être reformulé : privilégier des questions ouvertes exigeant d'expliquer un raisonnement, d'analyser un scénario ou de défendre une position plutôt que de restituer des faits ; viser les habiletés de haut niveau (analyse, synthèse, évaluation) que l'IA ne remplace pas chez l'étudiant ; ancrer les tâches dans des contextes professionnels authentiques.
  • Élément de conception influencé : Philosophie générale des 4 examens ; répartition Bloom du plan d'examen ; formulation « expliquez / justifiez / défendez » dans les questions à développement.

# Source 2 — « Modalités d'utilisation de l'IA dans les évaluations » (5 niveaux d'autorisation)

  • Institution : Université Laval, Service de soutien à l'enseignement
  • Date : mise à jour continue (consulté 2026)
  • URL : https://www.enseigner.ulaval.ca/numerique-et-ia/intelligence-artificielle/ia-ressources-et-outils/modalites-dutilisation-de-lia-dans-les-evaluations
  • Principe extrait : Cinq niveaux (à déterminer / non autorisé / autorisé avec restrictions / sans restriction / obligatoire). Pour le niveau « non autorisé », l'établissement recommande d'expliquer pourquoi (protéger la validation des connaissances fondamentales et des compétences individuelles), et d'énoncer les attentes à la fois dans le plan de cours et dans les consignes de chaque évaluation.
  • Élément de conception influencé : Libellé des consignes en page 1 des examens : déclaration explicite « IA non autorisée » + justification pédagogique + rappel du matériel permis (calculatrice non programmable, aide-mémoire 1 page).

# Source 3 — « L'examen écrit comme méthode d'évaluation »

  • Institution : Université Laval, Service de soutien à l'enseignement
  • Date : consulté 2026
  • URL : https://www.enseigner.ulaval.ca/pedagogie/methodes-devaluation/examen
  • Principe extrait : Construire chaque question à partir d'un objectif d'apprentissage et pondérer les points proportionnellement à l'importance de l'objectif ; réserver les questions à choix de réponses aux niveaux simples et les questions à développement aux niveaux supérieurs (avec grille de correction pour limiter la subjectivité) ; à l'ère de l'IA, contextualiser les questions et préparer des versions multiples de difficulté équivalente ; préparer les étudiants (exemples de questions, clarification du matériel permis).
  • Élément de conception influencé : Table de spécifications (blueprint) de chaque examen ; création de variantes A/B avec données différentes ; communication pré-examen sur l'aide-mémoire.

# Source 4 — « Encadrement de l'utilisation de l'IA générative à l'UdeM » + page Intégrité

  • Institution : Université de Montréal, Centre de pédagogie universitaire (CPU) et Bureau de l'intégrité
  • Date : 2024–2025
  • URL : https://cpu.umontreal.ca/iag/encadrement-utilisation-iag-udem/ et https://integrite.umontreal.ca/personnel-enseignant/intelligence-artificielle/
  • Principe extrait : Indiquer, pour chaque évaluation, un libellé spécifique sur l'usage autorisé ou interdit de l'IA (pas seulement une politique générale de cours) ; concevoir des activités d'évaluation « peu propices à la fraude » plutôt que de miser sur la détection ; l'enjeu central est le développement du jugement critique des étudiants.
  • Élément de conception influencé : Libellé des consignes (par évaluation, pas seulement au plan de cours) ; choix de formats peu délégables à l'IA.

# Source 5 — « Teaching with Generative AI — Teaching Tips »

  • Institution : University of Toronto, Centre for Teaching Support & Innovation (CTSI)
  • Date : 2024–2025
  • URL : https://teaching.utoronto.ca/teaching-uoft-genai/teaching-tips/
  • Principe extrait : Intégrer des composantes métacognitives dans les évaluations (« décrivez le raisonnement derrière votre démarche ») et valoriser le processus, pas seulement le produit final ; relier les concepts du cours à des contextes spécifiques que l'IA générique ne connaît pas.
  • Élément de conception influencé : Sous-questions « justifiez votre choix de méthode / d'ajustement » dans les problèmes calculatoires ; barème accordant des points au raisonnement intermédiaire.

# Source 6 — « Assessment Reform for the Age of Artificial Intelligence »

  • Institution / auteurs : TEQSA (organisme australien d'assurance qualité) — Jason M. Lodge (U. Queensland), Sarah Howard (Wollongong), Margaret Bearman et Phillip Dawson (Deakin/CRADLE)
  • Date : novembre 2023
  • URL : https://www.teqsa.gov.au/guides-resources/resources/corporate-publications/assessment-reform-age-artificial-intelligence
  • Principe extrait : Deux principes directeurs : (1) l'évaluation doit préparer les étudiants à agir de façon éthique dans une société où l'IA est omniprésente ; (2) l'établissement doit pouvoir porter des jugements dignes de confiance sur les apprentissages. Cela suppose de raisonner au niveau du système d'évaluation du cours : les moments supervisés (examens en présentiel) servent de points d'assurance de l'apprentissage individuel, complétés par des évaluations où l'IA peut être intégrée.
  • Élément de conception influencé : Positionnement des intra/finaux comme « points d'assurance » du cours ; cohérence entre travaux (IA encadrée) et examens (IA exclue) dans le plan de cours.

# Source 7 — PUPP — Partenariat universitaire sur la prévention du plagiat (UQO)

# 2. Évaluation authentique et habiletés de haut niveau (Bloom)

# Source 8 — « Authentic assessment: creating a blueprint for course design »

  • Auteurs / revue : Villarroel, Bloxham, Bruna, Bruna & Herrera-Seda — Assessment & Evaluation in Higher Education, 43(5), 840–854
  • Date : 2018
  • URL : https://www.tandfonline.com/doi/full/10.1080/02602938.2017.1412396 (PDF libre : https://www.acsouth.edu/wp-content/uploads/2023/07/Villarroel-Bloxham-et-al.-2018-Authentic-Assessment-Blueprint.pdf)
  • Principe extrait : Trois dimensions de l'authenticité : réalisme (contexte réel + tâche semblable à la pratique professionnelle), défi cognitif (utiliser/modifier/reconstruire le savoir, pas le restituer), jugement évaluatif (l'étudiant apprécie une performance à l'aide de critères explicites).
  • Élément de conception influencé : Gabarit des mises en situation (cas) des 4 examens : chaque cas = contexte immobilier réaliste (régional, Outaouais/Gatineau) + tâche professionnelle (estimer, ajuster, réconcilier, recommander) + critères de jugement explicites.

# Source 9 — « Using principles of authentic assessment to redesign written examinations and tests »

# Source 10 — Table de spécifications et taxonomie de Bloom révisée (blueprint d'examen)

  • Institutions : Clemson University OTEI, « Test Blueprint Guide » ; University at Buffalo (Bloom révisé)
  • Date : s.d. (guides institutionnels)
  • URL : https://media.clemson.edu/otei/documents/teaching_review_resources/test_blueprint_guide_final.pdf et https://www.buffalo.edu/catt/teach/develop/design/learning-outcomes/blooms.html
  • Principe extrait : Une table de spécifications à deux dimensions (contenus × niveaux cognitifs de Bloom révisé : mémoriser, comprendre, appliquer, analyser, évaluer, créer) garantit la validité de contenu, équilibre la difficulté entre versions et rend le barème défendable en cas de contestation.
  • Élément de conception influencé : Construire un blueprint formel pour chacun des 4 examens avant de rédiger les questions ; cible pour l'ère IA : ≤ 25–30 % mémoriser/comprendre, ≥ 45 % appliquer/analyser, 20–30 % évaluer.

# 3. Examens à livre ouvert vs à livre fermé

# Source 11 — « Does the format of an assessment (closed book or open book) affect learning? A systematic review of the literature »

  • Revue : Teaching in Higher Education, vol. 30, n° 4 (en ligne 2023)
  • URL : https://doi.org/10.1080/13562517.2023.2289128
  • Principe extrait (revue systématique + études associées) : Les examens à livre fermé conviennent mieux à la vérification des niveaux inférieurs de Bloom et sont associés à un taux d'oubli plus faible (meilleure rétention) ; les formats ouverts stimulent davantage les processus de haut niveau mais réduisent l'incitatif à consolider les connaissances de base. Étude complémentaire : les étudiants faibles profitent surtout du livre ouvert (https://www.sciencedirect.com/science/article/pii/S266655732400079X) ; comparaison terrain : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6428738/.
  • Élément de conception influencé : Valide le format hybride (« livre fermé + aide-mémoire d'une page rédigé par l'étudiant ») : l'acte de préparer la feuille est lui-même un exercice de synthèse. Conséquence directe : ne pas poser de questions dont la réponse tiendrait sur l'aide-mémoire (formules brutes, définitions) ; poser des questions qui exigent d'appliquer ce qui s'y trouve.

# 4. Évaluation par cas et analyse d'erreurs (dont critique de réponses générées par l'IA)

# Source 12 — « Design Strategies for Assessing Learning with AI »

  • Institution : Florida International University, Center for the Advancement of Teaching
  • Date : 2024–2025
  • URL : https://cat.fiu.edu/resources/teaching-with-ai/design-strategies-for-assessing-learning-with-ai/
  • Principe extrait : Faire critiquer une réponse générée par l'IA (exactitude, biais, limites, affirmations non étayées) transforme l'IA d'outil de contournement en objet d'analyse ; l'étudiant devient vérificateur critique plutôt que récepteur passif. Voir aussi Pitt : https://teaching.pitt.edu/resources/ais-effect-on-finals-and-end-of-term-assessments/ (repérer la première étape fautive et reconstruire la solution).
  • Élément de conception influencé : Question d'« analyse d'erreurs » dans chaque examen : un court extrait de rapport d'évaluation (ou de « réponse d'assistant IA ») contenant 3–5 erreurs plantées (mauvaise unité de comparaison, ajustement dans le mauvais sens, confusion coût de reproduction/remplacement, dépréciation mal classée) que l'étudiant doit identifier, expliquer et corriger.

# Source 13 — « Is Solving Better Than Evaluating GenAI Solutions? » (étude empirique)

  • Auteurs / source : prépublication arXiv (étude contrôlée en enseignement supérieur)
  • Date : 2026
  • URL : https://arxiv.org/html/2607.27586 (complément : https://arxiv.org/pdf/2606.16830, « Students' Validation Criteria for AI-Generated Physics Solutions »)
  • Principe extrait : Nuance importante : évaluer des solutions d'IA ne remplace pas la résolution directe de problèmes (pas de gain supérieur), mais ne nuit pas aux résultats sommatifs ; et les étudiants ne peuvent valider une solution externe que s'ils savent d'abord résoudre le problème eux-mêmes (critères liés au processus de solution et à la vraisemblance du résultat).
  • Élément de conception influencé : Équilibre du blueprint : l'analyse d'erreurs est un complément (± 15–20 % des points), jamais un substitut aux problèmes complets de résolution ; placer la question de critique après un problème de résolution du même type.

# 5. Examens en deux temps et vérification orale (pratiques complémentaires)

# Source 14 — « Two-Stage Exams » (CWSEI) + vignette OPIÉVA

  • Institutions : Carl Wieman Science Education Initiative, UBC (oct. 2014) ; OPIÉVA (Observatoire interdisciplinaire, Faculté des sciences de l'éducation, UQAM) ; U. of Guelph OTL
  • URL : http://www.cwsei.ubc.ca/resources/files/Two-stage_Exams.pdf ; https://opieva.ca/en/innover/vignette/8/ ; https://otl.uoguelph.ca/two-stage-exams
  • Principe extrait : Examen individuel puis reprise immédiate en petits groupes (mêmes questions ou presque ; typiquement ~85 % individuel / ~15 % groupe) : rétroaction immédiate, meilleure rétention, stress réduit, écarts de réussite réduits ; création et correction peu coûteuses. Documenté en français par l'OPIÉVA (UQAM), donc transposable au contexte québécois.
  • Élément de conception influencé : Option pour l'intra (volet groupe formatif à faible enjeu) — surtout IMM1003 où la cohorte débute ; non recommandé pour le final (logistique, enjeux).

# Source 15 — « The Role of Authentic Assessment to Preserve Academic Integrity… » (interactive orals)

  • Auteurs / revue : Sotiriadou, Logan, Daly & Guest — Studies in Higher Education, 45(11) (travaux issus de Griffith University)
  • Date : 2020
  • URL : https://www.tandfonline.com/doi/abs/10.1080/03075079.2019.1582015 (ERIC : https://eric.ed.gov/?id=EJ1275105 ; revue systématique : http://www.iier.org.au/iier34/nallaya.pdf)
  • Principe extrait : L'échange oral semi-structuré et non scénarisé est très difficile à sous-traiter (IA ou tricherie contractuelle) et développe la métacognition ; plus l'évaluation est proche du réel professionnel, moins les étudiants trichent.
  • Élément de conception influencé : Pratique complémentaire, pas dans l'examen lui-même : prévoir au plan de cours la possibilité d'une vérification orale ciblée (5–10 min) en cas de doute sur un travail ; l'examen surveillé reste l'ancrage principal.

# 6. Conception universelle de l'apprentissage (CUA) et accessibilité

# Source 16 — « Universal Design of Assessments » (NCEO) + guides institutionnels

  • Institutions : National Center on Educational Outcomes (U. Minnesota) ; University of Denver, Office of Teaching & Learning
  • URL : https://nceo.info/Assessments/universal_design ; https://otl.du.edu/plan-a-course/teaching-resources/accessibility-and-universal-design-for-learning/
  • Principe extrait : Concevoir l'accessibilité dans l'examen standard réduit le besoin d'accommodements : consignes en langage simple et sans ambiguïté, une seule habileté mesurée par question, mise en page aérée, police lisible, pondération affichée par question, temps calibré généreusement (l'examen mesure la compétence, pas la vitesse).
  • Élément de conception influencé : Gabarit de mise en page des 4 examens : points affichés par question, tableaux de données clairs, vocabulaire technique constant avec les notes de cours, marge de temps (~50 % des étudiants devraient finir aux 2/3 du temps), énoncés courts avant les données du cas.

# 7. Référentiels de compétences professionnels (alignement, sans copier de questions)

# Source 17 — OEAQ : parcours vers le titre d'évaluateur agréé

  • Institution : Ordre des évaluateurs agréés du Québec
  • URL : https://oeaq.qc.ca/devenir-evaluateur/examen-et-formations/ et https://oeaq.qc.ca/evaluateur-agree/
  • Principe extrait : Le baccalauréat de l'UQO (concentration gestion et évaluation immobilières) est l'un des trois diplômes reconnus menant au permis ; suit un stage et le Programme de formation professionnelle (PFP). L'évaluateur agréé formule une opinion objective et motivée de la valeur à une date donnée, sous normes de pratique, code de déontologie et inspection professionnelle.
  • Élément de conception influencé : Les examens IMM1003/IMM1033 sont un maillon d'un parcours professionnalisant : inclure systématiquement des questions où l'étudiant formule et motive une opinion (pas seulement un calcul), et au moins une question de déontologie/normes par examen.

# Source 18 — AIC : « Competency and the appraiser » (CUSPAP)

  • Auteur / publication : Kim Maber, AACI, P.App — Canadian Property Valuation, vol. 63, livre 1, Appraisal Institute of Canada
  • Date : 2019 (CUSPAP : https://www.aicanada.ca/about-aic/cuspap/canadian-uniform-standards-of-professional-appraisal-practice-cuspap/)
  • URL : https://www.aicanada.ca/article/competency-and-the-appraiser/
  • Principe extrait : La compétence = connaissances + habiletés + expérience « suffisantes pour réaliser un contrat de service donné » ; le danger professionnel typique est de se croire compétent sans l'être ; l'usage optimal (highest and best use) et ses subtilités (zonage, classification, faisabilité) sont au cœur du jugement professionnel.
  • Élément de conception influencé : Questions de jugement sur l'usage optimal et sur les limites de compétence (« ce mandat dépasse-t-il votre champ ? pourquoi ? ») ; formulation des cas selon le standard de « l'évaluateur raisonnable ».

# Source 19 — IVSC : International Valuation Standards (IVS), édition en vigueur au 31 janvier 2025

  • Institution : International Valuation Standards Council
  • Date : publié 31 janv. 2024, en vigueur 31 janv. 2025
  • URL : https://ivsc.org/new-edition-of-the-international-valuation-standards-ivs-published/ (texte : https://saicawebprstorage.blob.core.windows.net/uploads/resources/IVS-effective-31-January-2025.pdf)
  • Principe extrait : Le jugement professionnel — « l'utilisation des connaissances accumulées, de l'expérience et du raisonnement critique pour prendre des décisions éclairées » — s'exerce sur les données, hypothèses et ajustements choisis par l'évaluateur ; nouveaux chapitres Données & intrants et Documentation : la traçabilité du raisonnement fait partie de la norme.
  • Élément de conception influencé : Barèmes de correction : accorder des points explicites à la sélection et à la justification des données/hypothèses/ajustements et à la documentation du raisonnement — exactement ce que l'IA ne peut pas faire à la place de l'étudiant en salle d'examen.

# Synthèse : 12 principes de conception pour les 4 examens

  1. Un blueprint formel avant toute rédaction. Table de spécifications contenus × Bloom révisé, points proportionnels à l'importance des objectifs. Cible : ≤ 25–30 % mémoriser/comprendre, ≥ 45 % appliquer/analyser, 20–30 % évaluer. (Sources 3, 10.)
  2. Chaque question naît d'un objectif d'apprentissage — et le plus possible d'un cas. Contexte réaliste (propriété type de Gatineau/Outaouais, données plausibles) + tâche professionnelle + justification exigée. Transformer les questions de définition en questions d'application contextualisée. (Sources 8, 9.)
  3. Exiger le raisonnement, pas seulement le résultat. Toute question calculatoire comporte une sous-question « justifiez » ; le barème accorde 30–50 % des points au raisonnement intermédiaire. (Sources 1, 5, 19.)
  4. Neutraliser l'aide-mémoire par le design. Aucune question dont la réponse complète tient sur une page de notes : les formules peuvent y figurer, c'est leur application à des données nouvelles qui est notée. (Sources 3, 11.)
  5. Une question d'analyse d'erreurs par examen (± 15–20 % des points). Extrait de « réponse d'un assistant IA » avec erreurs plantées réalistes à identifier, expliquer et corriger ; toujours après un problème de résolution du même type, jamais en substitut. (Sources 12, 13.)
  6. Une question de jugement professionnel alignée OEAQ/CUSPAP/IVS par examen. Opinion motivée, usage optimal, réconciliation, limites de compétence — sans reprendre aucune question de ces organismes. (Sources 17, 18, 19.)
  7. Consignes d'intégrité explicites et justifiées, par évaluation. IA non autorisée + pourquoi + matériel permis précisé. (Sources 2, 4, 7.)
  8. Versions multiples à difficulté équivalente possibles par permutation des données. (Source 3.)
  9. Mise en page CUA : points affichés, une habileté par question, tableaux lisibles, terminologie constante, temps généreux. (Source 16.)
  10. Les examens comme « points d'assurance » d'un système d'évaluation cohérent (travaux : IA encadrée ; examens : IA exclue). (Sources 1, 6.)
  11. Pratiques complémentaires ciblées : option deux temps à l'intra IMM1003 ; vérification orale en cas de doute — jamais en substitut. (Sources 14, 15.)
  12. Grilles de correction publiables et défendables : critères explicites, points au processus, crédit partiel structuré (une erreur reportée ne pénalise qu'une fois). (Sources 3, 8, 19.)

Note d'application différenciée : pour IMM1003 (introduction), garder ~30 % de compréhension conceptuelle à l'intra (vocabulaire de la valeur, principes économiques, cadre OEAQ), puis basculer vers l'application/analyse au final (cas complet trois méthodes + réconciliation). Pour IMM1033 (méthode du coût), viser plus haut dans Bloom dès l'intra (calculs multi-étapes de coût avec justification), le final ajoutant la dépréciation complète, l'analyse d'erreurs sur un rapport de coût et le jugement sur la pertinence de la méthode selon le type de propriété.