357 - Motivation et performance des élèves lors des évaluations externes à faibles enjeux

Organisateur

Christophe Dierendonck

Université du Luxembourg, Luxembourg

 

Discutant

Walther Tessaro

Université de Genève, Suisse

 

Mots clés : motivation, performance, évaluations externes, faibles enjeux

 

Dans la plupart des systèmes éducatifs industrialisés, les élèves sont soumis à des évaluations externes de leurs acquis scolaires. Ces évaluations sont élaborées au niveau international par des organisations comme l'IEA ou  l'OCDE (études PIRLS, TIMMS et PISA notamment), mais également au niveau des états (ex: évaluations diagnostiques en France, épreuves standardisées au Luxembourg), des entités fédérées (ex: épreuves cantonales en Suisse, évaluations externes non certificatives en Fédération Wallonie-Bruxelles) et/ou à des niveaux plus locaux (ex: évaluations spécifiques à certains réseaux d'enseignement en Fédération Wallonie-Bruxelles). Ces évaluations externes ont soit une fonction sommative ou certificative, soit une fonction informative lorsque les performances des élèves à ces tests ne sont pas prises en considération pour déterminer leur parcours scolaire. Les évaluations externes informatives sont dites "à faibles enjeux" (low stakes) pour les élèves, les enseignants ou les écoles, par opposition aux évaluations externes dites "à enjeux élevés" (high stakes).

Dans les débats relatifs aux évaluations externes à faibles enjeux (PISA en est le meilleur exemple), on entend souvent dire que les performances observées chez les élèves ne reflèteraient pas exactement leurs acquis scolaires réels puisque la motivation des élèves y serait moindre par le fait même que les tests administrés sont sans conséquences scolaires pour eux. Les évaluations à faibles enjeux sous-estimeraient donc les véritables acquis scolaires des élèves. Cette affirmation, si elle se vérifie, permet à certains systèmes éducatifs de justifier partiellement leurs résultats décevants, affaiblissant par la même occasion la validité des scores observés et des interprétations qui sont formulées.

Cette hypothèse, selon laquelle les élèves qui passent des tests à faibles enjeux présentent de facto un degré de motivation moins élevé et que leur performance aux évaluations externes s'en ressent automatiquement, est à la source de plusieurs travaux consacrés, d'une part, à l'étude des liens entre motivation des élèves lors des tests et performance et, d'autre part, à l'étude des moyens permettant d'augmenter cette motivation (au travers d'incitants financiers par exemple). Selon Butler et Adams (2007), les résultats de ces travaux sont cependant contradictoires. Certaines études ont mis en évidence que les élèves sont raisonnablement motivés à donner le meilleur d'eux-mêmes quand le test est à faibles enjeux (Baumert et Demmrich, 2001) tandis que d'autres ont conclu que les enjeux du test exerçaient effectivement une influence significative sur la motivation et la performance (Wolf et Smith, 1995). Au niveau de l'impact des incitants, les constats divergent également. O'Neil, Sugrue, Abedi, Baker et Golan (1997) ont par exemple montré, au moyen d'études expérimentales sur la motivation lors de tests, qu'un incitant financier attribué pour chaque item correct augmentait le niveau d'effort déclaré et la performance au test auprès d'élèves de grade 8. Par contre, il n'y avait aucun effet significatif avec des élèves de grade 12.

Au-delà de ces résultats contradictoires, c'est davantage l'intérêt de collecter de l'information sur le degré de motivation des élèves dans le cadre d'évaluations à faibles enjeux qu'il faut souligner. Sans information sur la motivation à faire ce genre de tests, on ne peut en effet exclure (1) que les élèves se sentent moins impliqués, (2) qu'ils s'impliquent effectivement moins et (3) que leurs performances soient moins bonnes qu'elles ne l'auraient été dans le cadre de tests à enjeux élevés.

L'objectif de ce symposium est de traiter de cette problématique en s'intéressant à la mesure de la motivation et de l'effort des élèves lors des évaluations PISA et lors d'évaluations externes nationales menées en France et au Luxembourg.

 

Références :

Baumert, J., & Demmrich, A. (2001). Test motivation in the assessment of student skills:The effects of incentives on motivation and performance. European Journal of Psychology of Education, 16, 441-462.

Butler J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

O'Neil, H. F., Jr., Sugrue, B., Abedi, J., Baker, E.L., & Golan, S. (1997). Final report of experimental studies on motivation and NAEP test performance (CSE Technical Report 427). Los Angeles, CA: University of California, CRESST.

Wolf, L., & Smith, J. (1995). The consequence of consequence: Motivation, anxiety and test performance. Applied Measurement in Education, 8, 227-242

 

Communication 1

Effort consenti et performance des élèves lors des tests PISA

 

Christophe Dierendonck

Université du Luxembourg, Luxembourg

 

Réginald Burton

Université du Luxembourg, Luxembourg

 

Ariane Baye

Université de Liège, Belgique

 

Face à une évaluation externe sans conséquences scolaires pour eux, les élèves peuvent s'impliquer de différentes façons. Wise et DeMars (2003) distinguent ainsi quatre catégories d'élèves : (1) les élèves totalement investis dans leur rôle scolaire, qui fournissent un effort complet et qui font de leur mieux, (2) les élèves qui s'investissent, mais pas autant qu'ils ne l'auraient fait si le test avait compté pour des points, (3) les élèves qui s'investissent un peu en répondant seulement aux items qui ne leur paraissent pas trop difficiles et en répondant au hasard aux autres items et (4) les élèves qui s'appuient sur le fait que l'évaluation n'aura aucune conséquence pour eux et qui, dès lors, répondent seulement à quelques items, laissant une majorité d'items sans réponse. Si l'effort des élèves n'est pas maximal lors de ces évaluations à faibles enjeux, on peut craindre que les résultats observés soient en partie sous-estimés. Haladyna et Downing (2004) et Birenbaum (2007) parlent à ce sujet d'une source de variance non pertinente liée au construit mesuré (construct-irrelevant variance) qui menace la validité des scores observés.

Pourtant, rares sont les évaluations externes des acquis des élèves qui collectent des données relatives à l'effort consenti par les élèves lors des tests. Lorsqu'elles le font, c'est généralement au moyen d'un questionnaire administré à l'issue de l'évaluation  (voir, par exemple, le Student Opinion Scale de Sundre et Moore, 2002 ou le Test-Taking Motivation Questionnaire de Eklöf, 2007), ou au départ d'un ou deux items comme ce fut le cas lors de PISA 2003 et PISA 2006.

Lors des enquêtes PISA 2003 et PISA 2006, l'effort des élèves a été mesuré à l'issue du test au moyen du thermomètre d'effort, question composée de deux items demandant à l'élève d'estimer, sur une échelle de 1 à 10, l'effort : (1) qu'il a consenti lors du test et (2) qu'il aurait consenti si le test avait compté comme note scolaire.

A notre connaissance, les données du thermomètre d'effort du PISA 2003 n'ont été analysées qu'à une seule reprise, par Butler et Adams (2007), et celles du PISA 2006 ne semblent avoir été exploitées que dans le cadre d'un étude exploratoire menée dans 3 pays (Danemark, Islande, et Corée) et dont l'objectif étaient de comparer la version  papier-crayon du test PISA 2006 à la version présentée sur ordinateur (OCDE, 2010).

La présente communication interrogera de manière critique les analyses conduites par Butler et Adams (2007) et présentera une analyse du lien entre l'effort consenti et la performance des élèves lors des tests PISA 2003 et PISA 2006.

 

Références :

Birenbaum, M. (2007). Evaluating the assessment: sources of evidence for quality assurance. Studies in Educational Evaluation, 33, 29-49.

Butler J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

Eklöf, H. (2007). Test-taking motivation and Mathematics performance in TIMSS 2003. International Journal of Testing, 7, 311-326.

Haladyna, T. M., & Downing, S. M. (2004). Construct-irrelevant variance in high stakes testing. Educational Measurement: Issues and Practices, 23, 111-133.

OECD, (2010). PISA Computer-Based Assessment of Student Skills in Science. OECD Publishing.

Sundre, D. L., & Moore, D. L. (2002). The Student Opinion Scale: a measure of examinee motivation. Assessment Update, 14, 8-9.

Wise, S. L., & DeMars, C. E. (2003, June). Examinee motivation in low-stakes assessment: Problems and potential solutions. Paper presented at the annual Assessment Conference of the American Association of Higher Education, Seattle.

 

 

Communication 2

La motivation des élèves face à des évaluations à faibles enjeux : Comment la mesurer ? Quel impact sur les réponses ?

 

Saskia Keskpaik

Direction de l'évaluation, de la prospective et de la performance.

Ministère de l'Éducation nationale, France

 

Thierry Rocher

Direction de l'évaluation, de la prospective et de la performance.

Ministère de l'Éducation nationale, France

 

Les évaluations internationales, telles que l’évaluation PISA, posent la question de comparabilité des résultats d’un pays à l’autre. Ces dernières années, les chercheurs se sont intéressés à l’impact que peut avoir la motivation des élèves à répondre à de tels tests, sur la validité et la comparabilité des résultats (Butler et Adams, 2007). Dans le système éducatif français, où la notation tient une place prépondérante, la question de la motivation des élèves face à une évaluation sans enjeux pour eux mérite d’être posée.

En 2011, afin d’explorer la question de motivation, une expérience a été montée en France à partir du test PISA, dont l’enjeu politique est croissant, mais qui reste une évaluation à faible enjeu pour les élèves. Parmi la soixantaine d’établissements scolaires participant à l’expérimentation des tests PISA en 2011, une trentaine a été sélectionnée aléatoirement afin de mettre au point, avec les chefs de ces établissements, des actions visant à favoriser la motivation des élèves lors de la passation des tests. Intentionnellement, aucune standardisation de ces actions n’a été imposée. Il s’agissait d’explorer les moyens possibles, localement, de favoriser la motivation des élèves. Des informations ont été recueillies sur ces actions et ont été analysées de manière qualitative.

A partir d’un échantillon restreint de 56 établissements, l’amélioration de la motivation et de la participation des élèves, pour une partie de ces établissements, ne s’est pas traduite significativement en amélioration de la performance. Néanmoins, l’expérimentation a pu mettre en évidence l’intérêt d’un indicateur de motivation pour le suivi des différentes opérations d’évaluation.

Si l’intérêt d’un tel indicateur est grand, peu de tentatives ont été menées afin de construire une mesure valide de motivation à répondre à des tests (test-taking motivation) (Ndinga et Frenette, 2010 ; Eklöf, 2008). En effet, l’expérience nous a amené à revoir le « thermomètre d’effort » de PISA. L’analyse de données a montré que les élèves performants ont pu déclarer faire peu « d’effort », car les exercices proposés leur ont paru faciles. Le terme « effort » pose ainsi un problème d’interprétation, en mélangeant l’implication ou la motivation de l’élève avec la difficulté du test. Suite à cette expérience, un instrument pour mesurer la motivation a été adapté à partir du « thermomètre » de PISA. Cet instrument a été introduit dans plusieurs évaluations conduites au niveau national par la DEPP  sur des échantillons de plusieurs milliers d’élèves, en fin de primaire (grade 5) et en fin de collège (grade 9). Ces données permettent de distinguer la motivation de l’élève de la difficulté perçue du test, et ainsi mieux évaluer le lien entre la motivation des élèves français et leur performance. L’analyse de ces données renseigne en outre sur le rôle de certaines caractéristiques, des élèves ou des évaluations, dans le degré de motivation à répondre aux questions de l’évaluation. 

 

Références :

Butler J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

Eklöf, H. (2008). Test-taking motivation on low-stakes tests: A Swedish TIMSS 2003 example. IERI Monograph Series: Issues and Methodologies in Large-Scale Assessments, 1, 9-21.

Ndinga P., Frenette E. (2010). Elaboration et validation de l’Echelle de motivation à bien réussir un test (EMRT). Mesure et évaluation en éducation, 33, 99-123.

 

 

Communication 3

La mesure de la motivation et de l'effort des élèves dans le cadre des épreuves standardisées au Luxembourg

 

Christophe Dierendonck

Université du Luxembourg, Luxembourg

 

Philipp Sonnleitner

Université du Luxembourg, Luxembourg

 

Sonja Ugen

Université du Luxembourg, Luxembourg

 

Ulrich Keller

Université du Luxembourg, Luxembourg

 

Antoine Fischbach

Université du Luxembourg, Luxembourg

 

Romain Martin

Université du Luxembourg, Luxembourg

 

Au Luxembourg, tous les élèves de grade 9 sont soumis chaque année à des évaluations externes nationales de leurs acquis scolaires en mathématiques, en compréhension écrite de l'allemand et en compréhension écrite du français. Ces évaluations, appelées épreuves standardisées, sont présentées sur ordinateur. A la demande du Ministère de l'éducation, l'Université du Luxembourg développe les épreuves au sein de groupes de travail formés d'enseignants, de psychométriciens et de didacticiens. Administrées en début d'année scolaire, les épreuves standardisées sont à considérer comme des tests à enjeux faibles puisque les résultats obtenus par les élèves n'entrent pas en ligne de compte pour le bulletin scolaire.

Les résultats observés lors des épreuves standardisées précédentes ayant été plutôt décevants et pouvant, peut-être, s'expliquer partiellement par le degré de motivation des élèves à réaliser ces épreuves, il a été décidé de collecter des données d'ordre motivationnel durant les épreuves de novembre 2012, en complément des mesures de compétence scolaire.

Les élèves ont été invités à estimer leur degré de motivation et d'effort avant et après chacune des trois épreuves au moyen de deux questions. La première question invitait les élèves à indiquer leur degré de motivation à l'entame de l'épreuve en choisissant une des quatre modalités proposées (très motivé, motivé, peu motivé, pas du tout motivé). La seconde question, présentée au terme de chaque épreuve, était une adaptation du thermomètre d'effort utilisé dans le cadre du PISA. Cette adaptation a tenté de répondre à certaines critiques formulées antérieurement à propos des items du thermomètre d'effort (Butler et Adams, 2007; Keskpaik et Rocher, 2012), à savoir que (1) avec ses quatre phrases complexes, le thermomètre d'effort peut être considéré comme une tâche difficile pour les lecteurs faibles, (2) les échelles de réponses sont présentées de manière inhabituelle en position verticale et (3) le terme "effort" peut poser un problème d'interprétation entre la motivation des élèves d'une part et, d'autre part, la quantité d'efforts consentis face à un test jugé plus ou moins difficile. Concrètement, l'énoncé a été quelque peu simplifié, la présentation de la question a été aérée en présentant plusieurs thermomètres, les thermomètres ont été placés horizontalement et un item relatif à la difficulté du test a été ajouté.

En s'appuyant sur plusieurs constats issus de l'analyse des données motivationnelles de plus de 6000 élèves de grade 9, la communication aura pour objectif de discuter la pertinence des modifications apportées au thermomètre d'effort et, plus largement, de mettre en perspective les problèmes et défis posés par la mesure de l'effort des élèves dans le cadre d'évaluations externes à faibles enjeux, proposées en version papier-crayon ou sur ordinateur (OCDE, 2010).

 

Références :

Butler J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

Keskpaik, S., Rocher, T. (2012). Les évaluations à faibles enjeux : quel rôle joue la motivation ? Une expérience à partir de PISA. Communication dans le cadre du 24e colloque de l’Admée-Europe, Luxembourg.

OECD, (2010). PISA Computer-Based Assessment of Student Skills in Science. OECD Publishing.