357/2 - La mesure de la motivation et de l'effort des élèves dans le cadre des épreuves standardisées au Luxembourg

Christophe Dierendonck

Philipp Sonnleitner

Sonja Ugen

Ulrich Keller

Antoine Fischbach

Romain Martin

 

Université du Luxembourg, Luxembourg

 

Mots clés : motivation, effort, performance, évaluations externes, faibles enjeux

 

Introduction

 

Au Luxembourg, tous les élèves de grade 9 sont soumis chaque année à des évaluations externes nationales de leurs acquis scolaires en mathématiques, en compréhension écrite de l'allemand et en compréhension écrite du français. Ces évaluations, appelées "épreuves standardisées", sont présentées sur ordinateur. A la demande du Ministère de l'éducation, l'Université du Luxembourg développe les épreuves au sein de groupes de travail formés d'enseignants, de psychométriciens et de didacticiens. Administrées en début d'année scolaire, les épreuves standardisées sont à considérer comme des tests à enjeux faibles puisque les résultats obtenus par les élèves n'entrent pas en ligne de compte pour le bulletin scolaire.

 

Les résultats observés lors des épreuves standardisées précédentes ayant été plutôt décevants et pouvant, peut-être, s'expliquer partiellement par le degré de motivation des élèves à réaliser ces épreuves, il a été décidé de collecter des données d'ordre motivationnel durant le testing de novembre 2012, en complément des mesures de compétence scolaire.

 

Les élèves ont donc été invités à estimer leur degré de motivation et d'effort avant et après chacune des trois épreuves au moyen de deux questions. La première question amenait les élèves à indiquer leur degré de motivation à l'entame de l'épreuve en choisissant une des quatre modalités proposées (très motivé, motivé, peu motivé, pas du tout motivé). La seconde question, présentée au terme de chaque épreuve, était une adaptation du thermomètre d'effort utilisé dans le cadre du PISA (encart 1). Cette adaptation (encart 2) a tenté de répondre à certaines critiques formulées antérieurement à propos des items du thermomètre d'effort initial (Butler et Adams, 2007; Keskpaik et Rocher, 2012), à savoir que (1) avec ses quatre phrases complexes, le thermomètre d'effort peut être considéré comme une tâche difficile pour les lecteurs faibles, (2) les échelles de réponses sont présentées de manière inhabituelle en position verticale et (3) le terme "effort" peut poser un problème d'interprétation entre la motivation des élèves d'une part et, d'autre part, la quantité d'efforts consentis face à un test jugé plus ou moins difficile. Concrètement, l'énoncé a été quelque peu simplifié (une phrase au lieu de deux, utilisation de la deuxième personne du singulier, mise en gras des mots importants), la présentation de la question a été aérée en présentant plusieurs thermomètres, les thermomètres ont été placés horizontalement et un item relatif à la difficulté perçue du test a été ajouté.

 

Encart 1 : Thermomètre d'effort utilisé dans PISA

 

 

Le présent texte est une première analyse des données motivationnelles propres au test de compréhension écrite de l'allemand de novembre 2012. Il a pour objectif de discuter la pertinence des modifications apportées au thermomètre d'effort PISA et, plus largement, mettre en perspective les enjeux et les défis posés par la mesure de la motivation et de l'effort des élèves dans le cadre des évaluations externes à faibles enjeux.


 

Encart 2 : Thermomètre d'effort utilisé dans les épreuves standardisées

 

 

1. Motivation initiale et performance observée

 

Le tableau 1 présente les scores moyens observés en compréhension écrite de l'allemand en fonction des réponses fournies par les élèves à l'item motivationnel initial[1].

 

Tableau 1 : Statistiques descriptives pour l'item de motivation initiale

 

Le tableau 1 autorise deux constats. Le premier porte sur la répartition des élèves en fonction de leur degré de motivation initiale par rapport au test d'allemand. Si plus de 65% des élèves se déclarent motivés ou très motivés, ils sont 25% à se dire peu motivés et 8% n'hésitent pas à dire qu'ils ne sont pas du tout motivés à l'entame du test proposé. Le second constat s'appuie sur les moyennes observées pour les quatre catégories de réponses et met en évidence l'existence d'un lien positif entre le degré de motivation initiale à faire le test d'allemand et la performance observée à celui-ci.

 

 

2. Effort consenti et performance observée

 

Dans un article intitulé "The impact of differential investment of student effort on the outcomes of international studies", Butler et Adams (2007) ont exploité les données du thermomètre d'effort du PISA 2003 en construisant une variable nommée "Différence d'effort" selon la formule :

 

Différence d'effort = effort au test - effort au test si celui-ci avait compté comme note scolaire.

 

Selon les auteurs, ce score différentiel permet d'analyser dans quelle mesure les élèves ont pris au sérieux le test tout en comparant l'effort consenti avec l'effort qu'ils auraient consacré si ce test avait compté pour des points. L'effort différentiel ainsi calculé peut varier de -9 à +9. Afin d'obtenir des catégories avec des effectifs suffisants et pour faciliter l'interprétation de ce score différentiel, nous avons distingué quatre groupes d'élèves : les élèves ayant déclaré avoir consenti un effort plus important que d'ordinaire (score différentiel positif), les élèves ayant déclaré avoir fourni un effort identique (score différentiel nul), les élèves ayant consenti un effort légèrement plus faible à l'épreuve standardisée (score différentiel de -1 à -3) et les élèves ayant déclaré avoir fourni un effort beaucoup plus faible à l'épreuve standardisée (score différentiel de -4 à -9).

 

Le score différentiel ne permettant pas, à lui seul, de rendre compte du niveau d'effort consenti au test (voir Dierendonck, Burton, Baye, 2013), il convient d'interpréter l'effort différentiel au regard du niveau d'effort déclaré. Pour faciliter à nouveau l'interprétation des données, nous avons recodé la variable "effort au test" en trois catégories : effort peu élevé (scores de 1 à 4), effort moyen (scores de 5 à 7) et effort élevé (scores de 8 à 10).

 

Le tableau 2 renseigne les moyennes observées pour les 12 catégories d'élèves définies à partir de la variable "effort au test" et de la variable "effort différentiel".

 

Tableau 2 : Scores moyens en allemand

en fonction de l'effort déclaré et de l'effort différentiel

 

 

Le tableau 2 permet tout d'abord de souligner que 27 % des élèves déclarent avoir consenti très peu d'effort au test, 47 % déclarant un effort moyen et 26 % un effort élevé. Pour ce qui est de l'effort différentiel, 69 % des élèves déclarent qu'ils auraient fait un peu plus d'effort (45 %) ou beaucoup plus d'effort (24 %) si le test avait compté pour des points. Ils sont 21 % à dire que leur effort a été identique à leur effort habituel et 10 %[2] à déclarer avoir consenti davantage d'effort au test.

 

Au niveau des moyennes observées, on remarque deux relations assez nettes : l'une entre l'effort déclaré et la performance (plus l'effort déclaré est élevé, plus la performance est élevée) et l'autre entre l'effort différentiel et la performance (la performance moyenne la plus élevée est observée quand l'effort différentiel est négatif). De manière plus précise, ce sont les 654 élèves ayant déclaré un effort élevé et un effort différentiel négatif et faible qui démontrent la meilleure performance moyenne (543 points), suivis par les 1136 élèves ayant déclaré un effort moyen et un effort différentiel négatif et faible (517 points) et les 525 élèves ayant déclaré un effort moyen et un effort différentiel négatif et élevé (510 points). A l'opposé, ce sont les élèves qui combinent un effort peu élevé ou moyen et un effort différentiel nul ou positif qui sont crédités des performances moyennes les plus faibles (de 421 à 470 points).

 

 

3. Effort déclaré et difficulté perçue du test sont-ils liés ?

 

Comme annoncé en introduction, les deux items du thermomètre d'effort PISA ont fait l'objet de critiques (Butler et Adams, 2007; Keskpaik et Rocher, 2012). L'une d'entre elles porte sur l'utilisation du terme "effort" qui peut poser un problème d'interprétation tant pour les répondants que pour ceux qui analysent ce genre de données motivationnelles. En effet, l'effort consenti à un test peut être vu de différentes manières. On peut considérer l'effort consenti comme un indicateur fiable de la motivation, de l'implication ou de l'application des élèves à faire le test, mais on peut tout aussi bien imaginer que l'estimation de la quantité d'efforts consentis pour réaliser le test dépende fortement de la difficulté (réelle ou même perçue) de celui-ci. Il se peut même que l'ensemble de ces éléments intervienne, avec des combinaisons variant d'un élève à l'autre et sans doute à côté d'autres variables non considérées ici, dans l'estimation de l'effort consenti.

 

La corrélation modérée mais significative de 0.32 observée, au sein de nos données, entre l'effort déclaré et la difficulté perçue du test ne dit pas autre chose, ce qui laisse penser que le terme "effort" n'est peut être pas le terme le plus adéquat pour rendre compte du sérieux - puisqu'il s'agit de cela en réalité - avec lequel les élèves ont réalisé cette évaluation externe à faibles enjeux.

 

Dans le cadre des épreuves standardisées, l'idée est de continuer à récolter des informations d'ordre motivationnel pour contextualiser les performances observées mais il s'agit à présent de décider s'il faut opter pour d'autres termes que le terme "effort"(encart 3), si une nouvelle adaptation des items du thermomètre PISA est pertinente (cf. Keskpaik et Rocher - encart 4) ou s'il faut recourir à des échelles de mesure qui envisageraient la motivation et l'implication des élèves face à un test à faibles enjeux sous l'angle de la théorie "expectancy-value" (Eccles et Wigfield, 2002) qui postule que la motivation et l'effort consenti pour réaliser une tâche dépend de la croyance en ses possibilités de réussir la tâche et de la valeur accordée à la tâche à réaliser (encart 5).

 

 

Encart 3 : Autre formulation possible 

 

 

Encart 4 : Adaptation du thermomètre d'effort PISA par Kespaik et Rocher (2012)

 

 

 

Encart 5 : Proposition d'une échelle de mesure

de la motivation à faire un test et de l'effort consenti lors de ce test

 

 

 

Références :

 

Butler, J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

 

Dierendonck, C., Burton, R., & Baye, A. (2013). Effort consenti par les élèves et performance et aux évaluations externes à faibles enjeux : illustration au départ des données PISA. Communication dans le cadre du symposium 357 au congrès de l'AREF. Montpellier.

 

Eccles, J. S., & Wigfield, A. (2002). Motivational beliefs, values, and goals. Annual Review of Psychology, 53, 109-132.

 

Keskpaik, S. & Rocher, T. (2012). Les évaluations à faibles enjeux : quel rôle joue la motivation ? Une expérience à partir de PISA. Communication dans le cadre du 24e colloque de l’Admée-Europe, Luxembourg.



[1] On soulignera que 674 élèves sur 6484 (soit 10,4 %) n'ont pas donné de réponse à cet item.

[2] Selon Butler et Adams (2007), ces élèves devraient être considérés par comme des répondants "irréalistes" et devraient simplement être éliminés des analyses ultérieures car leurs réponses sont aberrantes. Mais on ne peut écarter aussi facilement d'autres hypothèses qui permettraient éventuellement de justifier ces réponses a priori irréalistes ou aberrantes. On peut ainsi postuler que les élèves dits "irréalistes" ont fourni un tel jugement de leur effort parce que cette évaluation externe de leurs acquis scolaires était l'occasion pour eux d'exprimer leur frustration par rapport à l'évaluation opérée quotidiennement en classe par les professeurs ou parce qu'ils ont été placés devant une évaluation qui sort de l'ordinaire (ils auraient dès lors été plus motivés que d'habitude). Cette dernière hypothèse est partiellement soutenue par les résultats d'une étude exploratoire (OCDE, 2009) ayant comparé les données d'effort au test PISA 2006 en version papier-crayon et en version informatique. Or, l'épreuve standardisée dont il est question dans le présent texte est justement proposée sous un format informatique, ce qui est inhabituel dans les classes luxembourgeoises.

 

 

Fichier attachéTaille
encart1.png176.73 Ko
encart2.png135.12 Ko
tableau1.png57 Ko
tableau2.png85.32 Ko
encart3.png65.33 Ko
encart4.png72.52 Ko
encart5.png135.5 Ko