357/1 - Effort consenti par les élèves et performance et aux évaluations externes à faibles enjeux : illustration au départ des données PISA

Actes du congrès de l’Actualité de la Recherche en Éducation et Formation (AREF-AECSE),

Laboratoire LIRDEF – EA 3749 - Universités de Montpellier, Août 2013

 

 

357/1 - Effort consenti par les élèves et performance et aux évaluations externes à faibles enjeux : illustration au départ des données PISA

 

Christophe Dierendonck

Université du Luxembourg, Luxembourg

 

Réginald Burton

Université du Luxembourg, Luxembourg

 

Ariane Baye

Université de Liège, Belgique

 

Mots clés : motivation, effort, performance, évaluations externes, faibles enjeux

 

Introduction

 

Dans la plupart des systèmes éducatifs industrialisés, les élèves sont soumis à des évaluations externes de leurs acquis scolaires. Ces évaluations sont élaborées au niveau international par des organisations comme l'IEA ou l'OCDE avec les études PIRLS, TIMMS et PISA notamment, mais également au niveau des états (ex: évaluations diagnostiques en France, épreuves standardisées au Luxembourg), des entités fédérées (ex: épreuves cantonales en Suisse) ou même à des niveaux plus locaux (ex: évaluations spécifiques à certains réseaux d'enseignement en Fédération Wallonie-Bruxelles). Ces évaluations externes ont soit une fonction sommative ou certificative, soit une fonction informative lorsque les performances des élèves à ces tests ne sont pas prises en considération pour déterminer leur parcours scolaire. Les évaluations externes informatives sont dites "à faibles enjeux" (low stakes) pour les élèves, les enseignants ou les écoles, par opposition aux évaluations externes dites "à enjeux élevés" (high stakes).

 

L'objectif de cet article est de questionner la validité des constats dressés à l'issue des évaluations à faibles enjeux, en examinant les données de la plus célèbre des évaluations externes à faibles enjeux pour les élèves : PISA. L'hypothèse sous-jacente est que, lors de ce type d'épreuves dépourvues de conséquences scolaires pour les élèves, l'effort consenti par certains n'est pas maximal et que leurs performances ne peuvent véritablement être considérées comme des indicateurs valides de leurs acquis. Plus largement, les scores moyens observés aux évaluations externes à faibles enjeux seraient dès lors sous-estimés et ne reflèteraient donc pas ce dont les élèves sont réellement capables, mais plutôt "ce qu'ils démontrent avec un effort minimal" (O'Neil, Sugrue et Baker, 1996). Si cette affirmation devait se vérifier, il conviendrait assurément de réexaminer la validité des constats dressés au départ de telles évaluations et, a minima, de nuancer leur portée réelle, surtout si ces dernières contribuent à fonder certaines décisions en matière de pilotage des systèmes scolaires.

 

 

1. L'effort des élèves lors des épreuves PISA

 

Lors des enquêtes PISA 2003 et PISA 2006[1], des informations relatives à l'effort consenti par les élèves durant les évaluations ont été recueillies dans le cadre du questionnaire accompagnant le test[2]. Ces informations ont été récoltées au moyen  thermomètre d'effort (figure 1), question composée de deux items demandant aux élèves d'estimer, sur une échelle de 1 à 10, d'une part, l'effort consenti lors du test et, d'autre part, l'effort qui aurait été consenti si le test avait compté comme note scolaire.

 

Figure 1 : Thermomètre d'effort utilisé dans PISA 2003 et PISA 2006

 

 

1.1. Les données d'effort du PISA 2003

 

1.1.1. L'analyse menée par Butler et Adams (2007)

 

A notre connaissance, les données du thermomètre d'effort du PISA 2003 n'ont été analysées de manière approfondie qu'à une seule reprise par Butler et Adams (2007) dans un article intitulé "The impact of differential investment of student effort on the outcomes of international studies". L'objectif principal de l'article était de démontrer que les comparaisons internationales faites au départ des données PISA ne pouvaient être invalidées par l'existence de différences culturelles systématiques en termes d'effort consenti par les élèves lors des épreuves.

 

Butler et Adams (2007) ont ainsi combiné les données des deux items du thermomètre d'effort pour construire une variable nommée "Différence d'effort" selon la formule :

 

Différence d'effort = effort au test - effort au test si celui-ci avait compté comme note scolaire.

 

Selon les auteurs, ce score différentiel permet d'analyser dans quelle mesure les élèves ont pris au sérieux le test tout en comparant l'effort consenti avec l'effort qu'ils auraient consacré si ce test avait compté pour des points. L'effort différentiel ainsi calculé peut varier de -9 à +9. Un score négatif signifie que l'élève aurait consacré davantage d'effort à un test qui compte que l'effort investi dans le test sans conséquences scolaires pour lui. Pour en faciliter l'interprétation, la variable Différence d'effort a été recodée par les auteurs en une autre variable appelée Effort relatif. Cette variable varie de 0 (unrealistic raters, élèves ayant déclaré avoir consenti un effort plus important dans la situation sans conséquences que dans la situation avec conséquences) à 10 (PISA supporters, élèves déclarant avoir consenti exactement le même effort dans les deux conditions). Les élèves avec un score de 9 (différence d'effort = -1) ont été considérés comme des réalistes consciencieux (diligent realists) tandis que les élèves avec un score de 8 (différence d'effort = -2) ont été considérés comme des réalistes.

 

Sur la base de cette procédure, Butler et Adams (2007) ont fourni un tableau rendant compte de la répartition des élèves selon leur degré d'effort et leurs performances moyennes en compréhension de l'écrit lors de PISA 2003 et les performances moyennes en compréhension de l'écrit observées pour chaque modalité de la variable Effort relatif. Le tableau 1 reprend ces données et les complète en fournissant les scores moyens calculés en mathématiques et en sciences pour PISA 2003.

 

Tableau 1 : Pourcentage d'élèves et scores moyens observées en compréhension de l'écrit, en mathématiques et en sciences lors de PISA 2003 pour  chaque modalité de la variable "Effort relatif"

 

Pour étudier dans quelle mesure les différences observées en termes d'effort consenti par les élèves pouvaient influencer le classement relatif des pays participant à PISA, Butler et Adams (2007) ont mené deux analyses de régression au niveau individuel pour expliquer le score en compréhension de l'écrit. Dans la première régression, seul le pays d'appartenance a été introduit comme variable dépendante. Dans la seconde régression, la variable Effort relatif a été ajoutée au modèle. Les résultats font état de 19,7% de variance expliquée pour la première régression et de 20,2% de variance expliquée par la seconde régression. Autrement dit, il n'y a eu qu'une augmentation de 0,5% de variance expliquée entre les deux modèles. Sur la base de ces résultats, Butler et Adams (2007) ont conclu que les effets de la variable d'effort n'étaient pas suffisamment forts que pour invalider les comparaisons inter-pays menées au travers du PISA. 

 

1.1.2. Critiques à l'encontre des analyses de Butler et Adams (2007)

 

Deux critiques peuvent être formulées à l'encontre de la démarche d'analyse de Butler et Adams (2007). La première concerne la distinction opérée entre élèves réalistes et élèves irréalistes tandis que la seconde, plus fondamentale, remet en question l'utilisation de la variable Effort relatif pour étudier le lien entre effort consenti et performance.

 

En se basant sur l'idée qu'il est illogique de déclarer consacrer davantage d'effort à un test à faibles enjeux qu'à un test à enjeux élevés, Butler et Adams (2007) ont considéré tous les élèves avec score différentiel positif comme des élèves irréalistes (unrealistic raters) et tous les élèves présentant un score différentiel négatif ou nul comme des élèves réalistes (realistic raters). Ce jugement de valeur porté sur la qualité des réponses fournies au thermomètre d'effort a conduit les auteurs à exclure les élèves irréalistes de certaines analyses. C'est évidemment une hypothèse relativement forte de Butler et Adams que de considérer comme "irréalistes" l'ensemble des élèves ayant déclaré avoir consenti davantage d'effort dans la situation sans conséquence que dans la situation avec conséquence. On ne peut en effet écarter aussi facilement d'autres hypothèses qui permettraient éventuellement de justifier ces réponses a priori irréalistes ou aberrantes. On peut ainsi postuler que les élèves dits "irréalistes" ont fourni un tel jugement de leur effort parce que cette évaluation externe était l'occasion pour eux d'exprimer leur frustration par rapport à l'évaluation opérée quotidiennement en classe par les professeurs ou parce qu'ils ont été placés devant une évaluation de leurs acquis qui sort de l'ordinaire (ils auraient dès lors été plus motivés que d'habitude). Cette dernière hypothèse est partiellement soutenue par les résultats d'une étude exploratoire (OCDE, 2010 ; discutée plus loin dans le texte) ayant comparé les données d'effort au test PISA 2006 en version papier-crayon et en version informatique.

 

Dans leur article, Butler et Adams (2007) fondent leur étude du lien qui existe entre l'effort et la performance observée au test PISA 2003 sur la comparaison des performances moyennes calculées pour chaque modalité de la variable "Effort relatif". En procédant de la sorte, ils commettent, selon nous, une erreur puisqu'ils considèrent en quelque sorte l'effort relatif comme une variable rendant compte du degré d'effort consenti par les élèves. Or, ce n'est pas le cas. Cette variable permet, tout au plus, de faire la distinction entre trois catégories d'élèves : ceux dont l'effort déclaré est supérieur à l'effort conditionnel, ceux dont l'effort déclaré est égal à l'effort conditionnel et ceux dont l'effort déclaré est inférieur à l'effort conditionnel. En effet, les scores attribués à la variable "effort relatif" ont été construits à partir du score différentiel entre l'effort déclaré et l'effort conditionnel. Dès lors, pour prendre un exemple concret, un effort relatif maximal (10) ne signifie pas forcément un effort maximal. Cela signifie simplement que la différence est nulle entre l'effort déclaré et l'effort conditionnel. Par exemple, un élève avec un effort déclaré égal à 1 et un effort conditionnel égal à 1 se voit créditer d'un effort relatif égal à 10, alors que cet élève a visiblement fourni un effort minimal. Pour estimer si ce cas de figure théorique est relativement fréquent en réalité, il suffit de croiser la variable "Effort relatif" avec la variable "Effort déclaré" (tableau 2).

 

Si le cas de figure évoqué précédemment (effort relatif > 5 et effort déclaré < 6) n'est évidemment pas prédominant au vu du tableau 2 (13057 élèves sur 243864 dans PISA 2003), il est suffisamment fréquent (environ 5 % des élèves) pour justifier l'étude du biais potentiel que pourrait engendrer le fait de considérer l'effort relatif comme une mesure fiable de l'effort effectivement fourni par les élèves lors des épreuves PISA.


Tableau 2 : Effort déclaré et effort relatif

 

1.2. Les données d'effort du PISA 2006

 

Les données d'effort du PISA 2006 ne semblent avoir été exploitées que dans le cadre d'un étude exploratoire (OCDE, 2010) menée dans 3 pays (Danemark, Islande, et Corée) et dont l'objectif était de comparer l'effort consenti par les élèves avec la version papier-crayon du test PISA 2006 et avec la version présentée sur ordinateur. On y observe notamment que 73% des élèves ayant passé le test sur ordinateur ont déclaré qu'ils n'auraient pas consenti davantage d'effort si le même test sur ordinateur avait compté pour des points. Pour la version papier-crayon du test, ce pourcentage n'est que de 23%.

 

Les éléments qui viennent d'être présentés semblent justifier que l'on réexamine les données d'effort disponibles à propos de PISA 2003 et de PISA 2006 et c'est ce que le présent article se propose de faire en délaissant les options prises par Butler et Adams (distinction réalistes/irréalistes, utilisation de la variable Effort relatif) au profit d'une étude du lien entre effort et performance qui, d'une part, distingue trois catégories d'élèves sur la base de leurs réponses au thermomètre d'effort (cat.1 : effort déclaré < effort conditionnel, cat.2 : effort déclaré = effort conditionnel, cat.3 : effort déclaré > effort conditionnel) et, d'autre part, prend simultanément en considération l'effort déclaré et la différence d'effort pour expliquer les scores observés aux tests PISA.    

 

 

2. Effort déclaré, effort conditionnel et taux d'omissions au thermomètre d'effort lors de PISA 2003 et PISA 2006

 

Trois types d'indicateurs statistiques ont été calculés pour chaque pays ayant participé à PISA 2003 et à PISA 2006 : (1) les pourcentages d'élèves ayant omis de répondre au premier item (clcuse3a) du thermomètre d'effort, (2) les indicateurs moyens d'effort déclaré (clcuse3a) et d'effort conditionnel (clcuse3b) et (3) la répartition exprimée en pourcentage des élèves dans une des trois catégories précédemment décrites. Ces indicateurs sont synthétisés et commentés au départ des graphiques 1 à 5.

 

 

2.1. Taux d'omission au premier item du thermomètre d'effort

 

Le graphique 1 renseigne le taux d'omission à l'item clcuse3a selon le pays considéré.

 

Graphique 1: Taux d'omission à l'item clcuse3a

 

L'indicateur varie de 1,7% à 44,3% pour PISA 2003 et de 1,9% à 45,6% pour PISA 2006. Dans la distribution relative à PISA 2003, les taux d'omission de la Thaïlande (16,8%), du Mexique (18,1%) et du Brésil (18,3%) sont des valeurs atypiques (outliers) et ceux de la Russie (25,7%), de la Turquie (29,6%), de la Tunisie (39,6%) et de l'Indonésie (44,3%) sont des valeurs atypiques extrêmes (extreme outliers). Dans la distribution relative à PISA 2006, les taux d'omission d'Israël (20,7%), de la Tunisie (22,1%) et de la Colombie (23,2%) sont des valeurs atypiques et ceux du Quatar (37,7%) et de l'Indonésie (45,6%) sont des valeurs atypiques extrêmes.

 

A cinq exceptions près, une diminution (parfois sensible) du taux d'omission à l'item clcuse3a est observée entre PISA 2003 et PISA 2006.


 

2.2. Effort déclaré (clcuse3a)

 

Graphique 2 : Effort déclaré

 

Le graphique 2 met en évidence que l'indicateur moyen se situe généralement entre sept et huit sur l'échelle d'effort déclaré, ceci tant pour PISA 2003 que pour PISA 2006. Le Japon présente à chaque fois l'effort déclaré moyen le plus bas. Pour PISA 2003, les trois pays qui présentent les moyennes les plus élevées sont l'Indonésie (8,28), la Turquie (8,53) et la Thaïlande (8,84). Pour PISA 2006, le trio de tête est composé de la Colombie (8,72), de la Turquie (8,75) et de la Thaïlande (9,00). Comme mentionné par Butler et Adams (2007), ce résultat est consistant avec la littérature de recherche qui a montré que, dans les pays les moins développés socio-économiquement, les répondants avaient tendance à répondre de manière socialement désirable à ce genre de questions.

 

 


 

2.3. Effort conditionnel (clcuse3b)

 

 

Graphique 3 : Effort conditionnel

 

Alors que l'indicateur moyen d'effort déclaré se situait généralement entre sept et huit pour PISA 2003 et PISA 2006, l'indicateur moyen d'effort conditionnel se situe quant à lui plutôt entre 8,75 et 9,25. Selon le pays considéré, la différence entre l'indicateur moyen d'effort conditionnel et l'indicateur moyen d'effort déclaré varie de 0,01 à 2,37 (moy.=1,60) pour PISA 2003 et de 0,19 à 2,31 (moy.=1,40) pour PISA 2006.

 

Le Japon présente une fois encore l'effort conditionnel moyen le plus bas (8,13 pour PISA 2003 et 8,08 pour PISA 2006). Pour PISA 2003, les trois pays qui présentent les moyennes les plus élevées sont la Turquie (9,50), le Portugal (9,52) et le Danemark (9,64). Pour PISA 2006, la Finlande (9,53), la Suède (9,57) et le Danemark (9,61) occupent les trois premières places.

 

 

 

 


 

2.4. Catégorisation des élèves

 

Pour rappel, trois catégories d'élèves peuvent être distinguées sur la base des réponses apportées au thermomètre d'effort (cat. 1 : effort déclaré < effort conditionnel, cat. 2 : effort déclaré = effort conditionnel, cat. 3 : effort déclaré > effort conditionnel). Les graphiques 4 et 5 renseignent la taille de ces catégories, selon le pays considéré, respectivement pour PISA 2003 et PISA 2006.

 

Graphique 4 : Catégorisation des élèves selon leur effort déclaré et leur effort conditionnel lors de PISA 2003 (en %).

 

A la lecture du graphique 4, on relève que l'Indonésie se distingue une fois de plus avec son taux particulièrement élevé (29,8%) d'élèves déclarant avoir fourni un effort plus important au test PISA 2003 que si ce même test avait compté comme note scolaire.

 


 

Graphique 5 : Catégorisation des élèves selon leur effort déclaré et leur effort conditionnel lors de PISA 2006 (en %)

 

Pour PISA 2006, l'Indonésie présente à nouveau une proportion élevée (20,5%), mais réduite par rapport à 2003, d'élèves ayant déclaré un effort plus important dans la situation sans conséquences pour eux. D'autres pays présentent des proportions similaires : Qatar (18,6%), KGZ (19,6%) et Azerbaïdjan (22,3%).

 

Les élèves de la catégorie 3 seraient appelés "élèves irréalistes" par Butler et Adams (2007) puisque leur appréciation de l'effort consenti semble illogique, mais nous avons montré dans la section 1 que d'autres hypothèses pouvaient être avancées pour expliquer ce genre de réponses a priori aberrantes. En outre, cette distinction entre "élèves réalistes" et "élèves irréalistes" omet de prendre en considération le niveau d'effort déclaré (cf. tableau 1) par les élèves.

 

Le tableau 3 tient compte du niveau d'effort déclaré et permet de nuancer les trois catégories d'élèves considérées jusqu'ici en distinguant l'ampleur de la différence d'effort (négative et forte, négative et faible, nulle, positive) et le niveau d'effort consenti (peu élevé, moyen, élevé) pour PISA 2003.

 


 

Tableau 3 : Catégorisation des élèves selon le niveau d'effort consenti et la différence d'effort observée (PISA 2003)

 

Le tableau 3 met en évidence que sur l'ensemble des élèves ayant répondu à l'item clcuse3a, 61,5% ont déclaré avoir consenti un effort élevé, 32,5% un effort moyen et 6,1% un effort faible. Lorsqu'on considère la variable "différence d'effort", on observe une différence négative et faible dans 61% des cas, une différence nulle dans 22,6% des cas, une différence négative et forte dans 12% des cas et une différence positive dans 4,4% des cas.

 

Les réponses des élèves témoignent majoritairement d'un effort élevé (38,3%) ou moyen (21,7%) légèrement inférieur à l'effort qu'ils auraient fourni si le test avait eu des conséquences scolaires pour eux. Pour 19,9% des élèves, l'effort consenti est élevé et identique à celui qu'ils auraient fourni si le test avait compté pour des points. Les 12% d'élèves pour lesquels une différence d'effort négative et forte est observée auraient visiblement pu s'impliquer davantage et, peut-être, obtenir un meilleur résultat. 

 

Le tableau 4 renseigne, pour chaque pays participant à PISA 2003, la répartition des élèves selon ces 11 catégories d'élèves.  

 

Tableau 4 : Catégorisation des élèves selon le pays considéré (PISA 2003)

 

3. Les différences observées en termes d'effort consenti par les élèves sont-elles susceptibles d'invalider la comparaison internationale faite dans PISA ?

 

Butler et Adams (2007) ont examiné l'influence des données d'effort sur le classement relatif des pays au travers de la variable "relative effort" et de quatre analyses de régression portant soit sur l'ensemble des élèves testés, soit sur la sous-population des élèves dits réalistes. Dans le point 1.1.2. du présent texte, nous avons remis en cause à la fois la variable d'effort relatif et la distinction opérée entre les élèves réalistes et les élèves irréalistes. Nous avons ensuite montré (point 2.1.) que dans quatre pays pour PISA 2003 (IDN, TUR, TUN, RUS) et 2 pays pour PISA 2006 (IDN, QAT), plus de 25 % des élèves avaient omis de répondre au thermomètre d'effort, rendant ainsi peu fiables les données d'effort récoltées pour ces pays (appelés par la suite "pays extrêmes"). C'est pourquoi nous avons décidé de répliquer les analyses faites par Butler et Adams (2007) et de les comparer à d'autres analyses de régression prenant en considération l'effort consenti et la différence d'effort et menées, d'une part, sur l'ensemble de la population et, d'autre part, en excluant les pays extrêmes. Les tableaux 5, 6 et 7 synthétisent les résultats observés pour PISA 2003.

 

Le tableau 5 présente la relation entre le pays d'appartenance et la performance en lecture pour (1) l'ensemble des élèves testés, (2) la sous-population des élèves réalistes, (3) l'ensemble des pays excepté les pays extrêmes et (4) la sous-population des élèves réalistes excepté les pays extrêmes. L'ampleur de la relation est exprimée via le pourcentage de variance expliquée (R2) calculé en utilisant les élèves comme niveau d'analyse et en conduisant une régression du score en lecture sur un codage dummy de la variable rendant compte du pays d'appartenance. Le tableau 5 montre que 19,6% de la variation du score en lecture observée entre les élèves peut être attribuée au pays d'appartenance. Cette part de variance chute respectivement à 16,6%, 15,7% et 14,4% si l'analyse est limitée à la sous-population des élèves réalistes, à l'ensemble des pays excepté les pays extrêmes et à la sous-population des élèves réalistes excepté les pays extrêmes.

 

Le tableau 6 met en lumière l'effet de l'introduction de la variable "relative effort" sur les R2 observés. La régression du score en lecture est réalisée à partir d'un codage dummy de la variable rendant compte du pays d'appartenance et de la variable "relative effort". La comparaison entre le tableau 5 et le tableau 6 met en évidence que la part de variance expliquée subit une augmentation de 0,5% (19,6% à 20,1%) pour l'ensemble des élèves testés, de 1,1% (16,6% à 17,7%) pour la sous-population des élèves réalistes, de 2,4% (15,7% à 18,1%) pour l'ensemble des pays excepté les pays extrêmes et de 1,3% (14,4% à 15,7%) pour la sous-population des élèves réalistes excepté les pays extrêmes.

 

Le tableau 7 présente, quant à lui, l'effet sur les R2 observés de l'introduction des variables "effort consenti" et "différence d'effort" au lieu de la variable "relative effort". La régression du score en lecture est réalisée à partir d'un codage dummy de la variable rendant compte du pays d'appartenance et des variables  "effort consenti" et "différence d'effort". La comparaison entre le tableau 5 et le tableau 7 met cette fois en évidence que la part de variance expliquée subit une augmentation de 1,4% (19,6% à 21%) pour l'ensemble des élèves testés, de 2% (16,6% à 18,6%) pour la sous-population des élèves réalistes, de 3,6% (15,7% à 19,3%) pour l'ensemble des pays excepté les pays extrêmes et de 2,5% (14,4% à 16,9%) pour la sous-population des élèves réalistes excepté les pays extrêmes.

 

Tableau 5 : R2 observés à PISA 2003

lors de la régression du score en lecture sur le pays

 

 

Tableau 6 : R2 observés à PISA 2003

lors de la régression du score en lecture sur le pays et la variable "relative effort"

 

 

Tableau 7 : R2 observés à PISA 2003

lors de la régression du score en lecture sur le pays et les variables "effort consenti" et "différence d'effort"

 

 

Tous ces chiffres viennent nuancer, sans la remettre fondamentalement en question, la conclusion de Butler et Adams (2007) selon laquelle l'impact de l'effort est très faible (augmentation du R2 de 0,5%) et qu'il ne permet pas d'expliquer les différences de performance observées entre les pays. Nos analyses mettent plutôt en évidence que la part de variance expliquée spécifiquement par l'introduction correcte des données d'effort, sous la forme des variables "effort consenti" et "différence d'effort" et non au travers de la variable "relative effort", varie de 1,4% à 3,6% selon la sous-population d'élèves considérée.

 

 

 


 

4. Dans quelle mesure l'effort consenti influence-t-il la performance en lecture lors de PISA 2003 ?

 

Si les variables "effort consenti" et "différence d'effort" ne permettent d'expliquer qu'une part très marginale des différences de performance inter-pays, on peut faire l'hypothèse qu'elles interviennent significativement dans l'explication des différences interindividuelles. Pour tester cette hypothèse, une analyse de régression a été conduite en introduisant ces deux variables sous la forme de variables dummy. La variable "genre" (st03q01) a en outre été introduite dans le modèle afin d'estimer l'effet net des variables d'effort en fonction de cette variable connue pour son impact sur la performance en lecture. Le tableau 8 présente les résultats de cette analyse de régression.

 

Dans ce modèle, le groupe des filles ayant consenti un effort maximal et présentant une différence d'effort nulle est le groupe de référence de la régression (score moyen estimé de 511,7). Le coefficient de -24,4 points est la différence observée en moyenne entre les scores des filles et les scores des garçons, en tenant sous-contrôle les variables d'effort. Au niveau des coefficients calculés pour les variables d'effort, le niveau d'effort consenti (clcuse3a) et la différence d'effort exercent une influence significative sur la performance en lecture, la seconde variable ayant visiblement une influence prépondérante.

 

Tableau 8 : Résultats de l'analyse de régression

menée sur l'ensemble des élèves excepté les pays extrêmes

 


 

Références

 

Butler, J., & Adams R. J. (2007). The impact of differential investment of student effort on the outcomes of international studies. Journal of Applied Measurement, 8, 279-304.

 

OECD, (2010). PISA Computer-Based Assessment of Student Skills in Science. OECD Publishing.

 

O'Neil, H. F., Jr., Sugrue, B., Abedi, J., Baker, E.L., & Golan, S. (1997). Final report of experimental studies on motivation and NAEP test performance (CSE Technical Report 427). Los Angeles, CA: University of California, CRESST.



[1] Dans PISA 2009, les items du thermomètre d'effort n'ont pas été administrés.

 

[2] On soulignera que l'effort déclaré par les élèves porte sur l'ensemble de l'épreuve qui comprenait des items de sciences, de mathématiques et de lecture. Il n'est donc pas possible d'examiner dans quelle mesure l'effort consenti varie selon le domaine évalué.

 

Fichier attachéTaille
figure1.png111.71 Ko
tableau1.png90.25 Ko
tableau2.png87.95 Ko
graphique1.png95.19 Ko
graphique2.png132.88 Ko
graphique3.png192.33 Ko
graphique4.png216.06 Ko
graphique5.png215.06 Ko
tableau3.png62.81 Ko
tableau4.png135.39 Ko
tableaux567.png89.06 Ko
tableau8.png54.83 Ko