427 - Pourquoi des préoccupations épistémologiques et méthodologiques font-elles s’intéresser à Visible Learning for Teachers de John Hattie ?
Résumé
Cette présentation traite de la littérature académique se rapportant à la réussite à l’école et aux pratiques éducatives discriminantes. La publication de Visible Learning for Teachers de John Hattie (2012) est de ce point de vue un élément fort de l’actualité récente des Sciences de l’éducation. L’ouvrage met en cohérence près de 900 méta-analyses apportant à l’éducateur et au chercheur une référence particulièrement sérieuse tant en termes de cadre conceptuel que de méthode.
La publication de Visible Learning for Teachers est un événement marquant de l’actualité de la recherche en éducation et formation. L’ouvrage présente les résultats d’une revue systématique de la littérature méta-analytique, avec pour objectif explicite l’appropriation de ces résultats par les enseignants et cadres de l’éducation. L’éclairage apporté est relativement unique tout comme la démarche de mobilisation des connaissances.
Une base factuelle d’exception
Pour l’éducateur, le praticien ou le décideur, comme pour le chercheur débutant, donner un sens à ce que montre la recherche est une tâche redoutable eu égard au nombre et à la qualité des productions académiques. Un examen exhaustif de la littérature implique souvent de consulter un nombre prohibitif d'études (Marzano, 1998) dans lesquelles des erreurs d’analyse ou d’interprétation apparaissent régulièrement (Wainer & Robinson, 2003 ; Onwuegbuzie & Daniel, 2003 ; Poitevineau, 2004, Ioannidis, 2005) tandis que les pratiques de publication introduisent des biais qui transforment également la réalité des données scientifiques recueillies (Young, Ioannidis & Al-Ubaydliou, 2008 ; Lundh & alii., 2010).
Dans ce contexte, les notes de synthèses sont d’un grand intérêt à l’instar des notes éponymes de la Revue Française de Pédagogie ou de la revue Spirale qui avec d’autres revues familières aux spécialistes français de l’éducation, souvent davantage centrées sur un objet spécifique, proposent une mise en cohérence des travaux autour d’un thème donné. Toutefois, cet effort de synthèse s’appuie dans de nombreux cas, sur une méthode de revue de la littérature désignée en termes d’ « approche narrative » dont la validité des conclusions a pu être infirmée par différents résultats d’expériences (Marzano, ibid., Jackson, 1980, Cooper and Rosenthal, 1980).
Les revues s’appuyant sur une synthèse statistique quantitative des résultats chiffrés de plusieurs études ayant répondu à une question identique avec une méthodologie comparable offrent actuellement les meilleures preuves factuelles. Cette approche dite par « méta-analyse » produit des résultats susceptibles d’éclairer utilement la prise de décision dans de nombreux domaines. Ainsi, la “médecine factuelle” occupe une place incontournable dans la pensée et les décisions médicales (Scheen, 2003).
Initiée et popularisée par des chercheurs en Psychologie et en Sciences de l’Education, l’approche méta-analytique a conduit à des mises en perspectives d’amplitudes variables s’agissant de pédagogie et de moyens (eg. Glass & Smith, 1979 ; Bloom, 1985 ; Bangert-Drowns, Kulik, & Kulik, 1985 ; Goldstein, Yang & al., 1999 ; Valcke, 1991 ; Fuller & Clarke, 1994 ; Lagrange, J.-B., & Grugeon, 2003 ; Marzano, Marzano & Pickering, 2003). Le tableau 1 apporte une illustration de ce que produit une méta-analyse : une Mesure d’effet moyenne, à partir d’un ’nombre d'effets’ mis en évidence dans un ensemble d'études considérées comme méthodologiquement pertinentes.
Tableau 1. Exemple de résultat produit par une méta-analyse.
Efficacité comparée de modalités de gestion de classe |
Mesure d’effet moyenne |
Nbre d’apprenants |
Nbre d’études |
Diminution des interruptions de cours (moyenne pour les études) |
Règles et procédures |
0.76 |
626 |
10 |
28% |
Relations enseignant-élève |
0.87 |
1110 |
4 |
31% |
Interventions disciplinaire |
0.91 |
3322 |
68 |
32% |
Interventions sur l‘attitude (‘mental set’) |
1.3 |
502 |
5 |
40% |
Source : Marzano, Marzano, & Pickering (2003. Classroom Management That Works: Research-Based Strategies for Every Teacher), synthèse des données expérimentales issues de 100 rapports incluant 134 expériences contrôlées – in situ - pour trouver les meilleures techniques de gestion de classe.
Toutefois, les méta-analyses requièrent des efforts complexes et les erreurs dans la mise en œuvre de la méthode représentent un sujet de préoccupation récurrent (Bailar, 1997 cité par Beesley & Apthorp, 2010). La comparaison statistique des effets observés dans un ensemble de méta-analyses revêt par conséquent un fort intérêt.
Deux revues systématiques d’études méta-analytiques particulièrement importantes ont été publiées à ce jour pour ce qui relève du domaine de l’éducation. D’une part, Classroom Instruction that Works paru en 2001 sous la direction de Robert Marzano (Marzano, Pickering, & Pollock, 2001) examine l’effet de 9 stratégies d’enseignement (ie. prise de note et réalisation de résumés, reconnaissance des efforts et encouragements, apprentissage coopératif, définition des objectifs et apport d’information en retour, indications pour le travail à domicile et exercices...) sur la réussite des apprenants. Cette revue a été mise à jour et augmentée par la prise en compte d’une nouvelle et substantielle sélection de travaux publiés au cours de la décennie qui a suivi la publication initiale (Dean, Hubbell, Pitler & Stone, 2012).
D’autre part, Visible Learning édité par John Hattie (2009) dont une déclinaison augmentée et adaptée à la formation des maîtres est parue en 2012. Cette déclinaison, Visible Learning for teachers, prend appui sur un corpus désormais supérieur à 900 méta-analyses, soit près de deux fois le corpus sélectionné par Dean et ses collaborateurs (ibid), et intègre désormais 60.167 études qui concernant plus de 240 millions d’apprenants.
Un outil d’appropriation pour le praticien
Visible Learning for teachers est un ouvrage conçu pour permettre l’appropriation des résultats d’un vaste programme de recherche conduit dans l’objectif d’examiner les caractéristiques des processus éducatifs susceptibles de faire la différence en termes d’apprentissage des élèves ou des étudiants. L’ouvrage associe un texte clairement structuré qui respecte le principe de parcimonie conceptuelle (cf. Bronner, 2013). Le lexique de spécialité est utilisé, sans multiplier les entités plus que nécessaire, et avec un parti pris de définition et de référencement.
La visibilité de l’apprentissage dont rend compte le titre de l’ouvrage est celle du savoir acquis et de la compréhension à laquelle l’apprenant est arrivé, et de ce qui a produit ces changements chez l’apprenant. Cette visibilité, pour poursuivre dans l’approche du contenu, Hattie la considère du point de vue de l’enseignant, évaluateur et animateur accompli, tout autant que du point de vue de l’apprenant, dans une perspective d’éducation tout au long de la vie, d’auto-régulation et d’appétence pour apprendre.
L’ouvrage s’accorde par ailleurs, avec le postulat de l’existence d’une ‘pratique’ plus que d’une science de l’enseignement (ie. il n’existe pas de recette ou de règle universelle, mais des pratiques dont on sait qu’elles ont un effet, et d’autres dont on sait qu’elles n’ont pas d’effet), et se structure en cohérence avec la séquence de décisions que les enseignants doivent régulièrement suivre : préparer, commencer, conduire, et terminer une leçon ou une série de leçons. Deux sections encadrent ce développement. Elles sont consacrées à ce que Hattie présente comme les conceptualisations, ou cadres mentaux, nécessaires à une bonne appropriation du texte par les enseignants et l’encadrement éducatif.
La clarté du propos est augmentée par l’exploitation tout au long de l’ouvrage de différents systèmes sémiotiques non verbaux tels que schémas, dessins, graphes. De nombreuses activités sont par ailleurs proposées au praticien et lecteur. Elles lui permettent de tirer le meilleur parti des points clefs de l’analyse au terme de différents chapitres.
Ainsi, le tableau 1 qui collige les contributions majeures à l’apprentissage selon 6 grands domaines (apprenant, maison, école, enseignant, curricula et enseignement) est suivi de la présentation d’un baromètre des influences (Schéma 1) qui illustre graphiquement le constat selon lequel une mesure d’effet supérieure à 0,4 est supérieure à la moyenne pour la recherche en éducation.
Tableau 2. Qu’est-ce qui a la plus grande influence sur l'apprentissage des élèves?
Contributions majeures à l’apprentissage |
Nbre de meta-analyses |
Nbre d’études |
Nbre de personnes |
Nbre d’effets |
d (mesure d’effet) |
σ (écart-type) |
Apprenants |
152 |
11.909 |
9.397.859 |
40.197 |
0,39 |
0,044 |
Maison |
40 |
2.347 |
12.066.705 |
6.031 |
0,31 |
0,053 |
Ecole |
115 |
4.688 |
4.613.129 |
15.536 |
0,23 |
0,072 |
Enseignant |
41 |
2.452 |
2.407.527 |
6.014 |
0,47 |
0,054 |
Curricula |
153 |
10.129 |
7.555.134 |
32.367 |
0,45 |
0,075 |
Enseignement |
412 |
28.642 |
52.611.720 |
59.909 |
0,43 |
0,070 |
Moyenne |
913 |
60.167 |
88.652.074 |
160.054 |
0,40 |
0,061 |
Source : Hattie (2012).
Schéma 1. Baromètre d’influence
La préoccupation pédagogique s’exprime enfin par une série de listes de contrôle placées à la fin de chaque chapitre dans l’idée de promouvoir un questionnement à propos de la façon dont une école se perçoit comme ayant une influence sur les apprenants qui la fréquentent. Le tableau 3 est un exemple de liste de contrôle.
Tableau 3. Exemple de liste d’activité (« le décours de la leçon: l’apprentissage »)
Facteur d’influence |
Effet |
||
Groupement et orientation en fonction des capacités |
Elevé |
Moyen |
Faible |
Enseignement Assisté par Ordinateur |
Elevé |
Moyen |
Faible |
Diminution des comportements perturbateurs |
Elevé |
Moyen |
Faible |
Programmes extra-cursus |
Elevé |
Moyen |
Faible |
Programmes domicile-école |
Elevé |
Moyen |
Faible |
Travaux à la maison |
Elevé |
Moyen |
Faible |
Comment accélérer l’apprentissage |
Elevé |
Moyen |
Faible |
Comment mieux enseigner des stratégies métacognitives |
Elevé |
Moyen |
Faible |
Comment développer un haut niveau d’attentes pour chaque élève |
Elevé |
Moyen |
Faible |
Comment développer un haut niveau d’attentes pour chaque enseignant |
Elevé |
Moyen |
Faible |
Comment fournir de meilleures informations en retour |
Elevé |
Moyen |
Faible |
Enseignement individualisé |
Elevé |
Moyen |
Faible |
Influence de l’environnement domestique |
Elevé |
Moyen |
Faible |
Enseignement basé sur la recherche |
Elevé |
Moyen |
Faible |
Programmes scolaires intégrés |
Elevé |
Moyen |
Faible |
Différences de réussite fille – garçon |
Elevé |
Moyen |
Faible |
Espace de classe ouvert versus traditionnel |
Elevé |
Moyen |
Faible |
Influence des pairs sur la réussite |
Elevé |
Moyen |
Faible |
Fournir une évaluation formative à l’enseignant |
Elevé |
Moyen |
Faible |
Réduction de la taille de classe |
Elevé |
Moyen |
Faible |
Finances de l’école |
Elevé |
Moyen |
Faible |
Consigne associée: « Quel niveau d’attention et de débat y a-t-il dans votre établissement (ou école, ou classe, ou dispositif) à propos des activités suivantes? Lorsque vous aurez répondu à cette question, contrôlez l’impact de chacune, en moyenne, en vous référant à l’annexe D de cette ouvrage. ». Voir annexe.
Le texte intègre également une argumentation et une explication convaincantes de ces listes – et des travaux suggérés – ainsi que de l’usage qui peut en être fait.
Conclusion
Au total, Visible Learning for Teacher associe rigueur scientifique et vertu praxéologique. Cette présentation a tenté de rendre compte de cette complémentarité et de cette articulation entre recherche et pratique en éducation et formation. Elle a aussi tenté de mettre en valeur une illustration quasi exemplaire, d’une démarche utile à la valorisation des travaux en Sciences de l’éducation et des données factuelles qu’ils produisent s’agissant de la réussite à l’école et des pratiques éducatives discriminantes.
Les principaux résultats du recueil et du traitement de données opéré par J. Hattie, et articulés par lui autour du rôle (central) de l’enseignant(e), offrent des repères importants au praticien et au chercheur s’agissant de ce qui fonctionne pour améliorer les apprentissages en contexte scolaire. Ils invitent également à un examen critique pour comprendre en particulier l’hétérogénéité des mesures d’effets au sein de familles d’interventions.
Références
Beesley, A. D., & Apthorp, H. S. (2010). Classroom instruction that works, second edition: Research report. Denver, CO: Mid-continent Research for Education and Learning [disponible à http://www.mcrel.org/products-and-services/products/product-listing/01_99/product-21]
Bloom, B. S. (1985). Le défi des deux sigmas : Trouver des méthodes d'enseignement collectif aussi efficaces qu'un précepteur. In M. Crahay & D. Lafontaine (Eds) : L'art et la science de l'enseignement. Liége : Edition Labor, pp. 97-128.
Bronner, G. (2013). La démocratie des crédules. Paris : PUF, 360 p.
Cooper. H. M., & Rosenthal, R. (1980). Statistical versus traditional procedures for summarizing research findings. Psychological Bulletin, 87, 442-449.
Fullan, M., & Stiegelbauer, S. (1991). The new meaning of educational change. 2nd ed. New York: Teachers College Press.
Fuller В. et Clarke P. (1998, Juillet-Décembre). Augmenter les effets de la scolarisation tout en ignorant la culture ? Conditions locales et rôle des matériels, des règles et de la pédagogie, in Carrefour de l'éducation, n° 6. Traduction de Raising School Effects while Ignoring Culture? Local Conditions and the Influence of Classroom Tools, Rules, and Pedagogy. Review of Educational Research, Vol. 64, 1,119-157 [Article Stable URL: http://www.jstor.org/stable/1170747]
Glass G.V., Smith M.L. (1979). “ Metaanalysis of research on class size and Achievement ”, Educational Evaluation and Policy Analysis, 1(1).
Goldstein, H, Yang, M. et al. (1999). Meta analysis using multilevel models with an application to the study of class size, final report, 32p., Institute of Education, University of London.
Ioannidis JPA (2005) Why most published research findings are false. PLoS Med 2(8): e124.
Jackson, G. B. (1980). Methods for integrative reviews. Review of Educational Research, 50, 438-460.
Bangert-Drowns, R. L., Kulik, J. A. & Kulik, C.-L. C. (1985). Effectiveness of computer-based education in secondary schools. Jl. of Computer-Based Instruction, 12, pp 59-68.
Ceri B. Dean, BJ Stone, Elizabeth Hubbell, Howard Pitler (2012). Classroom Instruction That Works: Research-Based Strategies for Increasing Student Achievement, 2nd édition. Alexandria, VA: ASCD [www.ascd.org]. Nota : la description de la méthodologie de l’étude est présentée dans un rapport technique de Beesley & Apthorp (2010).
Lagrange, J.-B., & Grugeon, B. (2003, Avr-Mai-Juin). Vers une prise en compte de la complexité de l'usage des TIC dans l'enseignement: Une méta-analyse des publications d'innovation et de recherche en mathématiques. Revue française de pédagogie, , 143, 101-111.
Lundh A, Barbateskovic M, Hróbjartsson A, Gøtzsche PC (2010) Conflicts of Interest at Medical Journals: The Influence of Industry-Supported Randomised Trials on Journal Impact Factors and Revenue – Cohort Study. PLoS Med 7(10): e1000354. doi:10.1371/journal.pmed.1000354
Hattie, John (2012). Visible Learning for Teachers, Maximizing Impact on Learning. Oxon: Routledge, 269 p.
Marzano, R.J. (1998). A theory-based meta-analysis of research on instruction: Midcontinent Regional Educational Laboratory. [Available : http://www.peecworks.org/PEEC/PEEC_Research/I01795EFA.2/Marzano%20Instruction%20Meta_An.pdf]
Marzano, R., Pickering, D., & Pollock, J. (2001). Classroom Instruction that Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 178 p.
Marzano, R., Marzano, J., & Pickering, D. (2003). Classroom Management That Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 143 p.
Onwuegbuzie, A. J., & Daniel L. G. (2003, February 19). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education [On-line], 6(2). [Available: http://cie.ed.asu.edu/volume6/number2/]
Poitevineau, J. (2004). L'usage des tests statistiques par les chercheurs en psychologie:
aspects normatif, descriptif et prescriptif. Math. & Sci. hum. / Mathematics and Social Sciences 42e année, 167, (3), p. 5-25
Scheen, A. J. (2003). Comment j’explore ... Les secrets d’une méta-analyse. Rev. Med. Liege, 58 : 1 : 41-46
Valcke, M. (1991). Méta-analyse des recherches consacrées à LOGO . In J.-L. Gurtner & J. Retschitzki (Eds.), LOGO et les apprentissages, pp. 79-90, Paris : Delachaux et Niestlé.
Wainer, H. & Robinson, D. H. (2003, Oct.). Shaping Up the Practice of Null Hypothesis Significance Testing. Educational Researcher, 22-30
Young, NS., Ioannidis JPA., Al-Ubaydli O. (2008). Why current publication practices may distort science. PLoS Med 5(10): e201. doi:10.1371/journal. pmed.0050201
Annexe
Tableau 4. Facteurs liés à une influence élevée
|
d |
Rang |
Comment développer un haut niveau d’attentes pour chaque élève |
1,44 |
1 |
Fournir une évaluation formative à l’enseignant |
0,90 |
4 |
Comment fournir de meilleures informations en retour |
0,75 |
10 |
Relations enseignant-élèves |
0,72 |
12 |
Comment mieux enseigner des stratégies métacognitives |
0,69 |
14 |
Comment accélérer l’apprentissage |
0,68 |
15 |
Enseigner des compétences à étudier |
0,63 |
20 |
Enseigner des stratégies d’apprentissages |
0,62 |
22 |
Manières d’arrêter d’étiqueter les apprenants |
0,61 |
25 |
Tableau 5. Facteurs liés à une influence moyenne
|
d |
Rang |
Influence des pairs sur la réussite |
0,53 |
41 |
Influence de l’environnement domestique |
0,52 |
44 |
Comment développer un haut niveau d’attentes pour chaque enseignant |
0,43 |
62 |
Programmes scolaires intégrés |
0,39 |
71 |
Enseignement Assisté par Ordinateur |
0,37 |
77 |
Diminution des comportements perturbateurs |
0,34 |
84 |
Enseignement basé sur la recherche |
0,31 |
91 |
Travaux à la maison |
0,29 |
94 |
Enseigner la passation de test et accompagner |
0,27 |
98 |
Tableau 6. Facteurs liés à une faible influence
|
d |
Rang |
Finances de l’école |
0,23 |
107 |
Enseignement individualisé |
0,22 |
109 |
Réduction de la taille de classe |
0,21 |
113 |
Programmes extra-cursus |
0,19 |
116 |
Programmes domicile-école |
0,16 |
127 |
Groupement et orientation en fonction des capacités |
0,12 |
131 |
Différences de réussite fille – garçon |
0,12 |
133 |
Contrôle de l’apprenant sur l’apprentissage |
0,04 |
144 |
Espace de classe ouvert versus traditionnel |
0,01 |
145 |