427 - Pourquoi des préoccupations épistémologiques et méthodologiques font-elles s’intéresser à Visible Learning for Teachers de John Hattie ?

Résumé

Cette présentation traite de la littérature académique se rapportant à la réussite à l’école et aux pratiques éducatives discriminantes. La publication de Visible Learning for Teachers de John Hattie (2012) est de ce point de vue un élément fort de l’actualité récente des Sciences de l’éducation. L’ouvrage met en cohérence près de 900 méta-analyses apportant à l’éducateur et au chercheur une référence particulièrement sérieuse tant en termes de cadre conceptuel que de méthode.

 

 

 

La publication de Visible Learning for Teachers est un événement marquant de l’actualité de la recherche en éducation et formation. L’ouvrage présente les résultats d’une revue systématique de la littérature méta-analytique, avec pour objectif explicite l’appropriation de ces résultats par les enseignants et cadres de l’éducation. L’éclairage apporté est relativement unique tout comme la démarche de mobilisation des connaissances. 

 

Une base factuelle d’exception

Pour l’éducateur, le praticien ou le décideur, comme pour le chercheur débutant, donner un sens à ce que montre la recherche est une tâche redoutable eu égard au nombre et à la qualité des productions académiques. Un examen exhaustif de la littérature implique souvent de consulter un nombre prohibitif d'études (Marzano, 1998) dans lesquelles des erreurs d’analyse ou d’interprétation apparaissent régulièrement (Wainer & Robinson, 2003 ; Onwuegbuzie & Daniel, 2003 ; Poitevineau, 2004, Ioannidis, 2005) tandis que les pratiques de publication introduisent des biais qui transforment également la réalité des données scientifiques recueillies (Young, Ioannidis & Al-Ubaydliou, 2008 ; Lundh & alii., 2010).

Dans ce contexte, les notes de synthèses sont d’un grand intérêt à l’instar des notes éponymes de la Revue Française de Pédagogie ou de la revue Spirale qui avec d’autres revues familières aux spécialistes français de l’éducation, souvent davantage centrées sur un objet spécifique, proposent une mise en cohérence des travaux autour d’un thème donné. Toutefois, cet effort de synthèse s’appuie dans de nombreux cas, sur une méthode de revue de la littérature désignée en termes d’ « approche narrative » dont la validité des conclusions a pu être infirmée par différents résultats d’expériences (Marzano, ibid., Jackson, 1980, Cooper and Rosenthal, 1980).

Les revues s’appuyant sur une synthèse statistique quantitative des résultats chiffrés de plusieurs études ayant répondu à une question identique avec une méthodologie comparable offrent actuellement les meilleures preuves factuelles. Cette approche dite par « méta-analyse » produit des résultats susceptibles d’éclairer utilement la prise de décision dans de nombreux domaines. Ainsi, la “médecine factuelle” occupe une place incontournable dans la pensée et les décisions médicales (Scheen, 2003).

Initiée et popularisée par des chercheurs en Psychologie et en Sciences de l’Education, l’approche méta-analytique a conduit à des mises en perspectives d’amplitudes variables s’agissant de pédagogie et de moyens (eg. Glass & Smith, 1979 ; Bloom, 1985 ; Bangert-Drowns, Kulik, & Kulik, 1985 ; Goldstein, Yang & al., 1999 ; Valcke, 1991 ; Fuller & Clarke, 1994 ; Lagrange, J.-B., & Grugeon, 2003 ; Marzano, Marzano & Pickering, 2003). Le tableau 1 apporte une illustration de ce que produit une méta-analyse : une Mesure d’effet moyenne, à partir d’un ’nombre d'effets’ mis en évidence dans un ensemble d'études considérées comme méthodologiquement pertinentes. 

 

 

Tableau 1. Exemple de résultat produit par une méta-analyse.

Efficacité comparée de modalités de gestion de classe

Mesure d’effet moyenne

Nbre d’apprenants

Nbre d’études

Diminution des interruptions de cours (moyenne pour les études)

Règles et procédures

0.76

626

10

28%

Relations enseignant-élève

0.87

1110

4

31%

Interventions disciplinaire

0.91

3322

68

32%

Interventions sur l‘attitude (‘mental set’)

1.3

502

5

40%


Source : Marzano, Marzano, & Pickering (2003. Classroom Management That Works: Research-Based Strategies for Every Teacher), synthèse des données expérimentales  issues de 100 rapports incluant 134 expériences contrôlées – in situ - pour trouver les meilleures techniques de gestion de classe.

 

Toutefois, les méta-analyses requièrent des efforts complexes et les erreurs dans la mise en œuvre de la méthode représentent un sujet de préoccupation récurrent (Bailar, 1997 cité par Beesley & Apthorp, 2010). La comparaison statistique des effets observés  dans un ensemble de méta-analyses revêt par conséquent un fort intérêt.

Deux revues systématiques d’études méta-analytiques particulièrement importantes ont été publiées à ce jour pour ce qui relève du domaine de l’éducation. D’une part, Classroom Instruction that Works paru en 2001 sous la direction de Robert Marzano (Marzano, Pickering, & Pollock, 2001) examine l’effet de 9 stratégies d’enseignement (ie. prise de note et réalisation de résumés, reconnaissance des efforts et encouragements, apprentissage coopératif, définition des objectifs et apport d’information en retour, indications pour le travail à domicile et exercices...) sur la réussite des apprenants. Cette revue a été mise à jour et augmentée par la  prise en compte d’une nouvelle et substantielle sélection de travaux publiés au cours de la décennie qui a suivi la publication initiale (Dean, Hubbell, Pitler & Stone, 2012).

D’autre part, Visible Learning édité par John Hattie (2009) dont une déclinaison augmentée et adaptée à la formation des maîtres est parue en 2012. Cette déclinaison, Visible Learning for teachers, prend appui sur un corpus désormais supérieur à 900 méta-analyses, soit près de deux fois le corpus sélectionné par Dean et ses collaborateurs (ibid), et intègre désormais 60.167 études qui concernant plus de 240 millions d’apprenants.

 

Un outil d’appropriation pour le praticien

Visible Learning for teachers est un ouvrage conçu pour permettre l’appropriation des résultats d’un vaste programme de recherche conduit dans l’objectif d’examiner les caractéristiques des processus éducatifs susceptibles de faire la différence en termes d’apprentissage des élèves ou des étudiants. L’ouvrage associe un texte clairement structuré qui respecte le principe de parcimonie conceptuelle (cf. Bronner, 2013). Le lexique de spécialité est utilisé, sans multiplier les entités plus que nécessaire, et avec un parti pris de définition et de référencement.

La visibilité de l’apprentissage dont rend compte le titre de l’ouvrage est celle du savoir acquis et de la compréhension à laquelle l’apprenant est arrivé, et de ce qui a produit ces changements chez l’apprenant. Cette visibilité, pour poursuivre dans l’approche du contenu, Hattie la considère du point de vue de l’enseignant, évaluateur et animateur accompli, tout autant que du point de vue de l’apprenant, dans une perspective d’éducation tout au long de la vie, d’auto-régulation et d’appétence pour apprendre.

L’ouvrage s’accorde par ailleurs, avec le postulat de l’existence d’une ‘pratique’ plus que d’une science de l’enseignement (ie. il n’existe pas de recette ou de règle universelle, mais des pratiques dont on sait qu’elles ont un effet, et d’autres dont on sait qu’elles n’ont pas d’effet), et se structure en cohérence avec la séquence de décisions que les enseignants doivent régulièrement suivre : préparer, commencer, conduire, et terminer une leçon ou une série de leçons. Deux sections encadrent ce développement. Elles sont consacrées à ce que Hattie présente comme les conceptualisations, ou cadres mentaux, nécessaires à une bonne appropriation du texte par les enseignants et l’encadrement éducatif.

La clarté du propos est augmentée par l’exploitation tout au long de l’ouvrage de différents systèmes sémiotiques non verbaux tels que schémas, dessins, graphes. De nombreuses activités sont par ailleurs proposées au praticien et lecteur. Elles lui permettent de tirer le meilleur parti des points clefs de l’analyse au terme de différents chapitres.

Ainsi, le tableau 1 qui collige les contributions majeures à l’apprentissage selon 6 grands domaines (apprenant, maison, école, enseignant, curricula et enseignement) est suivi de la présentation d’un baromètre des influences (Schéma 1) qui illustre graphiquement le constat selon lequel une mesure d’effet supérieure à 0,4 est supérieure à la moyenne pour la recherche en éducation.

Tableau 2. Qu’est-ce qui a la plus grande influence sur l'apprentissage des élèves?

Contributions majeures à l’apprentissage

Nbre de meta-analyses

Nbre d’études

Nbre de personnes

Nbre d’effets

d (mesure d’effet)

σ (écart-type)

Apprenants

152

11.909

9.397.859

40.197

0,39

0,044

Maison

40

2.347

12.066.705

6.031

0,31

0,053

Ecole

115

4.688

4.613.129

15.536

0,23

0,072

Enseignant

41

2.452

2.407.527

6.014

0,47

0,054

Curricula

153

10.129

7.555.134

32.367

0,45

0,075

Enseignement

412

28.642

52.611.720

59.909

0,43

0,070

Moyenne

913

60.167

88.652.074

160.054

0,40

0,061


Source : Hattie (2012).

 

 

Schéma 1. Baromètre d’influence

 

 

 

 

 

 

 

 

 

 

 

 

 

La préoccupation pédagogique s’exprime enfin par une série de listes de contrôle placées à la fin de chaque chapitre dans l’idée de promouvoir un questionnement à propos de la façon dont une école se perçoit comme ayant une influence sur les apprenants qui la fréquentent. Le tableau 3 est un exemple de liste de contrôle.

 

Tableau 3. Exemple de liste d’activité (« le décours de la leçon: l’apprentissage »)

Facteur d’influence

Effet

Groupement et orientation en fonction des capacités

Elevé

Moyen

Faible

Enseignement Assisté par Ordinateur

Elevé

Moyen

Faible

Diminution des comportements perturbateurs

Elevé

Moyen

Faible

Programmes extra-cursus

Elevé

Moyen

Faible

Programmes domicile-école

Elevé

Moyen

Faible

Travaux à la maison

Elevé

Moyen

Faible

Comment accélérer l’apprentissage

Elevé

Moyen

Faible

Comment mieux enseigner des stratégies métacognitives

Elevé

Moyen

Faible

Comment développer un haut niveau d’attentes pour chaque élève

Elevé

Moyen

Faible

Comment développer un haut niveau d’attentes pour chaque enseignant

Elevé

Moyen

Faible

Comment fournir de meilleures informations en retour

Elevé

Moyen

Faible

Enseignement individualisé

Elevé

Moyen

Faible

Influence de l’environnement domestique

Elevé

Moyen

Faible

Enseignement basé sur la recherche

Elevé

Moyen

Faible

Programmes scolaires intégrés

Elevé

Moyen

Faible

Différences de réussite fille – garçon

Elevé

Moyen

Faible

Espace de classe ouvert versus traditionnel

Elevé

Moyen

Faible

Influence des pairs sur la réussite

Elevé

Moyen

Faible

Fournir une évaluation formative à l’enseignant

Elevé

Moyen

Faible

Réduction de la taille de classe

Elevé

Moyen

Faible

Finances de l’école

Elevé

Moyen

Faible


Consigne associée: « Quel niveau d’attention et de débat y a-t-il dans votre établissement (ou école, ou classe, ou dispositif) à propos des activités suivantes? Lorsque vous aurez répondu à cette question, contrôlez l’impact de chacune, en moyenne, en vous référant à l’annexe D de cette ouvrage. ». Voir annexe.

 

Le texte intègre également une argumentation et une explication convaincantes de ces listes – et des travaux suggérés – ainsi que de l’usage qui peut en être fait.

 

Conclusion

Au total, Visible Learning for Teacher associe rigueur scientifique et vertu praxéologique. Cette présentation a tenté de rendre compte de cette complémentarité et de cette articulation entre recherche et pratique en éducation et formation. Elle a aussi tenté de mettre en valeur une illustration quasi exemplaire, d’une démarche utile à la valorisation des travaux en Sciences de l’éducation et des données factuelles qu’ils produisent s’agissant de la réussite à l’école et des  pratiques éducatives discriminantes. 

Les principaux résultats du recueil et du traitement de données opéré par J. Hattie, et articulés par lui autour du rôle (central) de l’enseignant(e), offrent des repères importants au praticien et au chercheur s’agissant de ce qui fonctionne pour améliorer les apprentissages en contexte scolaire. Ils invitent également à un  examen critique pour comprendre en particulier l’hétérogénéité des mesures d’effets au sein de familles d’interventions.

 

 

 

Références

Beesley, A. D., & Apthorp, H. S. (2010). Classroom instruction that works, second edition: Research report. Denver, CO: Mid-continent Research for Education and Learning [disponible à http://www.mcrel.org/products-and-services/products/product-listing/01_99/product-21]

Bloom, B. S. (1985). Le défi des deux sigmas : Trouver des méthodes d'enseignement collectif aussi efficaces qu'un précepteur. In M. Crahay & D. Lafontaine (Eds) : L'art et la science de l'enseignement. Liége : Edition Labor, pp. 97-128.

Bronner, G. (2013). La démocratie des crédules. Paris : PUF, 360 p.

Cooper. H. M., & Rosenthal, R. (1980). Statistical versus traditional procedures for summarizing research findings. Psychological Bulletin, 87, 442-449.

Fullan, M., & Stiegelbauer, S. (1991). The new meaning of educational change. 2nd ed. New York: Teachers College Press.

Fuller В. et Clarke P. (1998, Juillet-Décembre). Augmenter les effets de la scolarisation tout en ignorant la culture ? Conditions locales et rôle des matériels, des règles et de la pédagogie, in Carrefour de l'éducation, n° 6. Traduction de Raising School Effects while Ignoring Culture? Local Conditions and the Influence of Classroom Tools, Rules, and Pedagogy. Review of Educational Research, Vol. 64, 1,119-157 [Article Stable URL: http://www.jstor.org/stable/1170747]

Glass G.V., Smith M.L. (1979). “ Metaanalysis of research on class size and Achievement ”, Educational Evaluation and Policy Analysis, 1(1).

Goldstein, H,  Yang, M. et al. (1999). Meta analysis using multilevel models with an application to the study of class size, final report, 32p., Institute of Education, University of London.

Ioannidis JPA (2005) Why most published research findings are false. PLoS Med 2(8): e124.

Jackson, G. B. (1980). Methods for integrative reviews. Review of Educational Research, 50, 438-460.

Bangert-Drowns, R. L., Kulik, J. A. & Kulik, C.-L. C. (1985). Effectiveness of computer-based education in secondary schools. Jl. of Computer-Based Instruction, 12, pp 59-68.

Ceri B. Dean, BJ Stone, Elizabeth Hubbell, Howard Pitler (2012). Classroom Instruction That Works: Research-Based Strategies for Increasing Student Achievement, 2nd édition. Alexandria, VA: ASCD [www.ascd.org]. Nota : la description de la méthodologie de l’étude est présentée dans un rapport technique de Beesley & Apthorp (2010).

Lagrange, J.-B., & Grugeon, B. (2003, Avr-Mai-Juin). Vers une prise en compte de la complexité de l'usage des TIC dans l'enseignement: Une méta-analyse des publications d'innovation et de recherche en mathématiques. Revue française de pédagogie, , 143, 101-111.

Lundh A, Barbateskovic M, Hróbjartsson A, Gøtzsche PC (2010) Conflicts of Interest at Medical Journals: The Influence of Industry-Supported Randomised Trials on Journal Impact Factors and Revenue – Cohort Study. PLoS Med 7(10): e1000354. doi:10.1371/journal.pmed.1000354

Hattie, John (2012). Visible Learning for Teachers, Maximizing Impact on Learning. Oxon: Routledge, 269 p.

Marzano, R.J. (1998). A theory-based meta-analysis of research on instruction: Midcontinent Regional Educational Laboratory. [Available : http://www.peecworks.org/PEEC/PEEC_Research/I01795EFA.2/Marzano%20Instruction%20Meta_An.pdf]

Marzano, R., Pickering, D., & Pollock, J. (2001). Classroom Instruction that Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 178 p.

Marzano, R., Marzano, J., & Pickering, D. (2003). Classroom Management That Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 143 p.

Onwuegbuzie, A. J., & Daniel L. G. (2003, February 19). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education [On-line], 6(2). [Available: http://cie.ed.asu.edu/volume6/number2/]

Poitevineau, J. (2004). L'usage des tests statistiques par les chercheurs en psychologie:

aspects normatif, descriptif et prescriptif. Math. & Sci. hum. / Mathematics and Social Sciences 42e année, 167, (3), p. 5-25

Scheen, A. J. (2003). Comment j’explore ... Les secrets d’une méta-analyse. Rev. Med. Liege, 58 : 1 : 41-46

Valcke, M. (1991). Méta-analyse des recherches consacrées à LOGO . In J.-L. Gurtner & J. Retschitzki (Eds.), LOGO  et les apprentissages, pp. 79-90, Paris : Delachaux et Niestlé.

Wainer, H. & Robinson, D. H. (2003, Oct.). Shaping Up the Practice of Null Hypothesis Significance Testing. Educational Researcher, 22-30

Young, NS., Ioannidis JPA., Al-Ubaydli O. (2008). Why current publication practices may distort science. PLoS Med 5(10): e201. doi:10.1371/journal. pmed.0050201

 

Annexe

 

Tableau 4. Facteurs liés à une influence élevée

 

d

Rang

Comment développer un haut niveau d’attentes pour chaque élève

1,44

1

Fournir une évaluation formative à l’enseignant

0,90

4

Comment fournir de meilleures informations en retour

0,75

10

Relations enseignant-élèves

0,72

12

Comment mieux enseigner des stratégies métacognitives

0,69

14

Comment accélérer l’apprentissage

0,68

15

Enseigner des compétences à étudier

0,63

20

Enseigner des stratégies d’apprentissages

0,62

22

Manières d’arrêter d’étiqueter les apprenants

0,61

25

 

 

Tableau 5. Facteurs liés à une influence moyenne

 

d

Rang

Influence des pairs sur la réussite

0,53

41

Influence de l’environnement domestique

0,52

44

Comment développer un haut niveau d’attentes pour chaque enseignant

0,43

62

Programmes scolaires intégrés

0,39

71

Enseignement Assisté par Ordinateur

0,37

77

Diminution des comportements perturbateurs

0,34

84

Enseignement basé sur la recherche

0,31

91

Travaux à la maison

0,29

94

Enseigner la passation de test et accompagner

0,27

98

 

 

Tableau 6. Facteurs liés à une faible influence

 

d

Rang

Finances de l’école

0,23

107

Enseignement individualisé

0,22

109

Réduction de la taille de classe

0,21

113

Programmes extra-cursus

0,19

116

Programmes domicile-école

0,16

127

Groupement et orientation en fonction des capacités

0,12

131

Différences de réussite fille – garçon

0,12

133

Contrôle de l’apprenant sur l’apprentissage

0,04

144

Espace de classe ouvert versus traditionnel

0,01

145