427 - Pourquoi des préoccupations épistémologiques et méthodologiques font-elles s’intéresser à Visible Learning for Teachers de John Hattie ?

Résumé

Cette présentation traite de la littérature académique se rapportant à la réussite à l’école et aux pratiques éducatives discriminantes. La publication de Visible Learning for Teachers de John Hattie (2012) est de ce point de vue un élément fort de l’actualité récente des Sciences de l’éducation. L’ouvrage met en cohérence près de 900 méta-analyses apportant à l’éducateur et au chercheur une référence particulièrement sérieuse tant en termes de cadre conceptuel que de méthode.

 

 

 

La publication de Visible Learning for Teachers est un événement marquant de l’actualité de la recherche en éducation et formation. L’ouvrage présente les résultats d’une revue systématique de la littérature méta-analytique, avec pour objectif explicite l’appropriation de ces résultats par les enseignants et cadres de l’éducation. L’éclairage apporté est relativement unique tout comme la démarche de mobilisation des connaissances. 

 

Une base factuelle d’exception

Pour l’éducateur, le praticien ou le décideur, comme pour le chercheur débutant, donner un sens à ce que montre la recherche est une tâche redoutable eu égard au nombre et à la qualité des productions académiques. Un examen exhaustif de la littérature implique souvent de consulter un nombre prohibitif d'études (Marzano, 1998) dans lesquelles des erreurs d’analyse ou d’interprétation apparaissent régulièrement (Wainer & Robinson, 2003 ; Onwuegbuzie & Daniel, 2003 ; Poitevineau, 2004, Ioannidis, 2005) tandis que les pratiques de publication introduisent des biais qui transforment également la réalité des données scientifiques recueillies (Young, Ioannidis & Al-Ubaydliou, 2008 ; Lundh & alii., 2010).

Dans ce contexte, les notes de synthèses sont d’un grand intérêt à l’instar des notes éponymes de la Revue Française de Pédagogie ou de la revue Spirale qui avec d’autres revues familières aux spécialistes français de l’éducation, souvent davantage centrées sur un objet spécifique, proposent une mise en cohérence des travaux autour d’un thème donné. Toutefois, cet effort de synthèse s’appuie dans de nombreux cas, sur une méthode de revue de la littérature désignée en termes d’ « approche narrative » dont la validité des conclusions a pu être infirmée par différents résultats d’expériences (Marzano, ibid., Jackson, 1980, Cooper and Rosenthal, 1980).

Les revues s’appuyant sur une synthèse statistique quantitative des résultats chiffrés de plusieurs études ayant répondu à une question identique avec une méthodologie comparable offrent actuellement les meilleures preuves factuelles. Cette approche dite par « méta-analyse » produit des résultats susceptibles d’éclairer utilement la prise de décision dans de nombreux domaines. Ainsi, la “médecine factuelle” occupe une place incontournable dans la pensée et les décisions médicales (Scheen, 2003).

Initiée et popularisée par des chercheurs en Psychologie et en Sciences de l’Education, l’approche méta-analytique a conduit à des mises en perspectives d’amplitudes variables s’agissant de pédagogie et de moyens (eg. Glass & Smith, 1979 ; Bloom, 1985 ; Bangert-Drowns, Kulik, & Kulik, 1985 ; Goldstein, Yang & al., 1999 ; Valcke, 1991 ; Fuller & Clarke, 1994 ; Lagrange, J.-B., & Grugeon, 2003 ; Marzano, Marzano & Pickering, 2003). Le tableau 1 apporte une illustration de ce que produit une méta-analyse : une Mesure d’effet moyenne, à partir d’un ’nombre d'effets’ mis en évidence dans un ensemble d'études considérées comme méthodologiquement pertinentes. 

 

 

Tableau 1. Exemple de résultat produit par une méta-analyse.

Efficacité comparée de modalités de gestion de classe	Mesure d’effet moyenne	Nbre d’apprenants	Nbre d’études	Diminution des interruptions de cours (moyenne pour les études)
Règles et procédures	0.76	626	10	28%
Relations enseignant-élève	0.87	1110	4	31%
Interventions disciplinaire	0.91	3322	68	32%
Interventions sur l‘attitude (‘mental set’)	1.3	502	5	40%

 

Toutefois, les méta-analyses requièrent des efforts complexes et les erreurs dans la mise en œuvre de la méthode représentent un sujet de préoccupation récurrent (Bailar, 1997 cité par Beesley & Apthorp, 2010). La comparaison statistique des effets observés  dans un ensemble de méta-analyses revêt par conséquent un fort intérêt.

Deux revues systématiques d’études méta-analytiques particulièrement importantes ont été publiées à ce jour pour ce qui relève du domaine de l’éducation. D’une part, Classroom Instruction that Works paru en 2001 sous la direction de Robert Marzano (Marzano, Pickering, & Pollock, 2001) examine l’effet de 9 stratégies d’enseignement (ie. prise de note et réalisation de résumés, reconnaissance des efforts et encouragements, apprentissage coopératif, définition des objectifs et apport d’information en retour, indications pour le travail à domicile et exercices...) sur la réussite des apprenants. Cette revue a été mise à jour et augmentée par la  prise en compte d’une nouvelle et substantielle sélection de travaux publiés au cours de la décennie qui a suivi la publication initiale (Dean, Hubbell, Pitler & Stone, 2012).

D’autre part, Visible Learning édité par John Hattie (2009) dont une déclinaison augmentée et adaptée à la formation des maîtres est parue en 2012. Cette déclinaison, Visible Learning for teachers, prend appui sur un corpus désormais supérieur à 900 méta-analyses, soit près de deux fois le corpus sélectionné par Dean et ses collaborateurs (ibid), et intègre désormais 60.167 études qui concernant plus de 240 millions d’apprenants.

 

Un outil d’appropriation pour le praticien

Visible Learning for teachers est un ouvrage conçu pour permettre l’appropriation des résultats d’un vaste programme de recherche conduit dans l’objectif d’examiner les caractéristiques des processus éducatifs susceptibles de faire la différence en termes d’apprentissage des élèves ou des étudiants. L’ouvrage associe un texte clairement structuré qui respecte le principe de parcimonie conceptuelle (cf. Bronner, 2013). Le lexique de spécialité est utilisé, sans multiplier les entités plus que nécessaire, et avec un parti pris de définition et de référencement.

La visibilité de l’apprentissage dont rend compte le titre de l’ouvrage est celle du savoir acquis et de la compréhension à laquelle l’apprenant est arrivé, et de ce qui a produit ces changements chez l’apprenant. Cette visibilité, pour poursuivre dans l’approche du contenu, Hattie la considère du point de vue de l’enseignant, évaluateur et animateur accompli, tout autant que du point de vue de l’apprenant, dans une perspective d’éducation tout au long de la vie, d’auto-régulation et d’appétence pour apprendre.

L’ouvrage s’accorde par ailleurs, avec le postulat de l’existence d’une ‘pratique’ plus que d’une science de l’enseignement (ie. il n’existe pas de recette ou de règle universelle, mais des pratiques dont on sait qu’elles ont un effet, et d’autres dont on sait qu’elles n’ont pas d’effet), et se structure en cohérence avec la séquence de décisions que les enseignants doivent régulièrement suivre : préparer, commencer, conduire, et terminer une leçon ou une série de leçons. Deux sections encadrent ce développement. Elles sont consacrées à ce que Hattie présente comme les conceptualisations, ou cadres mentaux, nécessaires à une bonne appropriation du texte par les enseignants et l’encadrement éducatif.

La clarté du propos est augmentée par l’exploitation tout au long de l’ouvrage de différents systèmes sémiotiques non verbaux tels que schémas, dessins, graphes. De nombreuses activités sont par ailleurs proposées au praticien et lecteur. Elles lui permettent de tirer le meilleur parti des points clefs de l’analyse au terme de différents chapitres.

Ainsi, le tableau 1 qui collige les contributions majeures à l’apprentissage selon 6 grands domaines (apprenant, maison, école, enseignant, curricula et enseignement) est suivi de la présentation d’un baromètre des influences (Schéma 1) qui illustre graphiquement le constat selon lequel une mesure d’effet supérieure à 0,4 est supérieure à la moyenne pour la recherche en éducation.

Tableau 2. Qu’est-ce qui a la plus grande influence sur l'apprentissage des élèves?

Contributions majeures à l’apprentissage	Nbre de meta-analyses	Nbre d’études	Nbre de personnes	Nbre d’effets	d (mesure d’effet)	σ (écart-type)
Apprenants	152	11.909	9.397.859	40.197	0,39	0,044
Maison	40	2.347	12.066.705	6.031	0,31	0,053
Ecole	115	4.688	4.613.129	15.536	0,23	0,072
Enseignant	41	2.452	2.407.527	6.014	0,47	0,054
Curricula	153	10.129	7.555.134	32.367	0,45	0,075
Enseignement	412	28.642	52.611.720	59.909	0,43	0,070
Moyenne	913	60.167	88.652.074	160.054	0,40	0,061

Source : Hattie (2012).

 

 

Schéma 1. Baromètre d’influence

 

 

 

 

 

 

 

 

 

 

 

 

 

La préoccupation pédagogique s’exprime enfin par une série de listes de contrôle placées à la fin de chaque chapitre dans l’idée de promouvoir un questionnement à propos de la façon dont une école se perçoit comme ayant une influence sur les apprenants qui la fréquentent. Le tableau 3 est un exemple de liste de contrôle.

 

Tableau 3. Exemple de liste d’activité (« le décours de la leçon: l’apprentissage »)

Facteur d’influence	Effet
Groupement et orientation en fonction des capacités	Elevé	Moyen	Faible
Enseignement Assisté par Ordinateur	Elevé	Moyen	Faible
Diminution des comportements perturbateurs	Elevé	Moyen	Faible
Programmes extra-cursus	Elevé	Moyen	Faible
Programmes domicile-école	Elevé	Moyen	Faible
Travaux à la maison	Elevé	Moyen	Faible
Comment accélérer l’apprentissage	Elevé	Moyen	Faible
Comment mieux enseigner des stratégies métacognitives	Elevé	Moyen	Faible
Comment développer un haut niveau d’attentes pour chaque élève	Elevé	Moyen	Faible
Comment développer un haut niveau d’attentes pour chaque enseignant	Elevé	Moyen	Faible
Comment fournir de meilleures informations en retour	Elevé	Moyen	Faible
Enseignement individualisé	Elevé	Moyen	Faible
Influence de l’environnement domestique	Elevé	Moyen	Faible
Enseignement basé sur la recherche	Elevé	Moyen	Faible
Programmes scolaires intégrés	Elevé	Moyen	Faible
Différences de réussite fille – garçon	Elevé	Moyen	Faible
Espace de classe ouvert versus traditionnel	Elevé	Moyen	Faible
Influence des pairs sur la réussite	Elevé	Moyen	Faible
Fournir une évaluation formative à l’enseignant	Elevé	Moyen	Faible
Réduction de la taille de classe	Elevé	Moyen	Faible
Finances de l’école	Elevé	Moyen	Faible

Consigne associée: « Quel niveau d’attention et de débat y a-t-il dans votre établissement (ou école, ou classe, ou dispositif) à propos des activités suivantes? Lorsque vous aurez répondu à cette question, contrôlez l’impact de chacune, en moyenne, en vous référant à l’annexe D de cette ouvrage. ». Voir annexe.

 

Le texte intègre également une argumentation et une explication convaincantes de ces listes – et des travaux suggérés – ainsi que de l’usage qui peut en être fait.

 

Conclusion

Au total, Visible Learning for Teacher associe rigueur scientifique et vertu praxéologique. Cette présentation a tenté de rendre compte de cette complémentarité et de cette articulation entre recherche et pratique en éducation et formation. Elle a aussi tenté de mettre en valeur une illustration quasi exemplaire, d’une démarche utile à la valorisation des travaux en Sciences de l’éducation et des données factuelles qu’ils produisent s’agissant de la réussite à l’école et des  pratiques éducatives discriminantes. 

Les principaux résultats du recueil et du traitement de données opéré par J. Hattie, et articulés par lui autour du rôle (central) de l’enseignant(e), offrent des repères importants au praticien et au chercheur s’agissant de ce qui fonctionne pour améliorer les apprentissages en contexte scolaire. Ils invitent également à un  examen critique pour comprendre en particulier l’hétérogénéité des mesures d’effets au sein de familles d’interventions.

 

 

 

Références

Beesley, A. D., & Apthorp, H. S. (2010). Classroom instruction that works, second edition: Research report. Denver, CO: Mid-continent Research for Education and Learning [disponible à http://www.mcrel.org/products-and-services/products/product-listing/01_99/product-21]

Bloom, B. S. (1985). Le défi des deux sigmas : Trouver des méthodes d'enseignement collectif aussi efficaces qu'un précepteur. In M. Crahay & D. Lafontaine (Eds) : L'art et la science de l'enseignement. Liége : Edition Labor, pp. 97-128.

Bronner, G. (2013). La démocratie des crédules. Paris : PUF, 360 p.

Cooper. H. M., & Rosenthal, R. (1980). Statistical versus traditional procedures for summarizing research findings. Psychological Bulletin, 87, 442-449.

Fullan, M., & Stiegelbauer, S. (1991). The new meaning of educational change. 2nd ed. New York: Teachers College Press.

Fuller В. et Clarke P. (1998, Juillet-Décembre). Augmenter les effets de la scolarisation tout en ignorant la culture ? Conditions locales et rôle des matériels, des règles et de la pédagogie, in Carrefour de l'éducation, n° 6. Traduction de Raising School Effects while Ignoring Culture? Local Conditions and the Influence of Classroom Tools, Rules, and Pedagogy. Review of Educational Research, Vol. 64, 1,119-157 [Article Stable URL: http://www.jstor.org/stable/1170747]

Glass G.V., Smith M.L. (1979). “ Metaanalysis of research on class size and Achievement ”, Educational Evaluation and Policy Analysis, 1(1).

Goldstein, H,  Yang, M. et al. (1999). Meta analysis using multilevel models with an application to the study of class size, final report, 32p., Institute of Education, University of London.

Ioannidis JPA (2005) Why most published research findings are false. PLoS Med 2(8): e124.

Jackson, G. B. (1980). Methods for integrative reviews. Review of Educational Research, 50, 438-460.

Bangert-Drowns, R. L., Kulik, J. A. & Kulik, C.-L. C. (1985). Effectiveness of computer-based education in secondary schools. Jl. of Computer-Based Instruction, 12, pp 59-68.

Ceri B. Dean, BJ Stone, Elizabeth Hubbell, Howard Pitler (2012). Classroom Instruction That Works: Research-Based Strategies for Increasing Student Achievement, 2nd édition. Alexandria, VA: ASCD [www.ascd.org]. Nota : la description de la méthodologie de l’étude est présentée dans un rapport technique de Beesley & Apthorp (2010).

Lagrange, J.-B., & Grugeon, B. (2003, Avr-Mai-Juin). Vers une prise en compte de la complexité de l'usage des TIC dans l'enseignement: Une méta-analyse des publications d'innovation et de recherche en mathématiques. Revue française de pédagogie, , 143, 101-111.

Lundh A, Barbateskovic M, Hróbjartsson A, Gøtzsche PC (2010) Conflicts of Interest at Medical Journals: The Influence of Industry-Supported Randomised Trials on Journal Impact Factors and Revenue – Cohort Study. PLoS Med 7(10): e1000354. doi:10.1371/journal.pmed.1000354

Hattie, John (2012). Visible Learning for Teachers, Maximizing Impact on Learning. Oxon: Routledge, 269 p.

Marzano, R.J. (1998). A theory-based meta-analysis of research on instruction: Midcontinent Regional Educational Laboratory. [Available : http://www.peecworks.org/PEEC/PEEC_Research/I01795EFA.2/Marzano%20Instruction%20Meta_An.pdf]

Marzano, R., Pickering, D., & Pollock, J. (2001). Classroom Instruction that Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 178 p.

Marzano, R., Marzano, J., & Pickering, D. (2003). Classroom Management That Works. Alexandria (VA): Association for Supervision & Curriculum Development (ASCD), 143 p.

Onwuegbuzie, A. J., & Daniel L. G. (2003, February 19). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education [On-line], 6(2). [Available: http://cie.ed.asu.edu/volume6/number2/]

Poitevineau, J. (2004). L'usage des tests statistiques par les chercheurs en psychologie:

aspects normatif, descriptif et prescriptif. Math. & Sci. hum. / Mathematics and Social Sciences 42e année, 167, (3), p. 5-25

Scheen, A. J. (2003). Comment j’explore ... Les secrets d’une méta-analyse. Rev. Med. Liege, 58 : 1 : 41-46

Valcke, M. (1991). Méta-analyse des recherches consacrées à LOGO . In J.-L. Gurtner & J. Retschitzki (Eds.), LOGO  et les apprentissages, pp. 79-90, Paris : Delachaux et Niestlé.

Wainer, H. & Robinson, D. H. (2003, Oct.). Shaping Up the Practice of Null Hypothesis Significance Testing. Educational Researcher, 22-30

Young, NS., Ioannidis JPA., Al-Ubaydli O. (2008). Why current publication practices may distort science. PLoS Med 5(10): e201. doi:10.1371/journal. pmed.0050201

 

Annexe

 

Tableau 4. Facteurs liés à une influence élevée

	d	Rang
Comment développer un haut niveau d’attentes pour chaque élève	1,44	1
Fournir une évaluation formative à l’enseignant	0,90	4
Comment fournir de meilleures informations en retour	0,75	10
Relations enseignant-élèves	0,72	12
Comment mieux enseigner des stratégies métacognitives	0,69	14
Comment accélérer l’apprentissage	0,68	15
Enseigner des compétences à étudier	0,63	20
Enseigner des stratégies d’apprentissages	0,62	22
Manières d’arrêter d’étiqueter les apprenants	0,61	25

 

 

Tableau 5. Facteurs liés à une influence moyenne

	d	Rang
Influence des pairs sur la réussite	0,53	41
Influence de l’environnement domestique	0,52	44
Comment développer un haut niveau d’attentes pour chaque enseignant	0,43	62
Programmes scolaires intégrés	0,39	71
Enseignement Assisté par Ordinateur	0,37	77
Diminution des comportements perturbateurs	0,34	84
Enseignement basé sur la recherche	0,31	91
Travaux à la maison	0,29	94
Enseigner la passation de test et accompagner	0,27	98

 

 

Tableau 6. Facteurs liés à une faible influence

	d	Rang
Finances de l’école	0,23	107
Enseignement individualisé	0,22	109
Réduction de la taille de classe	0,21	113
Programmes extra-cursus	0,19	116
Programmes domicile-école	0,16	127
Groupement et orientation en fonction des capacités	0,12	131
Différences de réussite fille – garçon	0,12	133
Contrôle de l’apprenant sur l’apprentissage	0,04	144
Espace de classe ouvert versus traditionnel	0,01	145