John Hattie ontmaskerd?

Na enig aandringen gaf Hattie toe dat er iets fout berekend is. Valt de veel aangehaalde Nieuw-Zeelandse onderwijskundige, die ook in het oktobernummer van Didactief is geportretteerd, nu keihard door de mand? Heeft een grote horde leraren, schoolleiders en onderwijsondersteuners in de hele wereld blind en ten onrechte achter hem aangelopen? Dat valt gelukkig wel mee.

De fout betreft een van de twee maten (de zogenaamde CLE) waarmee Hattie aangeeft hoe belangrijk een variabele is voor de leeropbrengst bij leerlingen.
Op grond van beide maten samen zegt Hattie dat bijvoorbeeld relaties tussen leraar en leerlingen belangrijker zijn voor het leren dan de grootte van een school.

De fout in de berekening van de CLE verandert wel de grootte van het effect, maar niet de volgorde van belangrijkheid van alle onderzochte invloeden op de leeropbrengst.

Hattie noemt de CLE eigenlijk in zijn boek vrijwel niet, maar wel de andere maat; de effectgrootte. Die maat ligt (nog) niet onder vuur, al merkt Ollieoragne2 op dat wiskundigen zowel de CLE als de effectgrootte niet gebruiken.
Dat wiskundigen ze überhaupt niet gebruiken is echter geen negatief oordeel over de sociale wetenschappen waar ze wel gebruikt worden.

Nu moeten we even de diepte in: er is een belangrijk verschil tussen wiskundige en sociaal-wetenschappelijke toepassingen van de statistiek.
Volgens de standaarden van de American Psychological Association, die door vrijwel alle psychologische, pedagogische en onderwijskundige tijdschriften worden gevolgd, is het berekenen van de effectgroottes een voorwaarde om te kunnen publiceren en daar is een goed reden voor. Met statistische methoden gaan we eerst na of wat er gevonden wordt significant is: is het resultaat niet aan toeval te wijten?

Wiskundigen vinden dat blijkbaar genoeg, maar voor de praktische toepassing is er nog iets anders van belang: een significant verschil of effect kan namelijk toch een klein en daarmee onbelangrijk verschil of effect zijn. Bijvoorbeeld verschilt de relatie tussen leraren en hun leerlingen van die tussen leraressen en hun leerlingen, maar dat verschil is zo klein dat het praktisch geen enkele relevantie heeft. De effectgrootte is een maat voor het belang van het verschil.

Opluchting? Betekent dit nu dat er geen kritiek op John Hattie's resultaten is? Is zijn werk de kers op de taart van het onderwijsonderzoek? Helaas dat is niet het geval.
Wanneer ik in een presentatie naar Hattie verwijs zeg ik er altijd bij dat er veel kritiek op hem mogelijk is. Zijn boek maakt onvoldoende duidelijk hoe hij de resultaten van allerlei studies heeft samengenomen en in de effectgroottes heeft uitgedrukt. Daardoor voldoet zijn werk niet aan een basiseis van wetenschappelijk werk: navolgbaarheid.

Alsnog Visible Learning in de versnipperaar? Niet doen! Ik heb wel een behoorlijk vertrouwen dat de volgorde van belangrijkheid van de variabelen in het boek ongeveer klopt en dat is de belangrijkste opbrengst van Hattie's werk. Maar geloof niet elke decimaal in het boek, daarvoor zou eerst het succesvol doorstaan van de peer review van een wetenschappelijk tijdschrift nodig zijn.

Theo Wubbels is emeritus hoogleraar Onderwijswetenschappen.