Wat heb je aan onderzoek over wat werkt?

Zo stuurde de American Statistical Association recentelijk een waarschuwing uit, dat er veel te veel waarde wordt gehecht aan significantie. Een ander probleem is dat er groepen worden vergeleken, geen individuen.

Wat goed is voor de groep, hoeft dat nog niet te zijn voor een willekeurig individu. Interessant is in dit verband een onderzoek van de Amerikaanse Food and Drug Agency. Deze vroeg de data op van alle onderzoeken waarin een bepaald antidepressie-middel werd vergeleken met placebo’s. Ze voerden een statistische test uit. Daaruit bleek dat het middel significant beter werkte. Echter, toen ze wat preciezer keken, bleek dat 5 van de 10 patiënten die het medicijn gebruikten beter werden, maar dat van de patiënten die het medicijn niet namen, 4 van de 10 beter werden. Wat dus betekent dat 4 van de 10 patiënten beter kunnen wachten, in plaats van het medicijn te gebruiken.

Daarmee wordt een fundamentele beperking van deze onderzoeksmethode blootgelegd. Er wordt gemiddeld over grote aantallen personen, voor wie de effecten op allerlei manieren kunnen variëren. Naar het onderwijs vertaald betekent dit, dat wat volgens zulk onderzoek werkt nog niet het beste hoeft te zijn voor een willekeurige klas/leerling. Met deze constatering komen we op het terrein van wat evidence-based onderwijs wordt genoemd, de vertaling van het medische onderzoeksmodel naar het onderwijs.

In 2007 publiceerden Paul Kirschner en ik al over het problematische karakter van evidence-based onderwijs (Gravemeijer, K. P. E., & Kirschner, P. A. (2007). Naar meer evidence-based onderwijs?, Pedagogische Studiën 84 (6) 463-472.). We noemden toen de volgende knelpunten:

1. niet uitvoerbaar

2. niet betaalbaar

3. te generaliserend

4. laat zien wat werkt, niet hoe ‘het’ werkt

5. werkt vertragend en conserverend.

Eén van de uitvoerbaarheidsproblemen is dat leerlingen en leraren niet mogen weten of ze tot de experimentele of de controlegroep horen. Een ander uitvoeringsprobleem vormt de eis, dat leraren en leerlingen volstrekt willekeurig aan de twee onderzoekscondities moeten worden toegewezen. Het probleem van de betaalbaarheid wordt direct duidelijk als we de bedragen die aan onderzoek naar nieuwe medicijnen worden besteed, in ogenschouw nemen. Dat dit type onderzoek te generaliserend is, zagen we hierboven al. Voor punt 4 verwezen Kirschner en ik naar de onderzoeksadviescommissie van de Amerikaanse vereniging van wiskundeleraren (Research Advisory Committee of the National Council of Teachers of Mathematics. (1996). Justification and reform. Journal for Research in Mathematics Education, 516-520.). Deze wijst erop dat wanneer een leraar ontdekt dat de ‘bewezen’ aanpak in zijn of haar klas niet werkt, hij of zij met lege handen staat. Leraren, zo betoogt de adviescommissie, hebben er meer aan te weten hoe de interventie werkt, of zou moeten werken. Ten slotte betoogden we dat de tijd die nodig is om dit type onderzoek te doen veel langer is dan voor onderwijsbeleid acceptabel is en dat dit type onderzoek niet geschikt is voor het genereren van en experimenteren met nieuwe ideeën.

Kortom, naast onderzoek naar ‘Wat werkt?’, heb je ook onderzoek nodig naar, Hoe?, Wanneer?, voor Wie? en Waarom?

Precies het tegenovergestelde gebeurt in meta-studies waarin wordt gegeneraliseerd over leerlingen, leeftijden, leraren, schooltypen en schoolvakken. Meestal leidt dit onderzoek tot conclusies over, ‘wat niet werkt’. Vaak wordt daarbij gedaan alsof je één kenmerk uit de onderwijssituatie kunt lichten en het effect daarvan kunt vaststellen. Als voorbeeld kunnen we het onderzoek naar de grafische rekenmachine nemen, dat zo’n twintig jaar geleden populair was. De vraag was toen of gebruik van de grafische rekenmachine als zodanig de onderwijseffectiviteit verhoogt.

Onderzoek van Doerr en Zangor (Doerr, H. M., & Zangor, R. (2000). Creating meaning for and with the graphing calculator. Educational Studies in Mathematics, 41(2), 143-163.) liet zien hoe onzinnig deze vraag was. Zij constateerden dat de grafische rekenmachine op heel verschillende manieren door de leerlingen werd gebruikt, waarbij de rol, de kennis, en de opvattingen van de leraar het gebruik sterk beïnvloedden. Effectief onderwijs, concludeerden ze, vereist dat de verschillende componenten van de onderwijssituatie op elkaar zijn afgestemd: de opvattingen van de leraar, zijn of haar kennis van de grafische rekenmachine, de klassencultuur, de opbouw van de leergang, de taken, de manier waarop de grafische rekenmachine wordt gebruikt, en de pedagogisch-didactische vaardigheden van de leraar.

Samenvattend. In beide gevallen zien we dat de wens een wat-werkt vraag te beantwoorden, ertoe leidt dat de complexiteit van de onderwijspraktijk wordt genegeerd. Je kunt je afvragen wat de waarde van het antwoord dan nog is.

Koeno Gravemeijer is emeritus professor science- en techniekeducatie aan de Technische Universiteit Eindhoven. Hij nam op 20 november 2017 afscheid als lid van de redactieadviesraad van Didactief.