Ongeveer vijfentwintig jaar geleden stelde de Britse onderwijskundige Davies dat onderwijsveranderingen vaak nauwelijks gebaseerd waren op wetenschappelijk bewijs, en nauwelijks werden geëvalueerd. Temeer opvallend vond hij, omdat zo’n evaluatie toch op verschillende manieren kon, met gecontroleerde kwantitatieve studies, maar bijvoorbeeld ook met etnografische studies (die processen en uitkomsten vastleggen). Hij stelde voor om te werken aan ‘evidencebased education’ (EBE). Daarbij moest een aantal zaken ontwikkeld worden:
Het vermogen van leraren om beantwoordbare vragen te stellen over onderwijs, om onderzoeksresultaten op te zoeken en kritisch te lezen, en ze te wegen op relevantie
Het vermogen van onderwijsonderzoekers om betrouwbare kennis op te bouwen.
Onderwijskundige Bob Slavin onderstreepte vervolgens het belang van experimenteel onderzoek: je onderzoekt een interventie door, in het simpelste geval, een willekeurige helft van een leerlingenpopulatie de interventie te geven en de andere helft niet. Als je dat netjes doet, kan je een eventueel verschil in uitkomsten tussen de twee groepen toeschrijven aan de interventie. Wil je betrouwbaar oorzakelijke verbanden aanwijzen (‘dit veroorzaakt dat’), dan ontkom je niet aan deze methode. In de gezondheidszorg is dat al heel gebruikelijk. Geen medicijn of vaccin mag de markt op voordat het op deze manier grondig getest is.
En hoewel er natuurlijk nog veel andere soorten onderwijsonderzoek bestaan die bewijzen opleveren en dus evidencebased te noemen zijn, is EBE voortaan voor velen synoniem geworden voor grootschalige effectstudies. Dit tot spijt van Davies en Slavin die steeds benadrukten dat alle soorten onderzoek een bijdrage kunnen leveren.
EBE voor velen helaas synoniem
voor grootschalige effectstudies
In geen enkel land is onderwijsbeleid puur gebaseerd op grootschalig effectonderzoek. Maar beleidsmakers in de Verenigde Staten, Groot Brittannië en China brengen wel EBE in de praktijk door een deel van het onderwijsbudget te besteden aan bewezen succesvolle onderwijsinterventies. Die zijn vaak met allerlei onderzoek ontwikkeld, maar bij de uiteindelijke beoordeling van effectiviteit wordt het meeste gewicht gehecht aan grootschalige effectstudies.
In Nederland gebeurde dit voor het eerst toen de antipestprogramma’s van scholen vanaf 2013 EBE-proof moesten zijn. Bij het Nationaal Programma Onderwijs van 2020 kwam het ministerie van OCW met dezelfde eis: scholen moesten interventies kiezen uit de zogenoemde menukaart van bewezen effectieve maatregelen.
EBE en de nadruk op grootschalige effectstudies riepen opvallend veel kritiek op van onderwijsonderzoekers. Cook zette ze al in 2007 op een rij, maar sindsdien kwamen er nog zoveel critici bij dat we onlangs in een artikel alle nieuwe argumenten hebben besproken. Hier behandelen we twee van de meest voorkomende.
Stel dat een veelbelovende onderwijsmethode, -opdracht, of manier van lesgeven in school X experimenteel is onderzocht en als effectief uit de bus kwam. Mogen we dan concluderen dat die in andere scholen ook succesvol zal zijn? Onder andere Gert Biesta stelt dat het naïef is om ervan uit te gaan dat leerlingen voorspelbaar gedrag vertonen, onafhankelijk van tijd en plaats. Of mensen iets leren hangt af van hun interpretaties. Biesta stelt daarom voor, in lijn met het gedachtegoed van John Dewey, onderwijs te zien als een open, onvoorspelbaar systeem dat niet werkt op basis van fysische krachten, maar berust op uitwisseling van betekenis. Consequentie: wat op het ene moment op de ene school bleek te werken, hoeft nog niet te werken op een ander moment of op een andere school.
Dat klinkt aannemelijk, maar Biesta’s stelling is nogal radicaal. De hele maatschappij is een systeem gericht op uitwisseling van betekenis. Zijn generalisaties dus in alle sociale wetenschappen onmogelijk? En zeggen onze eigen ervaringen dan wel iets over de toekomst? Leraren gebruiken hun ervaringen uit eerdere jaren om beter les te geven, maar dat zou volgens Biesta niet kunnen: wie zegt dat hun eerdere ervaringen voorspellende waarde hebben?
Als we reflecteren op onze eigen ervaringen zien we wat er mis is met het argument: zo onvoorspelbaar zijn sociale interacties niet. Leraren merken dat leerlingen jaar in jaar uit dezelfde onderwerpen makkelijk dan wel moeilijk vinden, jaar in jaar uit hun boeken vergeten mee te nemen, jaar in jaar uit lachen om dezelfde grapjes. Een leraar die verkast naar een andere school merkt meestal dat er veel anders gaat, maar ook wel erg veel op alle scholen hetzelfde is. Niet alleen als leraar, maar ook als wetenschapper kan je van die overeenkomsten gebruikmaken. Zo blijken Finse pestprotocollen ook te werken in Nederland en werken veel methoden van Maria Montessori (al ruim honderd jaar oud!) nog steeds.
Doet context er dan niet toe? Zeker wel, maar in welke mate is altijd een te onderzoeken vraag. Goede effectstudies bekijken daarom een interventie in meer contexten. Met verschillende grote steekproeven kun je nagaan of er (statistisch significante) patronen opvallen. Als een manier van werken op veel plekken tot resultaat leidt, dan is het geen garantie dat het ook in jouw klas zal werken. Maar de kans dat dit wel enig effect zal sorteren, is groter dan wanneer je zomaar wat probeert. Daarom zou je in het onderwijs, net als in de medische wetenschap, juist meer experimenten moeten doen. Onderwijsmethoden zijn vaak niet, of slechts met een klein experiment getoetst, waar medische methoden of medicijnen drie fases van grondige toetsing moeten doorlopen.
Naast experimenteel effectonderzoek is het van groot belang om de onderliggende mechanismes te onderzoeken. Waarom werkt het bijvoorbeeld in zoveel verschillende contexten goed om als leraar na te gaan in hoeverre je leerlingen de stof snappen? Die mechanismes doorgronden maakt de kans groter dat iets wat effectief was in situatie 1 ook goed toepasbaar is in situatie 2. Steeds meer wetenschappers bestuderen daarom naast effecten ook mechanismes; onderwijsonderzoekers zouden dit ook meer mogen doen.
De tweede veelgehoorde kritiek is dat EBE alleen oog heeft voor wat meetbaar is. Hiermee zou het minder of niet meetbare onderwijsdoelstellingen -socialisatie of subjectificatie - ondermijnen. Meten we wat we waarderen of waarderen we wat we kunnen meten?
Ook dit klinkt sympathiek, maar verdient nadere inspectie. Waarom spelen taal- en rekenvaardigheden zo’n belangrijke rol op de basisschool? Omdat ze meetbaar zijn of omdat er brede maatschappelijke consensus is over hun waarde? Dat laatste, lijkt ons, want taal en rekenen waren ook al de kern toen Cito-toetsen nog niet bestonden. Het is dus andersom: er zijn goede meetinstrumenten voor taal en rekenen, omdat dit zulke belangrijke vaardigheden zijn.
Die brede consensus geldt niet alle doelstellingen en niet toevallig zijn dat degenen waar geen meetinstrumenten voor zijn. Hoe specifieker en persoonlijker een doelstelling, hoe minder consensus er is over wat die betekent, hoe je die onderwijst of evalueert. Zolang we het bijvoorbeeld niet eens zijn over de doelstelling subjectificatie is die ofwel te vaag of te omstreden om te meten.
Zodra we het enigszins eens worden over een leerdoel, kunnen leraren en wetenschappers deze operationaliseren, doceren en evalueren. Dat kan ook met minder traditionele doelen. Wil de horecavakschool haar studenten gastvrijheid aanleren, dan maken leraren concreet wat ze hieronder verstaan en beoordelen ze hun studenten hierop. 
En als docenten van een kunstacademie hun studenten willen beoordelen op het maken van een authentiek meesterwerk waarin een persoonlijke stem doorklinkt, dan vinden ze manieren om dit te beoordelen. De uitdaging van de onderwijswetenschapper (hoe kunnen we iets evalueren?) is hetzelfde als die van leraren die (al dan niet formatief) willen toetsen - en al even oplosbaar.
Biesta en anderen stellen terecht dat onderwijs begint bij doelen. Het lijkt alleen alsof ze niet weten dat het in de praktijk ook zo gaat: curriculumontwikkelaars werken doelen uit en laten het veld daar leerlijnen en toetsen bij ontwikkelen. EBE wordt pas problematisch als je gelooft dat er algemeen onderkende onderwijsdoelen zijn die je kan onderwijzen, maar niet kan toetsen of evalueren. Die combinatie veronderstelt dat leraren en onderwijsonderzoekers niet vindingrijk zijn, maar dat zijn ze wel.
We hopen dat we hebben laten zien dat plausibel klinkende argumenten tegen EBE bij nader inzien niet zo overtuigend zijn. Dat betekent niet dat ze waardeloos zijn. De discussie over de rol van context heeft er bijvoorbeeld toe geleid dat voorstanders van EBE nu beter snappen dat het niet alleen belangrijk is dat iets werkt, maar ook hoe (het mechanisme).
We hopen dat voor- en tegenstanders in gesprek blijven. Of dat tot consensus leidt, valt te bezien, maar EBE zal er in ieder geval beter van worden.
Izaak Dekker is onderzoeker bij het Lectoraat Didactiek van de Bètavakken en de Faculteit Onderwijs en Opvoeding (FOO) van de Hogeschool van Amsterdam. Martijn Meeter is hoogleraar Onderwijswetenschappen aan de Vrije Universiteit Amsterdam.
1 Evidence-informed naar de top
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
