Met goed onderwijs bied je alle kinderen gelijke kansen, en om dat te bewerkstelligen moeten we scholen en leraren voeden met kennis. Dit vormde in 2011 de achterliggende idee voor de oprichting van EEF. Dit initiatief van liefdadigheidsinstelling Sutton Trust wordt inmiddels gesteund door het Britse onderwijsministerie met een subsidie van 125 miljoen pond. EEF heeft in krap tien jaar tijd haar naam gevestigd: twaalfduizend centra voor kinderopvang en po- en vo-scholen hebben deelgenomen aan onderzoek en gebruiken de publicaties.
Op de website van EEF kunnen scholen en leraren gratis guidance reports downloaden, boekjes waarin wetenschappelijke inzichten over thema’s als zelfregulerend leren en het verbeteren van de geletterdheid in het vo helder staan samengevat. Ze kunnen ook de Teaching & Learning Toolkit raadplegen; deze vat voor diverse thema’s de bevindingen uit meta-analyses samen over kosten, impact en wetenschappelijk bewijs (over samenwerkend leren bijvoorbeeld: een gemiddelde impact, lage kosten en veel bewijs dat het vruchten afwerpt). Ten slotte laat EEF zelf ook grootschalig (veld)onderzoek uitvoeren. Zo deed Dylan Wiliam empirisch onderzoek naar formatief toetsen.
‘EEF heeft in Engeland pionierswerk verricht met zo’n 150 grootschalige onderzoeken op terreinen die voor leraren en scholen interessant zijn. Er waren ruim een miljoen leerlingen bij betrokken. Met zo’n onderzoeksopzet kun je beter iets zeggen over wat heeft gewerkt,’ zegt Steven Higgins. De hoogleraar Education aan Durham University is een van de vele onafhankelijke onderzoekers die werkt voor EEF. De hoofdauteur van de Toolkit is er heilig van overtuigd dat onderwijsonderzoek leraren kan helpen bij hun werk en omschrijft zichzelf als ‘advocate for evidence-informed decision-making in education’.
Welke criteria hanteert EEF om onderwijsonderzoek te beoordelen?
‘Met “hangslotjes” geven we de algehele betrouwbaarheid van onderzoek aan: hoe meer slotjes, hoe beter, met vijf als maximum score. Bij afzonderlijke onderzoeken kijken we naar de validiteit oftewel de kwaliteit van de methodologie en de betrouwbaarheid van de bevindingen, bij de meta-analyses naar de aard en de omvang van het bewijs en de robuustheid van de verschillende onderzoeksontwerpen.’
En wat is dan precies betrouwbaar onderzoek?
‘Eerst en vooral: je oordeel hangt af van de onderzoeksvraag en van de mogelijke gevolgen van een evidence-informed beslissing. Als het risico van gebruik kritiek is, zoals bij een nieuw medicijn, dan moet het bewijs accuraat en betrouwbaar zijn. Maar als je een richtsnoer zoekt in wat mogelijk succesvol is bij bijvoorbeeld het onderwijzen van een probleemoplossing in wiskunde, dan kunnen we de criteria voor afzonderlijke onderzoeken wat versoepelen en op zoek gaan naar patronen in effecten in verschillende studies. Ik zou dan nog steeds graag een controle- of vergelijkingsgroep willen zien, maar het patroon van de effecten mag meer indicatief zijn voor wat werkt voor wie en waar.’
Wanneer is bewijs krachtig genoeg om leraren te vertellen dat iets werkt?
‘Bewijs uit onderwijsonderzoek laat altijd een aanzienlijke variatie in effecten zien, niet in de laatste plaats omdat onderzoeken zoveel verschillen in opzet. Dat betekent dat je wel kunt zien wat gemiddeld lijkt te werken, maar dat je dat in andere, nieuwe contexten niet kunt garanderen. Ik geef er daarom de voorkeur aan om te praten over “wat heeft gewerkt” in plaats van “dit werkt”, en deze aanwijzingen te beschouwen als good of juist risky bets die leraren kunnen helpen om professionele beslissingen te nemen. Ik vergelijk de huidige staat van onderwijskundig bewijs graag met een mappa mundi oftewel een middeleeuwse wereldkaart: het is een goed begin, maar er is nog veel werk nodig om alle details te begrijpen. We hebben sterke bewijzen voor sommige terreinen, zoals lezen en wiskunde, maar voor andere is het bewijs nog meer schetsmatig en moeten we de kaart nog gedetailleerder invullen.’
Het maakt ook uit wie welke beslissing neemt op basis van onderzoek, stelt Higgins. Voor een leraar die iets wil uitproberen in de klas ligt de bewijslast anders dan voor zeg een onderwijsminister. ‘Voor een politieke beslissing over welke aanpak je leraren moet adviseren, moeten we de lat veel hoger leggen. Om echt te bewijzen dat een bepaalde aanpak zorgt voor betere leerlingprestaties moet je experimenteel onderzoek doen in echte scholen met echte leraren en leerlingen. En je onderzoek moet grootschalig zijn met een grote validiteit en met een aanpak die ook bij opschaling en herhaling zijn effect behoudt. Dat is in onderwijsonderzoek nog niet zo eenvoudig, want juist in grootschalige onderwijsonderzoeken vind je per definitie kleine effecten, omdat leerlingen en leraren zoveel verschillen. Zou je zo’n aanpak toch breed opleggen, dan kan dat de zaken voor leraren en scholen die al succesvol waren, eerder verslechteren.'
The Hechinger Report wees op schaduwkanten van onderwijsonderzoek, zoals vooringenomenheid, voorkennis en te veel enthousiasme bij onderzoekers. Herkent u dat?
‘Natuurlijk, onderwijs is onderhevig aan dezelfde druk als andere onderzoeksterreinen. Er is sprake van een echte catch 22 (een valstrik van beleid, red.): hoe meer beslissingen worden gebaseerd op onderzoek, hoe belangrijker onderzoek wordt voor de carrières en banen van onderzoekers. Het risico op valsspelen groeit en dus moeten we waakzamer zijn bij de beoordeling van resultaten. De EEF staat erop om onafhankelijke mensen aan te trekken voor het beoordelen van grootschalig onderzoek. Ook eisen we de onderzoeksprotocollen en statistische analyseplannen van vóór de publicatie van het onderzoek. Zo kun je vooringenomenheid beter opsporen.’
‘Maak evidence onderdeel van de professionele
ontwikkeling en van besluitvorming in scholen’
Maar sommige zaken zijn inherent aan onderwijs(onderzoek), stelt Higgins. En daar kunnen we beter het beste van maken dan er moeilijk over doen: ‘Zo is het onmogelijk om leraren te vinden die een aanpak “blind” uitvoeren en dus kunnen hun overtuigingen het succes van de aanpak beïnvloeden. Ik denk dat dit nou net onderdeel is van wat we testen: de mate waarin leraren en scholen een bepaalde aanpak accepteren. Met een medische metafoor: het is de leraar die het pilletje slikt om zijn leerlingen beter te maken. Als voormalig leraar zou ik niet de overtuigingen van leraren en hun betrokkenheid bij het leren van hun leerlingen willen wegsnijden. Juist deze professionele betrokkenheid is een essentieel onderdeel van effectief lesgeven. En juist daarom denk ik dat het belangrijk is dat we onderzoeksbevindingen doorgeven als informatie die leraren kan ondersteunen bij hun beslissingen. Agency (handelingsvrijheid, red.) van leraren is een belangrijk deel van hun effectiviteit.’
‘Eén onderzoek, hoe groot en streng ook,
voldoet nooit om aan te tonen wat wel of niet werkt’
Higgins wijst op een andere valkuil: te snel geloven dat een bepaalde aanpak succesvol is. ‘Leerlingen hebben de neiging om vanzelf beter te worden, omdat ze groeien en rijpen door hun ervaringen. Het is al te makkelijk om dat toe te schrijven aan iets wat wij hebben gedaan. Daarom zijn er soms strenge trials nodig om onze overtuigingen over wat effectief is te testen. Daarbij is één onderzoek, hoe groot en streng ook, nooit voldoende om aan te tonen wat wel en niet werkt. Bovendien vertelt onderzoek ons vaak wel wat in een bepaalde situatie heeft gewerkt, maar niet waarom. En juist dat waaróm is voor leraren zo belangrijk om het in hun eigen context ook met succes toe te passen.’
Hoe kunnen leraren jullie Toolkit gebruiken?
‘De Toolkit biedt antwoorden over onderwijskundige issues op basis van meta-analyses. Om die effectief te gebruiken doen scholen en leraren er goed aan het onderwijskundige probleem of de vraag waar ze tegenaan lopen te benoemen. Ze zullen eerder iets vinden wat werkt als ze een terrein uitkiezen dat verbetering behoeft. Anders gezegd: if it ain’t broke, don’t fix it.’
In Nederland zijn ook plannen voor een EEF-achtige website. Welke tips en aanbevelingen kunt u ons geven?
‘Zorg ervoor dat evidence onderdeel is van de professionele ontwikkeling en van besluitvorming in scholen. En wees, zoals al gezegd, voorzichtig met al te grootse aanbevelingen. Natuurlijk, als we een immens effect vinden, dan moeten we iedereen aanmoedigen die aanpak over te nemen. Maar in de praktijk zijn effecten die we in onderwijsonderzoek vinden, vaak klein.
‘Elke nieuwe aanpak vergt tijd.
Je kunt je afvragen: ten koste waarvan gaat dat?’
Het is verder belangrijk om als beleidsmakers samen te werken met leraren in plaats van hen te controleren op naleving van een evidence-based aanpak. Ik wil mensen ook graag aanmoedigen om eerder over efficiency dan over effectiviteit na te denken. Onderwijs is complex en we hebben allerlei wensen over te behalen kennis, vaardigheden, begrip en houding. Elke nieuwe aanpak vergt tijd. En de vraag is ten koste waarvan dat gaat. Waar stoppen leraren dan mee? Daar moet je goed over nadenken.’
-------------------
Accurate, Accessible, Actionable, Appropriate, Acceptable en Applicable. Het zijn de zes punten van Higgins ‘onderzoeksdiamant’ – oftewel de zes A’s – die bepalen of onderwijsonderzoek impact heeft of niet. Aan de bovenkant staat wat de verantwoordelijkheden van de onderzoeker zijn en aan de onderkant die van de beleidsmakers en scholen (de gebruikers van onderzoek).
Steven Higgins, (2018) Improving Learning: Meta-analysis of Intervention Research in Education Cambridge: Cambridge University Press http://dx.doi.10.1017.9781139519618
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
