Onderzoek

Evidence-informed naar de top

‘Van een aantal interventies in het onderwijs is echt wel bewijs dat ze in verschillende contexten werken,’ zegt Gerard Baars, directeur van het Nationaal Regieorgaan Onderwijsonderzoek. En met ‘werken’ bedoelt hij dat ze een relatie hebben met leerresultaten, welbevinden, sociaal-emotionele ontwikkeling of andere onderwijsuitkomsten. Neem bijvoorbeeld feedback, waarvan de NRO-site Onderwijskennis.nl meldt dat het veel effect kan hebben en weinig kost. Maar not all is well in het Koninkrijk der Nederlanden. Want wat weet je dan? We citeren nog even de site: ‘Feedback houdt in dat leerlingen informatie krijgen over hun prestaties in relatie tot de leerdoelen of -resultaten. Het moet erop gericht zijn het leren van de leerling te verbeteren (en geschikt zijn voor dat doel).’ Maar wat je ook wilt weten, is hoe je feedback moet geven in verschillende situaties, zodat je leerlingen echt vooruit helpt in hun leerproces. Baars: ‘Alleen maar kijken naar lijstjes met effect sizes, daarmee kun je leraren en schoolleiders op het verkeerde been zetten. Wat we daarnaast nodig hebben, is zicht op de werkzame mechanismen bij de implementatie van een interventie op school.’

Nog een voorbeeld? ‘Neem tutoring,’ zegt Baars. ‘We weten dat intensieve begeleiding vooral effectief is als deze aansluit op het reguliere onderwijsprogramma, gegeven wordt in een kleine groep, als de tutor deskundig is, zeker ook op pedagogisch-didactisch vlak en tutoring ook een bepaalde duur en intensiteit heeft. Er zijn dus best veel factoren die meespelen of tutoring wel of niet effectief is.’

‘Alleen naar effect sizes
kijken, kan leraar op
verkeerde been zetten

Het is grappig dat Baars nu juist tutoring als voorbeeld geeft, want dat is een van de belangrijkste elementen van de evidence-based aanpak van Success for All, een programma dat onderwijsonderzoeker Bob Slavin zo’n vijftig jaar geleden ontwikkelde en uitgebreid onderzocht. Het leverde in de Verenigde Staten (VS) flinke leerwinst op bij achterstandsleerlingen. Emeritus hoogleraar Roel Bosker van de Rijksuniversiteit Groningen (RUG) haalde het naar Nederland. Samen met Marijke Mullender-Wijnsma is hij inmiddels zo’n zeven jaar bezig het programma op een aantal basisscholen in Groningen te implementeren. Het proces dat zij hebben doorgemaakt, is een mooi voorbeeld van wat er allemaal komt kijken bij het transplanteren van een evidence-based aanpak van het ene land naar het andere. In vier woorden: het valt niet mee.

Cultuurverschillen

Het gekke was: het Success for All-programma lag klaar in de VS. Vertalen en hupsakee, zou je zeggen? Zo makkelijk gaat dat dus niet. Bosker: ‘Bij ons was het een rolling reform, zoals dat zo mooi heet. Terwijl wij het programma vertaalden en aanpasten aan de Nederlandse situatie en invoerden in groep 3, evalueerden we wat er met die leerlingen gebeurde én ontwikkelden we tegelijkertijd het materiaal voor groep 4. En dat zo door tot en met groep 8 vijf jaren later.’ Dat was al een uitdaging, maar de implementatie bleek meer onvoorziene eisen te stellen. Kort samengevat: een goed programma is slechts het begin; succesvolle implementatie staat of valt bij de mensen. Gaandeweg ontdekten Bosker en Mullender-Wijnsma bijvoorbeeld hoe belangrijk het was dat het hele team achter het programma stond (80 procent van de leerkrachten is nu de norm). Ook bleek essentieel dat de schoolinterne coördinator uren kreeg om collega’s te observeren en te coachen. Cultuurverschillen speelden eveneens een rol, vertelt Bosker: ‘We zijn in Nederland gewend dat groepsleerkrachten veel professionele autonomie hebben. Maar dat kan helemaal niet met dit programma. Je moet Success for All juist als team uitvoeren, bijvoorbeeld omdat we jaargroepdoorbrekend werken tijdens de taallessen. Het was voor veel leraren een cultuurschok om opeens “hun kinderen” kwijt te zijn.’

Bewezen aanpak naar
elders transplanteren?
Dat valt niet mee

Achteraf klinkt het allemaal logisch, zeggen Bosker en Mullender-Wijnsma. ‘Je houdt een mooi verhaal en vertelt erbij dat het in Amerika effectief is gebleken. Nederlandse scholen denken dan al snel: “Oh, dat willen we ook gaan doen.” Maar wat er allemaal bij komt kijken, hebben wij misschien wel onvoldoende gecommuniceerd.’ Alle aanloopproblemen hebben volgens Bosker hun weerslag gehad op de effectiviteit van het programma. ‘Tot nu toe hebben we voor taal alleen een positief effect gevonden op technisch lezen in groep 3.’ Het programma is daarmee in Nederland nog lang niet zo bewezen succesvol als in de VS.

 

Zwaartekracht

Met vallen en opstaan heeft Bosker voor de validatie van Succes for All in Nederland financiering gevonden. ‘We moesten zelf steeds slim om ons heen kijken, om deze kansrijke interventie ook echt voor Nederland onderzocht te krijgen. Wij hebben geluk gehad dat de gemeente Groningen ons financieel steunde en dat drie schoolbesturen wilden meedoen. De RUG en de Hanze Hogeschool stelden promotieplekken beschikbaar en we hebben echt elke subsidiemogelijkheid die zich voordeed bij het NRO benut.’

Toch is Boskers conclusie: de onderzoeksinfrastructuur in Nederland is er niet op ingericht om kansrijke interventies te importeren en de implementatie op scholen te onderzoeken. ‘Ik zou willen dat er voor onderwijs een systematiek komt vergelijkbaar met de Zwaartekracht-programma’s van NWO.’ Die zijn bedoeld voor consortia die onderzoeks- en ontwikkelwerk op de lange termijn doen, zoals scheikundig Nobelprijswinnaar Ben Feringa dat bijvoorbeeld aan de RUG doet. Zwaartekracht honoreert tot nu toe vooral bèta-projecten, maar op 1 oktober startte ook een tienjarig multidisciplinair onderzoek, getiteld Growing Up Together in Society, waarin psychologen, pedagogen en sociologen samenwerken. Punt is, wil Bosker maar zeggen: niet alleen onderzoek maar ook de ontwikkeling of verdere bijstelling van kansrijke onderwijsinterventies is een dure kwestie. Voor Success for All zijn bijvoorbeeld tot nu toe 2000 lesuren taal ontwikkeld.

OCW draagt wel meer steentjes bij aan onderwijsonderzoek sinds corona. Het ministerie stimuleert immers het gebruik van evidence-informed interventies en materiaal in de praktijk, onder andere met de zogenoemde menukaart van het Nationaal Programma Onderwijs (NPO). Deze is grotendeels gebaseerd op onderzoek van de Britse Education Endowment Foundation. Hoe kijkt Bosker daarnaar? Mooi materiaal hoor, vindt hij, maar te fragmentarisch: ‘Wat je bij de EEF ziet, zijn eigenlijk ingrediënten van wat werkt, bijvoorbeeld: geef kinderen goede feedback. Maar ik heb tijdens mijn afscheid als hoogleraar in juli al gezegd: feedback heeft alleen maar nut als de voorafgaande instructie goed is geweest. Zolang je daar niet eerst aandacht aan besteedt, heeft het geen zin om te zeggen: we moeten allemaal in feedback gaan investeren.’

NRO start een nieuwe
lijn effectonderzoek
in schooljaar 2023

NRO-directeur Baars herkent het verhaal van Bosker wel. ‘Ook wij zien het belang van onderzoek naar implementatie en validatie,’ zegt Baars. ‘Dit schooljaar start het NRO daarom een nieuwe lijn effectonderzoek met een pilot naar High Dosage Tutoring (een interventie waarbij kansarme leerlingen tutoring in kleine groepen krijgen). Het jaar daarna gaan we verder met dertien andere interventies die al enigszins bewezen zijn, zoals verlengde leertijd onder en/of na schooltijd die zich richt op taal, rekenen of begrijpend of technisch lezen en Close Reading Goud, dat zich richt zich op het vroegtijdig wegwerken van leesachterstanden die zijn ontstaan tijdens de coronatijd. We begeleiden scholen bij de implementatie van een aanpak en vergelijken de resultaten met die van leerlingen op controlescholen, waar de aanpak niet is uitgevoerd; daarbij kijken we niet alleen naar leerresultaten, de sociaal-emotionele ontwikkeling of het welbevinden van leerlingen, maar ook naar het bredere plaatje, de werkzame mechanismen.’
 

Effectonderzoek

Het effectonderzoek is een kleine koerswijziging voor het NRO dat zich tot nog toe vooral onderscheidde door praktijkgericht, fundamenteel, en beleidsgericht onderzoek. Dat beaamt Baars. ‘In ons meerjarenplan staan al deze takken van sport voortaan letterlijk naast elkaar. Effectonderzoek kan toegevoegde waarde hebben. Als je ziet dat bepaalde aanpakken op kleine schaal op scholen kansrijk zijn of succesvol, is het natuurlijk interessant om te kijken: Werkt het ook op andere scholen? Weten we zeker waar we de gevonden resultaten aan te danken hebben? Met dit effectonderzoek kunnen we verder kijken dan de kraamkamer van de praktijk en kunnen scholen elkaar helpen de kwaliteit van hun onderwijs te versterken en bepaalde aanpakken in de toekomst mogelijk opschalen. Natuurlijk blijft de eigen afweging van de school belangrijk: past een bepaalde aanpak bij het onderwijs dat we geven, bij onze leerlingen en bij de vraagstukken waar we voor staan?’

De hamvraag blijft hoe straks die evidence-informed interventies navolging kunnen krijgen, zonder dat het een top down roll out wordt. Hoe komen ze bij de scholen terecht die ze het meeste nodig hebben? En welke scholen zijn dat dan?

Inspecteurs staan nu
soms tandenknarsend
aan de zijlijn te kijken

De onderwijsinspectie gebruikt onder andere data uit de eindtoetsen groep 8 om te beoordelen waar scholen staan en waar er verbetermogelijkheden zijn. Maar in het septembernummer schreven we al dat die beoordeling niet waterdicht is. Zo boekte de Amsterdamse Alan Turingschool een tijdlang slechte resultaten op het onderdeel begrijpend lezen in diverse eindtoetsen (een van de instrumenten die de inspectie gebruikt voor de beoordeling). Toch had de school volgens experts het leesonderwijs ingericht volgens de regels der wetenschappelijke kunst en scoorden de leerlingen op lvs-toetsen prima (en lazen ze ook met veel plezier trouwens).

Kortom: hoe weten we eigenlijk waar scholen echt nat gaan en welke scholen hulp van onderwijsonderzoekers nodig hebben om het op bepaalde onderdelen beter te gaan doen?

‘De eindtoets levert een beperkte dataset op,’ zegt inspecteur-generaal Alida Oppers desgevraagd. ‘We meten nu eenmaal niet alles.’ Maar de bottomline is eigenlijk dat de inspectie de put pas kan dempen als het kalf verdronken is, of anders gezegd, als een school door het ijs zakt omdat ze drie jaar op rij de basiskwaliteit niet haalt. ‘Pas op dat moment kunnen we echt in actie komen. Dan is er soms in een à anderhalf jaar wel veel mogelijk, gelukkig,’ ze glimlacht, ‘maar je wilt eigenlijk eerder al iets kunnen doen. En bovendien, wat mij vooral bezighoudt is de middenmoot, het grote peloton. Daar vind je ook scholen die met de hakken over de sloot komen en die je juist zou willen helpen met praktijkkennis van andere scholen en met kennis uit onderwijsonderzoek om erger te voorkomen.’

Andersom zijn er ook scholen die wel aan de slag gaan met interventies, maar waarvan de vraag is hoe nuttig dat is. Inspecteurs staan nu soms tandenknarsend aan de zijlijn. ‘Maar ja, je kunt niet zomaar als toezichthouder erop af gaan, als dingen wettelijk gewoon mógen,’ zegt Oppers. Wat haar betreft ligt wel de vraag op tafel: ‘Is de optelsom van deugdelijkheidseisen die we nu hanteren, een garantie voor kwalitatief goed onderwijs?’

Met de themaonderzoeken naar profielscholen die de inspectie een paar jaar geleden deed, bleek dat er best veel concepten vanuit ideologie of vanuit marketing de scholen binnenkomen, waar weinig doelen gesteld worden, laat staan dat gemeten wordt of die doelen bereikt worden. En dan kan het dus flink misgaan. Inmiddels is OCW wel strenger geworden en kan ze met de nieuwe wet Meer ruimte voor nieuwe scholen aanvragen op inhoudelijke criteria afwijzen. Wat minister Wiersma afgelopen zomer prompt heeft gedaan met 22 aanvragen.

Eigenaarschap

Maar juist omdat de handen van de Nederlandse inspecteur vooralsnog gebonden zijn, is het goed om gebruik van onderwijsonderzoek op scholen zo breed mogelijk te agenderen en aan te moedigen. Niet alleen de achterblijvers, maar het hele peloton scholen is daar bij gebaat. Oppers juicht mede daarom initiatieven toe zoals die van het NRO en recent van Ontwikkelkracht, om bewezen aanpakken samen met scholen te implementeren en te onderzoeken en meer specifiek om leraren via onderwijsonderzoek te professionaliseren. Zelf een actieve rol daarin spelen past de inspectie niet, vindt Oppers: ‘Het is echt aan de beroepsgroep van leraren zelf om de verbinding te leggen met de wetenschap en het onderwijsonderzoek. Wij kunnen wel tonen wat we tegenkomen op scholen, in de hoop dat het tot actie leidt. Als het ware de bal het veld op schoppen, maar anderen moeten scoren.’

En kennis uit onderwijsonderzoek actief verspreiden, bijvoorbeeld via de PO- en de VO-Raden? Gewoon op een website zetten, gaat zeker niet helpen, zegt Oppers. Momenteel doet de inspectie wel, samen met de universiteiten van Twente en van Maastricht, onderzoek naar de ingrediënten voor een goede les. De monitor die daarvoor is ontwikkeld, zou goed ingezet kunnen worden als een zelfevaluatie-instrument voor scholen. ‘Ik zou het heel mooi vinden om wat we zo voor het toezicht hebben ontwikkeld met publiek geld, terug te geven aan scholen die er hun voordeel mee kunnen doen.’

‘Overhead basisschool
mag royaler, met
uren voor onderzoek’

Eigenaarschap van leraren, daar draait het eigenlijk allemaal om. Om met zo’n zelfevaluatie aan de slag te gaan, om samen de implementatie van een interventie als Success for All uit te voeren of met onderzoekers in een NRO-traject samen te werken. Oppers maakt daar wel een interessante kanttekening bij. Om eigenaarschap van leraren inzake onderwijsonderzoek te stimuleren, moeten besturen en schoolleiders ook aan de bak én moet er meer financiële ruimte komen op scholen. ‘Het basisonderwijs is de schoolsoort met de laagste overhead; wat mij betreft mag die wel wat royaler, zodat bijvoorbeeld academische leraren of de rekencoördinator meer uren krijgen om zaken te analyseren en zich te verdiepen in onderwijsonderzoek. Op termijn profiteert het hele team daarvan.’

Om dat goed te regelen is strategisch personeelsbeleid essentieel. Oppers: ‘Uit onze onderzoeken blijkt dat echter maar matig in veel scholen.’ Baars zegt in andere woorden  hetzelfde: ‘Een systematische onderzoeks- en verbetercultuur binnen scholen is noodzakelijk als voedingsbodem om alles te laten landen. En daar hebben leraren gewoon meer uren voor nodig.’

Meer lezen over Success for all?

Eredoctoraat Robert Slavin. Didactief.

Help ouders met thuis lezen. Didactief.

Succes in groepjes. Didactief.

Meer weten over close reading?

Begrijpend lezen met plezier. Didactief.

In de biotoop van Heleen Buhrs. Didactief.

Meer lezen over tutoring?

Zet tutoring in na corona. Didactief.

Dit artikel verscheen in Didactief, oktober 2022.

Verder lezen

1 Hoe weet je of de resultaten van een meta-analyse waarschijnlijk valide zijn?
2 Kritiek op evidencebased education terecht?