Het NPO-menu: gehakt

Als onderzoeker uit een reeks empirische studies een lijstje destilleren van kenmerken die verschillen in onderwijsprestaties verklaren is één ding, op basis daarvan een vertaalslag maken naar de onderwijspraktijk zodat die daar concreet mee aan de slag kan is een heel ander. Het ministerie heeft nu in het kader van het Nationaal Programma Onderwijs (NPO) een menukaart opgesteld van wat zij aanvankelijk kwalificeerde als ‘bewezen effectieve’ interventies om corona-achterstanden weg te werken. Waarschijnlijk omdat die er bij nader inzien toch onvoldoende waren, is bij OCW de inflatie toegeslagen en is daar ‘kansrijk’ en ‘aannemelijk effectief’ van gemaakt. Bovendien kwam OCW erachter dat er in Nederland nauwelijks adequaat onderzoek naar mogelijke interventies was verricht en moest ze daarom noodgedwongen een toevlucht zoeken tot het buitenland. Ze kwam daarbij uit bij de Britse Education Endowment Foundation (EEF), die op basis van onderzoeksresultaten enkele toolkits heeft ontwikkeld om onderwijsachterstanden weg te werken. De NPO-menukaart is grotendeels gebaseerd op die van het EEF, zo mogelijk aangevuld met uitkomsten van ander (Nederlands) onderzoek en een toelichting en tips hoe deze interventies in de praktijk kunnen worden ingezet.

Op de EEF-site staat een dertigtal interventies (op de NPO-site 20, maar dat aantal kan toenemen), met voor elk daarvan een beoordeling op drie criteria: de kosten, de sterkte van het bewijs, en de impact/het effect in termen van het aantal extra maanden vooruitgang. Dat lijkt (verraderlijk) handig en simpel, maar er zitten tegelijkertijd flink wat haken en ogen aan. (Hetgeen overigens door de opstellers van het menu ook wordt vermeld.) Allereerst focust de EEF op Angelsaksisch onderzoek, en wijken de omstandigheden daar vaak flink af van die in Nederland. Bovendien was dat onderzoek doorgaans gericht op het bestrijden van onderwijsachterstanden die het gevolg zijn van milieu- en migratiefactoren, en in ieder geval niet op corona-achterstanden. Of die ‘bewezen’ interventies ook in Nederland en voor corona werken, is daarom maar zeer de vraag.

Impact

Daarnaast kunnen er vraagtekens worden geplaatst bij de (onderbouwing van de) drie genoemde beoordelingscriteria. Neem de impact, het aantal maanden additionele vooruitgang ten gevolge van deelname aan de interventie. Er worden al lang serieuze bezwaren naar voren gebracht tegen een simpele omzetting van effecten naar maanden (extra!) groei; een procedure die daarom sterk wordt afgeraden (Baird & Pane, 2019). Groei is niet lineair; er zijn verschillen naar jaargroep/leeftijd, onderwerp/vakgebied en test/meetinstrument (Dadey & Briggs, 2012). Daarbij bestaat het gevaar dat alles op één hoop wordt gegooid en appels en peren worden vergeleken (Simpson, 2018). Bovendien ontstaat groei niet alleen ten gevolge van scholing, maar ook door maturatie (rijper worden) en buitenschoolse invloeden (Luyten, Merrell & Tymms, 2017). En groei is ook afhankelijk van het startniveau, de mate van beginachterstand. En, uiteraard, heeft een dergelijke omzetting sowieso geen betekenis voor niet-cognitieve maten, zoals welzijn of motivatie (Jones, 2019).

Bij dit alles komt echter nog een veel groter probleem: over welke extra vooruitgang hebben we het eigenlijk? In de menukaart zijn braaf de maanden extra vooruitgang uit de EEF Toolkit overgenomen, maar gaat het om taal, rekenen, motivatie, gedrag, gezondheid? En geldt die vooruitgang voor alle domeinen, of is het zelfs zo dat er vooruitgang is op het ene domein en achteruitgang op het andere? Een dergelijke specificatie is natuurlijk essentieel wanneer schoolleiders en leraren een verantwoorde keuze moeten maken uit interventies gericht op de specifieke achterstanden van hun leerlingen. Aangezien de achterstanden zich op verschillende terreinen manifesteren, zullen er ongetwijfeld ook meerdere interventies moeten worden ingezet. Dan is het wel zo handig te weten welke interventie wat oplevert (Algemene Rekenkamer, 2021).

Kosten

Over een tweede beoordelingscriterium, de kosten, hoeven scholen zich waarschijnlijk geen zorgen te maken. Nadat minister Slob jarenlang heeft volgehouden dat er geen cent extra naar het onderwijs kon, want dat geld was er volgens hem simpelweg niet, tovert hij nu plotsklaps vele miljarden uit zijn hoge hoed.

Zoiets komt het vertrouwen en de geloofwaardigheid van bewindslieden niet echt ten goede – en die hebben de afgelopen tijd sowieso al een flinke deuk opgelopen. Maar voor scholen is dit nu, voorlopig althans, een hele geruststelling. En uiteraard is het voor scholen ook geweldig dat er alle vrijheid is in de besteding van al dat geld. De vraag blijft natuurlijk wat het allemaal gaat opleveren. En of we daar ooit zicht op zullen krijgen.

Bewijs

Ook op het derde beoordelingscriterium, het bewijs, valt nogal wat af te dingen. Nemen we als voorbeeld, en die is exemplarisch voor de hele EEF-toolkit, een concrete interventie om een en ander te verduidelijken. Aan de interventie ‘ouderbetrokkenheid’ liggen vijftig afzonderlijke studies ten grondslag (EEF, 2019). Allereerst heeft het EEF daarvan de kwaliteit beoordeeld; die is doorgaans niet meer dan laag tot middelmatig. Met andere woorden: bij de bevindingen dient sowieso de nodige terughoudendheid betracht te worden. Wat er precies onder een interventie valt, is niet altijd in detail gespecificeerd; het EEF onderscheidt vier grove categorieën: thuis leren, communiceren, opvoeden, en overig. Daarbij worden eveneens vier effectdomeinen onderscheiden: cognitie, overige leeruitkomsten, gedrag, en ouderbetrokkenheid. De gemiddelde effecten, uitgedrukt in termen van effect sizes, bedragen voor cognitie 0,11, voor overig leren 0,18, voor gedrag 0,22, en voor ouderbetrokkenheid 0,18. Vaak wordt bij de interpretatie van effect sizes de volgende vuistregel aangehouden (NJI, 2021): tot 0,20 geen of een verwaarloosbaar effect, van 0,20 tot 0,50 een klein effect, van 0,50 tot 0,80 een middelgroot effect, boven 0,80 een groot tot zeer groot effect. Een positieve effect size wil grofweg zeggen dat de interventie tot het gehoopte positieve resultaat leidt, een negatieve effect size duidt erop dat de interventie tot een niet-gewenst, negatief resultaat leidt. Dat de gemiddelde effecten volgens het EEF zelf verwaarloosbaar zijn, is echter niet het enige mankement. Ze variëren ook nog eens enorm, zowel binnen een studie binnen één domein (-0,48 tot 0,77), binnen een studie over de domeinen heen (-0,35 tot 1,42), alsook over de studies heen (van -0,96 tot 1,52). Deze variatie duidt erop dat er nauwelijks een peil op de effectiviteit van ouderbetrokkenheid valt te trekken. Behalve dat ze gemiddeld genomen verwaarloosbaar zijn en dat sommige interventies tot uitkomsten leiden die je juist níet wilt hebben. En daarenboven verschillen de effecten over de domeinen: eenzelfde interventie kan tot betere cognitieve prestaties leiden, maar tegelijkertijd ook tot meer ongewenst gedrag.

En nu de praktijk

Wat moeten we nu met zo’n volgens OCW ‘evidence based’ interventie? Voor een onderzoeker is het al lastig dit allemaal goed te duiden; je moet daarvoor op z’n minst terug naar de onderliggende studies, en veel over onderzoek, methoden en statistiek weten.

Voor een schoolleider of leerkracht (of ouder in de MR) is het al helemaal onbegonnen werk; zij missen gewoon de benodigde kennis en - zeker ook – tijd om uit de menukaart een verantwoorde selectie te kunnen maken die aansluit bij hun specifieke behoeftes. En als dat hen al zou lukken, dan moeten ze uiteindelijk de interventies (meervoud!) ook nog eens gaan vertalen naar hun concrete schoolpraktijk.

Ten slotte

Het is geenszins mijn bedoeling het NPO af te kraken, dat kent zeker ook positieve punten. En bovendien, het is nog in ontwikkeling. Dat is op zich al een goede ontwikkeling. Waar ik me gewoon zorgen over maak, is dat OCW het allemaal veel te simpel voorstelt, de uitwerking gemakshalve bij de scholen neerlegt (die al lange tijd op hun tenen lopen), die het ook niet allemaal goed kunnen beoordelen, en dat er later zal blijken dat er weer miljarden down the drain zijn gespoeld.

Dr. Geert Driessen was tot 2016 als onderwijskundig onderzoeker verbonden aan het Instituut voor Toegepaste Sociale Wetenschappen (ITS). Hij promoveerde op een proefschrift over de positie van allochtone leerlingen in het onderwijs.  

Verder lezen

1 Het nationaal programma
2 Giftig cadeau
3 NPO: Q&A's
4 Zo doorgaan met het onderwijsachterstandenbeleid?
5 Arme schoolleiders, arme leraren