Driessen duikt in NPO

Tekst Geert Driessen
Gepubliceerd op 30-06-2021
Beeld Shutterstock
Half mei verdiepte onderzoeker Geert Driessen zich al eens in de NPO-menukaart. Nu duikt hij nog wat dieper in de materie en neemt de bewijsvoering van de EEF-interventies onder de loep. Zijn conclusie is niet geruststellend.

 

Ten gevolge van de COVID-19 epidemie hebben veel leerlingen achterstanden opgelopen, zowel op cognitief als sociaal-emotioneel gebied. Teneinde deze weg te werken heeft het ministerie van OCW via het Nationaal Programma Onderwijs (NPO) eenmalig een bedrag van € 8.5 miljard ter beschikking gesteld. Scholen zijn verplicht voor de besteding van hun extra budget te kiezen voor een of meer bewezen effectieve interventies uit het NPO-keuzemenu. Dat menu bevat (vooralsnog) 22 interventies, de meeste daarvan (19) betreffen een bewerking van de Engelse Education Endowment Foundation (EEF), sommige (3) zijn door het ministerie daar aan toegevoegd. De onderbouwing van de effectiviteit van de interventies wordt verantwoord op de website van de EEF, onder Teaching and Learning Toolkit, en dan met name de Technical Appendices van elk van de interventies.


Hoe ‘bewezen effectief’(evidence-based) zijn de interventies feitelijk die in het NPO-keuzemenu zijn opgenomen? Om daarachter te komen, heb ik de door de EEF opgevoerde bewijzen onder de loep genomen. Tabel 1 (zie onder) biedt een overzicht.

De EEF onderscheidt twee typen studies, individuele studies en meta-analyses. Een meta-analyse omvat een kwantitatieve samenvatting van een reeks individuele studies. De effecten worden uitgedrukt in zogenoemde effect sizes. Bij de interpretatie van de sterkte van deze gestandaardiseerde effecten wordt doorgaans uitgegaan van de door het Nederlands Jeugdinstituut (NJI, 2021) aangehouden vuistregel: tot 0.20 is er geen of een verwaarloosbaar effect, van 0.20 tot 0.50 een klein effect, van 0.50 tot 0.80 een middelgroot effect, boven 0.80 een groot tot zeer groot effect. Een positief effect wil grofweg zeggen dat de interventie tot het gehoopte positieve resultaat leidt, een negatief effect duidt erop dat de interventie tot een niet-gewenst, negatief resultaat leidt. Wanneer er geen effect is (0.00) spreekt men van een nul-effect. In Tabel 1 staan per interventie het aantal onderliggende meta-analyses en individuele studies, de ‘range’ van de effecten (van sterk negatief naar sterk positief), het gemiddelde effect, en eventueel opvallende inhoudelijke en methodologische aspecten.

 

Tabel 1 – Overzicht effecten van ‘bewezen effectieve interventies’ (effect sizes)

Interventie

Metastudies / individuele studies

Min. – max. effect

Gemiddeld

effect

Opmerkingen

Voor- en vroegschools

12 / 0

0.15 – 0.55

0.38

Methodologische problemen. Recenter → zwakkere effecten. Vnl. oud VS onderzoek; VK onderzoek geen consistente effecten.

Uitbreiding onderwijstijd

8 / 5

-0.14 – 0.40

0.11

Veel variatie in effecten, niet consistent. Vnl. VS onderzoek; weinig bewijs VK. Vaak onderdeel breder programma → herkomst effect onduidelijk. Probleem: absentie leerlingen.

Zomer- en lentescholen

6 / 4

0.00 – 0.43

0.18

Kleine groepen, intensief, ervaren leraren → meer kans op succes. Probleem: absentie leerlingen.

1-op-1-begeleiding

7 / 7

-0.06 – 0.70

0.37

Soms opleiding tutor wel belangrijk, soms niet. Substantiële variatie in effecten, niet consistent.

Individuele instructie

7 / 2

-0.07 – 0.41

0.19

Veel oude studies. Methodologische problemen. Veel variatie in effecten.

Instructie kleine groepen

4 / 4

-0.08 – 1.61

0.31

Veelal oude studies. Vnl. vo Niet gericht op verbetering prestaties. Enorme variatie in effecten, niet consistent. Kwaliteit instructie waarschijnlijk erg belangrijk.

Directe instructie (*)

1 (328)

0.51 – 0.83

0.33

Geen directe referenties. Veelal oude studies in één meta-analyse. Effecten op cognitief, maar niet op sociaal-emotioneel vlak.

Leren van/met medeleerlingen

9 / 4

-0.06 – 1.05

0.37

Enkele oude studies. Methodologische problemen. Enorme variatie in effecten. Recenter → sterkere effecten, vaak i.c.m. inzet digitale middelen.

Feedback

7 / 0

0.20 – 0.97

0.63

Nagenoeg allemaal (erg) oude studies. Substantiële variatie in effecten. Recenter → zwakkere effecten.

Beheersingsgericht leren

6 / 4

0.04 – 1.64

0.40

Veelal erg oude studies. Methodologische problemen. Enorme variatie in effecten, niet consistent. Recentere VK studies → zwakkere effecten.

Technieken begrijpend lezen

8 / 4

0.10 – 0.74

0.45

Substantiële variatie. Vnl. uit VS. Recente VK studies → zwakkere effecten.

Gesproken-taalinterventies

11 / 7

-0.14 – 0.91

0.37

Zeer breed begrip met talloze invullingen. Enorme variatie in effecten, niet consistent.

Interventies welbevinden (*)

?

?

?

Zeer breed begrip met talloze invullingen. Geen referenties. Praktisch alle NJI- interventies mentale gezondheid niet effectief dan wel effectiviteit onbekend.

Sportieve activiteiten

3 / 0

0.10 – 0.80

0.17

Methodologische problemen. Substantiële variatie.

Cultuureducatie

5 / 2

0.03 – 0.77

0.15

Methodologische problemen. Substantiële variatie, niet consistent.

Metacognitie en zelfregulerend leren

11 / 9

-0.02 – 0.90

0.54

Effect sterk afhankelijk van of leerlingen zelf verantwoordelijkheid kunnen nemen voor hun leren. Methodologische problemen. Enorme variatie, niet consistent. Recente studies → zwakkere effecten.

Samenwerkend leren

11 / 1

0.13 – 0.91

0.38

Substantiële variatie, niet consistent.

Klassenverkleining

6 / 0

0.12 – 0.34

0.19

Veelal zeer oude studies uit de VS. Pas enig effect met minder dan 20 of zelfs 15 leerlingen per klas.

Onderwijsassistenten/ instructeurs

0 / 15

-0.15 – 1.50

0.08

Enorme variatie, niet consistent. Ook negatieve effecten.

Faciliteiten en randvoorwaarden (*)

?

?

?

I.c.m. met andere interventies. Geen referenties.

Ouderbetrokkenheid

15 / 4

-0.14 – 0.65

0.22

Zeer breed begrip met talloze invullingen. Substantiële variatie. Veelal oude studies uit de VS.

Digitale technologie

32 / 2

-0.15 – 1.13

0.29

Zeer breed begrip met talloze invullingen. Methodologische problemen. Enorme variatie, niet consistent.

Niet opgenomen in de EEF Toolkit.

 

Als we naar de effecten in de tabel kijken, wordt duidelijk dat van enkele interventies niet duidelijk is hoe effectief ze zijn, van een derde van de interventies is het gemiddelde effect verwaarloosbaar (<0.20), in de helft van de gevallen is het effect klein(0.20-0.50), en in slechts twee gevallen is het effect nipt middelgroot (>0.50). Samenvattend: als ze al effectief zijn, zijn praktisch alle interventies hooguit zwak effectief. Hierbij is het overigens verrassend dat voor een belangrijk deel van de interventies geldt dat ze niet voldoen aan de (eigen) standaarden voor effectiviteit. Maar dit oordeel is bovendien nog sterk geflatteerd. Uit de tabel blijkt immers ook overduidelijk dat er een enorme variatie bestaat in de sterkte van de effecten, ze schieten alle kanten op, van negatief naar sterk positief. Aan eenduidige consistente effecten ontbreekt het in het merendeel van de gevallen. Er is kennelijk meer aan de hand, de situatie is aanmerkelijk complexer dan wellicht verondersteld. In Tabel 2 vatten we de belangrijkste problematisch aspecten samen.

 

Tabel 2 – Overzicht problematische aspecten onderzoek naar ‘bewezen effectieve interventies’ (trends)

  • Interventies omvatten uiteenlopende (praktische) invullingen; doorgaans zeer breed, abstract concept; vaak niet even duidelijk wat precies wordt bedoeld.

  • Geen of nauwelijks gericht onderzoek; voor zover onderzoek, is dat voornamelijk uit de Verenigde Staten en – minder nog – het Verenigd Koninkrijk, terwijl Nederlands onderzoek veelal helemaal ontbreekt (lees ook: 'Waarom negeert OCW ons eigen onderwijsonderzoek?').

  • Conclusies van de EEF zijn gebaseerd op een relatief gering aantal studies, die bovendien vaak (sterk) gedateerd zijn.

  • De door de EEF opgevoerde (meta-)analyses vertonen erg veel overlap, zeker wanneer die door eenzelfde auteur worden verricht.

  • Geen onderzoek vanuit Covid-context. Afwijkend doel onderzoek en afwijkende doelgroep: interventies doorgaans opgezet om achterstanden van kinderen uit lagere milieus en met een etnische achtergrond te voorkomen, verminderen of weg te werken.

  • Onderzoek voldoet in methodologische zin vaak niet.

  • Zowel positieve, nul- als negatieve effecten; van sterk positief naar sterk negatief; geen consistentie, eenduidigheid ontbreekt.

  • Eventuele positieve effecten lijken te worden overgerapporteerd; weinig aandacht voor (oorzaken van) negatieve en nul-effecten.

  • Eventuele effecten gelden alleen voor specifieke doelgroepen (bijvoorbeeld milieu, etniciteit, leeftijd/leerjaar, po/vo) in combinatie met inhoudelijke domeinen (bv taal, rekenen, zelfvertrouwen, motivatie). In de samenvattende effect sizes wordt dit allemaal op één hoop gegooid, terwijl die onderscheiden bij de inzet van de interventies om Covid-achterstanden weg te werken cruciaal zijn.

  • Interpretatie van de effecten voldoet niet altijd aan standaarden; effectief is volgens eigen standaarden dan niet effectief.

  • Recentere studies laten vaak zwakkere effecten zien dan oudere studies.

  • Veel discussie en twijfel over validiteit omzetting effect in maanden vooruitgang.

 

 

Er mogen op basis van bovenstaande bevindingen grote vraagtekens worden gezet bij de verplichting voor scholen om interventies uit de menukaart te kiezen. Wellicht is het beter om nu eindelijk eens goede studies op te zetten om in de toekomst echt bewezen effectieve interventies bij de hand te hebben. De huidige situatie biedt daartoe goede mogelijkheden. Echter, de wil, expertise en haast zijn dan geboden om daarmee te beginnen.


Dr. Geert Driessen was tot 2016 als onderwijskundig onderzoeker verbonden aan het Instituut voor Toegepaste Sociale Wetenschappen (ITS). Hij promoveerde op een proefschrift over de positie van allochtone leerlingen in het onderwijs. 

 

 

 

// Meer Didactief-artikelen lezen? Trakteer jezelf op een online abonnement voor slechts €24,50: maar liefst tien edities per jaar en toegang tot ons archief vanaf 2003.https://didactiefonline.nl/aanbieding 

Verder lezen

1 Het NPO-menu: gehakt
2 NPO: Q&A's
3 Dossier: NPO

Een ogenblik geduld...
Click here to revoke the Cookie consent