Ten gevolge van de COVID-19 epidemie hebben veel leerlingen achterstanden opgelopen, zowel op cognitief als sociaal-emotioneel gebied. Teneinde deze weg te werken heeft het ministerie van OCW via het Nationaal Programma Onderwijs (NPO) eenmalig een bedrag van € 8.5 miljard ter beschikking gesteld. Scholen zijn verplicht voor de besteding van hun extra budget te kiezen voor een of meer bewezen effectieve interventies uit het NPO-keuzemenu. Dat menu bevat (vooralsnog) 22 interventies, de meeste daarvan (19) betreffen een bewerking van de Engelse Education Endowment Foundation (EEF), sommige (3) zijn door het ministerie daar aan toegevoegd. De onderbouwing van de effectiviteit van de interventies wordt verantwoord op de website van de EEF, onder Teaching and Learning Toolkit, en dan met name de Technical Appendices van elk van de interventies. |
Hoe ‘bewezen effectief’(evidence-based) zijn de interventies feitelijk die in het NPO-keuzemenu zijn opgenomen? Om daarachter te komen, heb ik de door de EEF opgevoerde bewijzen onder de loep genomen. Tabel 1 (zie onder) biedt een overzicht.
De EEF onderscheidt twee typen studies, individuele studies en meta-analyses. Een meta-analyse omvat een kwantitatieve samenvatting van een reeks individuele studies. De effecten worden uitgedrukt in zogenoemde effect sizes. Bij de interpretatie van de sterkte van deze gestandaardiseerde effecten wordt doorgaans uitgegaan van de door het Nederlands Jeugdinstituut (NJI, 2021) aangehouden vuistregel: tot 0.20 is er geen of een verwaarloosbaar effect, van 0.20 tot 0.50 een klein effect, van 0.50 tot 0.80 een middelgroot effect, boven 0.80 een groot tot zeer groot effect. Een positief effect wil grofweg zeggen dat de interventie tot het gehoopte positieve resultaat leidt, een negatief effect duidt erop dat de interventie tot een niet-gewenst, negatief resultaat leidt. Wanneer er geen effect is (0.00) spreekt men van een nul-effect. In Tabel 1 staan per interventie het aantal onderliggende meta-analyses en individuele studies, de ‘range’ van de effecten (van sterk negatief naar sterk positief), het gemiddelde effect, en eventueel opvallende inhoudelijke en methodologische aspecten.
Tabel 1 – Overzicht effecten van ‘bewezen effectieve interventies’ (effect sizes)
Interventie |
Metastudies / individuele studies |
Min. – max. effect |
Gemiddeldeffect |
Opmerkingen |
---|---|---|---|---|
Voor- en vroegschools |
12 / 0 |
0.15 – 0.55 |
0.38 |
Methodologische problemen. Recenter → zwakkere effecten. Vnl. oud VS onderzoek; VK onderzoek geen consistente effecten. |
Uitbreiding onderwijstijd |
8 / 5 |
-0.14 – 0.40 |
0.11 |
Veel variatie in effecten, niet consistent. Vnl. VS onderzoek; weinig bewijs VK. Vaak onderdeel breder programma → herkomst effect onduidelijk. Probleem: absentie leerlingen. |
Zomer- en lentescholen |
6 / 4 |
0.00 – 0.43 |
0.18 |
Kleine groepen, intensief, ervaren leraren → meer kans op succes. Probleem: absentie leerlingen. |
1-op-1-begeleiding |
7 / 7 |
-0.06 – 0.70 |
0.37 |
Soms opleiding tutor wel belangrijk, soms niet. Substantiële variatie in effecten, niet consistent. |
Individuele instructie |
7 / 2 |
-0.07 – 0.41 |
0.19 |
Veel oude studies. Methodologische problemen. Veel variatie in effecten. |
Instructie kleine groepen |
4 / 4 |
-0.08 – 1.61 |
0.31 |
Veelal oude studies. Vnl. vo Niet gericht op verbetering prestaties. Enorme variatie in effecten, niet consistent. Kwaliteit instructie waarschijnlijk erg belangrijk. |
Directe instructie (*) |
1 (328) |
0.51 – 0.83 |
0.33 |
Geen directe referenties. Veelal oude studies in één meta-analyse. Effecten op cognitief, maar niet op sociaal-emotioneel vlak. |
Leren van/met medeleerlingen |
9 / 4 |
-0.06 – 1.05 |
0.37 |
Enkele oude studies. Methodologische problemen. Enorme variatie in effecten. Recenter → sterkere effecten, vaak i.c.m. inzet digitale middelen. |
Feedback |
7 / 0 |
0.20 – 0.97 |
0.63 |
Nagenoeg allemaal (erg) oude studies. Substantiële variatie in effecten. Recenter → zwakkere effecten. |
Beheersingsgericht leren |
6 / 4 |
0.04 – 1.64 |
0.40 |
Veelal erg oude studies. Methodologische problemen. Enorme variatie in effecten, niet consistent. Recentere VK studies → zwakkere effecten. |
Technieken begrijpend lezen |
8 / 4 |
0.10 – 0.74 |
0.45 |
Substantiële variatie. Vnl. uit VS. Recente VK studies → zwakkere effecten. |
Gesproken-taalinterventies |
11 / 7 |
-0.14 – 0.91 |
0.37 |
Zeer breed begrip met talloze invullingen. Enorme variatie in effecten, niet consistent. |
Interventies welbevinden (*) |
? |
? |
? |
Zeer breed begrip met talloze invullingen. Geen referenties. Praktisch alle NJI- interventies mentale gezondheid niet effectief dan wel effectiviteit onbekend. |
Sportieve activiteiten |
3 / 0 |
0.10 – 0.80 |
0.17 |
Methodologische problemen. Substantiële variatie. |
Cultuureducatie |
5 / 2 |
0.03 – 0.77 |
0.15 |
Methodologische problemen. Substantiële variatie, niet consistent. |
Metacognitie en zelfregulerend leren |
11 / 9 |
-0.02 – 0.90 |
0.54 |
Effect sterk afhankelijk van of leerlingen zelf verantwoordelijkheid kunnen nemen voor hun leren. Methodologische problemen. Enorme variatie, niet consistent. Recente studies → zwakkere effecten. |
Samenwerkend leren |
11 / 1 |
0.13 – 0.91 |
0.38 |
Substantiële variatie, niet consistent. |
Klassenverkleining |
6 / 0 |
0.12 – 0.34 |
0.19 |
Veelal zeer oude studies uit de VS. Pas enig effect met minder dan 20 of zelfs 15 leerlingen per klas. |
Onderwijsassistenten/ instructeurs |
0 / 15 |
-0.15 – 1.50 |
0.08 |
Enorme variatie, niet consistent. Ook negatieve effecten. |
Faciliteiten en randvoorwaarden (*) |
? |
? |
? |
I.c.m. met andere interventies. Geen referenties. |
Ouderbetrokkenheid |
15 / 4 |
-0.14 – 0.65 |
0.22 |
Zeer breed begrip met talloze invullingen. Substantiële variatie. Veelal oude studies uit de VS. |
Digitale technologie |
32 / 2 |
-0.15 – 1.13 |
0.29 |
Zeer breed begrip met talloze invullingen. Methodologische problemen. Enorme variatie, niet consistent. |
* Niet opgenomen in de EEF Toolkit.
Als we naar de effecten in de tabel kijken, wordt duidelijk dat van enkele interventies niet duidelijk is hoe effectief ze zijn, van een derde van de interventies is het gemiddelde effect verwaarloosbaar (<0.20), in de helft van de gevallen is het effect klein(0.20-0.50), en in slechts twee gevallen is het effect nipt middelgroot (>0.50). Samenvattend: als ze al effectief zijn, zijn praktisch alle interventies hooguit zwak effectief. Hierbij is het overigens verrassend dat voor een belangrijk deel van de interventies geldt dat ze niet voldoen aan de (eigen) standaarden voor effectiviteit. Maar dit oordeel is bovendien nog sterk geflatteerd. Uit de tabel blijkt immers ook overduidelijk dat er een enorme variatie bestaat in de sterkte van de effecten, ze schieten alle kanten op, van negatief naar sterk positief. Aan eenduidige consistente effecten ontbreekt het in het merendeel van de gevallen. Er is kennelijk meer aan de hand, de situatie is aanmerkelijk complexer dan wellicht verondersteld. In Tabel 2 vatten we de belangrijkste problematisch aspecten samen.
Tabel 2 – Overzicht problematische aspecten onderzoek naar ‘bewezen effectieve interventies’ (trends)
|
Er mogen op basis van bovenstaande bevindingen grote vraagtekens worden gezet bij de verplichting voor scholen om interventies uit de menukaart te kiezen. Wellicht is het beter om nu eindelijk eens goede studies op te zetten om in de toekomst echt bewezen effectieve interventies bij de hand te hebben. De huidige situatie biedt daartoe goede mogelijkheden. Echter, de wil, expertise en haast zijn dan geboden om daarmee te beginnen.
Dr. Geert Driessen was tot 2016 als onderwijskundig onderzoeker verbonden aan het Instituut voor Toegepaste Sociale Wetenschappen (ITS). Hij promoveerde op een proefschrift over de positie van allochtone leerlingen in het onderwijs.
// Meer Didactief-artikelen lezen? Trakteer jezelf op een online abonnement voor slechts €24,50: maar liefst tien edities per jaar en toegang tot ons archief vanaf 2003.https://didactiefonline.nl/aanbieding
1 Het NPO-menu: gehakt
2 NPO: Q&A's
3 Dossier: NPO
12-05-2021
19-04-2021
02-06-2021
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven