Afschaffen dan maar, al dat onderwijsonderzoek?

Alleen studies in de vorm van gerandomiseerde experimenten of quasi-experimentele studies met controle voor zelfselectie werden goed genoeg bevonden. Het merendeel daarvan was onderwijs-economisch van aard. Het resultaat is ronduit ontluisterend: wereldwijd, maar zeker voor Nederland geldt dat er slechts een zeer beperkt aantal 'goede' studies is verricht. Volgens het CPB. En dat de basis voor de beleidsmaatregelen dus nog veel smaller is dan vaak werd verondersteld.

VVE
Neem bijvoorbeeld het beleid rond VVE (voor- en vroegschoolse educatie). Dit is erop gericht peuters en kleuters die thuis onvoldoende schoolse stimulering krijgen in het kinderdagverblijf, op de peuterspeelzaal en de school een compensatieprogramma aan te bieden. In dit beleid gaat jaarlijks zo'n €350 miljoen om; in totaal is daar de afgelopen decennia al vele miljarden in gepompt. Zonder enig bewijs dat het effectief is.

Volgens het CPB voldoet geen enkel Nederlands effectonderzoek naar VVE aan haar criteria. Maar ook buiten Nederland valt het aantal goede studies op een paar handen te tellen. Het CPB gaat op basis van die studies voor negen mogelijke VVE-maatregelen na hoeveel leerwinst die opleveren. Omdat het noodgedwongen om buitenlands onderzoek gaat en de omstandigheden daardoor veelal onvergelijkbaar zijn, is een correctie toegepast. Als referentiepunt is daarbij gekozen voor de toetsscores taal en rekenen uit het internationale PISA-onderzoek. Er bestaat overigens redelijk wat kritiek juist op de vergelijkbaarheid van deze scores van uiteenlopende landen. En ook gaat het bij PISA om 15-jarigen, en bij VVE om 2,5- – 6-jarigen, maar dat alles terzijde.

Voor de kwantitatieve onderbouwing van de negen maatregelen wordt gebruik gemaakt van zegge en schrijven zes unieke studies. Volgens het CPB zijn er nog enkele studies die niet zijn gebruikt maar die wel tot vergelijkbare resultaten zouden leiden; de data voldeden echter niet helemaal of er was sprake van doublures.
Wat bleek nu? Het effect van één maatregel kon niet worden onderzocht en twee maatregelen leverden geen leerwinst op. Voor de overige zes maatregelen wordt, gebaseerd op in totaal drie studies, een geringe leerwinst gerapporteerd. De meeste winst verwacht het CPB wanneer de intensiteit van 10 uur voorschools VVE per week wordt opgeschroefd naar 24 uur, dus fulltime voor een peuter. Dat kost circa €5100 per kind extra, bovenop de ruim €3600 die het nu kost; in totaal zo'n €610 miljoen.

Head Start
Het CPB baseert zich bij dit alles voornamelijk op het Amerikaanse Head Start. Dit betreft een mengelmoes aan lokale programma's voor de voorschoolse periode, met een sterke oudercomponent en bedoeld voor gezinnen levend onder de armoedegrens. Head Start is in de meeste opzichten niet vergelijkbaar met het Nederlandse VVE, niet alleen niet qua financiering, maar ook niet qua doelgroep, organisatie, vormgeving en inhoud. Liefst vijf CPB-maatregelen op het gebied van VVE steunen vrijwel volledig op één evaluatie van Head Start.

Als echter de betreffende rapportage wordt geraadpleegd (Puma e.a., 2012), dan blijken de resultaten allesbehalve eenduidig te zijn. In het rapport wordt een ongelofelijk groot aantal effecten gerapporteerd, gelegen op het cognitieve en sociaal-emotionele vlak, maar ook met betrekking tot gezondheid, opvoeding en onderwijs; in totaal betreft het 414 effecten.

Suggestive evidence
Merkwaardigerwijs wordt bij het toetsen van deze effecten niet uitgegaan van het normaal voor deze situatie geldende significatieniveau van p<0.01, maar van het uitzonderlijk tolerante niveau van p<0.10, wat de onderzoekers kwalificeren als 'suggestive evidence'. Kennelijk heeft men alle moeite moeten doen om toch maar wat effecten bij elkaar te schrapen. Maar dan nog. Van deze 414 effecten zijn er slechts 60 significant op dit 'relaxed' significantieniveau, waarvan er bovendien 4 niet te interpreteren zijn en 8 ook nog eens negatief uitpakken. Blijven er 48 positieve effecten over (12,5%). Om op basis van dergelijke resultaten adviezen te geven over de effecten van VVE-maatregelen in Nederland, zoals het CPB doet, heeft wel erg veel het karakter van wishfull thinking en selectief shoppen.

Besparingen
Wat heeft deze hele exercitie van het CPB nu de facto aan nieuws opgeleverd? Eigenlijk niets: sommige buitenlandse studies laten een geringe leerwinst zien, andere geen of zelfs een negatieve. Van de maatregel met de grootste potentie valt niet te verwachten dat die in praktijk zal worden gebracht, alleen al niet vanwege de torenhoge extra kosten, nog los van de vraag of ouders op zo'n uitbreiding zitten te wachten. Of VVE werkt weten we nog steeds niet. Maar veel belangrijker dan dit oude nieuws is waarschijnlijk een conclusie die het CPB alleen maar impliciet trekt: Nederlands onderzoek naar het effect van onderwijsbeleid deugt niet (en – schrale troost – dat geldt ook voor buitenlands onderzoek, en ongetwijfeld niet alleen op het gebied van onderwijs). Een beleidsmaatregel die, deze lijn volgend, potentieel veel geld op zou leveren, is al dit onderzoek gewoon maar niet meer te doen. Wellicht dat het CPB de besparingen daarvan eens goed kan uitrekenen? Inclusief CPB-onderzoek van het type dat hier is besproken uiteraard.

Tekst Geert Driessen, onderzoeker Radboud Universiteit.