Waarom geen experiment?

Tekst Geert Driessen
Gepubliceerd op 04-01-2019
Beeld Shutterstock
Geert Driessen - Arie Slob investeert extra in voor- en vroegschoolse educatie. Geert Driessen vraagt zich af wanneer de minister er nu eindelijk voor kiest om met een experimentele opzet het effect van vve te onderzoeken in de Nederlandse situatie.

In Nederland wordt al decennialang een onderwijsachterstandenbeleid gevoerd. Daar zijn inmiddels door ministeries en gemeenten tientallen miljarden euro’s in geïnvesteerd. De twee belangrijkste (financiële) pijlers zijn de gewichtenregeling en vve. Beide zijn erop gericht kinderen die ten gevolge van omstandigheden in de thuissituatie hun capaciteiten niet optimaal kunnen ontwikkelen extra ondersteuning te bieden.

Ondanks deze gigantische investering bestaat er geen enkel overtuigend wetenschappelijk bewijs dat dit beleid effectief is. Misschien is het gewoon een illusie te verwachten dat we onderwijs- en maatschappelijke kansen van kinderen kunnen verhogen door er simpelweg veel geld in te pompen (vgl. Bernstein, 1970). 

Amerikaans voorbeeld

Misschien werkt het beleid wel, maar is het nog niet aangetoond omdat er überhaupt nauwelijks onderzoek naar is verricht, zeker in verhouding tot de enorme bedragen die er jaarlijks mee gemoeid zijn.

Maar het kan ook zijn dat het wel-uitgevoerde onderzoek van onvoldoende kwaliteit is om iedereen te kunnen overtuigen. Naar het effect van de gewichtenregeling zijn in al die jaren hooguit wat beschrijvende en correlationele studies verricht. Dat de regeling effectief is, is echter nooit bewezen.

Vve is gebaseerd op Amerikaanse programma’s en onderzoek. Herhaaldelijk worden daarbij enkele kleinschalige, lokale experimenten als bewijs opgevoerd. Behalve dat context en doelgroepen volstrekt onvergelijkbaar zijn met die in Nederland, gaat het ook nog om experimenten die alweer een halve eeuw geleden zijn uitgevoerd. Praktisch al het Nederlandse onderzoek naar vve is beschrijvend, correlationeel en/of retrospectief van aard. En daar lijkt voorlopig geen enkele verandering in te komen.

Het heeft er alles van weg dat de minister van OCW en de Tweede Kamer gewoonweg niet wíllen weten wat er met al die miljarden gebeurt en of het wel zinvol is verder te gaan met dit beleid. Eigenlijk is dit bizar. Als Rutte de dividendbelasting ter waarde van bijna 2 miljard wil afschaffen zonder dat er bewijs is dat dat een positief effect heeft op de werkgelegenheid, staat heel Nederland en de Tweede Kamer op z’n kop. Wanneer er al decennia jaarlijks bijna 1 miljard in het onderwijsachterstandbeleid wordt gepompt terwijl het ontbreekt aan bewijs dat de betreffende kinderen er iets mee opschieten, hoor je daar niemand over, ook de Tweede Kamer niet. 

NRO-Call

Eind november 2018 heeft minister Slob aangekondigd structureel €170 miljoen extra in vve te gaan investeren. De bulk van dit bedrag gaat naar uitbreiding van het aantal uren dat kinderen aan vve-programma’s kunnen deelnemen. Hij zegt daarbij in te zetten op een breed monitorings-, evaluatie- en onderzoeksprogramma. Zo zal, gekoppeld aan de urenuitbreiding, onderzocht worden hoe de ontwikkeling van (doelgroep)peuters verloopt. Deze bewoordingen suggereren dat Slob hiermee louter doelt op monitoring en niet op onderzoek naar de effectiviteit van de maatregelen.

Tegelijkertijd heeft echter het NRO (2018) een Call for proposals voor quasi-experimenteel onderzoek naar voor- en vroegschoolse educatie uitgezet. Doel van dat onderzoek is vast te stellen of en in hoeverre genoemde urenuitbreiding gevolgen heeft gehad voor de leerprestaties en sociale ongelijkheden, en waarom wel of niet. De mate waarin de door de onderzoekers gekozen empirische strategie erin slaagt het causale effect overtuigend te identificeren is voor het NRO doorslaggevend voor toekenning van de onderzoekssubsidie.

Afgezien van het feit dat het merkwaardig is dat het NRO om een onderzoek vraagt dat de effectiviteit van de vve-urenuitbreiding causaal aantoont terwijl er überhaupt nog geen bewijs is dat vve sec effectief is, lijkt deze call toch verder te gaan dan hetgeen Slob in zijn brief aankondigt. Desondanks kan, gelet op de randcondities die het NRO oplegt, op voorhand al worden gesteld dat de discussie rond het bewijs voor de effectiviteit van vve na oplevering van de onderzoeksrapportage geenszins verstomd zal zijn. De onderzoeksopzet dient een quasi-experimentele te zijn, waarbij de onderzoekers sterk wordt geadviseerd voor de kwantitatieve analyses waar mogelijk gebruik te maken van beschikbare gegevens en instrumenten. Tegelijk wordt gesteld dat er geen nieuwe instrumenten mogen worden ontwikkeld en ingezet. Dus dat wordt behelpen. Uiteindelijk zal er één subsidieaanvrage worden gehonoreerd. De vraag is waarom er nu eindelijk niet een keer gekozen wordt voor een experimentele opzet.

 

Validiteit gewichtenregeling

Eerder gaf minister Slob (2018) al aan dat vanwege de gekozen quasi-experimentele opzet de in Pre-COOL gevonden effecten van vve niet causaal zijn aangetoond. Dat zou volgens hem immers een experimenteel onderzoek vereisen, waarbij kinderen willekeurig worden toegewezen aan wel-vve en niet-vve. Dat is een keuze die hij onwenselijk vindt en die niet strookt met zijn ambitie om alle kinderen met een risico op een onderwijsachterstand vve aan te bieden. Slob opteert hiermee dus voor een ethische verantwoording. Die juist in dit geval aantoonbaar geen hout snijdt. Hij suggereert immers dat hij precies weet wie die doelgroepkinderen zijn. De multilevel werkelijkheid bewijst helaas anders.  

De toewijzing voor de vve-doelgroep is landelijk gezien, vanuit het ministerie van OCW, gebaseerd op de gewichtenregeling. Ik heb eerder (Driessen, 2015) laten zien dat de validiteit van de huidige gewichtenregeling zonder meer onvoldoende is.

Het ministerie heeft recentelijk het CBS verzocht een nieuwe regeling te ontwikkelen. Maar ook daarvan is de validiteit naar mijn oordeel (Driessen, 2017) nauwelijks beter.

In mijn analyse van de totstandkoming van die regeling wijs ik er bijvoorbeeld op dat het in de door het CBS gebruikte bestanden nou net ontbreekt aan informatie over het ouderlijk opleidingsniveau (i.c. de centrale indicator) van de zware doelgroepen van het onderwijsachterstandenbeleid. Die cruciale misser lijkt daarna ook bij minister Slob (2018) te zijn doorgedrongen. Hij heeft daarom het CBS naderhand verzocht voor asielzoekerskinderen een betere schattingsmethode te ontwikkelen. Dat is helaas niet goed gelukt, waardoor deze kinderen nog steeds onvoldoende worden gedekt door de nieuwe indicator. Maar dat geldt momenteel naar alle waarschijnlijkheid ook voor veel andere allochtone kinderen.

Op de vraag hoe valide die nieuwe indicator nu werkelijk is wordt geen antwoord gegeven. De consequentie van een indicator die onvoldoende valide is, is dat er veel vals-positieven en vals-negatieven zullen zijn. Anders gezegd: enerzijds zullen er veel kinderen zijn die ten onrechte níet tot de doelgroep worden gerekend, en waarvoor dus geen extra budget wordt toegekend, en anderzijds zullen er veel kinderen zijn die ten onrechte wél tot de doelgroep worden gerekend en waarvoor wel extra geld ter beschikking wordt gesteld terwijl ze dat niet nodig hebben. Op dit niveau is er dus al sprake van een redelijk grote willekeur bij de bepaling van de doelgroep. 

Ongelijke behandeling

Die willekeur wordt echter nog eens met een factor tien versterkt doordat het volgens Slob bij de landelijke gewichtenregeling louter gaat om een formele budgetverdeelsystematiek en niet om welke kinderen op lokaal niveau tot de doelgroep worden gerekend en al helemaal niet om welke kinderen dan uiteindelijk daadwerkelijk een extra aanbod krijgen. Dat is allereerst een beslissing die bij gemeente- en schoolbesturen ligt, omdat zij - volgens Slob (2018) althans - het beste zicht hebben op de specifieke behoeften van de kinderen in hun regio. In de praktijk betekent dit dus dat er op lokaal niveau overal andere doelgroepen worden gedefinieerd (Driessen, Veen & Van Daalen, 2015). Die verschillende doelgroepen zijn er niet alleen tussen gemeenten, maar ook binnen gemeenten tussen schoolbesturen en scholen, en (organisaties van) peuterspeelzalen en kinderdagverblijven.

Deze vrijheid waarvoor door het ministerie is gekozen leidt dus niet alleen tot enorme willekeur, maar ook tot ongelijke behandeling en rechtsongelijkheid. Immers, waarom heeft het ene kind wél recht op extra financiële hulp en het andere kind met exact dezelfde kenmerken maar wonend in een andere gemeente niet? De genoemde keuzevrijheid op lokaal niveau lijkt misschien in bepaalde opzichten gepast, een enorm probleem is echter dat van al die (combinaties) van indicatoren niets bekend is over hun validiteit.

Maar dit is nog niet het einde van het verhaal. Bovenstaand relaas betreft vooral papierwerk. En dat is erg geduldig. De centrale vraag is immers wat er in de praktijk op kinderdagverblijven, peuterspeelzalen en scholen met al die jaarlijkse extra honderden miljoenen euro’s gedaan wordt (en wat het oplevert).

Klassenverkleining

Op scholen wordt het extra budget voornamelijk ingezet voor klassenverkleining en – in mindere mate - onderwijsassistenten (IBO, 2017). Van het eerste is bekend dat het niet echt effectief is en bovendien dat in principe álle kinderen ervan profiteren, zowel doelgroep- als niet-doelgroepleerlingen. Eerder (Mulder, 1996) werd geconstateerd dat schoolleiders en leerkrachten vaak aangeven helemaal niet te weten wie de doelgroepkinderen zijn. Vooral voor leerkrachten is dat natuurlijk ook een louter theoretische kwestie. Zij geven doorgaans díe kinderen extra aandacht, waarvan zij denken dat ze die nodig hebben, ongeacht hun formeel opgeplakte etiket.

In de vve-praktijk in de voorschoolse fase is het onderscheid tussen doelgroep- en niet-doelgroepkind ook niet altijd even helder. Regelmatig is er sprake van gemengde groepen, waarbij ook niet-doelgroepkinderen te maken hebben met een vve-aanbod. Los daarvan zullen ook de leidsters zich in hun aanbod laten leiden door concrete behoeften van individuele kinderen en niet door papieren probleemgevallen.

Minister Slob motiveert de keuze om geen experiment in te zetten om te achterhalen of vve effectief is vanuit zijn ambitie om alle kinderen met een risico op een onderwijsachterstand vve aan te bieden. Dat is natuurlijk regelrechte lariekoek, hij weet hooguit op papier wie dat zijn. Hierboven heb ik betoogd dat de validiteit van de indicatoren van de landelijk gedefinieerde doelgroep onder de maat is; dat die landelijke doelgroep vaak afwijkt van de lokaal gedefinieerde doelgroepen, waarvan al helemaal niets bekend is over de validiteit van de indicatoren; en dat de kinderen die in de dagelijkse praktijk feitelijk een extra aanbod krijgen ook weer anderen kunnen zijn, en ook bij de keuze voor die doelgroepen ontbreekt het aan informatie over validiteit. Met andere woorden: de opzet van Slobs beleid garandeert uiteindelijk welhaast een volstrekte onduidelijkheid over de doelgroep. Er zijn misschien goede argumenten om geen experiment uit te voeren, maar het door Slob opgevoerde argument is dat in ieder geval niet.

 

Geert Driessen is onderwijsonderzoeker. Reageren? Mail driessenresearch@gmail.com

 

Referenties

Bernstein, B. (1970). Education cannot compensate for society. New Society, 15(387), 344-347.

 

Een ogenblik geduld...
Click here to revoke the Cookie consent