NRO vergroot kloof onderwijs en onderzoek

NWO, de Nederlandse Organisatie voor Wetenschappelijk Onderzoek, lag de afgelopen maanden onder vuur op de opiniepagina's. Zo schreef hoogleraar Trommel in een opiniebijdrage in de Volkskrant van 6 september : 'NWO verdeelt een steeds groter deel van de middelen voor wetenschappelijk onderzoek. Vroeger werden die gelden rechtstreeks naar de universiteiten overgemaakt. Daar werken immers de wetenschappers en daar zouden ze wel het beste weten welke projecten veelbelovend zijn. Nu geloven we dat niet meer en richten we competities in. Inmiddels is dit beleid volledig ontspoord, zoals zoveel beleidsprogramma's van neoliberale signatuur. Er zijn drie hoofdbezwaren: het is te duur, het is oneerlijk en het stimuleert risicoloze wetenschapsbeoefening'.

Is het echt zo erg gesteld als Trommel beweert? In dit artikel bekijk ik het onderwijsonderzoek waarvoor het ministerie van OCW een aparte organisatie heeft opgericht, het Nationaal Regieorgaan Onderwijsonderzoek (NRO), dat een onderdeel van NWO is. En ik vrees dat het inderdaad niet meevalt.

Onderwijsonderzoek
Het Nationaal Regieorgaan Onderwijsonderzoek is heel klein ten opzichte van NWO met een jaarlijks budget van 15 miljoen euro. Uit de publieksfolder: 'Het NRO is in 2012 opgericht voor een periode van tien jaar. Aanleiding waren de bevindingen van twee door het Ministerie van OCW ingestelde commissies. Zij concludeerden dat de financiering van het onderwijsonderzoek in Nederland te versnipperd was om echt gewicht in de schaal te leggen en dat wetenschap en praktijk te weinig samenwerkten om echt iets aan elkaar te hebben. De missie van het NRO is om hier iets aan te doen' (p. 2).

Het NRO werkt met een budget van 15 miljoen euro. Ik zal laten zien dat dat lage bedrag een groot probleem is voor de mooie intenties van NRO. Het is absurd weinig gezien de slordige 25 miljard euro die we jaarlijks aan onderwijs uitgeven. Zeker als we bedenken dat er enorme veranderingen op het onderwijs afkomen en er dringend behoefte is aan meer onderwijsonderzoek.

Bureaucratie
Een precies inzicht in de kostenstructuur van het NRO is lastig te vinden. De organisatie heeft ruim twintig medewerkers en twee directeuren. En ook vier programmaraden met voorzitters. Deze overhead valt het NRO niet aan te rekenen. Het neoliberale mantra van competitie organiseren in sectoren die zich daar eigenlijk niet goed voor lenen, vergt nu eenmaal een grote bureaucratie en controle.
De zogeheten calls moeten worden uitgeschreven en gecommuniceerd, voorstellen moeten worden gecontroleerd en beoordeeld, reviewers moeten worden aangeworven, enzovoorts. Maar de grootste bureaucratie en overhead zit niet bij het NRO zelf. Die zit bij de onderwijsinstellingen en onderzoeksorganisatie die het echte werk doen. Zij moeten immers de consortia inrichten, voorstellen maken, intentieverklaringen en planningen schrijven. Tijd die beter gestopt had kunnen worden in het doen van nuttig onderwijsonderzoek.

Teleurstelling
Laten we eens kijken naar de eerste ronde kortlopend praktijkgericht onderwijsonderzoek die het NRO afgelopen jaar uitschreef. Ik baseer me op een evaluatie van deze subsidieronde door het NRO zelf, te vinden op hun site. Dat lijkt een geval van de slager die zijn eigen vlees keurt, maar het komt op mij over als een eerlijke en betrouwbare verslaglegging van wat naar beste vermogen met de zeer beperkte middelen gedaan is.

Op 10 oktober 2013 vond in de Jaarbeurs een matchmakingsbijeenkomst plaats waar ongeveer 250 mensen aan deelnamen. Naar aanleiding van die bijeenkomst werden uiteindelijk consortia gevormd tussen scholen en onderzoeksinstellingen, werd veel moeite gestoken in het schrijven van projectplannen en ontving het NRO 119 voorstellen.

Die beoordelen, was lastig en dus '(...) gaf een groot aantal commissieleden aan dat de tijdsinvestering van het beoordelingswerk groot was' (p. 6). Er werden in totaal zestien voorstellen gehonoreerd die een budget van 1,4 miljoen euro konden verdelen. Dat betekent dat dus 103 plannen werden afgewezen, hetgeen resulteert in een afwijzingspercentage van zo'n 87procent.

Na afloop hield het NRO een enquête onder de indieners. Hieruit bleek dat sommige indieners zich geërgerd hebben aan de lage kwaliteit van de beoordelingen. Verder geeft ongeveer 80 procent van de indieners die een afwijzing kreeg, te kennen het onderzoek waarschijnlijk niet te zullen gaan uitvoeren en meer dan de helft van de indieners is niet van plan in een volgende ronde opnieuw een poging te wagen.

Ondanks alle goede bedoelingen van het NRO en goed uitgevoerde procedures, straalt de evaluatie daarmee toch teleurstelling uit, veroorzaakt door de geringe slaagkans: 'Aanvragers melden dat bij de praktijkpartners, de onderwijsinstellingen, grote teleurstelling en onbegrip over het niet toekennen van goede voorstellen heerst. De praktijkpartners voelen dit volgens hen echt als een verspilling van tijd en energie. Ook geven aanvragers aan dat zij zeker geen tijd en geld meer vrijmaken voor het schrijven van nieuwe aanvragen gezien de geringe slaagkans, ook bij een onderzoeksvoorstel dat beoordeeld wordt als goed en relevant voor de onderwijspraktijk. Opgemerkt werd dat de hele procedure een grote verspilling van menskracht zou zijn. Het aantal ingediende voorstellen zou veel te groot zijn voor het beschikbare bedrag' (p. 15).

In rook opgegaan
Bedenk hierbij dat dit nog maar het topje van de ijsberg is. Iets minder dan de helft van de aanvragers werkte niet mee aan het onderzoek. Dat zijn waarschijnlijk de meest teleurgestelde en boze indieners. Bovendien zijn er veel pogingen geweest om consortia te vormen die al strandden nog voordat het tot indiening kwam. Er is dus waarschijnlijk nog veel meer moeite en tijd in rook opgegaan dan alleen de inspanningen van de 103 afgewezen consortia.

Het beeld is helder:
Daar waar het NRO bedoeld is
om de kloof tussen onderwijsonderzoek
en onderwijspraktijk te dichten,
maakt het deze alleen maar groter

Over het geringe slaagpercentage en de demotivatie die daarvan uitgaat is dus makkelijk informatie in te winnen. En het beeld is helder: daar waar het NRO bedoeld is om de kloof tussen onderwijsonderzoek en onderwijspraktijk te dichten, maakt het deze alleen maar groter. En dat is niet haar fout, het ligt aan het budget. Immers zoals uit de evaluatie blijkt zijn veel partijen, zeker ook die uit de onderwijspraktijk, teleurgesteld over de tijd en moeite die ze gestoken hebben in een poging om tot samenwerking met onderwijsonderzoek te komen. Ben je als onderwijsinstelling eindelijk zo ver dat je mee wilt doen, krijg je meteen een pets op de neus.

Oneerlijk
Als deze competitie ondanks de grote verspilling wel tot extra kwaliteit zou leiden, dan was het toch nog een beetje verdedigbaar. Maar de kritiek van onder anderen Willem Trommel gaat helaas verder. Beoordelingen zouden namelijk oneerlijk zijn en er helemaal niet toe leiden dat het beste of meest creatieve onderzoek wordt uitgevoerd.

Uit de evaluatie van het kortlopend praktijkgericht onderwijsonderzoek valt daarover niet zoveel te zeggen. Wel is het zo dat potentiële reviewers die aangaven zelf betrokken te zijn bij aanvragen of die veel aanvragers kennen, niet mochten meedoen aan de reviews. Daarmee sluit je natuurlijk wel de meest relevante expertise op voorhand buiten.

Ook valt op dat bij beoordelingsprocedures eigenlijk altijd basale psychometrische kwaliteitseisen worden geschonden. Dat klinkt gewichtig maar betekent eigenlijk gewoon dat een beoordeling niet objectief is. Dus als reviewer x, y en z onafhankelijk van elkaar beoordelen, moeten ze tot een ongeveer dezelfde beoordeling komen. Dat kun je uitdrukken in een getal, de interbeoordeelaarsbetrouwbaarheid. Vrijwel nooit wordt dat berekend, laat staan bekend gemaakt door grote subsidieverdelers.

Dat hoeft niet te verbazen, want zo'n goede betrouwbaarheid is erg complex en kost heel veel tijd en moeite. Vaak lezen we daarom dat in geval van twijfel van twee beoordelaars, er een derde wordt bijgehaald. Of dat er doorvergaderd wordt door reviewers. Zo ook hier: 'Uiteindelijk kwam de commissie als geheel tot een eindoordeel over elk voorstel' (p. 3). Dat is verontrustend want het gebruik van dergelijke lapmiddelen wijst er op dat er waarschijnlijk een veel te grote subjectiviteit zit in de beoordelingen. En iedere statisticus kan voorrekenen wat een lage interbeoordelaarsbetrouwbaarheid betekent: je kunt net zo goed gaan loten.

Loterij
Daarmee hebben we ook meteen een mogelijke oplossing te pakken, aangereikt door verschillende critici, zoals hoogleraar ethiek Ingrid Robeyns: omdat er zoveel tijd en moeite down the drain gaat in dit neoliberale circus waarin 'vrije marktje' wordt gespeeld, omdat het tot ongewenste onderlinge competitie en wantrouwen leidt en omdat het oneerlijk is, moeten we er vanaf. Maak daarom een kleine beoordelingsinstantie die zich ertoe beperkt om zorgvuldig na te gaan of voorstellen aan standaard kwaliteitscriteria voldoen. Alle voorstellen die daaraan voldoen gaan vervolgens in een loterij. Wie al een keer gewonnen heeft, mag het jaar daarop niet meedoen. Zo maakt iedereen ongeveer evenveel kans. Als je vervolgens die loterij niet toepast op volledig uitgeschreven projectplannen maar op korte globale schetsen, bespaar je ook nog eens veel tijd voor het schrijven van voorstellen.

En dan nog een dingetje.. als het ernst is met een lerende economie, geef dan ook wat meer uit aan onderwijsonderzoek dat nu wel erg onderaan bungelt. Zorg dat de afwijzingspercentages in ieder geval eens in de buurt komen van wat de NWO zelf beweert dat normaal is, maximaal namelijk rond de 75 procent. Want nog een paar van dergelijke calls voor vraaggestuurd praktijkonderzoek en geen school doet meer mee. En dat was toch niet de missie van het NRO.

Lees ook de reactie van Jelle Kaldewaij, directeur van het NRO op dit artikel.

Tekst Rob Martens, hoogleraar programmaleider aan het Welten-instituut van de Open Universiteit. Dit is een bewerking van een artikel dat in december 2014 verscheen in Onderwijsinnovatie.