Interview

'Wij gaan niet alles dichttimmeren'

Het NRO kreeg kritiek de afgelopen maanden. Onderzoekers schrijven zich blauwe vingers aan onderzoeksvoorstellen die vooral afgewezen zouden worden. Wat zijn eigenlijk de criteria?

‘Het NRO coördineert en financiert praktijkgericht, beleidsgericht en fundamenteel onderzoek. Commissies van wetenschappers bekijken alle onderzoeksvoorstellen vanuit de criteria in de call en discussiëren over de vraag: past dit design bij de onderzoeksvraag? Je bent als indiener niet alleen afhankelijk van de procedure, maar ook van de beoordelaars. Onze deskundigen voeren geen protocollen uit, maar denken zelf na.’

Onderzoekers klagen over willekeur en stellen dat de criteria van tevoren niet helder genoeg zijn.

‘Tja, er zit spanning in onze manier van werken: je wilt onderzoeksvoorstellen op dezelfde manier kunnen vergelijken én onderzoekers en scholen uitnodigen creatief te zijn. Ieder onderzoek is uniek. Natuurlijk staan er criteria in de call for proposals, maar we willen ze niet dichttimmeren tot en met de specifieke onderzoeksvraag en het design.’

Met het risico dat beoordelaars uiteindelijk appels met peren moeten vergelijken?

‘Ja, in die zin vergelijken ze soms appels met peren. Het betekent overigens ook dat beoordelaars genoeg ruimte in hun hoofd moeten hebben als een call wordt uitgezet. Je wilt niet dat mensen zeggen: ik wil alléén maar indieners met kwalitatief onderzoek, of juist: ik wil alléén maar kwantitatief onderzoek. We bekijken per call welke criteria meer of minder van toepassing zijn. Bij het onderzoek naar de anti-pestprogramma’s bijvoorbeeld lag de klemtoon net weer even anders dan bij het onderzoek naar formatief toetsen.’

Dat vraagt dus veel van beoordelaars?

‘Zeker. Om die reden hebben we vorig jaar proefbeoordelingen laten doen en beoordelaars er met elkaar over laten praten. Dat “kalibreren” zoals dat in vaktaal heet, hielp. Beoordelaars kregen meer begrip voor elkaars overwegingen. Zo van: oh, daar zit ook wel wat in, zo kan het ook.’

Heeft het NRO deze procedures zelf verzonnen?

‘Nee, wij zijn als NWO-organisatie gebonden aan NWO-principes: we gaan voor het beste onderzoek, we moeten transparant zijn in hoe we tot ons oordeel komen en dat zo veel mogelijk kunnen expliciteren.’

Hoe voorkom je vriendjespolitiek?

‘De procedures bij NWO zijn zwaar. Beoordelaars moeten van tevoren opgeven welke banden ze hebben met welke onderzoekers en onderwijsinstellingen. Dat wordt allemaal gecontroleerd. Voor mijn mensen is dat veel werk. We hadden op een gegeven moment wel het gevoel dat het ene onderwijsonderzoekende deel van Nederland het andere deel zat te beoordelen.’

Soms zet het NRO ook buitenlandse beoordelaars in?

‘Zeker. Dat hebben we bijvoorbeeld gedaan bij de call voor bewegen en leerprestaties. Niet-betrokken deskundigen zaten gewoon niet in Nederland.’

Klopt het dat onderzoekers naar Schiphol moesten komen om hun voorstel daar in vijf minuten te pitchen?

‘Ja, dat klopt, soms laten we pitchen als er niet te veel inschrijvers zijn. Maar op dat moment hadden we alle voorstellen al gelezen en voorlopig beoordeeld. Beoordelaars konden na de pitch vragen stellen. En dan wordt het vaak in één klap helder. Als je het schriftelijk doet, moet je maar hopen dat het allemaal goed overkomt. En het scheelt veel werk aan beide kanten.’

Vooral de commerciële bureaus klagen het pleit te verliezen van de universiteiten.

‘Als NRO zijn wij gebonden aan afspraken die NWO heeft met de Vereniging van Samenwerkende Nederlandse Universiteiten, waarbij geldt: universiteiten betalen hun overhead zelf. Commerciële bureaus moeten dat in rekening brengen, want die hebben geen eerste geldstroom.’

Dus universiteiten hebben een voorsprong?

‘Ja, zo zou je dat kunnen zeggen, maar de beoordelingscommissies kijken in de praktijk vooral naar de inhoud van een voorstel: is het wetenschappelijk voorstelbaar dat een onderzoek binnen de gestelde periode leidt tot een resultaat waar de praktijk iets aan heeft? De begroting weegt wel een beetje mee, maar is tot nu toe nooit doorslaggevend. Het blijft een punt hoor, maar we zijn nu eenmaal gebonden aan de eisen die gelden voor NWO.’

Het afwijzingspercentage in de eerste ronde praktijkgericht onderzoek was maar liefst 87%. Hoe schadelijk is dat? Haken scholen af?

‘Ons budget is echt klein, zeker vergeleken met de ambities van scholen en onderzoekers. We hebben daarom bij de eerste ronde praktijkgericht onderzoek hartstochtelijk gecommuniceerd: hier ligt teleurstelling op de loer, we kunnen maar zestien projecten honoreren (van de 119 indieners, red.). Maar gelukkig is het enthousiasme nog steeds groot. Docenten zeggen weliswaar “onze core business is lesgeven en alles wat daarbij komt, is ingewikkeld om in te passen”. Maar bepaalde dingen willen ze toch graag weten. Wat betekent passend onderwijs voor hen bijvoorbeeld. Dat soort vragen leeft. Je ziet wel dat het een hele klus is om problemen om te zetten in onderzoeksvragen. En soms is de conclusie: we snappen dat dit een probleem is voor de school, maar betwijfelen of het verstandig is om er onderzoek naar te doen. Vraagarticulatie is tijdrovend, maar als het onderzoekers lukt om een onderzoeksvraag te formuleren die gedragen wordt door de scholen, dan kunnen hele mooie dingen tot stand komen.’

Hoeveel budget heeft het NRO?

‘Het NRO heeft 8,8 miljoen euro per jaar voor praktijkgericht onderzoek po, vo en mbo, bijna 4 miljoen voor fundamenteel onderzoek en 1,2 miljoen voor beleidsgericht onderzoek. En dan nog 1 miljoen voor de Lerarenagenda. Het ministerie is daarnaast met aanvullende onderzoeken bij ons gekomen, zoals onderzoeken naar ouderbetrokkenheid, ict en school, vernieuwingen in het mbo, passend onderwijs. Tot 2020 gaat het om meer dan 20 miljoen euro aan extra onderzoeksgeld.’

De portefeuille van het NRO is zo wel erg gevarieerd. Jules Peschar heeft bijvoorbeeld geklaagd dat het NRO ‘passend onderwijs er ook nog bij moet doen’. Hoe kijkt u daar tegenaan?

‘De Monitor Passend Onderwijs is een enorme uitdaging. Wij hebben die overgenomen van het ECPO. Dat had destijds twee taken: onderzoek en advies. Wij kunnen ons goed vinden in die eerste taak, het uitzetten van onderzoek, maar wij gaan niet adviseren. Die taak neemt de Onderwijsraad op zich. Om het onderzoek in goede banen te leiden hebben we hulptroepen ingeroepen naast de overkoepelende programmaraad die dit ook als belangrijk onderwerp van onderzoek ziet. Extra externe deskundigen die meekijken naar wat de onderzoekers van plan zijn te doen en wat ze opleveren. Van de onlangs geselecteerde onderzoekers verwachten we veel.’

In hoeverre kan het NRO nee zeggen tegen verzoeken om onderzoek vanuit OCW?

‘We kunnen absoluut nee zeggen tegen OCW, maar het we hebben ook een eigen belang: wij hebben de ambitie om zo veel mogelijk onderwijsonderzoek via het NRO te laten verlopen. Onlangs is in het Sectorplan Onderwijswetenschappen ook gepleit voor een bundeling van onderzoeksmiddelen via ons. Nu moeten we steeds overleggen met OCW en anderen om te controleren of onderzoek al ergens loopt, voordat wij het uitzetten. Als je dat niet weet, doe je misschien dubbel werk. Als het allemaal in één hand ligt, is dat makkelijker. OCW zet nu nog eigen onderzoek uit, omdat er bijvoorbeeld haast is geboden en onze procedures te lang duren. Maar er zijn andere routes te bedenken. Misschien kunnen we bij een bepaald onderzoek alvast de drie beste clubs identificeren en uitnodigen om een offerte uit te brengen.’

Vraag is dan natuurlijk hoe je ‘beste’ definieert.

‘Ja, exact, daar moet je behoedzaam mee omgaan. Via de NWO-methodes die we nu hanteren, komen er verrassende onderzoekers bovendrijven die de opdrachten verwerven. Het zijn echt niet altijd degenen van wie je denkt: die zullen het wel weer winnen. Dat komt doordat wij het heel breed uitzetten. Opeens zie je dat andere clubs zich melden in onze procedures die het ook heel goed blijken te doen.’

Leestips

Wat zijn must reads volgens Jelle Kaldewaij?

Tip 1 ‘Ik zit er nog middenin hoor: Magdalena.’ De nieuwste Maarten ’t Hart is een must read volgens Jelle Kaldewaij, die zijn carrière begon als leraar Nederlands aan het Greijdanus College in Zwolle en inmiddels directeur van het NRO is. ‘In dit boek ziet ’t Hart terug op zijn moeder. Al zijn bekende thema’s komen erin voor, zoals zijn houding ten opzichte van het geloof van zijn ouders. “Na mijn dood,” zei zijn moeder vaak, “kun je over me schrijven wat je wilt, maar spaar me zolang ik leef.”’

Maarten ’t Hart, Magdalena, Amsterdam: Singel, 2015. € 19,99.

 Tip 2 Ook enthousiast is Kaldewaij over Gert Biesta’s Het prachtige risico van onderwijs met filosofische overpeinzingen over het wezen van onderwijs. Het werd in het januari-februari-nummer van Didactief besproken. Biesta geldt als een van de meest actuele onderwijsdenkers van het moment. Zijn lezingen zijn kaskrakers.

Gert Biesta, Het prachtige risico van onderwijs, Culemborg: Phronese, 2015. € 29,99.

Tip 3 De Noordzee als de wieg van de moderne westerse beschaving. Daarover gaat Aan de rand van de wereld, hoe de Noordzee ons vormde van de Engelse historicus Michael Pye. Pye schetst het bekende verhaal van de Antwerpse en Amsterdamse kooplieden, maar ook de minder bekende lotgevallen van het zevende-eeuwse Frisia. Hij maakt duidelijk dat in de middeleeuwen de grondvesten gelegd zijn van ons monetaire en juridische systeem en de moderne wetenschap. Al lang voor de Italiaanse renaissance werd het kortom al licht in Europa.

Michael Pye, Aan de rand van de wereld, hoe de Noordzee ons vormde. Vertaald door Pon Ruiter, Arthur Smet en Frits van der Waa. Amsterdam: Bezige Bij, 2014. € 29,99.

Jelle Kaldewaij is directeur van het NRO, het Nationaal Regieorgaan Onderwijsonderzoek dat onderwijsonderzoek coördineert en financiert. 

Dit interview verscheen in Didactief, mei 2015.