Onderzoek

Wetenschap en commercie? Pas op!

‘Grootschalig wetenschappelijk onderzoek laat zien dat Cito-scores ingrijpend verbeteren (43%!) door het gebruik van digitaal onderwijsplatform Snappet.’ Van RTL Nieuws tot Tubantia, alle media brachten dit nieuws begin februari 2016. De pr-afdeling van Snappet draaide overuren. Realiseerde opdrachtgever Kennisnet zich welke boost het Snappet gaf?

Waarom besteedt Kennisnet publiek geld aan dit soort onderzoek? Alfons ten Brummelhuis van Kennisnet: ‘Er is een grote toevloed van commerciële, digitale leermiddelen en de praktijk wil weten: wat werkt wel en wat niet? Wij vinden: waar de praktijk aan de poort klopt, moeten onderzoekers open doen. Daarbij bepaalt het onderwijs wat we onderzoeken, nooit de producent.’

Maar waarom doet en betaalt die producent zelf eigenlijk geen effectonderzoek? Een geneesmiddel mag toch ook pas de markt op als het uitgebreid getest is en bewezen werkt? Voor leermiddelen is die drempel er niet: iedereen mag een leermethode, tool of spel verkopen. Scholen beslissen zelf wat ze aanschaffen, ‘ze doen eigenlijk maar wat’ zeggen sommige onderzoekers. Wie ze wil helpen een gefundeerde keuze te maken en wil weten wat werkt, zal per definitie commerciële producten moeten onderzoeken. En dan komt er een heel andere dynamiek op gang. Het is bijvoorbeeld niet altijd transparant waarom het ene leermiddel wordt onderzocht en het andere niet. Inge Molenaar van de Radboud Universiteit: ‘Ik doe al langer onderzoek naar het gebruik van tablets in het onderwijs en de scholen waarmee ik samenwerk gebruiken Snappet. Bovendien is Snappet de grootste en meest gebruikte tool.’ Adrie Visscher, hoogleraar aan de Universiteit Twente: ‘We zagen dat Snappet enorm oprukt.´ Of Snappet echt de grootste is, valt lastig te controleren: uitgevers doen doorgaans geen mededelingen over hun marktaandeel.

Gouden standaard

Naamsbekendheid is in de leermiddelenmarkt heel wat waard. En de uitgever wiens naam in één adem wordt genoemd met de term ‘wetenschappelijk bewezen’ zit gebeiteld in deze tijd waarin evidence based het credo is. Verkoopcijfers hangen mede af van de resultaten van onderzoek. Kennisnet is naar eigen zeggen in het onderzoek naar Snappet voorzichtig geweest: ‘We hebben in dit geval twee parallelle onderzoeken laten doen met ieder een eigen onderzoeksdesign. Dat geeft een robuust resultaat,’ aldus Ten Brummelhuis.

Iedereen mag een leermethode, tool of spel verkopen

De Twentse onderzoekers verdeelden 79 scholen aselect over de experimentele (Snappet) en controlegroep, Molenaar (RU) werkte al samen met de scholengroep Klasse en volgde twaalf basisscholen die met Snappet werkten en vergeleek deze met vier controlescholen. Verschillend of niet in design, ze beantwoordden in elk geval geen van beiden aan wat volgens Wim Groot (hoogleraar Universiteit Maastricht) de gouden standaard is: volledig gerandomiseerd onderzoek. ‘Daarbij bepaalt toeval - het opgooien van een muntstuk - welke leerling in de experimentele en welke in de controlegroep zit. Pas dan zijn gevonden effecten volledig toe te schrijven aan de interventie.’ Volledige klassen of scholen toewijzen aan de ene dan wel de andere conditie levert minder hard bewijs op. ‘Dan spelen andere variabelen mee en kun je niet meer zuiver vergelijken. We weten van ict-tools namelijk dat het heel veel uitmaakt wat de leraar daarmee doet.’ Als je klassen van dezelfde leraar verdeelt, dan ondervang je dat bezwaar weer een beetje.

Causaliteit

Molenaar (Radboud) ‘gelooft niet zo in gerandomiseerd onderzoek’ om de effecten van onderwijstechnologieën te onderzoeken en ze is niet de enige. De hoogleraren Paul Kirschner en Koeno Gravemeijer stelden al in oktober 2008 in Didactief (zie ‘Het beste bewijs?’) dat in onderwijsonderzoek, anders dan in medisch onderzoek, 100% causaliteit onmogelijk is. ‘Je kunt hooguit spreken van waarschijnlijkheden: in bepaalde situaties onder bepaalde voorwaarden zou er dit en dit kunnen gebeuren,’ zei Kirschner. Bovendien is volledig aselecte toewijzing in het onderwijs lastig te realiseren: je moet ofwel klassen door elkaar gaan husselen ofwel heel veel klassen vergelijken. Daarom kiezen onderwijsonderzoekers vaak voor quasi-experimenten: wel controle- en experimentele groepen, maar geen toevallige toewijzing van leerlingen.

Het aantonen van keiharde effecten van ict-tools of leermiddelen in het algemeen vergt dus langduriger en grootschaliger onderzoek, omdat er zo veel variabelen meespelen. Ten Brummelhuis is overigens de eerste om dat te erkennen: ‘Je kunt bij nieuwe leermiddelen al snel een korte termijneffect aantonen. We weten echt nog niets over het succes van Snappet op lange termijn.’ Die nuance haalde de persberichten van de uitgever niet.

Publiek-private samenwerking

Vraag is of effectiviteitsonderzoek niet per definitie zo complex is dat het ongeschikt is voor kortlopende praktijkgerichte programma’s, zoals dat van Kennisnet of van het NRO. Deze zouden hooguit kunnen fungeren als zeef om veelbelovende leermiddelen op te sporen en die vervolgens te onderwerpen aan langer durend onderzoek als we echt willen weten wat werkt.

NRO-directeur Jelle Kaldewaij ziet dat anders: ‘Sommige effecten kun je snel meten, bijvoorbeeld het tempo waarin leerlingen een specifieke vaardigheid verwerven. Sommige pas na jaren: gemiddeld hogere Cito-score door aanpak leesvaardigheid in de hoogste drie groepen van het po. ’Zou er vanwege de hoge kosten die dat met zich meebrengt, dan niet vaker ingezet moeten worden op publiek-private samenwerking? Met andere woorden, zouden uitgevers niet moeten meebetalen?

Kaldewaij denkt dat uitgevers dat niet altijd kunnen (mee)betalen, al is hij voorstander van samenwerking. Annet van Duren, onderwijsdirecteur bij Snappet, voelt er echter wel voor. ‘Wij steunen ieder initiatief, en dus ook iedere samenwerking die er substantieel toe bijdraagt om het onderwijs en leerresultaten verder te verbeteren.’Kaldewaij benadrukt dat vragen van scholen altijd leidend blijven – het kan niet zo zijn dat een bedrijf op NRO afstapt met het voorstel om eens hun product te onderzoeken.  Ten Brummelhuis kreeg bij Kennisnet dat soort vragen regelmatig. ‘Dan zeiden we: dan moet je ervoor zorgen dat er scholen zijn die jullie product kiezen en willen weten of het werkt.’

Maakt de omvang van een bedrijf nog uit? Stel dat onderzoekers zich melden om samen met scholen een product van Google of Apple te onderzoeken? Kaldewaij: ‘Ik geef toe dat het anders zou voelen bij dergelijke grote partijen maar we zouden het onderzoeksvoorstel serieus bekijken.’

Publiek-private samenwerking is binnen de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO, waaronder het NRO valt, red.) business as usual. Kaldewaij: ‘Het resulteert er regelmatig in dat publiek-privaat gefinancierd onderzoek ten goede komt aan het bedrijfsleven. Het is mooi als NWO vernieuwingen zo een duwtje in de rug geeft.’ Wat hem betreft hoeft voor onderwijsonderzoek het wiel niet opnieuw te worden uitgevonden. NWO heeft protocollen voor dergelijke samenwerking, die vooral voorzien in afspraken over wie wat investeert en wie er profiteert in geval van valorisatie.

Pas op voor onderzoek op bestelling:
wij van wc-eend onderzoek

Waar burgers en onderzoekers voor vrezen, is onderzoek op bestelling – zogeheten wij van wc-eend-onderzoek. Met als gevaar bovendien dat de grootste portemonnee wint. De KNAW bracht in 2005 op verzoek van OCW het adviesrapport Wetenschap op Bestelling uit, met daarin het advies: onderzoekers die voor overheid of bedrijfsleven werken, moeten zich samen met hun opdrachtgevers committeren aan een verklaring van wetenschappelijke onafhankelijkheid. Daarin spreken zij onder meer uit dat de opdrachtgever de opzet, uitvoering, interpretatie en publicatie van het rapport niet zal beïnvloeden.

--------------------------------------------------------------------------------------------------------------------------

Van publieke kennis tot product

Hoe leer je zwakke lezers sneller lezen? De Nijmeegse promovenda Karly van Gorp ontwikkelde daarvoor de educatieve game LeesRace en uit haar onderzoek bleek dat het werkte: de kinderen boekten vooruitgang in leessnelheid en stokten ook minder bij onbekende woorden. Handig, denk je dan als school, waar kunnen we die game downloaden? Immers, wat aan universiteiten ontwikkeld wordt, zou toch gratis voor iedereen toegankelijk moeten zijn.

Maar dat blijkt te naïef gedacht, legt Inge Molenaar, senioronderzoeker van de Radboud Universiteit uit. De door Van Gorp ontwikkelde game is nog slechts een prototype. ‘Die voldoet prima om in groep 4 kinderen vijf weken lang mee te laten werken, maar dagelijks gebruik in het onderwijs vraagt om een andere schaalgrootte. Dan moet je voldoende oefenstof hebben voor groep 2 tot en met groep 8 en een robuuste technologie. Bovendien kost het geld om een app uit te rollen en te onderhouden.’
Om van prototype tot schoolklaar leermiddel te komen is dus meer nodig. En dat ‘meer’, zo vindt Molenaar is niet (alleen) de taak van wetenschappers, maar van de markt.

Open Access

Want ja, er is het ideaal van open access ofwel publieke toegankelijkheid van kennis, maar universiteiten hebben ook een valorisatiefunctie: ze moeten hun kennis zien te vermarkten. Combineer beide vooral, stelt Molenaar. ‘Mijn voorstel zou zijn dat universiteiten vanuit hun kennis van wat werkt, modellen voor ontwikkelen en die samen met commerciële partijen verder uitbouwen.’ Het is een vorm van publiek-private samenwerking die in de farmaceutische wereld heel gebruikelijk is en in de nationale topsectoren als voeding en energie door de overheid ook gestimuleerd wordt, maar onder onderwijsonderzoekers taboe lijkt. Molenaar: ‘In Europese onderzoeksprojecten zijn bedrijven altijd co financier, het producteigenaarschap wordt dan contractueel vastgelegd en gedeeld. Ik vind dat niet heel shocking, maar mijn collega’s accepteren dat nog niet.’

Ook de Maastrichtse hoogleraar Wim Groot vindt publiek-private samenwerking in onderwijsonderzoek een goede zaak. ‘Als de universiteit alle kennis weggeeft, gaat een commercieel bedrijf ermee aan de haal. Ik zou zeggen: doe het gezamenlijk en laat de universiteit meeverdienen, zodat een deel van de opbrengsten terugvloeien in het publieke domein.’ Hoog tijd om daar eens sectorbreed over na te denken en profiteren van in andere sectoren opgedane lessen. ‘Want we weten ook allemaal dat er in de farmaceutische industrie wel eens dingen mis gaan.’

Spin-off

Een andere mogelijkheid om kennis te vermarkten is via een zogeheten spinoff. Dit is een kennisintensief bedrijfje dat onder de veilige vleugels van een universitaire holding kan starten. Vooral in de medische en bètahoek zijn er veel spin-offs, niet zelden ondergebracht in een bedrijvencentrum op de campus en met korte lijntjes naar en samenwerking met onderzoekers.
Onderwijskundige spin-offs zijn schaarser, maar een voorbeeld is Diataal. Hilde Hacquebord ontwikkelde dit leerlingvolgsysteem als ‘bijproduct’ van haar onderzoek aan de Rijksuniversiteit Groningen. ‘Het werd echt groot, een commercieel product met een team van medewerkers.’ Hacquebord was weliswaar intellectueel eigenaar van het product, maar omdat ze het mede in de tijd van de baas heeft ontwikkeld, had de universiteit het uitbaatrecht. Om zelf Diataal uit te baten moest ze gedeeltelijk ontslag nemen, ze is nu nog voor 1 dag in de week universitair hoofddocent. De universitaire holding zit nog voor 20% in haar Diataal-BV.  

--------------------------------------------------------------------------------------------------------------------------

Goede sier

Om iets in de klas te kunnen toepassen is vooral belangrijk om te weten waarom iets werkt, wat het werkzame mechanisme is. Ofwel: dat automerk doet er niet toe, wel wat onder de motorkap zit. Zou het dan ook niet beter zijn om - het advies van de KNAW indachtig - de uitkomsten van onderzoek te anonimiseren? Om te voorkomen dat uitgevers, zoals Snappet in bovenstaande casus, goede sier maken met selectief citeren uit onderzoeksrapporten? Zo liet Snappet op haar website onvermeld dat de tool alleen werkt als de leraar het op de juiste manier inzet en voor de juiste leerling. Natuurlijk kan iedereen de publiek toegankelijke onderzoeksrapporten erop naslaan, vraag is alleen of scholen dat ook doen.

Kennisnet vindt afspraken over naamsvermelding niet nodig. Ten Brummelhuis: ‘Nee, we doen onderzoek naar werkende mechanismen in een onderwijssituatie. De merknaam hoeft niet te vallen.’ Dat is een beetje naïef, vindt Carla Haelermans van de Universiteit Maastricht die Muiswerk onderzocht, gefinancierd door het NRO. ‘Voor een eerlijke vergelijking tussen marktpartijen is het misschien beter om resultaten anoniem te publiceren, maar de vraag is of uitgevers dan nog wel hun data beschikbaar stellen. Muiswerk stelde nu bijvoorbeeld het programma gratis ter beschikking voor een deel van de onderzoeksgroep. Ze doen dat toch in de hoop er voordeel bij te hebben.’ Ook Snappet stelde tablets (Twente) ter beschikking. Overigens zijn daar ook afspraken over te maken, zoals binnen geneesmiddelenonderzoek al gebruikelijk is, weet Wim Groot. ‘De farmaceutische industrie is verplicht onderzoeksdata aan te leveren. Al hebben we natuurlijk ook verhalen gehad dat bedrijven resultaten die hen niet bevallen achterhouden. Je moet in je protocollen dus waarborgen inbouwen voor onafhankelijkheid en openbaarheid.’

Bias en distantie

Hoe nu verder? Opdrachtgever NRO ziet risico’s in al te uitbundig verwijzen naar onderzoek: niet al het onderzoek geeft harde bewijzen van effecten. Directeur Kaldewaij zoekt de oplossing in een indeling van onderzoeksresultaten in categorieën: in welke mate is iets bewezen? De database van jeugdinterventies van het Nederlands Jeugd Instituut werkt al op die manier, met labels als ‘het is niet duidelijk of het werkt’, tot ‘ja, het is bewezen dat het werkt’ en tussencategorieën.

Naamsbekendheid is in de leermiddelenmarkt heel wat waard

Wim Groot (UM) heeft nog een advies: ‘Laat onderzoekers van tevoren vastleggen wat hun onderzoeksopzet wordt: hoe veel leerlingen, hoe gaan ze meten en welke effecten? Opdrachtgevers willen bij teleurstellende resultaten nog wel eens aandringen: kijk hier nog eens naar, kijk nog eens bij die en die groep, laat dat eens weg. Daar moet je niet aan toegeven.’ Voor onderzoekers is dat evengoed een valkuil, want over geen of negatieve effecten is het nou eenmaal lastiger publiceren in vaktijdschriften. Dat kan een hellend vlak worden. Daarom, stelt Groot, moet je goed nadenken over design, dit vastleggen en laten beoordelen door een onafhankelijke organisatie zoals NRO. ‘Maak een portal waarop alle designs te vinden zijn en laat de onderzoeksgemeenschap daarop schieten.’
Kaldewaij vindt dat zonder meer het overwegen waard. ‘Mogelijk volgt het NRO de universiteiten die nu ook eisen dat ruwe data worden bewaard, zodat onderzoek kan worden gereconstrueerd.’

Moet ook niet worden vastgelegd dat onderzoekers geen enkele link hebben met een uitgever of een commerciële partij? Kaldewaij: ‘U vraagt eigenlijk: hoe organiseer je de juiste distantie? Die vraag speelt vaker bij praktijkgericht onderzoek. Een school propageert een bepaalde vernieuwing, het hele team gelooft er in, dan is het voor een onderzoeker soms moeilijk om er cool en op afstand naar te blijven kijken. Maar bias ligt altijd op de loer.’

OR-advies: Onderwijs in het digitale tijdperk
De Onderwijsraad is al langere tijd bezig met digitaal onderwijsmateriaal. Voorzitter Henriette Maassen van den Brink: ‘De OR wijst al sinds 2008 op de mogelijkheden van open leermiddelen die als collectief goed worden ontwikkeld en dus zonder enige beperking ter beschikking staan van het onderwijsveld, maar ook van onderzoekers. Op dit moment bereidt de Onderwijsraad een verkenning voor over Onderwijs in het digitale tijdperk die naar verwachting in de zomer van 2016 verschijnt. In deze verkenning draait het om de impact van digitalisering (en alles wat er mee samenhangt) op het onderwijsbestel. Een aspect dat daarbij zeker aan bod zal komen, is het krachtenveld tussen de commerciële digitale leermiddelenmarkt in verhouding tot de manier waarop het Nederlandse onderwijsveld historisch is georganiseerd, en de kansen en bedreigingen daarbij.’