Onderzoekers van de Johns Hopkins University hebben dertig jaar onderwijsonderzoek geanalyseerd uit ‘What Works Clearinghouse’: een databank met onderwijsonderzoek die het Amerikaanse ministerie van Onderwijs in 2002 lanceerde om onderwijs te helpen beslissen welke educatieve producten te kopen. Het is geen complete verzameling van onderwijsonderzoek, maar een selectie van hoogwaardige studies, samengesteld door deskundigen.
Amerikaanse studie wijst uit dat ‘insider onderzoek’ 70 procent meer voordelen voor studenten oplevert dan onafhankelijk onderzoek.
Het onderzoek van de JHU richtte zich op de verschillen in uitkomst tussen ‘ontwikkelaarsonderzoek’ (waarbij de onderzoeker een zelfbedacht leermiddel of interventie toetste) en onafhankelijk onderzoek (waarbij een lesmethode werd getoetst door onafhankelijke wetenschappers). Uit de analyse blijkt dat wanneer de ontwikkelaar van educatieve interventies zijn eigen producten onderzocht, of zelf iemand in dienst had om het onderzoek uit te voeren, de resultaten vaak positiever waren voor leerlingen dan wanneer het onderzoek onafhankelijk was. Gemiddeld waren de voordelen (meestal verbeteringen in testscores) 70 procent groter dan bij de opbrengsten van onafhankelijk onderzoek.
Rebecca Wolf, onderzoeker aan de Johns Hopkins University en hoofdauteur van de conceptstudie, denkt dat er losse gevallen van fraude zijn, maar dat er geen fraude is over de hele linie. ‘Ontwikkelaars zijn trots op hun producten. Ze geloven erin. Ze hebben hard gewerkt om deze producten te ontwikkelen. Ze willen een studie die ze het beste presenteert.’
Onderzoek naar vooringenomenheid is belangrijk omdat de huidige Amerikaanse wetgeving scholen aanmoedigt evidence based producten te kopen. Om voor federale schoolverbeteringsfondsen in aanmerking te komen bijvoorbeeld, zijn scholen die slecht presteren en met kansarme kinderen verplicht om programma’s te selecteren die streng zijn getest en positieve effecten laten zien.
Het JHU-onderzoek ‘Do Developer-Commissioned Evaluations Inflate Effect Sizes?’ (Leiden evaluaties waartoe de ontwikkelaars opdracht hebben gegeven tot opgeblazen effecten?) werd gepresenteerd tijdens een conferentie in maart 2019 van de Society for Research on Educational Effectiveness (SREE) in Washington, DC. Het artikel is nog niet gepubliceerd in een peer-reviewed tijdschrift, en kan nog worden herzien. Wolf en drie van haar collega’s analyseerden ongeveer 170 onderzoeken naar lezen en wiskunde. Het gaat om studies waarin testscores werden vergeleken van leerlingen die een bepaalde interventie wel, of niet, hadden gekregen.
Meer dan de helft (96) van de onderzoeken werd uitgevoerd door onafhankelijke onderzoekers, terwijl 73 een soort van insider-relatie hadden met het maken of verkopen van het product. Wolf bestempelde het onderzoek als een ontwikkelaarsonderzoek of een gefinancierd onderzoek als de ontwikkelaars, distributeurs of een medewerker van de ontwikkelaar of distributeur bij het onderzoek betrokken waren. Studies werden beschouwd als ontwikkelaarstudies, zelfs als de ontwikkelaar niet direct het onderzoek uitvoerde, maar een externe onderzoeker opdracht gaf het onderzoek uit te voeren.
Wolf nam meerdere aspecten in overweging die tot grotere leerprestaties kunnen leiden. Een privéleraar leidt bijvoorbeeld veelal tot meer leerwinst dan een lesprogramma dat door de hele klas wordt gebruikt. Kinderen in de onderbouw laten vaak grotere verbeteringen zien dan oudere kinderen. En kleinere studies, met minder leerlingen, laten eerder een grote vooruitgang zien dan grotere. Maar zelfs binnen een groot aantal subcategorieën vond Wolf dat de ontwikkelaarsstudies nog steeds wezen op grotere voordelen dan de onafhankelijke onderzoeken.
Replicatiestudies zijn relatief zeldzaam in onderwijsonderzoek, maar van achttien lees- en wiskunde-interventies waren er zowel ontwikkelaars als onafhankelijke studies. Toen Wolf deze onderzoeken met elkaar vergeleek, bleken de ontwikkelaarsstudies zo’n 80 procent hogere leerwinst voor leerlingen te boeken dan de onafhankelijke studies, voor hetzelfde educatieve product.
Er is een aantal redenen waarom studies van ontwikkelaars sterkere resultaten laten zien, volgens Wolf, wiens fulltime werk bestaat uit het evalueren van educatieve programma’s. De eerste is dat het onwaarschijnlijk is dat een bedrijf ongunstige resultaten publiceert. Wolf speculeert dat ontwikkelaars meer geneigd zijn om ‘een mislukte proef een ‘pilot’ te noemen en ergens in een lade te stoppen.’.
Een tweede truc is leerlingen uit te sluiten van experimenten. Timothy Shanahan, leesspecialist en emeritus hoogleraar aan de Universiteit van Illinois, deelde de volgende anekdote met de deelnemers aan de SREE-conferentie. Hij herinnerde zich een leesonderzoek waarin leerlingen die moeite hadden met een programma en het niet voltooiden werden uitgesloten van de interventiegroep. De vergelijkingscontrolegroep hield natuurlijk de laag presterende lezers en hun lage scores, waardoor de interventie er meer geslaagd uitzag. Ook Wolf ontdekte dit soort verschillen in ‘steekproefselectie’ toen ze ontwikkelaars- en onafhankelijke studies met elkaar vergeleek. Eén ontwikkelaarsstudie besloot bijvoorbeeld om enkele leerlingen niet in de interventiegroep op te nemen, hoewel ze er willekeurig voor waren geselecteerd. Deze details staan vaak in de kleine lettertjes van een studie, maar leerkrachten zouden ernaar moeten zoeken.
Resultaten zijn sterker wanneer onderzoekers eigen interventies onderzoeken.
Ontwikkelaars scheppen vaak een eigen maatstaf voor het meten van het succes van de leerlingen, en bedenken zelf beoordelingen voor hun programma’s. Dat kan helpen om nauwkeuriger te meten wat er precies gebeurt tijdens een interventie. Maar een vergelijkbare winst is vaak niet aantoonbaar in de lees- of wiskundetoets die alle leerlingen elk voorjaar maken.
De onderzoekskeuzes die tot bias of vooringenomenheid leiden, lijken een publiek geheim in onderwijsonderzoekskringen. Wolf heeft de onderzoekers die haar presentatie van het Hopkins-onderzoek bijwoonden, gevraagd of ze verrast waren door haar conclusies. ‘Iedereen zei “nee”. Als je onderzoeksprogramma’s evalueert, zie je hoe deze dingen gebeuren,’ aldus Wolf.
Dit is niet de eerste studie die bias in onderwijsonderzoek blootlegt. Het verhullen van ongunstige resultaten bij publicatie is al in 1995 gedocumenteerd. In 2016 schreef een van de co-auteurs van Wolf, de bekende Amerikaanse onderzoeker Robert Slavin, over de positieve resultaten die onderzoekers behalen wanneer ze hun eigen maatstaven bedenken om te bewijzen dat hun uitvindingen werken. In datzelfde jaar ontdekte een andere groep onderzoekers ook een ontwikkelaarbias in een kleinere groep studies over wiskundeprogramma’s, eveneens uit de What Works Clearinghouse-collectie. De nieuwe Hopkins-studie behandelt enkele vragen over die analyse en bevestigt de conclusie dat wanneer mensen hun eigen uitvindingen bestuderen, de resultaten sterker zijn.
Het oplossen van dit bias-probleem zal niet eenvoudig zijn. Sommigen pleiten voor pre-registratie, wat in de geneeskunde al wordt gebruikt, waarbij onderzoekers het studieontwerp en de maatstaven van tevoren moeten beschrijven. Dat maakt het moeilijker voor ontwikkelaars om hun onderzoeksontwerp snel aan te passen wanneer leerlingen het minder goed doen dan ze hadden gehoopt. Scholen zijn echter complexe plekken, waar het vaak nodig is om experimenten aan te passen omwille van de leraar of het rooster.
Wolf pleit ervoor dat leerkrachten meer aandacht besteden aan de vraag of een onderzoek onafhankelijk is. In haar onderzoek bleek het niet altijd duidelijk of een onderzoek door ontwikkelaars was gefinancierd; om daarachter te komen moest ze contact opnemen met de onderzoekers. Belangenconflicten moeten echter juist van tevoren worden benadrukt en bekendgemaakt.
Dit artikel is gepubliceerd door Jill Barshay op 18 maart 2019, op de website van The Hechinger Report, een non-profit nieuwsorganisatie gericht op nieuwsgeving over ongelijkheid en innovatie in het onderwijs. Het is vertaald door Hannah Wolff.
1 Wetenschap en commercie? Pas op!
2 Drie vragen aan Suzan van Brussel
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
