Maak dat de kat wijs

Vraag een grote groep Nederlanders of zij als baby en kind melk hebben gedronken en of zij verslaafd zijn aan gokken, dan zal je waarschijnlijk zien dat de meeste, zo niet alle gokverslaafden melk hebben gedronken in hun jeugd. Met andere woorden, er is een zeer hoge correlatie tussen vroeg melk drinken en latere gokverslaving. Maar van een oorzakelijk of causaal verband is natuurlijk geen sprake. Bij causaliteit is er wel sprake van oorzaak en gevolg. Geef één groep mensen melk te drinken gedurende hun jeugd en zorg dat een vergelijkbare groep geen melk drinkt in diezelfde periode, terwijl je alle andere invloeden gelijk houdt en ga dan na of de melkgroep meer gokverslaafden telt dan de andere groep. Als dat het geval is, mag je beginnen te denken dat melkdrinken gokverslaving veroorzaakt.
In de interpretatie van onderwijsonderzoek worden die twee zaken – correlationeel/observationeel onderzoek en experimenteel interventieonderzoek – nog wel eens verward.

Een recent artikel in de Journal of Educational Psychology bespreekt een trend naar onderwijsonderzoek waarbij state-of-the-art statistische technieken zoals structural equation modeling worden gebruikt als vervanging voor een goed experimenteel ontwerp. De auteurs schetsen hoe onderzoekers en toptijdschriften op een hellend vlak zijn gekomen en artikelen produceren dan wel publiceren waarin discutabele oorzakelijke beweringen gedaan worden op basis van observationeel en/of correlationeel onderzoek. Zij vragen zich dan ook af of hedendaagse onderzoekers geloven dat statistisch modelleren een toverdrank is die meer met hun data kan doen dan eigenlijk mogelijk is; oftewel dat zij menen causaliteit uit correlationele data te kunnen persen. Volgens de auteurs doet daardoor de onderwijsonderzoekgemeenschap steeds vaker aanbevelingen die zijn gebaseerd op 'less-than-solid' bewijs. Zij spreken van 'a perfect storm' (een dramatische samenloop van omstandigheden) wanneer vervolgens overijverige politici, beleidsmakers en sensatiebeluste journalisten hiermee aan de haal gaan!

Een mooi voorbeeld is een artikel in Computers & Education over locus of control (wie bepaalt wat er gebeurt), self-efficacy (het gevoel dat je in staat bent om iets te kunnen) en de waarde van de leertaak als voorspellers van leerresultaten. Het onderzoek is correlationeel (van een controlegroep of interventie is geen sprake) en maakt gebruik van structural equation modeling, maar deinst niet terug voor het geven van aanbevelingen voor het onderwijs. De auteurs concluderen op basis van hun onderzoek dat (1) cursusontwikkelaars en docenten leerervaringen betekenisvoller moeten maken, (2) het opbouwen van self-efficacy via succeservaringen, positieve terugkoppeling en het geven van controle aan lerenden in de les heilzaam zou zijn en (3) vanwege het verband tussen aan de ene kant tevredenheid en prestatie en aan de andere kant doorzettingsvermogen, lerenden cognitieve en affectieve ondersteuning moeten krijgen om hun doorzettingsvermogen te versterken. Om alleen de tweede te pakken, hoe weten wij dat het niet andersom is en dat juist beter presteren tot meer self-efficacy en een beter gevoel van controle bij de lerenden leidt?

Als onderzoeker moeten wij geen knollen voor citroenen verkopen, maar als leraar en beleidsmaker moet je ook oppassen met kopen.

Dit artikel is verschenen in Didactief, april 2013.