Vraagvolgorde

We gebruiken standaardtoetsen (eindtoets, CSE, PISA) vaak om te meten wat leerlingen weten en kunnen. Hoe we kennis en vaardigheden beoordelen in deze toetsen hangt af van verschillende factoren die prestaties kunnen beïnvloeden. In meerkeuzetoetsen, bijvoorbeeld, kan je je afvragen of je het geven van een verkeerd antwoord anders moet beoordelen dan het geven van geen antwoord. Moeten we leerlingen ook de kans geven om aan te geven hoe zeker ze zijn van hun antwoord? Moeten we als afleiding meerdere correcte antwoorden geven, of zelfs geen één? En hoe kan de volgorde van moeilijke en makkelijke vragen in een toets leerlingprestaties beïnvloeden?

Naarmate een toets vordert, raken mensen steeds vermoeider en presteren ze minder goed. Daarom is het wellicht beter om te beginnen met moeilijkere vragen. Maar dit kan leerlingen ontmoedigen, omdat ze verwachten dat de rest ook moeilijk zal zijn. Dus toch met makkelijke vragen beginnen? Bij toetsen waarbij deelnemers pas naar de volgende vraag mogen nadat ze de vorige hebben beantwoord, kunnen de psychologische effecten van de vraagvolgorde van groot belang zijn. Kortom, als we goed willen meten wat mensen weten en kunnen, moeten we goed nadenken over hoe we vragen ordenen en clusteren. Begin je met de makkelijkste of moeilijkste vraag, of ergens ertussenin? En maakt die volgorde überhaupt uit?

Lina Anaya en collega’s onderzochten of de volgorde van moeilijke/makkelijke vragen een rol speelt bij toetsing en presteren. Zij presenteren in hun artikel twee studies: één in een gecontroleerde omgeving en één in een echte toetssituatie. Hun eerste studie was een gecontroleerd veldonderzoek met een online onderwijsplatform dat een wiskundige uitdaging van tien vragen aanbood aan circa 19.000 vrijwillige deelnemers. Die werden willekeurig verdeeld over vier groepen, elk met dezelfde tien vragen, in verschillende volgorden. Uit een database kozen de onderzoekers ‘makkelijke’ vragen (80% gaf een juist antwoord), ‘gemiddelde’ vragen (door ongeveer 50% goed beantwoord) en ‘moeilijke’ vragen (minder dan 25% goede antwoorden). In de twee groepen die voor dit artikel de belangrijkste zijn, plaatsten de onderzoekers de drie moeilijkste vragen aan het begin of aan het einde, de vier vragen in het midden (moeilijk noch makkelijk) bleven hetzelfde. De overige twee groepen kregen moeilijke en makkelijke vragen door elkaar. De onderzoekers hielden bij hoeveel vragen deelnemers invulden, hoeveel juiste antwoorden ze gaven en hoe ze hun eigen prestaties inschatten.

Startten de deelnemers
met moeilijke vragen,
dan haakte bijna helft af

In hun tweede studie gebruikten Anaya en collega’s gegevens van drie PISA-afnames (2009, 2012 en 2015), met meer dan 600.000 deelnemers wereldwijd. Voor hen mooi materiaal, want de vraagvolgorde in de toetsboekjes verschilt en ze worden willekeurig aan leerlingen toegewezen. In het veldonderzoek zagen ze de beste resultaten als de vragen van makkelijk naar moeilijk gerangschikt waren: minder deelnemers verlieten de toets voortijdig en ze gaven de meeste juiste antwoorden. Begonnen ze met moeilijke vragen, dan haakte bijna de helft af, tegen slechts 30% van degenen die met makkelijke vragen begonnen. Ook hadden leerlingen in de laatste groep meer vertrouwen in hun antwoorden.

De onderzoekers vonden vergelijkbare resultaten in het tweede onderzoek (PISA): leerlingen van wie het eerste cluster van vragen ongeveer 10% moeilijker was, lieten meer vragen blanco in het midden (0,6%) en aan het einde (1,0%) van de toets. Ook gaven ze circa 1,5-2% minder juiste antwoorden in het midden en aan het einde van de toets. Anaya en collega’s concludeerden dat het ordenen van vragen op moeilijkheidsgraad belangrijke gevolgen heeft voor toetsontwerp en leerlingprestaties.

Waarom? Waarschijnlijk omdat een eenvoudige eerste vraag leerlingen helpt hun aanvankelijke twijfels te overwinnen, en het succesgevoel dat ze ervaren hen motiveert om langer door te gaan. Dus eet eerst wat je het lekkerste vindt en bijt dan door de zure appel heen!

Paul A. Kirschner is emeritus hoogleraar Onderwijspsychologie aan de Open Universiteit en gasthoogleraar aan de Thomas More Hogeschool (België). 

Bron:

Anaya, L., Iriberri, N., Rey-Biel, P., & Zamarro, G. (2022). Understanding performance in test taking: The role of question difficulty order. Economics of Education Review, 90, 102293.

Dit artikel verscheen in Didactief, april 2024.

Verder lezen

1 Leren van meerkeuzetoetsen
2 Meerkeuze is zo makkelijk nog niet
3 Weet wat en waarom je toetst