Meerkeuze is zo makkelijk nog niet

Lesgeven gaat over het helpen van leerlingen om vooraf bepaalde leerdoelen te bereiken en het is de leraar die leerlingen doceert, begeleidt en ondersteunt om die doelen te bereiken. Het proces van assessment (toetsing, tentaminering, examinering) gaat over of en in hoeverre leerlingen de doelen hebben bereikt. Dit geldt voor zowel summatieve toetsing (voor een cijfer) als formatieve toetsing (om het leerproces te peilen). Hiervoor leren aankomende leraren toetsen en toetsvragen te ontwikkelen en gebruiken, de resultaten te analyseren en daarover te communiceren met leerlingen (denk aan feedback), om hen beter te helpen leren, maar ook om de instructie te verbeteren. Gaat dit niet goed, dan hebben wij (en vooral de leerlingen) een groot probleem.

Vijfduizend toetsvragen

Ali Simsek (2016) voerde een onderzoek uit om na te gaan hoe goed docenten toetsvragen maken en waar de problemen liggen bij het maken daarvan. Zijn onderzoek ging over Turkse leraren in het basis- en voortgezet onderwijs en trainers bij bedrijfsopleidingen; ik beperk mij hier tot de leraren.

Simsek keek naar circa vijfduizend zelfgemaakte meerkeuzevragen. De leraren beschikten allen over minstens een universitair bachelordiploma en hadden in de lerarenopleiding minimaal één cursus (maar vaak meer) gevolgd over toetsing en evaluatie. Als onderdeel van het onderzoek volgden ze een extra training van tachtig uur, waarvan twintig over meten en evalueren in het onderwijs. De extra training was gericht op toetsplanning, vragen maken, items analyseren, betrouwbaarheid berekenen en vragen verbeteren in het licht van de resultaten van leerlingen. De docenten kregen persoonlijke instructie, oefenden met vragen maken, kregen feedback en corrigeerden problematische vragen. Vervolgens schreven ze echte meerkeuzevragen voor een toets in hun reguliere lessen. Deze vragen werden vervolgens geanalyseerd.

Helaas ontdekte Simsek dat leraren veel fouten maakten (60% maakte minstens één en vaak meerdere fouten in dezelfde vraag), waarvan de helft – volgens Simsek – ‘ernstige’. De fouten waren niet alleen vormtechnisch van aard, bijvoorbeeld taalfouten (denk aan een ‘het’-woord in de vraag terwijl een of meer van de mogelijke antwoorden het woord ‘de’ nodig hebben), maar ook inhoudelijk, waarbij bijvoorbeeld zelfs het ‘juiste antwoord’ fout was.

Weggevertjes

De meest voorkomende fout was het stellen van te makkelijke vragen (74%) waar leerlingen niet over na hoeven te denken of waarin ze een letterlijk antwoord al herkennen. Dat betekende dat de vragen niet overeenkwamen met de leerdoelen, zoals iets in eigen woorden kunnen uitleggen.

De op één na meest voorkomende fout (zo’n 50%) was dat een of meer van de te kiezen antwoorden niet logisch of plausibel waren. Denk aan een vraag over wie de uitvinder was van het poliovaccin, met als mogelijke antwoorden Mark Rutte en Johan Cruijff. Zo kon de leerling meteen één of meer antwoorden uitsluiten, waardoor de gokkans groter werd.

Ook stelden leraren vragen met een ontkenning (34%), zonder de leerlingen daarop te attenderen (denk aan het onderstrepen of vet maken van het woord niet).

Weer andere fouten waren het resultaat van verborgen aanwijzingen (30%), die zogenoemde test wise (toetsvaardige) leerlingen hielpen. Zonder het antwoord te weten konden zij het goede antwoord kiezen! Bijvoorbeeld een antwoord (vaak de vierde die de leraar bedenkt) dat sterk afwijkt van de overige drie.

Een karakteristieke fout, die 27% van de leraren maakte, was dat het juiste antwoord de langste zin was. Dit is vaak een weggevertje omdat de leraar extra details inbrengt die het antwoord ‘echt’ juist maken. Dit heet de too long to be wrong-regel (te lang om fout te zijn).

Tot slot stelden de leraren ook een aanzienlijk aantal subjectieve en beoordelende vragen (21%).

Alles bij elkaar kan je op basis van dit onderzoek concluderen dat veel leraren gezakt waren voor het stellen van goede toetsvragen! Wat is de oplossing? Besteed hier meer aandacht aan in de lerarenopleidingen en ook nascholing. Niet alleen over hoe je goede toetsvragen stelt, maar ook wat de valkuilen zijn en hoe je die kan vermijden. Misschien slagen de vragenmakers dan wel met vlag en wimpel.

                                                              Bronnen         

• Simsek, A. (2016). A comparative analysis of common mistakes in achievement tests prepared by teachers and corporate trainers. European Journal of Science and Mathematics Education, 4(4), 477-489.