Onderzoek

Weet wat en waarom je toetst

Het regent of het is droog. Kijk door het raam of zet een stap buiten de deur en je weet precies hoe het gesteld is met het weer. Je zou willen, zo schrijft Michael Kane in zijn artikel, dat toetsscores ook zo feilloos te duiden zijn. Maar dat is helaas niet zo. Het gaat daarbij altijd om interpretatie en dus is er altijd ruimte voor meer uitleg. Kanes onderzoek helpt je om die ruimte zo klein mogelijk te houden door goed na te denken over wat en waarom je toetst en wat scores betekenen. In zijn artikel beschrijft hij waar je op moet letten bij het gebruiken van een toets en het interpreteren van de scores.

Valide gebruik

Een centraal begrip in Kanes onderzoek is validiteit. Een toets is valide als deze meet wat je wilt meten en weten. Dat is niet alleen het pakkie-an van de toetsenmaker. Ook jij als leraar speelt daarin een rol. Kane is een van de eersten die daar aandacht voor heeft gevraagd.

Laat je niet leiden
door vooroordelen,
kijk zo open mogelijk

Het is de verantwoordelijkheid van de toetsenmaker om goede vragen te maken. Maar het is jouw verantwoordelijkheid om de juiste toets te kiezen, een toets die past bij het leerdoel waarvan je wilt weten of de leerling het heeft behaald. Als je bijvoorbeeld inzicht wilt toetsen, moet je geen toets met reproductievragen gebruiken. Verder moet je de toetsscores op hun juiste waarde weten te schatten. Ook dat hoort bij validiteit. Validiteit, zo stelt Kane, ontstaat dus pas in de lespraktijk: bij de inzet van de juiste toetsen en bij de zorgvuldige interpretatie van de toetsscores.

Denk als Sherlock

Een A- of E-score of een 8 of 5 lijkt heldere taal te spreken. Maar om er conclusies aan te verbinden, ontkom je niet aan interpreteren. Daarbij ligt er niet één uitleg klaar die jij alleen nog maar hoeft te ontdekken. Nee, je bouwt je eigen interpretaties. De belangrijkste vuistregel van Kane daarbij is: gebruik je verstand. Ja, duh, hoor ik je denken. Maar hij bedoelt dat je als een Sherlock of een Poirot alle data onder de loep moet nemen en je little grey cells, je denkkracht dus, daarop loslaat. Zie de toets en de scores als een zaak die je moet oplossen.

Vier fasen

Kane beschrijft vier fasen die hiervoor belangrijk zijn.

1. Doel van de toets
Formuleer eerst helder en specifiek waarvoor je een toets wilt gebruiken. Wat wil je meten: welk onderwerp, welke kennis of vaardigheden, welke leerdoelen? En dienen de uitkomsten een formatieve of summatieve evaluatie? Kortom, waar is de toets voor bedoeld? Stel dat je een toets afneemt om te bepalen welke leerlingen toe zijn aan het volgende rekenthema en welke eerst nog extra instructie en oefening nodig hebben. Sta dan stil bij enkele vragen. Kennelijk moet de leerling voor het volgende rekenthema al over enige vaardigheden beschikken. Klopt dat? Zo ja, welke zijn dat en meet de (methode)toets die inderdaad? Zo nee, waarom zou je dan deze toets afnemen?

2. Zorgvuldig interpreteren
Neem als je de scores vervolgens bekijkt geen genoegen met de eerste interpretatie die in je opkomt, maar bekijk ze van alle kanten. Zoals je weet uit detectiveromans: de eerste verdachte is zelden de echte dader. Dus is er echt geen andere uitleg mogelijk en kan je eventuele tegenwerpingen weerleggen? Kloppen al je vooronderstellingen of laat je je onbewust leiden door vooroordelen? Zou een collega tot eenzelfde oordeel komen?
Als de score lager of hoger is dan verwacht, zoek dan naar mogelijke verklaringen. Was de toetsafname volgens de regels? Waren er omstandigheden waardoor je scores moet nuanceren, zoals onrust in de klas of ziekte in het gezin van een leerling? Is je blik mogelijk gekleurd door onbewuste vooroordelen (bijvoorbeeld over gender of etniciteit)?

3. Bewijzen verzamelen
Hoe meer bewijzen je voor jouw interpretatie van de toets verzamelt, hoe beter. Ook hier geldt weer: laat je niet leiden door veronderstellingen of vooroordelen, maar kijk zo open mogelijk. Voorkom de kokervisie waardoor menige moordzaak onopgelost blijft. Blijf daarbij dicht bij het doel van de toets (zie fase 1) en laat je niet verleiden tot al te grote generalisaties. Niet: leerling X kan nou eenmaal niet rekenen, maar: leerling X heeft moeite met deze specifieke rekenvaardigheden.

4. Conclusies trekken
Trek conclusies over de verzamelde bewijzen en kijk daarbij ook weer even naar fase 1: zeggen de toetsscores inderdaad iets over dat wat je wilde weten en meten? Heb je, om bij het rekenvoorbeeld te blijven, inderdaad de leerlingen zo weten te sorteren dat de juiste leerlingen extra instructie krijgen en dat de leerlingen met een hoge toetsscore daadwerkelijk goed mee kunnen komen in het nieuwe rekenthema?

In de praktijk

Deze fasen zijn niet haarscherp van elkaar te onderscheiden, ze lopen in elkaar over. Maar ze maken je wel bewust van wat er allemaal komt kijken bij het kiezen, afnemen en duiden van toetsen.

Interpreteer
toetsscores
met collega’s

Kane leert ons dat validiteit van een toets bij het gebruik in de praktijk ontstaat. Je kunt bijvoorbeeld een (technisch) goede toets verkeerd gebruiken: als deze niet past bij het leerdoel, dus bij wat je wilt meten, word je er in het beste geval niets wijzer van en trek je in het slechtste geval verkeerde conclusies over wat een leerling wel of niet kan.
Goed toetsbeleid houdt dus in dat je nadenkt over wanneer je welke toets inzet en tijd besteedt aan het zorgvuldig interpreteren van de scores. (Lees hierover meer in Stop de meetcultuur.) Doe dit bij voorkeur samen met collega’s. Jullie kunnen elkaar scherp houden en al te snelle conclusies voorkomen. Hoe vaker je samen Kanes fasen doorloopt, hoe vanzelfsprekender het wordt en hoe meer informatie je uit toetsen kunt halen.
 

Michael Kane, An argument-based approach to validity. Psychological Bulletin, 1992.

Dit artikel verscheen in Didactief, november 2023.

Verder lezen

1 Stop de meetcultuur