Als hoogleraar onderwijskunde in Nieuw-Zeeland verrichtte hij fenomenaal onderzoekswerk. Al in zijn studietijd begon hij gesprekken in de les op te nemen. Uiteindelijk hield Graham Nuthall dit veertig jaar vol, van 1960 tot 2000. Na zijn pensionering, in het laatste halfjaar van zijn leven, schreef hij in grote haast het boek The Hidden Lives of Learners.
Naar mijn mening heeft Nuthall het beste onderzoekswerk ooit gedaan in het onderwijs, met de meest betrouwbare en onweersproken resultaten. Een bijzonder onderdeel van zijn werk gaat over toetsen. Zijn consciëntieuze manier van werken kwam ook tot uiting in de manier waarop hij de leerervaring van leerlingen precies in kaart probeerde te brengen: door (herhaalde) toetsen voor en na het leren en interviews met leerlingen over hun antwoorden.
Nuthall is een van de grondleggers van internationale rekentoets TIMSS. Over zijn bijdrage aan de ontwikkeling hiervan schreef hij in zijn bovengenoemde boek: ‘Ik realiseerde me dat weinig leerlingen hun aandacht echt op de vragen richtten. Sommigen lazen de vragen, maar schreven nauwelijks iets op, anderen waren wat aan het tekenen en een aantal lag met hun hoofd op de armen op hun tafel. Bij de analyse van de toetsresultaten zagen we een normale verdeling. De toets voldeed aan de normen voor betrouwbaarheid en validiteit. Uit niets konden we opmaken dat de toets niet weergaf wat leerlingen wisten.’Zijn ervaring bij de ontwikkeling van TIMSS was voor Nuthall aanleiding om zich verder te verdiepen in de manier waarop leerlingen toetsen maken. Hij kwam tot de conclusie dat toetsresultaten in de eerste plaats weergeven in hoeverre een leerling gemotiveerd is om de toets goed te maken en in de tweede plaats de vaardigheid in het maken van toetsen. Dit laatste kun je beschouwen als metacognitie. In een matrix ziet dat er als volgt uit:
Wat een leerling weet, volgt pas na deze twee factoren en bepaalt pas in de derde plaats het cijfer. Het ligt voor de hand dat de meer gemotiveerde leerlingen die daarnaast goed zijn in toetsen maken, betere cijfers halen (zie verderop over het testeffect).
Hoe komen leerlingen bij een toets tot het juiste antwoord? Ze gebruiken gelijktijdig (en onbewust) twee mentale processen, zo heeft Nuthall beschreven (zie ook kader). Het eerste proces is een intelligente manier van zoeken in het eigen geheugen. De leerling gebruikt aanwijzingen uit de vraag en de antwoorden om het juiste antwoord in het geheugen te vinden.
Lukt dit niet, volgt het tweede proces: deductie en generalisatie, ook weer aan de hand van de vraag en de antwoorden. De leerling probeert te bepalen welke antwoorden in ieder geval fout zijn en welke antwoorden misschien goed. Dit tweede proces ‘controleert’ het eerste proces. In de praktijk is dit de meest bewandelde weg; slechts zelden kan een leerling het juiste antwoord onmiddellijk oproepen uit het langetermijngeheugen.
Zelfs bij eenvoudige feitelijke vragen gebruiken leerlingen een complex en intelligent mentaal proces, waarin hun achtergrondkennis een grote rol speelt. Kennis is geen verzameling losse weetjes die zijn op te tellen en te voorzien van een cijfer: het is een netwerk van logische en met elkaar verbonden concepten, ideeën en overtuigingen.
|
We kunnen niet waarnemen wat leerlingen precies weten of hebben geleerd. We gebruiken toetsen om een indicatie te krijgen van hun kennis. Maar het zou nog beter zijn als we erachter kunnen komen wat een leerling geleerd heeft (in plaats van wat hij weet): dan zien we ook wat onze lessen en leeractiviteiten opleveren.
Dit vereist een andere toetspraktijk. Om te bepalen wat een leerling heeft geleerd van een serie lessen over een bepaald onderwerp, zullen we voor en na de lessen moeten toetsen. En dat is nog niet genoeg: we zullen ook moeten terugkijken op de leeractiviteiten die we hebben aangeboden, zodat we een verbinding kunnen leggen tussen wat een leerling heeft geleerd en door welke activiteit dit verband ontstaat. We zullen grote verschillen tussen leerlingen ontdekken, in hun voorkennis maar ook in wat ze leren en van welke activiteit. Dit betekent dat we gevarieerde leeractiviteiten kunnen aanbieden, met meer maatwerk: activiteiten waarvan we weten dat ze voor deze leerling werken (nee, dit heeft niets te maken met leerstijlen!).
Bij meerkeuze valt
het juiste antwoord
meestal af te leiden
Wat Nuthall in zijn werk over toetsen niet meenam, is wat we nu het ‘testeffect’ noemen. Daar is sinds zijn dood nogal wat onderzoek naar gedaan. Het testeffect houdt in dat een leerling leert van het maken van toetsen, een effect dat erg sterk lijkt. Zo ontdekten onderzoekers Roediger en Butler (2011)[1] dat leerlingen die voor het eerst een toets maakten zonder eerdere toetsen of quizzen, het slechtst scoorden. De leerlingen die wel al een toets of quiz maakten, presteerden beter. Op toetsen met uitgestelde feedback (de goede antwoorden werden pas gegeven nadat de leerling alle vragen had beantwoord) scoorden de leerlingen het hoogst, zoals deze grafiek laat zien:
Het komt erop neer dat we door frequent toetsen, bevragen en quizzen leerlingen ondersteunen om kennis in hun langetermijngeheugen vast te leggen. Tegelijkertijd trainen we hen om hun metacognitieve vaardigheid te gebruiken bij het beantwoorden van toetsvragen. Dit laatste komt enigszins overeen met ‘kritisch denken’. De vraag is of we dit willen versterken door het expliciet te onderwijzen.
Laten we uitzoeken
door welke activiteit
de leerling leert
Voor de praktijk betekent dit dat leerlingen meer leren als we veel vaker gaan toetsen, quizzen en bevragen, zonder daar direct cijfers aan te verbinden. Denk bijvoorbeeld aan formatief evalueren (zie ook de tips van Dylan Wiliam uit hetzelfde nummer van Didactief).
Jan Tishauser is programmadirecteur van ResearchED Nederland.
Graham Nuthall, The Hidden Lives of Learners. New Zealand Council for Educational Research (NZCER) Press, 2007, ca. € 31,00.
Dit artikel verscheen in de rubriek Onderzoek po/vo in Didactief, april 2019.
---
[1] Henry L. Roediger en Andrew C. Butler, The critical role of retrieval practice in long-term retention. In: Trends in Cognitive Sciences, 2011.
1 Toetsen als leerstrategie
2 Formatief toetsen, wat en hoe?
3 Formatief evalueren volgens Dylan Wiliam
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
Hoofdstad van Laos
