Contexten toetsen geen rekenen

Voorbeeldrekentoetsen op de Cito-site laten zien dat kandidaten tientallen problemen 'uit het dagelijks leven' krijgen. Achterliggende gedachte is dat op school alleen maar leren rekenen niet garandeert dat men later die rekenvaardigheid ook werkelijk kan gebruiken. Dat klopt. Er is geen garantie; maar is dat erg? Nee, want na school gaat het leren natuurlijk door. Maar voorwaarde hiervoor is dus dat de algemene schoolse kennis überhaupt opgedaan is. Kirschner, Sweller en Clark hebben in meerdere artikelen duidelijk gemaakt dat om problemen in het rekenen op te kunnen lossen, je moet kunnen rekenen! In Didactief: " . . . we kunnen van leerlingen alleen effectieve wiskundige probleemoplossers maken als we ze voeden met grote hoeveelheden wiskundige schema's [lees: eerst goed leren rekenen], kennis en op wiskundige problemen gerichte strategieën". Die kennis toepassen 'in situaties uit het dagelijkse leven' is nog een lastige opgave. In de psychologie heet dat het probleem van transfer, in feite gewoon voortgezet leren.

Rekentoetsen met 'situaties uit het dagelijks leven' testen het vermogen om te leren: opgedane rekenvaardigheid zo aanpassen dat de contextopgaven zijn te maken. Omdat kandidaten zelfstandig werken is het leren hier (zelf)ontdekkend leren. Is het vermogen tot dit soort leren een legitiem (reken-)onderwijsdoel? Wij menen van niet. Is een test hiervan dan een legitiem eindexamenonderdeel? Ons inziens zijn dit vragen die dringend antwoord behoeven. De Commissie-Bosker geeft dat antwoord niet, staatssecretaris Dekker evenmin. Ons voorstel is nu een expert opinion te vragen vanuit de psychologie; denk aan wetenschappers als Borsboom, Van der Maas, Taatgen, Zwaan, Kirschner. Laat de staatssecretaris opdracht geven voor degelijk experimenteel cognitief-psychologisch onderzoek naar de aard van de kennis en vaardigheden nodig bij contextrekenopgaven.

Er zijn al spijkerharde gegevens. Het Cito rapporteerde foutenanalyses havo en vwo. Het College voor Examens (CvE) rapporteerde testresultaten van examenkandidaten 2014 (in percentages voldoende): BB 38,4, KB 39,2, GL/TL 54,9, havo 45,3, vwo 87,6. Havo en vwo verschillen veertig procentpunten. Dat verschil kan door allerlei reparaties van de Commissie-Bosker wel iets veranderen, maar zal blijven bestaan zolang deze rekentoets meer test op intellectuele capaciteiten dan op rekenvaardigheden. Rekenvaardigheid toetsen kan best, en goedkoop, zoals de rekentoets-3S van de Commissie-Van de Craats.

Om voor havisten de lat dan maar te laten zakken zou een erkenning zijn dat deze rekentoets een intelligentietest is. Pikant is dat het CvE de lat voor de vmbo-opleidingen nu al op verschillende hoogten legt voor dezelfde rekentoets-2F.

Rekenen is geen raketwetenschap. Deze rekentoets moet doeltreffend zijn voor te bereiden, anders deugt er iets fundamenteel niet. Bij doeltreffende voorbereiding hebben kandidaten ongeveer dezelfde slaagkansen. Maar dan moeten gemiddelde resultaten van havo en vwo aan elkaar gelijk zijn! Zolang daar licht tussen zit — nu 40 procentpunten — is dat een harde aanwijzing dat de rekentoetsen niet valide zijn. Leraren kunnen hun leerlingen er evident niet op voorbereiden. We moeten willen weten waar hem dat precies in zit, maar de Commissie-Bosker heeft de vraag niet gesteld. Toch is het een kwaliteitseis (#1.8 in de Standards for Educational and Psychological Testing) het cognitief opereren van de kandidaten te kennen, met wetenschappelijke onderbouwing en al. Als Cito en CvE hier in gebreke blijven, moet er langs andere wegen aan worden gewerkt.

Contextopgaven kunnen een zo grote mentale belasting opleveren dat de informatieverwerking de bottleneck vormt. Veel kandidaten slagen er te vaak niet in om alle informatie goed te verwerken (46 procent scoort onvoldoende). Een simpele les uit de cognitiewetenschap leert ons dat het werkgeheugen van de mens zeer klein is. Hoewel wetenschappers geen exact getal kunnen geven menen zij dat als het om nieuwe informatie gaat, dat het 4 of 5 eenheden informatie bevat. Ook na de maatregelen van de Commissie-Bosker bestaan de rekentoetsen nog steeds uit contextopgaven, met een grote mentale belasting. Op zich hoeft dat voor een examen geen probleem te zijn. Maar een blijvende kloof in slaagpercentage havo-vwo betekent dat deze rekentoetsen te sterk verschillen in mentale belastaarheid meten. Wat we nu graag precies willen weten, kwalitatief als kwantitatief: op welke manieren leveren deze contextopgaven mentale belasting op. Hoeveel informatie moet tegelijk verwerkt worden, en is dat ook voor goede rekenaars in feite niet te veel? Dit zijn niet zulke lastige vragen, en er is passende onderzoekliteratuur beschikbaar.

Hoe meer expertise, des te beter de kandidaat lastige opgaven aan kan. Maar zijn de contexten telkens nieuw, dan is er op dat punt geen expertise om op terug te vallen. Persoonlijke verschillen in geheugencapaciteit maken de ene kandidaat kwetsbaarder voor overlading van het werkgeheugen dan de andere. Al met al geen wonder dat de scores op deze rekentoetsen zo laag zijn, met zo'n groot verschil tussen havo en vwo.

Tekst Ben Wilbrink, onderwijsonderzoeker, en Paul A. Kirschner, hoogleraar Onderwijspsychologie aan de Open Universiteit.

(16 juni 2014 voor publicatie aangeboden aan de NRC, met de mededeling dat de tekst ook aan de onderwijscommissie van de Tweede kamer wordt gestuurd)

Relevante publicaties van auteurs en genoemde onderzoekers

D. Borsboom & K. A. Markus (2013). Truth and evidence in validity theory. Journal of Educational Measurement, 50(1), 110-114. [Special Issue: Validity]

D. Borsboom, G. J. Mellenbergh & J. H. van Heerden (2004). The concept of validity. Psychological Review, 111, 1061-1071.

H. L. J. van der Maas, D. Molenaar, G. Maris, R. A. Kievit & D. Borsboom (2011). Cognitive psychology meets psychometric theory: on the relation between process models for decision making and latent variable models for individual differences. Psychological Review, 118, 339-356.

Paul A. Kirschner, John Sweller and Richard E. Clark (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.

Paul A. Kirschner, Richard E. Clark, and John Sweller (november 2012). Helemaal uitleggen of zelf laten ontdekken? Onderzoek spreekt voor volledig begeleide instructie. Van Twaalf Tot Achttien, 14-16.

John Sweller, Richard Clark en Paul Kirschner (2010). Teaching General Problem-Solving Skills Is Not a Substitute for, or a Viable Addition to, Teaching Mathematics. Notices of the American Mathematical Society, 57, 1303-1304.

Richard Clark, Paul Kirschner & John Sweller (Spring 2012). Putting Students on the Path to Learning. The Case for Fully Guided Instruction. American Educator, 6-11.

Wim J. van der Linden (2002). On complexity in CBT [Computer Based Testing, b.w.]. In C. N. Mills, M. T. Potenza, J. J. Fremer, & W. C. Ward (Eds.), Computer-based testing. Building the foundation for future assessments (pp. 89-102). Erlbaum. [als e-Book te leen bij KB]

Niels Taatgen (2013). The Nature and Transfer of Cognitive Skills. Psychological Review, 120, 439-471.

Rolf A. Zwaan and Michael P. Kaschak (2009). Language in the brain, body, and world.  In Philip Robbins & Murat Aydede: The Cambridge Handbook of Situated Cognition. Cambridge University Press.

Ben Wilbrink (1983). Toetsvragen schrijven. Utrecht, Het Spectrum, Aula 809. In herziening: Toetsvragen ontwerpen.

Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30. Versie met notenapparaat

Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpuntie meebeoordelen op eindexamens? Tweede Kamer motie van de leden Jan Jacob van Dijk en Jasper van Dijk. Examens, Tijdschrift voor de Toetspraktijk, 7 #3, 5-9.

Ben Wilbrink & Joost Hulshof (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Invoering van de rekentoets havo/vwo in 2014. Examens, Tijdschrift voor de Toetspraktijk, 8 #3, 18-22.

Repliek en dupliek

Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (2012). Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31.

Officiele repliek van het CvE, dupliek