Vorige week schreef ik een column in Trouw over de examenperikelen rond het eindexamen Frans, en over de rechtszaak die is aangespannen door een scholiere. Kort gezegd: in het correctiemodel zat een fout, waardoor docenten een goed antwoord fout moesten rekenen. Het College voor Toetsen en Examens (CvTE) wilde de fout in het voorschrift echter niet corrigeren, maar deed dat uiteindelijk na veel maatschappelijke ophef pas op de dag dat de normering werd vrijgegeven. Echter, de gedupeerde leerlingen kregen van het CvTE niet 0,2 punten erbij (wat de vraag waard was) maar 0,1 punt. Precies de 0,1 punt-verschil die deze scholiere nodig had om te slagen. Zij spande een kortgeding aan, en kreeg geen gelijk, omdat het CvTE haar eigen procedure goed had gevolgd. Dit vonnis werd begin dit jaar vernietigd door de Hoge Raad.
Het bizarre aan dit verhaal is dat wanneer het CvTE gewoon de fout had toegegeven en het correctiemodel had aangepast deze vrouw 0,2 punt erbij had gekregen en geslaagd zou zijn. Nu kreeg ze slechts 0,1 punt en niet 0,2 punten omdat, zo stelden ze in de rechtszaak, er anders teveel kinderen zouden slagen.
Om de regeling die ze hiervoor gebruikten juridisch beter dicht te timmeren heeft het CvTE vorige week, met instemming van de minister haar rekenmethode voor dit soort problemen gepubliceerd.
Mijn eerste reactie: OMG.
Ik sluit me volledig aan bij de conclusie van advocaat Wilco Brussee dat er van deze formule helemaal niets klopt, en ik zal voor de leken onder u eerst duidelijk proberen te maken wat er niet deugt aan deze formule, en wat de consequenties hiervan zijn.
In het geval er een onvolkomenheid in het correctiemodel wordt geconstateerd, maar deze niet tijdig gepubliceerd wordt, kan het CvTE het cijfer besluiten op te hogen via de N-term, om leerlingen zo te compenseren. De daarvoor gehanteerde formule is: 9*P*M/L, waarbij M het maximale te halen punten is voor de vraag, L het maximale aantal punten voor het examen en P het gemiddelde percentage punten dat door alle leerlingen is gehaald op die vraag. “Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van M behaald hebben.”
Om duidelijk te maken waarom dit rekenmiddel bizar is, neem ik u mee in een volstrekt theoretische vraag.
‘Jan krijgt 50 cent wisselgeld. Welk antwoord geeft waarschijnlijk aan welke munten hij terugkreeg.’
A: een munt van 50 cent.
B: 5 muntjes van 10 cent.
Beide antwoorden zijn goed, maar in het correctiemodel staat dat het antwoord B moet zijn. Navraag bij het CvTE leert dat antwoord A echt fout gerekend moet worden. (Het klinkt bizar, maar zo gaat dat dus echt!)
We gaan eens kijken naar een aantal fictieve situaties. De vraag is in dit geval twee punten waard, op een totale examenlengte van 100 punten.
Scenario 1:
Alle leerlingen die het examen maakten hebben het ‘verkeerde’ antwoord gekozen, namelijk A. De P-waarde is nu 0,00. In de rekenmethode krijgen al deze leerlingen daarom (9*0*2/100=)0 punten compensatie, oftewel helemaal geen compensatie.
Consequentie: leerlingen die het antwoord A hadden, dat inhoudelijk wel goed was, krijgen 0 punten erbij voor de vraag. Leerlingen met antwoord B zouden 0,2 punten krijgen ( maar die waren er niet).
Scenario 2:
De helft van de leerlingen heeft het goede antwoord gekozen. De P-waarde is nu 0,5. Oftewel, alle leerlingen krijgen (9*0,5*2/100=)0,09 punt, dus 0,1 punt compensatie.
Consequentie: Degenen die A hadden krijgen 0,1 punt erbij. Degenen die B hadden, en dus van hun docent punten hebben gekregen voor de vraag, omdat dat mocht, krijgen nu dus 0,3 punt voor de vraag.
Scenario 3:
Alle leerlingen hadden antwoord B. De P-waarde is nu 100% dus 1. Alle leerlingen krijgen nu (9*1*2/100)=0,18 dus 0,2 punt compensatie, oftewel het volle pond.
Consequentie: Ze hebben al punten gehad voor de vraag, want iedereen had B, maar ze krijgen toch compensatie. Uiteindelijk levert deze vraag ze daarom 0,4 punten op.
Intermezzo:
Wat er hier gebeurt is dus heel vreemd. Leerlingen die benadeeld worden door het onjuiste correctievoorschrift worden minder gecompenseerd dan degenen die per ongeluk wel goed gokten wat er in het correctievoorschrift zou staan. Maar het wordt nog erger!
Realistisch scenario 4 (variant op 2)
De helft van de leerlingen heeft het ‘goede’ antwoord gekozen. Echter, leraren nemen geen genoegen met het onzinnige voorschrift van het College, zij gaan toch geen goede antwoorden fout rekenen! Dat is de helft van de docenten, met theoretisch de helft van de leerlingen. Zij besluiten antwoord A toch gewoon goed te rekenen.
De P-waarde is nu 0,75. Compensatie is nu (9*0,75*2/100)=0,14 punt dus 0,1 punt.
Nu wordt het ingewikkelder. Er zijn nu leerlingen die A hadden waarbij de docent het wel had goed gerekend, en leerlingen waarvan A niet goed is gerekend.
Score voor de vraag A B
Docent rekende A wel goed 0,3 0,3
Docent rekende A niet goed 0,1 0,3
Consequentie: Leerlingen met hetzelfde antwoord (A), krijgt vanwege een andere opvatting van de corrector 0,2 punten lager!! (Terwijl het antwoord dus gewoon goed is).
Dat correctiemodellen niet worden aangepast, maar dat er ‘gecompenseerd’ wordt in de normering is kennelijk al een lang gebezigde praktijk. Ongetwijfeld zal het College hameren op de correcte wijze waarop ze de procedures hebben gevolgd. Maar de rest van de wereld zal toch echt van mening zijn dat deze methodiek moreel volstrekt ongeloofwaardig is.
En deze verwerpelijke methodiek wordt dus vaak toegepast. Sterker nog: telkens als een fout in het correctievoorschrift niet is aangepast wordt het op deze wijze gecompenseerd.
Een aantal vragen doemen direct in mij op:
1) Waarom niet gewoon het correctievoorschrift aanpassen? Wat kan in vredesnaam het probleem zijn?
2) Waarom keurt de minister een volstrekt ondeugdelijke compensatieregeling goed?
3) Hoe juridisch houdbaar is deze willekeur eigenlijk?
4) Als er al dit soort problemen in de compensatieregeling zitten, hoe betrouwbaar is dan de pretest/posttest- of ankervraag-methodiek (die ook niet openbaar is) dan eigenlijk?
Ik weet het, het CvTE is niet dol op inhoudelijk reageren op columns en blogartikelen, en ze doen het daarom zelden. Toch stel ik het op prijs, als u dit stuk deelt op sociale media zal het ongetwijfeld helpen.
Deze column is eerder vandaag 8 juni hier verschenen.
1 Digitale examens, aflevering 1: n-term
2 Hoe valide is het eindexamen Duits?
3 Leraar krijgt voet tussen deur bij examens
4 Brokkenmakers CvTE onder vuur
5 Examens zijn een serieuze zaak
6 Het begon zo onschuldig…
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
