Martin Ringenaldus stelt in zijn artikel Hoe valide is het eindexamen Duits? dat het voor het begrip van een tekst nodig is dat de lezer bekend is met minstens 95% van de woorden. Ringenaldus heeft een – zeer interessante – exercitie gedaan op de centraal examens Duits GL/TL van 2008 tot en met 2017, waaruit naar voren komt dat de leerlingen die 95% bij lange na niet halen. (Hij stelt in zijn artikel dat slechts 86 woorden in alle 20 examens tussen 2008 en 2017 blijken voor te komen, red. Didactief)
Ringenaldus vindt het bezwaarlijk dat niet voorspelbaar is welk vocabulaire gebruikt zal worden in de aangeboden teksten en vindt dat daarmee de validiteit in het geding is.
Wat zegt Ringenaldus?
Ik heb met behulp van een eenvoudig online hulpmiddel de woordfrequenties van de verschillende gebruikte woorden bepaald van alle teksten in de examens Duits VMBO-GL/TL 2008 t/m 2017 beide tijdvakken (dus van 20 complete examens). In totaal heb ik hiermee ruim 12.000 verschillende woorden geteld, waarbij opgemerkt moet worden dat woordvarianten (bijvoorbeeld ‘klein’, ‘kleinen’, ‘kleinem’, e.d.) als aparte woorden worden gezien. Daar staat tegenover dat het programma woorden met verschillende betekenis die hetzelfde worden geschreven op één hoop veegt (bijvoorbeeld het bezittelijk voornaamwoord ‘sein’ en het werkwoord ‘sein’). Je zou de lijst nog wel kunnen vereenvoudigen, maar dat is een vrij complexe aangelegenheid. Voor het uiteindelijke beeld zal het, denk ik, niet veel uitmaken. Mijn bevindingen zijn schokkend, hier staan de belangrijkste op een rijtje:
* slechts 86 woorden blijken in alle 20 examens voor te komen waaronder de lidwoorden, de meeste voorzetsels, en een aantal signaalwoorden;
* slechts 5 zelfstandige naamwoorden komen in alle 20 examens voor (Tag, Schule, Menschen, Jahr/Jahre/Jahren en Beispiel);
* bijna 70% van alle verschillende woorden komt slechts in 1 van de 20 examens voor en deze woorden kunnen dus niet worden beschouwd als hoogfrequent;
* nog geen 4% van alle verschillende woorden komt in minimaal 10 van de 20 examens voor.
Een examen telt gemiddeld zo’n 1300 verschillende woorden, maar als je in totaal over 20 examens ruim 12.000 woorden telt, dan is het de vraag hoe het gebruikte vocabulaire in het ene examen met het gebruikte vocabulaire in een ander examen overlapt. Om die reden heb ik een matrix (zie afbeelding) gemaakt waarin ik in de eerste kolom per examen laat zien hoeveel verschillende woorden erin zijn gebruikt en hoeveel woorden van dat examen in elk van de andere 19 examens voorkomen. Dan blijkt dat dat gemiddeld 340 woorden zijn. Anders gezegd: voor het ene examen zou je 900 tot 1000 andere woorden moeten kunnen begrijpen dan voor elk willekeurig ander examen.
Tussen twee willekeurige examens vond ik slechts 26% overlap in vocabulaire.
De wijze waarop leesvaardigheid in het huidige centraal examen Duits GL/TL getoetst wordt, past in de traditie van het onderwijs in de moderne vreemde talen. Daarbij is het inderdaad zo dat de leerlingen in hun taalgeheugen vermoedelijk allemaal over een verschillende voorraad woorden beschikken. Die voorraad is verschillend omdat ze verschillende woorden hebben geleerd (want ze hebben verschillende methoden gebruikt) en ze hebben ook met verschillende teksten geoefend. De ene docent zal zelf actuele teksten uit kranten en tijdschriften knippen, een andere docent zal zich misschien beperken tot oude examenteksten. Bij de schoolvakken Frans en Engels, en zelfs bij Nederlands zal dat niet veel anders gaan.
Het toetsen van leesvaardigheid is niet alleen gebaseerd op woordkennis van bijvoorbeeld de gebruikte substantieven. Bij leesvaardigheid komt ook de vaardigheid in het leggen van tekstverbanden, het herleiden van woordbetekenis uit de context en het zien van tekststructuren te pas. En dat op een bepaald niveau, dat wil zeggen, gerelateerd aan een bepaalde moeilijkheidsgraad van de tekst, die bepaald wordt door onder meer de bron, het onderwerp en de mate van aansluiting op de belevingswereld.
Het begrip validiteit kent diverse betekenissen en duidingen. Voor een goed centraal examen Duits is van belang dat het inhoudelijk correct en passend is voor de doelgroep en dat de tekstkeuze verantwoord kan worden. In de centraal examens Duits GL/TL is die tekstkeuze gebaseerd op materiaal uit de levende taalwerkelijkheid. En – dus – niet gebaseerd op een voorgeschreven beperkt corpus woorden. Die authenticiteit wordt door de docenten doorgaans hoog gewaardeerd.
Examenmakers proberen te voorkomen dat kandidaten teksten in het centraal examen krijgen die ook al in de leermiddelen voorkomen. Dat betekent vaak dat teksten geselecteerd worden die wat anders van aard zijn dan de gemiddelde schoolboekteksten. Het centraal examen dient immers ook een zekere onvoorspelbaarheid te hebben.
De centraal examens worden gemaakt door docenten die les geven aan de doelgroep. Die docenten schatten in dat kandidaten de teksten moeten kunnen begrijpen. Daarnaast worden de centraal examens vastgesteld door een commissie van College voor Toetsen en Examens, waarin ook docenten zitting hebben die les geven aan de desbetreffende examenklassen. Zij maken diezelfde inschatting. Als de commissie een tekst niet geschikt vindt voor de doelgroep, dan haalt die tekst het centraal examen niet.
Cito bevraagt elk jaar de docenten die de scores van de kandidaten in Wolf invoeren wat zij van het examen vonden. Dat het examen niet te moeilijk/niet te gemakkelijk was gaf 52% van de docenten (het afgelopen jaar) aan. En belangrijker: de inhoudelijke aansluiting van het centraal examen met het gegeven onderwijs werd door 28% als goed aangemerkt en 60% voldoende. Het aantal respondenten dat de inhoudelijke aansluiting slecht vond bedroeg slecht 1% (7 van de 930 respondenten).
Die aansluiting op het gegeven onderwijs hanteren wij als hét criterium voor validiteit.
Dat leerlingen aanmerkelijk minder dan 95% van de woorden kennen, wil daarom niet zeggen dat de centraal examens Duits GL/TL niet valide zijn.
Een discussie over de vraag of alle leerlingen Duits GL/TL over een basisvoorraad woorden dienen te beschikken en of de leesvaardigheid getoetst moet worden aan de hand van teksten waarvan minimaal 95% afkomstig is uit de basisvoorraad past, zoals Ringenaldus zelf aangeeft, goed in curriculum.nu.
Het College voor Toetsen en Examens
Deze reactie verscheen 13 september als reactie onder het artikel 'Hoe valide is het eindexamen Duits?' van Martin Ringenaldus.
1 Hoe valide is het eindexamen Duits?
2 Leraar krijgt voet tussen deur bij examens
3 N-term (deel 2): Compensatie via de N-term
4 Digitale examens, aflevering 1: n-term
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
