Hoe valide is het eindexamen Duits?
Voor mijn vak Duits moeten leerlingen bij het examen Duitse teksten lezen, waarvan je mag aannemen dat ze aansluiten bij wat ze hebben geleerd. Ze moeten daartoe leesstrategieën kennen en woordkennis bezitten.
Maar welke woorden zijn relevant? Ik heb met een eenvoudig online hulpmiddel de woordfrequenties van de verschillende gebruikte woorden bepaald van alle teksten in de examens Duits vmbo-gl/tl van 2008 tot en met 2017, beide tijdvakken (dus van twintig complete examens). In totaal heb ik hiermee ruim 12 duizend verschillende woorden geteld.
Slechts 86 woorden blijken in alle twintig examens voor te komen, waaronder de lidwoorden, de meeste voorzetsels, en een aantal signaalwoorden. Slechts vijf zelfstandige naamwoorden komen in alle twintig examens voor (Tag, Schule, Menschen, Jahr/Jahre/Jahren en Beispiel). Tussen twee willekeurige examens vond ik slechts 26% overlap in vocabulaire. Dit is ook het geval als je van één jaar de examens van beide tijdvakken naast elkaar legt. Nog geen 4% van alle verschillende woorden komt in minimaal de helft van de examens voor. Bijna 70% van alle verschillende woorden komt slechts in één van de twintig examens voor, deze woorden kunnen dus niet worden beschouwd als hoogfrequent. Hoe kan een leerling dan ooit tot een woordbegrip van 95% komen, wat volgens Alex Quigley (auteur van Closing the Vocabulary Gap) vereist is om leesvaardig te zijn?
Is het huidige examen wel een valide instrument om de leesvaardigheid van leerlingen te meten? Wat zeggen de cijfers die de leerlingen halen over hetgeen zij daadwerkelijk met de taal kunnen? Hoe eerlijk is het om scholen op basis van examenresultaten te vergelijken en hieraan een waardeoordeel te koppelen? Wat zeggen de eindexamenresultaten eigenlijk over de kwaliteit van het geboden onderwijs op een bepaalde school?
Martin Ringenaldus, docent Duits op regionale scholengemeenschap Goeree-Overflakkee Middelharnis.
Lees hier zijn uitgebreide blog.
En wat is daarop uw antwoord, CvTE?
De uitslag van het centraal schriftelijk eindexamen kan grote gevolgen hebben voor leerlingen. Vraag dat maar aan de leerling van het Revius Lyceum die een juist antwoord gaf op een vraag, maar niet de juiste formule gebruikte om tot haar antwoord te komen en zo op een tiende punt zakte voor haar eindexamen.
De eindexamens Nederlands, Frans en Duits zijn al jaren een bron van polemiek en klachten van leerlingen en docenten, tot en met rechtszaken aan toe. In eerdere Kamervragen die ik hierover stelde, werd al duidelijk dat de lengte van examenteksten en het aantal te beantwoorden vragen flink kan verschillen. Ook blijkt de moeilijkheidsgraad van het centraal schriftelijk eindexamen van bijvoorbeeld Frans in het eerste tijdvak ernstig te kunnen verschillen van het tweede tijdvak. Het is daarom ronduit toe te juichen dat naast de Commissie-Ten Dam (kwaliteit schoolexaminering) en de Onderwijsraad (in het advies Toets wijzer) ook docenten zoals Martin Ringenaldus zich mengen in het discours over de eindexamens.
Met zijn blog Hoe valide is het eindexamen Duits? (zie ingekorte versie hierboven) won hij zelfs de aanmoedigingsprijs van de Onderwijsraad. Ringenaldus haalt Quigley aan, die stelt dat een woordbegrip van 95% vereist is om leesvaardig te zijn. En in zijn onderzoek, waarbij hij twintig examens met elkaar vergeleek, legt hij bloot dat tussen twee willekeurige examens slechts 26% overlap in vocabulaire zit. Hij analyseerde dat leerlingen voor het ene examen negenhonderd tot duizend andere woorden moeten begrijpen dan voor een willekeurig ander examen. Op mijn eerdere Kamervragen over het examen Frans gaf de minister aan dat examens altijd via een pre- of posttest worden vergeleken. En dat via de vaststellingscommissie docenten invloed hebben op de examens.
Dat is mooi, maar de opbrengst van het onderzoekswerk van Ringenaldus verdient een gedegen reactie van het College voor Toetsen en Examens (CvTE). Het is in het belang van leerlingen dat we de discussie over de betrouwbaarheid en validiteit van de examens blijven voeren!
Michel Rog, Tweede Kamerlid CDA.
Dit artikel verscheen in de rubriek Rondom het Binnenhof in Didactief, april 2019.
Lees ook Geen Duits meer? uit hetzelfde nummer van Didactief.