Onderzoek

Eindtoets ongeschikt om leesvaardigheid te toetsen

Leerlingen goed leren lezen? Daarvoor hoef je niet zelf het wiel uit te vinden, want uit leesonderzoek van de afgelopen decennia weten we precies wat effectief is. Roel van Steensel, hoogleraar Leesgedrag aan de VU en universitair hoofddocent Onderwijswetenschappen aan de EUR, heeft die inzichten samen met collega’s onlangs gebundeld in De zeven pijlers van onderwijs in begrijpend lezen (2022).
De belangrijkste boodschap: om leerlingen tekstbegrip bij te brengen moet je kiezen voor een integrale aanpak. De eerste pijler van die aanpak is dat lezen altijd een doel dient en binnen het onderwijs is dat doel kennisontwikkeling. ‘Tekstbegrip en achtergrondkennis versterken elkaar: je leest om kennis te vergaren en met achtergrondkennis begrijp je teksten sneller’, licht Van Steensel toe. De tweede pijler is dan ook dat je die relatie uitbuit door langere tijd te lezen rond brede thema’s (zoals middeleeuwen of uitvindingen), waarbij je idealiter de koppeling met de zaakvakken maakt. Zo vergaren leerlingen steeds meer kennis over een thema en kunnen ze daarover steeds moeilijkere teksten aan. De derde pijler is om per thema een verzameling teksten op te bouwen, waarmee leerlingen hun woordenschat en kennis stapje voor stapje kunnen uitbreiden.

Goedgekeurd door de overheid,
dus altijd goed? Niet dus!

Je laat leerlingen veel zelf lezen, maar leert ze wel via expliciete instructie hoe ze teksten te lijf kunnen gaan (pijler 4). Geen losse lessen in leesstrategieën, want altijd ingebed binnen het lezen over een thema. Bovendien, pijler 5, help je zwakke lezers op weg, bijvoorbeeld door met pre-teaching alvast achtergrondkennis aan te reiken. Met toetsen en monitoring houd je de vinger aan de pols (pijler 6). De zevende en laatste pijler is overkoepelend: werk als school doelgericht aan goed leesonderwijs en laat je daarbij voeden door bevindingen uit onderzoek.

Zeven vinkjes

De Alan Turingschool in Amsterdam is een schoolvoorbeeld van deze integrale aanpak. Dat beaamt Van Steensel desgevraagd bij een bezoek aan de school eind juni. ‘De Alan Turing werkt thematisch en stelt leerlingen in staat teksten te lezen om kennis te ontwikkelen. Lezen met een doel dus. De verschillende elementen van effectief leesonderwijs die wij benoemen in ons boek, zie ik hier terug.’

Bij elke pijler van Van Steensel kan de Alan Turing dus een vinkje zetten: check. Dat is niet toevallig, want de school koos bewust voor evidence informed leesonderwijs (zie kader ‘Nieuwe aanpak’). De aanleiding vormden tegenvallende leesresultaten en een lage leesmotivatie van leerlingen.

‘Op de Alan Turing
zie ik alle elementen van
effectief leesonderwijs'

Kennisopbouw staat centraal in de leeslessen op de Alan Turingschool. Van Steensel heeft na een lesbezoek nog wel wat vragen. Hoe zit het met leesstrategieën, bijvoorbeeld? ‘Die leren we niet los aan, maar altijd verweven met de themateksten waar we aan werken’, antwoordt Martin Bootsma. ‘We laten leerlingen zien hoe je met teksten omgaat, voor, tijdens en na het lezen. We activeren voorkennis en laten ze voorspellingen doen. Ook vaardigheden zoals een samenvatting maken en de hoofdgedachte uit een tekst halen, zitten heel erg in de toepassing, in de werkvormen die we kiezen.’

Begrijpend lezen fungeert op de Alan Turing als aanjager en basis voor ‘het hart’ van de school: kennisopbouw.

De ontwikkeling van woordenschat gebeurt hier eveneens anders dan op de meeste scholen. ‘Lvs-toetsen woordenschat nemen we niet meer af, want wie bepaalt die selectie eigenlijk?’, vertelt Bootsma. ‘Wij kijken samen goed welke woorden passen binnen een thema, welke begrippen en concepten leerlingen nodig hebben om het te begrijpen. En die bieden we al heel jong aan. In een les voor groep 1/2 leren kinderen bijvoorbeeld het verschil tussen een herbivoor en een carnivoor. De kans is aanwezig dat ze dat vervolgens weer vergeten, maar omdat thema’s terugkomen in de midden- en bovenbouw herhalen we die begrippen en voegen er nieuwe aan toe, omnivoor bijvoorbeeld. Leerlingen bouwen hun woordenschat veel sneller op door erover te lezen en erover te praten dan wanneer we daar afzonderlijk onderwijs in geven.’

Waarom leidt
goed onderwijs niet
tot goede toetsresultaten?

Plausibele keuzes, vindt Van Steensel, en knikt instemmend. ‘En wat zo mooi is, het werkt’, aldus Bootsma. Leerlingen in groep 7, om maar eens wat te noemen, kunnen tegenwoordig allemaal  - los van het advies dat ze zullen krijgen en het niveau waarop ze uitstromen  – teksten van meer alinea’s schrijven. Dit zijn teksten met een goede opbouw, structuur en samenhang, teksten die laten zien dat ze ook doorgronden wat ze hebben gelezen en besproken. En dankzij de leerlijn literaire gesprekken lukt het bovendien om leerlingen leesplezier bij te brengen.
Het gaat dus goed met ons leesonderwijs, dacht ook directeur Eva Naaijkens aanvankelijk. ‘Onze leerlingen functioneren op of zelfs boven 2F-niveau. Toch zagen we dat niet terug in de resultaten op de eindtoets. Sterker, de resultaten voor 2F lagen bij de eindtoets Route 8 onder het landelijk gemiddelde (77-79%) en kelderden zelfs (van 63,6% in 2018-2019 naar 52,6% in 2020-2021).’
Hoe kan dat? Waarom leidt goed onderwijs niet tot goede toetsresultaten? Naaijkens besloot dat met haar team uit te gaan zoeken.  
 

Bottleneck

Waarom zien we in het werk van onze leerlingen en in het lvs het 2F-niveau voor leesvaardigheid wel terug en op de eindtoets niet? Is wellicht niet ons onderwijs, maar de eindtoets de bottleneck? Op deze vragen hoopte de Alan Turingschool een antwoord te vinden.
‘Aan de keuze voor een eindtoets hadden we overigens voorheen amper tijd besteed’, zegt Naaijkens. ‘We dachten dat we bij een door de overheid goedgekeurde eindtoets geen verkeerde keuze konden maken. Maar toen we de toets, de digitale Route 8 eindtoets, kritisch onder de loep namen, viel een aantal dingen op.’ Ten eerste stond de eindtoets haaks op de aanpak in de klassen. Zo lezen leerlingen op de Alan Turing teksten altijd met een potlood in de hand om aantekeningen te kunnen maken. Ze trekken bijvoorbeeld lijnen tussen tekstgedeeltes om relaties weer te geven. In zo’n digitale toets kan dat niet.

Leerlingen leren
vragen te beantwoorden,
geen tekstbegrip

Verder, zo leerden Naaijkens en haar team, blijkt uit onderzoek naar adaptieve toetsen dat die ervoor kunnen zorgen dat sommige leerlingen niet of nauwelijks vragen op 2F-niveau krijgen aangeboden. Als ze in het begin een aantal vragen fout maken, biedt zo’n computersysteem vervolgens vragen aan die niet meer in de buurt komen van dat niveau. Zou Route 8 sommige leerlingen misschien ook voorsorteren op een bepaald niveau?

Een derde punt was dat leerlingen niet terug konden bladeren in de toets naar al gemaakte vragen. Even terugkijken en eventueel verbeteren, of even een vraag laten liggen tot later, bleek niet mogelijk.
Voor de Alan Turingschool reden om te kiezen voor een andere, papieren toets, de IEP Eindtoets. In deze toets kunnen leerlingen wel aantekeningen maken en moeten ze soms ook schrijven. Hier geen voorsortering, alle leerlingen krijgen dezelfde vragen. Alles opgelost? Nou nee.

Bepaal het taalbeheersingsniveau van leerlingen mede op basis van hun schrijfproducten en de gesprekken die ze in de klas voeren.

Trucjes leren

De resultaten bleven ook op deze nieuwe eindtoets tegenvallen. Daarom keek de school eens beter naar de vragen die leerlingen voorgelegd kregen. Lijken die op wat ze in de klas gewend zijn of zit er een verschil tussen klas en toets?

Toetsvragen zijn hoepeltjes
waar leerling doorheen
moet leren springen

Dat laatste bleek het geval, zeggen Naaijkens en Bootsma: de eindtoets bevat simpelweg veel vragen die je als leerling moet léren beantwoorden. ‘De toetsvragen zijn hoepeltjes waar je als leerling doorheen moet leren springen. Anders gezegd: je hoeft als leerling de tekst niet werkelijk te doorgronden, maar je moet een trucje leren.’ Dat staat niet alleen haaks op het onderwijs op de Alan Turing, maar ook op de definitie van peilingsonderzoek PISA voor tekstbegrip: ‘het begrijpen van, gebruiken van, evalueren van, reflecteren op en omgaan met teksten om je doelen te bereiken, je kennis en je potentieel te verruimen en deel te nemen aan de maatschappij.’ Zo’n complexe vaardigheid die de meeste leerlingen op de Alan Turing prima beheersen, valt kennelijk lastig te vangen in een gestandaardiseerde toets.

De eindtoets
meet geen
diep tekstbegrip

Om haar leerlingen voor te bereiden op de vragen en opdrachten van de eindtoets, besloot de Alan Turingschool vooraf met hen te gaan oefenen met de soort vragen uit de eindtoets. Met pijn in het hart, want het druist in tegen haar opvatting over wat goed onderwijs is. Maar ze wilde haar leerlingen wel een goede kans op succes bieden.

Door zich in de vragen te verdiepen, viel het Naaijkens en collega’s steeds meer op hoe weinig deze te maken hebben met het begrijpen van de tekstinhoud. Als ze met hun leerlingen bijvoorbeeld een tekst lezen over Anne Frank, zullen hun leraren niet vragen wat Anne níet heeft gedaan tijdens haar onderduikperiode. Maar dit soort vragen, naar wat iemand niet heeft gedaan (het woordje ‘niet’ staat onderstreept in de vragen), komt in de eindtoets veelvuldig voor. Ook zijn er veel vragen over de tekststructuur. Leerlingen moeten dan kiezen uit diverse grafische weergaven daarvan, maar vraag is wat je daar precies mee meet.

‘De eindtoetsresultaten
staan ook in “Vensters” dus
ouders stellen vragen’

Eigenlijk controleert zo’n toets (en de weg ernaartoe) volgens Naaijkens en Bootsma vooral of leerlingen vragen kunnen beantwoorden, niet of ze de tekst begrijpen.
Wat ook opvalt, is dat leerlingen niet of nauwelijks vragen krijgen waarin ze verschillende tekstgedeeltes moeten vergelijken of tegen elkaar moeten afwegen. Het potlood dat ze op de Alan Turing veelvuldig hanteren om stukken tekst met elkaar in verband te brengen, hebben ze niet meer nodig. De meeste vragen gaan over een alinea of een deel van een alinea. Het zijn vrijwel altijd vragen op letterlijk tekstniveau. De toets meet dus geen dieper tekstbegrip  – nou net datgene waar onze 15-jarigen zo’n moeite mee hebben, getuige de laatste PISA-resultaten.
 

Zure smaak

Hoe kritisch de Alan Turingschool ook was over de vraagstelling in de toets en hoeveel moeite ze ook had met oefenen voor de toets, de resultaten schoten wel omhoog. In schooljaar 2021-2022 steeg het aantal leerlingen dat 2F-niveau behaalde met dertig procent (van 52,6 naar 80,8%).
Dat is aan de ene kant mooi. Immers, bestuur en inspectie verwachten dat je voor de populatie leerlingen die je in school hebt, de referentieniveaus behaalt. Als je daar een aantal maal achtereen onder zit, dan stellen deze partners vragen: of de kwaliteit van je onderwijs wel deugt? De resultaten staan ook in Vensters voor Verantwoording, dus zelfs ouders gaan op een gegeven moment vragen stellen, vertelt Bootsma
Aan de andere kant geeft die mooie uitslag een zure smaak in de mond: ten koste waarvan hebben we dit bereikt? En wat verstaan we eigenlijk onder kwaliteit? Moet de school dan voortaan oefenen met de vraagstelling tot het doel van haar onderwijs maken? Of sterker nog, de toets als hoofddoel van je onderwijs? Want de teksten in de toetsen staan vaak los van het curriculum. Ze bouwen niet mee aan kennisopbouw, maar aan goede toetsscores.

‘We moeten op een
bredere manier over
toetsen nadenken’

Het mooie, integrale en evidence based leesonderwijs wordt daarmee ingeruild voor en teruggebracht tot het inslijpen van een trucje. Naaijkens en collega’s vinden het een sombere conclusie. Je kunt er een pleidooi in zien voor het vermaledijde teaching to the test.

Van Steensel zegt het anders. ‘Ik zie hier op de Alan Turing veel dingen gebeuren waarvan we uit wetenschappelijk onderzoek weten dat ze goed zijn. Maar we zien de opbrengsten dus niet terugkomen in de gestandaardiseerde toetsen. Dat betekent dat we op een bredere manier over toetsen zouden moeten nadenken, de aansluiting tussen onderwijs en toets, de zogenoemde alignment, kan beter. Om leesonderwijs effectief te kunnen toetsen is een combinatie van evaluatiemethoden nodig, een vorm van programmatisch toetsen dus met meer en gevarieerder data. Als we de koppeling lezen en schrijven echt belangrijk vinden, moeten we bijvoorbeeld naar schrijfproducten kijken om te zien welke verbanden leerlingen leggen en hoe ze teksten evalueren.’ Hij aarzelt: ‘Meerkeuzevragen zijn natuurlijk hartstikke makkelijk te scoren.’ Maar niet het gemak van de toetsmaker, maar het goed beoordelen van vaardigheden zou voorop moeten staan. En daar zit nu een probleem, aldus Van Steensel. ‘Het schort aan goede toetsen voor diep lezen. De lvs- en methodetoetsen zijn vaak te oppervlakkig, ze meten niet of leerlingen kunnen reflecteren op een tekst, deze kunnen evalueren en de informatie kunnen afzetten tegen kennis die ze al hebben. Juist voor dat diep lezen, zo weten we uit PISA, moet meer aandacht komen.’ De toetsing voor leesvaardigheden moet dus anders? Van Steensel ‘Ik denk dat dat een logische consequentie is als we leesvaardigheid echt belangrijk vinden.’

Bronnen:

Thoni Houtveen en Roel van Steensel (red.), De zeven pijlers van onderwijs in begrijpend lezen. Eburon, 2022 (Stichting Lezen Reeks, deel 35). Gratis te downloaden via lezen.nl.

Eva Naaijkens & Martin Bootsma, De school als werkplaats, Uitgeverij Pica, 2022.

Verder lezen

Bekijk het webinar van Eliane Segers en Heleen Buhrs over diep lezen.

Didactief ging bij Heleen Buhrs op bezoek in de klas.

Lees het artikel dat Eva Naaijkens en Martin Bootsma schreven over hun onderzoek naar leesvaardigheid en eindtoets op de Alan Turingschool.

Didactief interviewde Eva Naaijkens eerder.

Martin Bootsma schreef eerder kritisch over leestoetsen en leesniveaus.

In ditzelfde nummer laat Aldo Rooijendijk zien hoe je close reading toepast op school.

Dit artikel verscheen in Didactief, september 2022.