Onderzoek

Toetsvoorbereiding is geen teaching to the test

Gelegenheid om te leren ofwel Opportunity to Learn (OTL) gaat over de aansluiting tussen daadwerkelijk onderwezen leerinhouden en de inhoud van toetsen en examens. Dit kan op verschillende manieren worden vastgesteld. Meestal wordt aan leerkrachten gevraagd welke onderdelen of afzonderlijke items van een toets ze in de lessen behandeld hebben. Soms ook nog hoeveel tijd er aan die onderdelen is besteed. Ook wordt wel aan de leerlingen gevraagd welke opgaven van een toets in de klas behandeld zijn. Uit onderzoek blijkt dat scholen, individuele leerkrachten en zelfs nationale onderwijssystemen, verschillen in de mate waarin ze aansluiting realiseren. De 'kieren' verklaren deels de verschillen in prestaties. Hoeveel ze precies verklaren is nu onderzocht op basis van eerder uitgevoerde meta-analyses, zo'n vijftig empirische onderzoeken en her-analyse van de data bestanden van TIMSS en PISA. Wat blijkt? OTL heeft een bescheiden positief effect op leerprestaties.

Overheidsbeleid
OTL kan het beste worden uitgelegd vanuit de curriculumtheorie. Men onderscheidt daarin het beoogde curriculum (nationale doelstellingen, standaarden), het daadwerkelijk onderwezen curriculum, en het gerealiseerde curriculum. Met dit laatste bedoelt men de leereffecten bij leerlingen, zoals vastgesteld met een eindtoets of examen. De verwachting is dat het daadwerkelijk gegeven onderwijs goed is afgestemd op de nationale standaarden en goed voorbereidt op het examen.
Daarbij kunnen zich problemen voordoen, bijvoorbeeld wanneer de nationale onderwijsdoelen heel algemeen zijn, zodat ze weinig houvast bieden. Ook kan het voorkomen dat er wel concrete doelen of standaarden zijn, maar dat de examens niet goed bij die doelstellingen aansluiten. De vraag over goede aansluiting doet zich ook voor bij leerboeken en digitale methoden.
Het ideaal van een goede aansluiting wordt in ieder onderwijsstelsel anders aangepakt. Maar meestal wordt het niet strak geregeld en is er sprake van een samenspel tussen autonome onderwijsinstanties en betrokkenen. Tegen deze achtergrond is het niet zo gek dat de effectiviteit van OTL varieert en effect-groottes bescheiden zijn.

Een overheid kan op drie manieren proberen de aansluiting tussen leerdoelen, gegeven onderwijs en toetsen of examens te verbeteren:
1) Door het beoogde curriculum te verhelderen, met meer expliciete nationale standaarden en referentieniveaus;
2) Door meer te sturen op de onderlinge aansluiting van onderwijsmethoden, formatieve toetsen en toetsingskaders;
3) En door meer aandacht voor de kwaliteit en curriculumvaliditeit van eindtoetsen en examens.

Staatspedagogiek
De eerste benadering ligt in Nederland met zijn vrijheid van onderwijs en afkeer van staatspedagogiek niet zo gemakkelijk, hoewel er met de ontwikkeling van referentieniveaus wel een stap vooruit is gezet. Al vinden sommigen het nog niet genoeg: zo pleiten de OESO review over onderwijsevaluatie in Nederland (Nusche, D., Braun, H., Halasz, G., and Santiago, P., OECD Reviews of Evaluation and Assessment in Education: Netherlands 2014, Paris) en de commissie Schnabel voor verdergaande concretisering van onderwijsdoelen en referentieniveaus.
Voor de tweede benadering geldt in Nederland iets soortgelijks. Het veld is autonoom. Interessant is (overigens) dat de OESO onlangs pleitte voor meer toezicht op onze wel zeer autonome schoolbesturen (OECD, Netherlands 2016. Foundations for the Future. Reviews of National Policies for Education. Paris, 2016).

Teaching to the test
De derde benadering gaat uit van een sturende rol van toetsen en examens op de inhoud van onderwijsmethoden en het leerstofaanbod in de lessen. De ongunstige reputatie van teaching to the test maakt dit controversieel. Toch verdient deze aanpak juist in Nederland meer aandacht (mits de toetsen en examens aan hoge kwaliteitseisen voldoen). De OESO heeft trouwens veel waardering voor het examen- en toetssysteem in Nederland.

Toetsvoorbereiding is
geen teaching to the test

Een goede aansluiting van het leerstofaanbod bij de onderwijsdoelstellingen en bij toetsen en examens is één van de strategieën om leerresultaten te verbeteren. Concreet betekent het dat de inhoud van toetsen en examens richtinggevend is bij de planning van het leerstofaanbod, met andere woorden bij de keuze van methoden en in het onderwijs zelf.

5 Vormen van toetsvoorbereiding
Teaching to the test is in allerlei onderwijssystemen een groot probleem, met versmalling van het onderwijs en strategisch gedrag van scholen en leerkrachten tot gevolg. Maar laten we de zaken niet omdraaien: wanneer een examen of toets nationale standaarden dekt, of is gebaseerd op zorgvuldig onderzoek naar de doelen van het onderwijs, is een goede toetsvoorbereiding legitiem. Toetsingskaders moeten dan wel transparant zijn (de opbouw van leerstofstructuren; domeinen en sub domeinen, topics) en voor de toetsing moeten grote verzamelingen items, die deels openbaar zijn, aanwezig zijn.
In de literatuur (Popham. W.J. Appropriateness of Teachers' Test-Preparation Practices. Educational Measurement: Issues and Practice. Winter, 1991) worden in dit verband vijf vormen van toetsvoorbereiding beschreven:

1) Begeleide oefening op eerdere versies (of jaargangen) van de toets.
2) Instructie op basis van deelverzamelingen van items van nog steeds gangbare toetsen.
3) Generaliserende voorbereiding en oefening van vaardigheden om toetsen te maken, waarbij een brede variëteit aan toetsformats aan de orde is.
4) Het rechtstreeks trainen van inhouden uit nog actuele toetsen, waarbij ook alleen de toetsformats geoefend worden die in de toets voorkomen.
5) Het oefenen van de inhouden uit nog actuele toetsen, waarbij allerlei toetsformats worden gebruikt, ook formats die niet voorkomen in de actuele toets.

De alternatieven 3 en 5 worden als acceptabel beschouwd, de andere niet.

In hoeverre verklaren ´kieren´ in de aansluiting tussen de onderwezen leerinhoud en toetsing nu verschillen in prestaties? In het beschikbare onderzoek blijken de resultaten wisselend. Ook verschilden de uitkomsten sterk per vakgebied: wel effecten voor wiskunde, maar veel minder voor natuurwetenschappen (science). Datzelfde gold voor nadere analyse van PISA- en TIMSS-data. Resumerend zijn de effecten van een succesvolle aansluiting op leerprestaties vergelijkbaar met die van andere relatief succesvolle factoren, zoals leertijd en ouderbetrokkenheid. OTL maakt wel meer verschil dan bijvoorbeeld onderwijskundig leiderschap en samenwerking tussen docenten.

Het maakt wel uit, hoe OTL gemeten is, bijvoorbeeld gebaseerd op vaststellingen van leerkrachten dan wel van leerlingen (de verbanden zijn sterker wanneer de beoordeling door leerlingen wordt gegeven).

Tekst Jaap Scheerens.
Gepubliceerd op 21 juni 2016.

Scheerens, J. (2016) (Ed) Opportunity to learn, curriculum alignment and test preparation; a research review. Springer: (in press). Met bijdragen van Marloes la Main, Hans Luyten en Pieter Appelhof. Gesubsidieerd door NRO en uitgevoerd door een team van Oberon, en de Universiteit Twente (vakgroep onderwijskundige meetmethoden en data analyse).