Hoe zat het ook alweer? Staatssecretaris Dekker beslist welke alternatieve eindtoetsen naast de Centrale Eindtoets PO worden toegestaan, en laat zich daarbij adviseren door de Expertgroep Toetsen PO. De Expertgroep maakt bij het beoordelen van de toetsen gebruik van het 'beoordelingskader andere eindtoetsen'. Dat bestaat uit een beoordeling van de psychometrische aspecten (uitgevoerd door de COTAN) en een beoordeling van de onderwijskundige en organisatorische aspecten (uitgevoerd door de Expertgroep zelf). Op die manier, is het idee, kunnen scholen ervan op aan dat een goedgekeurde eindtoets op alle fronten goed in elkaar zit: niet alleen op het gebied van bijvoorbeeld normering en validiteit, maar ook onderwijsinhoudelijk.
COTAN gepasseerd
Maar in de zomer van 2014, als de eerste twee aanbieders van eindtoetsen zich melden bij OCW, blijkt het beoordelingskader toch problemen op te leveren. De COTAN wil voor het beoordelen van de psychometrische aspecten namelijk longitudinale onderzoeksgegevens zien, waarmee de toetsaanbieder de voorspellende waarde van de toets kan aantonen. Kortom, nieuwe eindtoetsen kunnen eigenlijk nooit aan de reguliere COTAN-criteria voldoen zonder eerst een jarenlange pilot te hebben gedraaid. En daar is in 2014 geen tijd voor, want de staatssecretaris heeft de Tweede Kamer beloofd dat er vanaf dag 1 keuze zal zijn. De Expertgroep Toetsen PO keurt de twee toetsen van de eerste lichting daarom bij uitzondering goed, zonder dat ze aan de COTAN zijn voorgelegd. De IEP en Route-8 gaan de markt op en politiek gesteggel wordt afgewend. Wel klinkt vanuit verschillende hoeken de roep om aanpassing van het COTAN-kader. Op verzoek van de Expertgroep buigt een werkgroep onder leiding van de Groningse hoogleraar psychometrie Rob Meijer zich over de kwestie: hoe moeten de COTAN-criteria worden aangepast om beter aan te sluiten bij de nieuwe situatie?
In de zomer van 2015 komt de werkgroep-Meijer met haar rapport. Het blijkt alleen te gaan om een aanvulling op de COTAN-criteria, die gebruikt kan worden bij het beoordelen van leerlingvolgsystemen, computer adaptief toetsen en de normering van referentieniveaus. Verder blijft alles bij het oude, afgezien van een paar kleine aanpassingen die de COTAN zelf maakt in het beoordelingssysteem.
Drie concurrenten
Voor de tweede lichting toetsen, waarvan de aanbieders zich in de zomer van 2015 kunnen melden, is dat geen goed nieuws. Drie toetsaanbieders leggen in 2015 een nieuwe eindtoets voor, om in aanmerking te komen voor een plekje op de markt: Diataal B.V (Dia-Eindtoets), SM&C Internet Services (CESAN), en AMN (AMN Eindtoets). Geen van drieën krijgen ze van Dekker toestemming de markt te betreden. Ze scoren volgens de Expertgroep wél voldoende op de onderwijskundige en organisatorische criteria, maar onvoldoende op de door de COTAN uitgevoerde psychometrische beoordeling. Van de zeven COTAN-criteria scoren de toetsen onvoldoende op Normen, Begripsvaliditeit en Criteriumvaliditeit. De Dia-Eindtoets en AMN Eindtoets scoren bovendien onvoldoende op het aspect Betrouwbaarheid. En ook op het nieuwe, door de werkgroep van Meijer ingestelde criterium 'Normering referentieniveaus' krijgen alle drie de toetsen een onvoldoende.
Het COTAN-advies is niet bindend, en de Expertgroep besluit dan ook de onvoldoendes op het gebied van begrips- en criteriumvaliditeit door de vingers te zien. Maar de tekortkomingen op het gebied van normering, betrouwbaarheid en normering van referentieniveaus zijn voor de Expertgroep – en voor Dekker – onoverkomelijk. De drie nieuwe toetsen komen voor schooljaar 2015-2016 niet door de keuring heen.
Meten met twee maten?
Kan gebeuren. Maar wat opmerkelijk is aan dit verhaal, is dat de aanbieders die wél zijn toegelaten op vrijwel dezelfde criteria onvoldoende scoren. De IEP en Route 8 werden in 2014 dan wel door Dekker – buiten de COTAN om – goedgekeurd, maar moeten sindsdien wel jaarlijks door de COTAN worden beoordeeld. Dat is in 2015 voor het eerst gebeurd; de beoordelingen zijn na te lezen op de site van de Expertgroep. Op de COTAN-criteria blijken deze twee toetsen net zo slecht te scoren als de drie nieuwe toetsen: onvoldoende op normen, betrouwbaarheid, begrips- en criteriumvaliditeit en normering van referentieniveaus. Toch valt het advies van de Expertgroep bij deze twee toetsen heel anders uit. De Expertgroep noemt een aantal psychometrische punten waarop de toetsen voor de volgende jaarlijkse check nog verbeterd moeten worden, maar constateert in beide gevallen 'dat de globale kwaliteit van de toets goed is'. Dat lijkt op zʼn minst een oncontroleerbaar oordeel.
Meet de Expertgroep met twee maten? Bij de twee toetsen die al op de markt zijn ziet ze een negatief COTAN-oordeel door de vingers, terwijl ze een vergelijkbaar oordeel bij de drie nieuwe toetsen als reden opvoert om ze niet tot de markt toe te laten. Desgevraagd houden alle toetsaanbieders zich echter op de vlakte. Iedereen doet zijn best alle opties open te houden en de relaties met de beoordelaars goed te houden.
Om uitleg gevraagd reageert de Expertgroep als volgt: 'De Expertgroep was van mening dat, na alle beschikbare informatie in overweging genomen te hebben, de kwaliteit van de verantwoording van de betrouwbaarheid, validiteit en normering van Route 8 en de IEP voldoende was. Er vindt wel een jaarlijkse check plaats en worden er afspraken gemaakt om de toets waar mogelijk nog verder te verbeteren. De Expertgroep was verder van mening dat het verzamelde materiaal van de toetsen DIA-, CESAN- en ANM-Eindtoets nog onvoldoende was om vertrouwen te hebben in hun kwaliteit.'
Heel veel wijzer worden we er niet van. Maar meten met twee maten? Volgens de Expertgroep is daarvan geen sprake: 'In 2014 kon de COTAN nog geen rol spelen bij de beoordeling. Het ministerie en de Expertgroep waren van mening dat de twee toetsaanbieders die in termen van toetsontwikkeling en normeringsonderzoek op de anderen voorliepen, niet in de wacht mochten worden gezet. De Expertgroep ziet er echter nadrukkelijk op toe dat alle aanbieders zo veel mogelijk gelijkelijk behandeld worden. De Expertgroep heeft ook geen enkel belang bij ongelijke behandeling. Het enig belang van de Expertgroep is erop toe te zien dat er goede alternatieve eindtoetsen op de markt komen.'
1 Eindtoets PO: de belofte van een 'gelijk speelveld' voor toetsaanbieders
2 Met Cito in gesprek
3 Cito: de lange tentakels van een toetsfabriek
4 Wie toetst de toetsmaker?
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
