Nieuws

Georganiseerd wantrouwen (5): Speelruimte CvTE beperkt

Tekst Monique Marreveld, m.m.v. Masja Lebouille
Gepubliceerd op 14-10-2020 Gewijzigd op 15-10-2020
Wettelijk krijgt het CvTE eens in de 5 jaar een rapportcijfer dat moet worden afgetekend door de Eerste en Tweede Kamer. Het evaluatierapport verscheen afgelopen voorjaar in de hitte van de coronacrisis en wacht nog op aftekening. Het bevat behartenswaardige noties.

Het Nederlandse College voor Toetsen en Examens zal de komende maanden, wegens corona, vermoedelijk nog wel wat knopen moeten doorhakken. Vorige week werd bijvoorbeeld bekend dat Schotland het aantal examens heeft gehalveerd komend jaar: in verband met corona zijn de National 5-examens (vergelijkbaar met het Nederlandse vmbo-diploma) geschrapt.

 

Examens 2020 stabiel, volgens OCW

Bijna zeven maanden geleden - op 24 maart 2020 – viel het besluit: de centrale examens VO gaan niet door in verband met corona. Uit de cijfers van DUO blijkt vandaag dat hierdoor uiteindelijk meer leerlingen geslaagd zijn voor hun examens dan voorgaande jaren. Belangrijkste verklaring volgens OCW: er gold geen verplicht gemiddelde (5,5 voor het centraal examen), leerlingen konden een onvoldoende compenseren met een hoog cijfer; en ze konden hun schoolexamens ophogen met behulp van de resultaatverbeteringstoetsen en kregen daar bovendien langer de tijd voor, tot 4 juni.

Voor alle schoolsoorten en leerwegen in het VO samen is het slagingspercentage gemiddeld 6,7 procent hoger dan in eerdere jaren. Dit verschil varieert van 1,5 procentpunt hoger bij de kandidaten in vmbo-bb tot 9,2 procent bij de havo-kandidaten.

En in 2021?

Kamerlid Paul van Meenen van D66 heeft OCW op 13 oktober al opgeroepen de eindexamens in 2021 te spreiden over mei, juni en zo nodig juli. Ook de weging zou coronaproof moeten worden, zegt hij, waarbij de schoolexamens voor 70% en de centrale eindexamens voor 30% zouden moeten wegen in het eindcijfer.

Minister Arie Slob reageerde op dit onderwerp met een brief aan de Tweede Kamer (13 oktober) waarin hij schrijft zich in te zetten voor volledige doorgang van de examens, "maar ik realiseer me eveneens dat dit vragen en zorgen oproept over de haalbaarheid ervan". Hij zegt samen met de examenketen opties voor diverse scenario's uit te werken. Meer informatie daarover volgt voor het kerstreces. 

 

Regisseur

Het College voor Toetsen en Examens aan de Muntstraat in Utrecht is een unieke organisatie. Dat constateert onderzoeksbureau Oberon, dat het functioneren van het CvTE in de periode 2014-2018 onder de loep nam, in elk geval letterlijk: er is ‘eenvoudigweg niet’ een zelfstandig bestuursorgaan of publieke organisatie die ‘vergelijkbare taken uitvoert binnen een soortgelijke context’. Het klinkt bijna defensief. En de vraag is wat het eigenlijk zegt, want waarom zouden we er twee van hebben?

Het CvTE heeft een moeilijke taak, zeker. Het is immers verantwoordelijk voor de centrale eindexamens VO en MBO die een belangrijk civiel effect hebben, voor de Centrale Eindtoets PO die regelmatig maatschappelijke beroering veroorzaakt, de staatsexamens, examens NT2 en de rekentoets. Maar het staat daarin gelukkig niet alleen. Immers, de meeste producten waarvan het CvTE de kwaliteit garandeert, worden door anderen gemaakt: experts van Cito bijvoorbeeld, ‘ambtenaren’ van de Dienst Uitvoering Onderwijs (DUO, o.a. verantwoordelijk voor ontwikkeling en beheer van digitale programma Facet) en syllabi-makers van leerplanontwikkelaar SLO. Het CvTE is officieel ‘regievoerder examens’. Vraag is dus vooral of de kwaliteitscontrole daar in goede handen is, of het CvTE als regisseur op tijd ‘Cut!’ roept als er iets mis gaat in de examenketen en terecht goedkeuringstempels op uitgaande examens zet. Wat zegt de evaluatie van Oberon daarover?

 

Toezicht

De evaluatie van het CvTE is bedoeld om de Eerste en Tweede Kamer iets in handen te geven om te kunnen beoordelen of een zbo doeltreffend en doelmatig functioneert. Het is verplicht volgens de Kaderwet zelfstandige bestuursorganen. Voor een deel van de evaluatie verlaat Oberon zich op de Onderwijsinspectie die behalve op scholen, ook toezicht op het CvTE houdt. Het onderzoekskader dat zij daarbij gebruikt, is vernieuwd per 1 januari 2018. Onderdeel is een jaarlijkse risicoanalyse op basis van het CvTE jaarverslag (lees Jaarverslag 2019) . Eens in de drie jaar doet de inspectie daarnaast onderzoek naar de borging van kwaliteit, niveau en afname van centrale toetsen en examens van het CvTE. De inspectie ziet ook toe op het verloop van de toets- en examenafnames op scholen (po, vo, mbo).

Een aanbeveling na de vorige evaluatie van het CvTE (over de periode 2009-2013) was dat de inspectie in het vervolg ook naar regie door het CvTE zou kijken. In overleg met OCW is in de nu onderzochte periode besloten daar toch van af te zien. Reden? Regievoering staat alleen in de Memorie van Toelichting, de uitleg bij een wetsvoorstel, gemeld, niet in de wet.

 

#Nietonzetaak

Oberon-onderzoekers Margot Oomens en Sjerp van der Ploeg ploegden documenten door, spraken met veel experts en hielden een veldraadpleging (middels een enquête die van begin juni tot 26 augustus 2019 liep, dicht op of in de zomervakantie, dat dan wel).
Voor ze de lezer meenemen in hun rapport leggen ze nog eens uit hoe de taken van het CvTE belegd zijn: het college heeft een publieke taak en is niet hiërarchisch ondergeschikt (cursivering uit het rapport) aan de minister. Zijn taken zijn vastgelegd in de wet. Het is een interessante cursivering, zeker gecombineerd met het schema ‘taken op hoofdlijnen’ van het CvTE dat op pagina 9 van het rapport staat (zie hieronder).

 


Het wetsartikel waarop de zogenoemde diagnostische tussentijdse toets was gebaseerd, ontbreekt namelijk in dat schema (derde kolom). Met andere woorden, een wettelijke basis voor die werkzaamheden, ontbrak.
Nu is het ontbreken van de wettelijke basis voor de dtt natuurlijk geen nieuws. Wat wel opvalt, is dat de onderzoekers er geen woord aan vuil maken. Je zou zeggen dat het een relevant gegeven is dat een zbo OCW voor miljoenen op kosten jaagt in opdracht van een ambitieuze minister zonder dat daar een wettelijke basis voor is, zoals bij de ddt. Toch benoemen de onderzoekers dat niet expliciet als punt van kritiek. Of suggereren ze met hun cursivering misschien dat het zeskoppige College de poot stijf had moeten houden toen staatssecretaris Dekker het de dtt in de schoenen schoof in 2014? En dat het parlement daar best iets van mag vinden?

 

Onafhankelijk

Vraag is of afhankelijkheid een rol speelt bij de beslissing van een zbo om weerwerk te leveren aan bewindslieden. Het CvTE bestaat uit een zeskoppig college (zeg maar bestuur, het zelfstandig bestuursorgaan) en een bureau voor de dagelijkse uitvoering van taken dat financieel onder de directie PO/VO van OCW valt. Voor belangrijke zaken als apparaatskosten (APK) en bezetting (aantallen fte’s) is het CvTE dus afhankelijk van OCW. Zeg dan maar eens nee tegen de minister als onafhankelijk college? Then again, dat had misschien wel gekund: Volgens de kaderwet ZBO  staat het bureaupersoneel  inhoudelijk  onder het gezag van het college (het zbo) en legt het over de werkzaamheden uitsluitend daaraan verantwoording af’. Dat is de letter van de wet. Maar de kwestie ‘wie betaalt, bepaalt’ (niet officieel maar officieus) zullen we vaker tegenkomen in deze evaluatie.

 

De centen

De eerste vraag van een Nederlander is meestal: wat heeft het gekost? Da’s maar net hoe je rekent.
In 2018 kreeg het CvTE 12,7 miljoen euro aan programmageld en 4,6 miljoen euro (samen 17,3 miljoen) voor het bureau (ruim 36 fte). Let wel, die 17,3 miljoen euro is exclusief de middelen die direct naar Cito, Duo en SLO gaan voor het uitvoeren van hun taken, het maken en verspreiden van examen(syllabi)s. En ook veel andere medewerkers in het proces worden vergoed via DUO (denk aan examinatoren en examensecretarissen voor de staatsexamen VO). Het CvTE betaalt alleen de vergoedingen voor de leden van constructiegroepen en vaststellingscommissies (die werken aan de voorbereiding van examens zo je wilt). Alles bij elkaar is examens en toetsen maken behoorlijk kostbaar.

Het CvTE let wel op de kleintjes. Zijn uitgaven zijn de afgelopen vijf jaar weliswaar met 20% gestegen, maar dat hield volgens de onderzoekers vooral verband met de groei van het aantal staatsexamenkandidaten, maar liefst 30% in het vo en 30% voor NT2. Het CvTE groeide in de onderzochte periode, van 29,4 fte in 2014 naar 36,4 fte in 2018. Maar nog steeds wordt met een relatief klein team een boel werk verzet, aldus Oberon. De vraag of het CvTE niet met minder middelen toe kan, beantwoordt ze dan ook negatief: daar zijn geen indicaties voor.

 

Stront aan de knikker

Lastig is wel, constateert Oberon, dat de verantwoordelijkheid voor de inhoud en voor de financiën in de keten rond centrale examens vo en mbo, rekentoets, centrale eindtoets en staatsexamens is gescheiden. Zoals hierboven genoemd, maakt het CvTE de inhoudelijke afspraken met partners als Cito en DUO, maar wordt iedereen betaald door OCW. Met andere woorden, als regisseur CvTE behoefte heeft aan extra of andere figuranten of props, moet hij eerst bij de producer om budget bedelen. Wie betaalt, bepaalt? Best waarschijnlijk…In de relatie met Cito heeft dat nauwelijks tot problemen geleid de afgelopen jaren (met uitzondering van de beslissing de digitale adaptieve eindtoets niet door te laten gaan, aldus Oberon, maar verder uitgelegd wordt dat niet).
De verstandhouding met DUO lijkt minder florissant. Hoewel het in bedekte termen wordt geformuleerd, blijkt uit het rapport duidelijk dat er stront aan de knikker is tussen DUO en CvTE. Ruzie over welke partij zich waarmee mag bemoeien, waarover mag beslissen en op welke manier partijen zich zouden moeten gedragen, met name in het Facet-dossier (Facet is de drager van de digitale eindtoets en digitale examens). Het klinkt allemaal als de beschrijving van een slecht huwelijk of een dramatische verbouwing, met de gebruikelijke trefwoorden: afspraken en vertrouwen.
Intussen werken beide partijen aan verbetering: er is overleg over een dienstverleningsafspraak en specifieke service level agreements (de eerste zal gaan over digitaal toetsen en examineren: Facet). De onderzoekers reageren instemmend, want, zeggen ze, goede zakelijker relaties tussen CvTE en DUO zijn noodzakelijk. De lezer mag zelf invullen dat het voor het CvTE een lastige onderhandeling zal zijn. Immers, zoals iedereen weet die wel eens een aannemer in huis heeft gehad: het helpt als je de financiële kaart kunt spelen. Een belangrijke aanbeveling in de vorige evaluatie van  het CvTE in 2014 was dan ook om het college meer in positie te brengen als gedelegeerd (zeg maar de facto) opdrachtgever van Cito en DUO. Maar ‘bij OCW, DUO, CvTE en Cito leeft de overtuiging dat de huidige constructie goed genoeg werkt en dat aanpassing naar volledig opdrachtgeverschap zoals nu richting Bureau ICE en Cito B.V. (inzake NT2-examens, red.) daarom niet voor de hand ligt’, aldus de onderzoekers.

 

Aan de leiband

Vraag is wat de Tweede Kamer daarvan vindt, die overigens nog niet op het evaluatierapport heeft gereageerd? En of het CvTE er écht zo over denkt, in de privacy van de eigen keuken. Hoe onafhankelijk is dit zelfstandig bestuursorgaan eigenlijk? Herhaaldelijk blijkt uit het rapport dat OCW zich veel bemoeit met dit zbo: Bij ‘omvangrijkere incidenten en de oplossingen of maatregelen die daarvoor nodig zijn, is er uiteraard overleg met OCW’, ‘het bestuursdepartement is nooit ver weg’, er is ‘intensief contact tussen OCW en het bureau’, ‘het is niet de bedoeling dat het College zich (zonder afstemming met OCW daarover) uitlaat over gewenste ontwikkelingen in het toets- en examenlandschap wanneer daaruit beleidsmatige en/of financiële consequenties voortvloeien’. Leerlingen in PO en VO moeten van OCW zelfstandig leren denken, maar bij het CvTE houdt het ministerie toch liefst zelf de vinger aan de pols. En het College lijkt bij veel beslissingen vooral rekening met die sturende hand te houden.                                                                     C: Remco Schoppert 

Dat wordt ook gesuggereerd in een masteronderzoek uit december 2019 van R. Jagga, begeleid door hoogleraar Thomas Schillemans van Bestuurs- en Organisatiewetenschappen van de Universiteit Utrecht en door het ministerie van Financiën. Een respondent van het CvTE meldt daarin dat het ministerie van OCW dicht op de gang van zaken zit: bij problemen wordt daarom intern getracht een situatie op te lossen voordat het ministerie ingrijpt. De respondent noemt ook een concreet (geanonimiseerd voorbeeld) van een medewerker die werd gevraagd op te stappen, een dag voor een Kamerdebat over een heikele kwestie. De voorzitter van het college zou zo hebben willen voorkomen dat de minister het college zelf zou vervangen onder druk van de Tweede Kamer.

 

De deskundige overheid

Herman Tjeenk Willink, oud-vice-president van de Raad van State, sprak in een interview met Didactief in 2019 over opdrachtgeverschap van de overheid. ‘Om een goed opdrachtgever te zijn en het werk dat je hebt uitbesteed goed te kunnen controleren, heb je tenminste evenveel inhoudelijke kennis in eigen huis nodig als wanneer je de taak zelf uitvoert. Over de teloorgang van inhoudelijke deskundigheid binnen de departementen maak ik me al jaren zorgen.’

In de drang om de overheid mean and lean te maken, zijn steeds meer publieke taken op afstand geplaatst, aldus Tjeenk Willink.  ‘Als gevolg (daar)van is ook een heleboel inhoudelijke kennis en ervaring in de uitvoering weggestroomd uit de departementen. De gedachte was: die kennis kan je (commercieel) inhuren. Maar daarmee maakt de overheid zich afhankelijk van de private sector. Dat de top van een departement rouleert, prima, maar dat mag niet ten koste gaan van de inhoudelijke kennis waarover de departementen zelf moeten kunnen beschikken.’

Zijn diagnose is overgenomen in een ongevraagd advies over ministeriële verantwoordelijkheid dat de huidige Raad van State in juni 2020 aan het kabinet uitbracht. Crux: departementen hebben vaak te weinig specialistische deskundigen, topambtenaren rouleren te vaak en worden niet op vakinhoudelijke kennis ingezet. De keuze voor meer zelfstandig bestuursorganen en kleinere departementen die voor een minister beter behapbaar zouden zijn, is achteraf misschien niet zo gelukkig. Het publiek wil een duidelijke afzender, het gezicht van een minister, niet een ambtelijke zbo, als er problemen zijn. Die zbo’s zijn bovendien -immers zelfstandig – lastig aan te sturen. Het gevaar dreigt enerzijds van een ‘administrative state’ zoals dat in de literatuur heet, anderszijds van een minister die met gebonden handen staat: de verantwoordelijkheid voor een taak is elders belegd, maar in de praktijk wordt hij of zij er door de Kamer op aangesproken. Zo bezien is het geen wonder dat OCW de vinger straks aan de pols houdt bij het CvTE.

 

Voldoende rapportcijfer

Overigens krijgt het CvTE een voldoende rapportcijfer van Oberon. Voor het overkoepelend oordeel over de uitvoering van de wettelijke taken van het CvTE, citeren de onderzoekers de toezichthouder, de inspectie. In de periode 2014-2017 luidde haar rapport ‘naar behoren’, voor 2018 ‘aan wettelijke taken voldaan’. Belangrijkste zaken die niet goed gingen: het afgelasten van de digitale eindtoets in 2018/2019, het stopzetten van de afname van de staatsexamens Nt2 in de laatste drie maanden van 2018 vanwege voorkennis bij kandidaten, het niet aanbieden van de adaptieve eindtoets in 2019 en het uitstellen van de mogelijkheid voor de tweede correctie via Facet voor de digitale centrale examens vmbo-bb en vmbo-kb. Bij de meeste van deze dossiers is overigens DUO als leverancier van de drager Facet betrokken. De overzichten en verslagen van de incidenten vormen volgens Oberon een belangrijke bron voor het aanpassen van werkwijzen en/of procedures. Helaas staat in het evaluatierapport niet hoe het CvTE dat doet/heeft gedaan en wat er de komende tijd nog nodig is.

 

Klachten

Een aanbeveling uit de eerste evaluatie van het CvTE in 2014 was om te onderzoeken hoe het college omgaat met klachten. De Inspectie heeft dit inderdaad gedaan naar aanleiding van klachten over het examen Frans en concludeert dat de signalen correct zijn afgehandeld. Oberon zegt het haar na.
Tuurlijk, staat er in het rapport, er zijn wel meer problemen in de examenketen geweest: een kwart van de ondervraagden in het PO noemt het uitvallen van de digitale adaptieve eindtoets en een derde van de VO ondervraagden noemt de gedeeltelijke onvolledigheid van de examens (missende pagina’s) en de controle die scholen daarvoor moesten uitvoeren, herhaaldelijk komt ook de hoeveelheid errata in opgaven en correctiemodellen ter tafel. Maar respondenten wisten waar ze terecht konden met klachten en achtten de informatie van het CvTE volledig, duidelijk en op tijd. Het aantal klachten in de afgelopen jaren over de centrale eindtoetsen en examens is sowieso erg beperkt, schrijft Oberon, het aantal beroepszaken is nihil.

 

Validiteit

Fundamentelere klachten en kanttekeningen bij examens (door SLO , vakdocenten Nederlands en Duits (in een artikel dat door de Onderwijsraad werd bekroond) of over de klachtenprocedure) noemen de onderzoekers niet expliciet. Mogelijk omdat die niet via de officiële examenklachtenlijnen (die worden bemand door Laks en JOB) binnenkwamen.
Inhoud en niveau van toetsen en examens en de validiteit van de centrale examens voortgezet onderwijs zijn naar aanleiding van maatschappelijk debat wel onderzocht, door extern expertisecentrum RCEC. Dit expertisecentrum is echter nauw verbonden met examenmaker Cito. Over de resultaten van het onderzoek meldt het rapport niets.
Oberon besteedt wel aandacht aan het Project Ieders Examen (PIEx) van het CvTE, dat probeerde de betrokkenheid van docenten bij het examenproces te vergroten. Onduidelijk is of Oberon in de enquete voor de evaluatie ook naar PIEx is gevraagd. De onderzoekers citeren tenminste alleen maar het commentaar van het CvTE zelf op de voortgang van het project. ‘Het CvTE is zeer tevreden’ en bekijkt hoe de resultaten van PIEx op termijn structureel in de werkwijze en werkprocessen kunnen worden ingebouwd.
PIEx moet er ook voor zorgen dat er meer draagvlak in het veld ontstaat voor het werk van het CvTE, ook buiten de traditionele vakbonden en/of vakverenigingen.
Het kwaliteitsbewustzijn binnen de organisatie is sterk ontwikkeld, aldus Oberon.

 

Verder lezen

1 Zegels verbroken examens maandag
2 Onjuist toetsadvies voor achtstegroepers

Click here to revoke the Cookie consent