‘Ik ben zwaar teleurgesteld’, vertelt Bert Weltens bij een kop koffie in het Utrechtse conferentiecentrum Domstad. De voorzitter van de vaststellingscommissie Engels (een groep leraren uit het veld die bepalen welke opgaven worden opgenomen in de toets) was not amused toen hij eerder in de week hoorde dat met het nieuwe regeerakkoord de dtt als verplicht onderdeel aan het eind van de onderbouw vo, al eerder afgeschoten, nu echt definitief verleden tijd is.
‘We zijn in politiek guur weer terecht gekomen’, zegt Jacob Raap, projectleider vanuit het College voor Toetsen en Examens (CvTE) voor de driejarige dtt-pilot (2014-2017). ‘De dtt-pilot was een bumpy road. Bij de start was er een ander kader: eerst zou de toets verplicht worden en toen niet meer.’
‘Bij de conferentie vorig jaar zat de zaal veel voller. Allemaal scholen die dachten dat de toets verplicht zou worden’
Dat van die verplichting bij de start, dat klopt niet helemaal. De verplichte dtt was al afgeschoten door de Tweede Kamer voordat de pilot in 2015 van start ging. Hoe zat het ook alweer?
In 2012 vroeg toenmalig minister van Onderwijs Marja van Bijsterveldt om een advies aan de Onderwijsraad over het wetsvoorstel voor (onder meer) een verplichte diagnostische tussentijdse toets (dtt) aan het eind van de onderbouw vo. De Onderwijsraad schreef in haar advies zo’n toets een goed idee te vinden in het kader van opbrengstgericht werken, maar ze adviseerde de minister om scholen daarin vrij te laten. Een jaar eerder adviseerde de raad in zijn reactie op het Actieplan Beter Presteren vo van Van Bijsterveldt, de minister om ‘onder verantwoordelijkheid van het College voor Examens toetsen te laten ontwikkelen (…) Daarnaast staat het (groepen van) scholen vrij om zelf een andere toets te (laten) ontwikkelen, waarbij uiteraard als voorwaarde geldt dat zo’n toets dan betrouwbaar en valide is.’
In afwijking van beide raadsadviezen koerste staatssecretaris Dekker in 2013 toch op een verplichting. Maar de meerderheid van de Tweede Kamer voelde niets voor weer een nieuwe verplichte toets, mede gezien de vele protesten van scholenkoepels. Scholen zijn geen toetsfabrieken en mogen bovendien – vrijheid van onderwijs – zelf weten hoe ze hun onderwijs inrichten.
Dekker besloot daarop het wetsvoorstel niet in stemming te brengen, maar liet de Tweede Kamer weten in plaats daarvan een grootscheepse pilot op te zetten. Hij gaf het College voor Toetsen en Examens (CvTE) de opdracht een dtt voor Nederlands, Engels en wiskunde te laten ontwerpen en deze te testen op scholen. Cito ontwikkelde de toets, het CvTE wierf scholen en SLO en Edventure begeleidden de scholen. Kosten: 8 miljoen. ‘Dat gebeurde een beetje onder de politieke radar’, zo beschreef OCW-ambtenaar Irene van Renselaar het in haar inleidende praatje tijdens de slotconferentie. De hoop was dat na afloop van de pilot er in de Kamer meer draagvlak en belangstelling voor de dtt zou zijn.
Die hoop was ijdel. Na het Didactief-artikel De toets van 8 miljoen regende het juni 2016 kritische vragen van Kamerleden over dit ‘verkapt uitrollen van de dtt’. Een maand later werd na stemming besloten dat er geen van overheidswege verplichte dtt komt. De oppositie diende nog een motie in om ook de pilot per direct te stoppen, maar die haalde het niet.
Er zat nog wel een addertje onder het gras. In de wetgeving staat namelijk dat de regering de bevoegdheid heeft om diagnostische toetsen op te leggen aan scholen in het voortgezet onderwijs via een algemene maatregel van bestuur. Dus zonder tussenkomst van de Kamer. Daarom dienden de Kamerleden Bisschop (SGP) en Rog (CDA) november 2016 een initiatiefwetsvoorstel in om die wettelijke grondslag ook te schrappen. Door de verkiezingen debatteerde de (nieuwe) Tweede Kamer pas in april 2017 over dit wetsvoorstel. Tot stemming kwam het nog niet, maar een meerderheid leek voor het wetsvoorstel. Zo’n stemming lijkt niet meer nodig: krap twee dagen voor de Dtt slotconferentie viel op pagina 9 van het nieuwe regeerakkoord te lezen: ‘De wettelijke basis voor het verplicht afnemen van een Diagnostische Tussentijdse Toets in het voortgezet onderwijs zal worden geschrapt.’
Geert van Lonkhuijzen (directeur CvTE) reageert laconiek. ‘We wisten allang dat de dtt zou stoppen. Die zin in het regeerakkoord is puur politiek.’ Toch bleef het CvTE scholen werven voor de pilot en de toets pluggen in scholen, waarbij in het laatste pilotjaar het lokkertje niet langer was invloed-uitoefenen-op-een-toets-die-straks-verplicht-wordt, maar een gratis product voor formatief toetsen.
Toch voelt Bert Weltens, die als voorzitter van de vaststellingscommissie jarenlang meedacht over toetsvragen voor Engels, zich overvallen door de politiek. In tegenstelling tot criticasters als de Vereniging van Leraren Levende Talen die de toets ‘overbodig’ noemde, gelooft hij heilig in de toets. ‘Het is een mooi instrument.’ Ook Piet Litjens, voorzitter van de vaststellingscommissie voor Nederlands, vindt het eeuwig jammer: ‘Ik dacht op een mooi schip te stappen, maar we hebben alleen maar een schroef kunnen ontwikkelen.’ De dtt voor Nederlands bestaat nu alleen nog maar uit schrijfvaardigheid. ‘We zijn met opzet begonnen met het moeilijkste taalonderdeel. Als je dat eenmaal hebt, kun je alles. Maar helaas mochten we niet doorgaan.’
Het gevoel van ‘onze toets’ was er dus niet meer, daar in conferentiecentrum Domstad. Aan de dtt-pilot deden 230 vo-scholen mee, maar daarvan is slechts een fractie komen opdagen. ‘Bij de conferentie vorig jaar zat de zaal veel voller. Allemaal scholen die dachten dat de toets verplicht zou worden’, zoals Raap in zijn inleidende praatje vaststelde.
Volgens de eindrapportage van Regioplan, die de pilot monitorde, gaf het motief ‘omdat we verwachten dat de dtt de standaard wordt’ zeker niet de doorslag om deel te nemen aan de dtt; bij schoolleiders was dat goed voor slechts 43% en bij leraren 30%. Dit motief is in de loop van de pilot steeds minder belangrijk geworden. Hoofdmotieven waren werk maken van formatieve evaluatie (schoolleiders 80%, leraren 67%), maatwerk voor leerlingen (resp. 79% en 82%) en opbrengstgericht werken (resp. 79% en 70%). Het lijken vooral politiek correcte antwoorden die op de werkvloer anders kunnen uitvallen, getuige de ervaringen van Saskia Versloot die vanuit Edventure scholen begeleidde. ‘Scholen hadden niet door dat het om formatief evalueren ging. Ze hadden zich aangemeld, omdat ze dachten dat de toets verplicht zou worden. Maar weinig scholen kozen bewust voor formatief toetsen.’ Ook de scholen die Didactief eerder sprak, noemden de gratis beschikbaarheid als een belangrijke overweging om mee te doen.
De dtt omvat op dit moment drie toetsen om deelvaardigheden binnen de drie kernvakken te peilen: schrijfvaardigheid Nederlands, schrijfvaardigheid Engels en getallen en verhoudingen voor wiskunde. De toets wordt digitaal afgenomen en is adaptief: na een blok vragen krijgt een leerling afhankelijk van zijn score makkelijkere of moeilijkere vragen voorgeschoteld.
De afnametijd is maximaal drie uur. Dat moet om een goede adaptieve en vooral betrouwbare toets te maken, zeggen de toetsenmakers van Cito. Erg lang, vinden scholen en leerlingen. ‘Je ziet uit de statistieken dat leerlingen op het eind inzakken en per vraag minder tijd besteden’, vertelt onderzoekster Pascalle Haenen (Universiteit Maastricht).
De dtt is bedoeld als formatieve en niet als afrekentoets. Scholen krijgen een rapportage op school-, groeps- en leerlingniveau. Deze rapportages bieden geen scores op afzonderlijke vragen, maar op deelaspecten van het vak, weergegeven met bolletjes op een niveaulijn. Bij schrijfvaardigheid Nederlands gaat het dan bijvoorbeeld om onder meer toonzetting afstemmen op de lezer, correcte zinsbouw en een standpunt voorzien van passende argumenten (zie voorbeeldrapportage).
Geven de toetsuitslagen leerlingen (en hun leraren) inderdaad het bedoelde inzicht in wat ze aan het eind van de onderbouw vo kennen en kunnen? Dat valt tegen, blijkt uit het kleinschalige onderzoek van Wilma Kippers (UTwente) naar hoe leerlingen en docenten de toetsuitslagen interpreteren. Ze kwam tot de onthutsende conclusie dat geen enkele leerling en negen van de twaalf leraren de uitslagen te zien hadden gekregen. De verspreiding binnen scholen hapert. Dus leerlingen maken drie keer drie uur een toets en krijgen nooit meer te horen hoe ze ervoor staan. Daarmee schiet het belangrijkste doel van een formatieve toets – feedback geven aan leerlingen – er bij in.
Uit de Regioplan-monitor komen mildere cijfers naar voren: 44% van de leraren bespreekt de uitkomsten geregeld in de klas. Maar de onderzoekers zeggen ook: ‘Het aanbieden van ondersteuning aan leerlingen naar aanleiding van de uitkomsten en het gebruikmaken van de bevindingen uit de toets in de klas lijken nog een uitzondering.’
Ook Versloot zag dat leraren zich ‘geen eigenaar voelen van de uitslag’. ‘Vaak was het zo dat de school tegen een leraar zei: hier, neem deze toets maar af.’ Dat spoort met de bevindingen van Regioplan: in de laatste meting (2017) voelt de helft van de leraren zich in redelijke mate bij de pilot betrokken, een kwart echter helemaal niet. Vergeleken met de vorige meting is de betrokkenheid van leraren gedaald.
Hoewel 40% van de schoolleiders zegt het opbrengstgericht werken, inclusief het systematisch evalueren van opbrengsten, op orde te hebben, blijkt ook hier de praktijk weerbarstiger. Van de docenten ziet 46% hun (gebrekkige) vaardigheden om de dtt-uitslagen te vertalen naar acties in de klas als knelpunt. Dat is ook Versloots ervaring: ‘Veel leraren weten niet goed wat te doen met de toetsuitslagen. Ermee aan de slag gaan is voor leraren nog geen logische vervolgstap.’ Versloots conclusie: ‘De dtt is één ding, formatief evalueren is iets anders, al is het wel een twee-eenheid. De dtt moet geen doel, maar middel zijn, het doel is de intrinsieke motivatie van de leerling. Veel scholen zijn daarnaar op zoek, in die zin kan de dtt een goed lijmmiddel zijn, maar dan zijn de vervolgstappen wel nodig.’
‘Alleen maar een instrument als de dtt leidt nog niet tot een formatief leerproces’
Judith Gulikers (WUR), die samen met Suzanne Baartman in opdracht van NRO een review naar formatief toetsen heeft gedaan (lees hier meer daarover), had eenzelfde boodschap voor de zaal: ‘Alleen maar een instrument als de dtt leidt nog niet tot een formatief leerproces.’ Cruciaal is het aanpassen van docentgedrag op basis van de uitkomsten. ‘Docenten kiezen daarbij vaak voor het herhalen of langzamer uitleggen van de lesstof. In dit handelingsrepertoire is nog veel te winnen.’ Gulikers’ advies: ‘Durf af te wijken van je programma of methode.’
Het laatste deel van de conferentie was gewijd aan de presentatie van de twee nieuwe aanbieders van de dtt. Toen duidelijk werd dat er geen verplichte en van overheidswege geleverde dtt zou komen, liet OCW aan de GEU weten dat alle toetsitems vrij en gratis beschikbaar zouden komen. Twintig uitgevers toonden aanvankelijk belangstelling, daarvan bleven er uiteindelijk twee over. Onder hen geen Cito BV. Die wil verkeerde beeldvorming voorkomen: lekker makkelijk winst maken met wat Stichting Cito met overheidsgeld heeft ontwikkeld, doet het bedrijfsimago geen goed.
De beide nieuwe spelers bieden de toets in 2018 nog in huidige vorm en gratis aan, zodat scholen die erop rekenden niet voor verrassingen komen te staan. A-Vision, bekend van de po-eindtoets Route 8, gaat de toets daarna samen met de Universiteit Maastricht verder ontwikkelen en met hulp van Edventure scholen inbrengen. ‘Onze dtt moet geen los instrument worden, we mikken echt op schoolcommitment, met een intake en een begeleidingstraject op maat.’ Het bedrijf wil naast schrijfvaardigheid ook een toets voor leesvaardigheid en uitbreiding naar andere klassen. En het gaat de toets adaptief maken op itemniveau in plaats van blokniveau, zodat de toets ook korter kan worden.
De tweede aanbieder is een nieuwe speler op toetsterrein. Dedact is een bedrijf dat sinds 2015 de digitale leeromgeving Learnbeat aanbiedt (momenteel op 150 scholen in gebruik). De dtt komt daarin als modus voor formatief toetsen. ‘Even de temperatuur opnemen bij leerlingen’, zoals een vertegenwoordiger van Dedact het noemde. ‘En aan de uitslag kunnen we dan meteen oefenstof hangen.’ Leraren kunnen straks ook kiezen om onderdelen uit de toets te gebruiken.
Dat wordt dus iets heel anders dan de huidige dtt, constateerde Bert Weltens vanuit de zaal. ‘Waarom zou je daar dan nog de naam dtt aan willen hangen?’ Dedact vond dat een goede vraag, maar gaf er geen antwoord op. ‘Er zijn dus straks twee marktpartijen die onder de noemer dtt iets heel anders aanbieden?!’ concludeerde Weltens. Hij is er niet gerust op.
Raap laat desgevraagd weten juist opgelucht te zijn: ‘Ik ben authentiek blij dat ons werk wordt voortgezet en het voortbestaan van de dtt is veiliggesteld. Want OCW heeft bij scholen een behoefte gecreëerd en dan kun je niet zomaar stoppen.’
De dtt is dood. Leve de dtt? Dat zou je de conclusie van deze slotconferentie kunnen noemen. Je kunt ook cynischer – realistischer? - zijn en zeggen dat de overheid acht miljoen euro over de balk heeft gegooid met een pilot die er niet had moeten komen en die ook niet echt iets heeft opgeleverd. Immers, blijkens de onderzoeken en praktijkbevindingen heeft de dtt nog niet echt tot een gedegen formatieve aanpak op pilotscholen geleid.
Dat weerhield de projectleiders er niet van de loftrompet af te steken over het formatieve vuur dat zij ontstoken hadden. Psychologisch logisch. Nu de gedroomde verplichting van de dtt in rook is opgegaan en ‘hun’ toets over is gegaan naar de markt, is dat wellicht ook de enige oogst en troost om in handen te houden. ‘We stoppen misschien met de dtt, maar we zijn op weg naar een formatieve evaluatiecultuur’, zei Raap. Het zal een overdrachtelijke ‘we’ zijn, want het is niet aan het CvTE als zelfstandig bestuursorgaan die opdrachten van OCW uitvoert, om koersen uit te zetten.
CvTE-directeur Geert van Lonkhuijzen deed ook een duit in dit zakje: ‘Over 5, 10 jaar zullen we zeggen; was jij er ook al bij in het begin, toen in Domstad? We dachten dat het voorbij was, maar formatief en adaptief evalueren gaan als een inktvlek om zich heen grijpen. Dat is mijn stellige overtuiging. Rest mij nog jullie een tissue te geven (voor tranen, br) en een veer: jullie durfden wat.’
Dat lijkt te veel eer. Al in 2011 publiceerde Dylan William zijn Embedded Formative Assessment (in 2014 vertaald als Cijfers geven werkt niet) en in 2013 pleitten René Kneyber en Jelmer Evers in hun Het Alternatief ook al voor meer aandacht voor formatief toetsen. Ook de al genoemde NRO-review is een duidelijk teken dat formatief toetsen steeds geaccepteerder en ‘gewoner’ wordt. Daar hadden we welbeschouwd geen dtt voor nodig.
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
