Onderzoek

Online examineren: handig, maar riskant

Een voorbeeld? Stichting Cito ontwikkelde met subsidie samen met commerciele softwareontwikkelaar Trifork digitale examens; Cito BV verkocht met datzelfde Trifork vergelijkbare examens aan het buitenland. Misschien hadden er betere afspraken gemaakt kunnen worden? Lees hier. Ook de beveiliging van digitale examens bleek niet goed geregeld. Ondanks een zeer kritisch Auditrapport over DUO bleek de beveiliging van de examens vooral van Duo afhankelijk te zijn. Didactief citeert ict-beveiligingsexpert Bart Jacobs die zeer kritisch is. Lees hieronder.      

Online examineren: handig, maar riskant

We staan er niet altijd bij stil, maar bijna 100% van de examens voor de algemeen vormende vakken vmbo-bb en vmbo-kb is inmiddels digitaal, na een voorzichtige start in 1995. 'Deze scholen willen niet anders meer,' zegt Nynke de Boer, manager computerexamens van het College voor Examens (CvE). De grootste meerwaarde van digitaal examineren is volgens haar dat scholen examens flexibel kunnen inplannen. Groepsgrootte, tijdstip. Alles op maat.

Mede vanwege het succes op het vmbo startte het CvE in 2009 een pilot met digitale centrale examens biologie vmbo-gt en kunstvakken havo-vwo. Deze werd echter in juli 2012 plots stopgezet. 'De politiek is er tussendoor gefietst,' aldus De Boer.

De Tweede Kamer besloot tot invoering van de rekentoets voor het voortgezet onderwijs en de diagnostische tussentijdse toets (dtt). Behandeling van dat tweede wetsvoorstel ligt nog bij de Tweede Kamer. Maar het CvE moest al wel aan de slag. En dat kan niet alles tegelijk, ook al omdat het de handen vol had aan de modernisering van de digitale afnametool Examentester. Alle digitale examens werden op dat moment met dit instrument afgenomen.

De digitale diagnostische tussentijdse toets is vanaf 2015/2016 landelijk verplicht, mits het wetsvoorstel door Tweede en Eerste Kamer wordt aangenomen. De digitale rekentoets was dit schooljaar voor het eerst een verplicht onderdeel van het eindexamen. Beide worden vanaf 2015/2016 aangeboden in de opvolger van Examentester: Facet. Er zijn dan in Nederland meer digitale examens en toetsen dan papieren.

Hackers
Digitale examens lijken de toekomst, kortom. Toch is Bart Jacobs, hoogleraar beveiliging en correctheid van software aan de Radboud Universiteit in Nijmegen, sceptisch. Bekend om zijn kritiek op de stemcomputer (inmiddels afgeschaft) en zijn hacken van de ov-chipkaart, vindt hij Facet geldverspilling. 'Ik zie geen voordelen aan digitale examens. Eerder nadelen: elke computer kan gemanipuleerd worden, zeker als er grote belangen mee gemoeid zijn. De enige manier om digitale fraude te ondervangen, is eigenlijk een gemaakt examen uit te printen en te laten ondertekenen door de leerling. Om fraude te voorkomen, kun je bijvoorbeeld beter examens opsturen als een versleutelde pdf en scholen een kwartier voor afname een code geven om hem te ontsleutelen.'

Maar digitaal examineren is toch veel efficiënter? Jacobs heeft een fundamentelere vraag: 'Hoe wil je op de langere termijn examens afnemen in een tijd van Google Glass en Google Watch? Straks zitten leerlingen met een Ray Ban-bril op hun neus, waaraan ik niet kan zien dat er een stiekeme internetverbinding in zit. Moeten we examenlokalen gaan beveiligen met fijn kippengaas als een kooi van Faraday om internet buiten te houden? Of moeten we over op mondelinge examens, zodat we echt weten wie er antwoord geeft op de vragen?'

Jacobs is niet enkel een zwartkijker. Want hoe zit het met de beveiliging van de nieuwe digitale examens? Die is grotendeels in handen van DUO – u weet wel, van de studiefinanciering en de bron-data. DUO doet de hele keten van de planning tot en met de afname van digitale examens. Best opmerkelijk, omdat de Auditdienst van de rijksoverheid en de Rekenkamer al sinds 2011 wijzen op de gebrekkige beveiliging van het DUO-informatiesysteem tegen hackers en cyberaanvallen.

Is het verstandig om zoiets belangrijks in handen te geven van een organisatie met zo'n slechte reputatie? Didactief vroeg DUO om commentaar, maar werd verwezen naar het CvE. En dat kent geen twijfel. De Boer: 'DUO is van OC&W. Dat zijn we zelf als het ware. DUO beheert data voor de overheid op een goede manier. We twijfelen er toch ook niet over of we de studiefinanciering en de brongegevens van scholen bij DUO moeten onderbrengen?'

En wat vindt het CvE van de veiligheidsrisico's die Jacobs noemt? 'De risico´s zijn zeker niet groter dan met papier,' zegt De Boer. 'Examens zijn nooit 100% onfeilbaar, maar ik ben ervan overtuigd dat we heel dicht in de buurt komen.'

Facet
Dat vindt ook COO Peter Meijer van Trifork, dat Facet in juni 2013 opleverde: 'De keten van fraude die er voorheen met examens op papier was, is met Facet aanmerkelijk ingekort.' Trifork werkte twee jaar samen met DUO en Cito*. Trifork maakte de 'speler', DUO ontwikkelde de omgeving waarin de kandidaatgegevens en de examenplanningen worden beheerd. En Cito ontwikkelde als vanouds de inhoud voor de vragen.

Meijer geeft een helder verhaal over encryptie, versleuteling en waterdichte schotten in de software. Wie examens wil manipuleren, moet volgens Meijer wel heel veel mapjes hacken. De antwoorden-, vragen- en persoonsgevensdatabases zijn allemaal gescheiden en versleuteld.

Maar de server van DUO, waar alle digitale examens in de toekomst belanden: als die gehackt wordt, kan Nederland geen examen doen? Meijer: 'Facet kan online en offline gebruikt worden. Tot nu toe gebeurt alleen dat laatste.' Dus ook als de server van DUO eruit ligt, kunnen leerlingen aan de slag. Bovendien, benadrukt Meijer, bij de geringste twijfel over fraude, kun je gelijk een nieuw examen versturen. Hij knipt met z'n vingers: niks geen gedoe met post en kluizen.

Hoe werkt een digitaal examen in Facet? Een examensecretaris zet een examen klaar, de leerling logt in met naam en wachtwoord, en gaat aan het werk. Online gaan de resultaten tijdens de afname direct versleuteld naar DUO, offline vindt er een tussenstapje plaats op een schoolserver met een programma dat door DUO is gemaakt. De school installeert en beheert dit programma. Na afname van het examen stuurt de school de resultaten versleuteld naar DUO.

Maar dan ligt toch een deel van het risico bij de school? DUO komt toch niet installeren, dat doet de lokale systeembeheerder toch? De Boer van het CvE: 'De school is verantwoordelijk om regelgeving en systeemeisen na te leven. De directeur moet daar zijn handtekening voor zetten. Wij stellen een testtraject op, geven duidelijke instructies, maar we staan er niet zelf bij.'

Hoewel, dat lijkt een kwestie van tijd. Vanaf volgend jaar krijgt DUO via Facet ook systeeminformatie terug van scholen. En dan kan het een beetje Big Brother worden. De Boer: 'We weten straks in theorie van elk examen op wat voor computer het is afgenomen en met welk besturingsprogramma. Als een school de helpdesk belt met een probleem, kunnen we bijvoorbeeld meteen zien: geen wonder, want het geheugen van uw computer is veel te klein. We hebben nog geen concrete plannen met data-mining, maar daar zouden we wel iets mee kunnen doen.'

Glazen bol
Hoe ziet De Boer de toekomst van examinering in Nederland? 'Het is kijken in een glazen bol. Google glass, online examineren – we gaan eerst in kaart brengen wat we allemaal zien gebeuren.' Maar centrale examens zullen nog wel even blijven, is haar verwachting. 'Die worden echt door het volk gedragen.'

De pilot met digitale examens binnen het vmbo-t, havo en vwo zal de komende twee jaar wel weer worden opgepakt, verwacht De Boer. 'In eerste instantie wellicht offline. En misschien worden we over tien jaar wel uitgelachen als we niet online werken. Gelukkig kan het met Facet allebei. Voorlopig voeren we het digitaal examineren langzaam op. We gaan straks zeker niet in één keer de deur openzetten. No way.'

En stel, we gaan straks allemaal digitaal examineren: wat is dan het voordeel waaraan Jacobs voorbij ziet? Meijer van Trifork somt ze moeiteloos op: 'Correctoren hoeven niet meer op elkaar te wachten voor de tweede correctie. Ze kunnen tegelijkertijd aan de slag. Maar het belangrijkste is dat je leerlingen op veel meer verschillende manieren kunt bevragen. Er zijn in Facet ongeveer dertig vraagtypes gerealiseerd, dus je kunt interessantere vragen bedenken. Je kunt het gebruik van hulpmiddelen in het programma zoals de rekenmachine aan- en uitzetten. Je kunt voortborduren op vragen of zorgen dat leerlingen juist niet kunnen terugbladeren. Je kunt audio en video gebruiken. En het voornaamste misschien: je kunt adaptief examineren, vragen stellen die zich aanpassen aan het niveau van de leerling.' / Monique Marreveld

* Stichting Cito/Cito BV hebben een inhoudelijke reactie op dit artikel geweigerd. Voor het artikel over de zakelijke relaties tussen Cito BV en Trifork zie hier.

Lees verder:

College voor Examens
Het College voor Examens (CvE, heet inmiddels CvTE) is een zelfstandig bestuursorgaan (ZBO) dat verantwoordelijk is voor de centrale examens en staatsexamens in het voortgezet onderwijs, de examens rekenen en taal in het (middelbaar) beroepsonderwijs, en de staatsexamens in Nederlands als tweede taal. Het CvE beschrijft voor de centrale examens de examenstof in syllabi, stelt examens en de normering vast, en is bij staatsexamens ook verantwoordelijk voor afname en diplomering. Het CvE bestaat uit acht leden en wordt ondersteund door een bureau van zo'n twintig medewerkers.

--------------------------------------

Examenniveaus
Sinds 2007 kunnen havo-leerlingen vakken op vwo-niveau afsluiten. Sinds 2008 kunnen vmbo-leerlingen dat op havo-niveau. In 2009 deed 0,9 procent van alle geslaagde eindexamenkandidaten dat (562 leerlingen, meer vmbo dan havo). Ook is het al langer mogelijk om examen te doen in een of meer extra vakken. Binnen de havo en het vwo is dat zeer gebruikelijk. Adaptieve examens, waarbij de toets het niveau van de leerling volgt (als in een computergame), zijn er nog niet. De diagnostische tussentijdse toets die Cito samen met Trifork ontwikkelt, zal wel geheel adaptief zijn.

---------------------------------

Examenfraude opsporen: een technische uitdaging
Digitale eindexamens brengen een nieuwe mogelijkheid met zich mee om fraude te ontdekken. Onderzoekers Bernard Veldkamp en Jean-Paul Fox van de Universiteit Twente zijn daar al mee aan het experimenteren. Ze hebben software ontwikkeld die op basis van responsietijden alarm slaat als kandidaten zich afwijkend gedragen. 'Een kwestie van slimme statistiek,' legt Veldkamp uit. 'De computer houdt bij hoe lang een kandidaat doet over een antwoord. Onze software houdt er rekening mee dat kandidaten in het begin even de tijd nemen, dan meer tempo maken en tegen het eind nog een spurtje trekken. Dan krijg je een plaatje van iemands gemiddelde antwoordsnelheid. Elke geconstateerde afwijking van het verwachte patroon biedt informatie. Als een kandidaat bepaalde vragen heel snel en ook nog eens goed beantwoordt, dan is dat een aanwijzing voor voorkennis ofwel fraude.'

Deze methode is vooral betrouwbaar als kandidaten voor een deel van de vragen voorkennis hebben. Bij meer dan 50% voorkennis werkt de software niet meer, omdat dan het ijkpunt – de gemiddelde antwoordsnelheid – niet meer zuiver is. Dus bij Ibn Galdoun, waar leerlingen alles van tevoren wisten, zou de methode waardeloos zijn geweest? 'Dat valt mee,' zegt Veldkamp. 'Behalve per individuele kandidaat kun je ook kijken naar afwijkende responsietijden per examenlocatie. De schoollocatie Ibn Galdoun zou er direct zijn uitgesprongen.' De Twentenaren zijn inmiddels ingehuurd om hun methode in de Verenigde Staten te beproeven, waar toelatingsexamens voor rechtenfaculteiten op veel verschillende locaties plaatsvinden.

Met de methode kun je tijdens de examenafname monitoren en tussentijds al resultaten zien. Maar bij een vermoeden van fraude hoef je de kandidaat niet meteen in zijn kladden te grijpen, je kunt hem bijvoorbeeld ook andere vragen aanbieden, uit een geheime voorraad. 'Dat is het voordeel van digitale examinering. Dat moet je uiteraard netjes regelen met de Commissie van Examens, maar het zijn mogelijkheden van de techniek.'

De methode kan ook preventief werken. Als je examenkandidaten van tevoren vertelt dat je statistiek benut en dat je bij afwijkend gedrag zult ingrijpen, blijkt dat preventief te werken. Vooral omdat kandidaten hun responsietijden lastig kunnen manipuleren. De Amerikaanse jongeren die straks op gaan voor een toelatingsexamen krijgen van tevoren te horen: bij afwijkend gedrag krijg je geen cijfer en word je uitgenodigd om het examen nog een keer te doen op een andere locatie. Reken maar dat dan de spiekbriefjes en smartwatches onbenut blijven. / BR

-----------------

Het portfolio als eindexamen?
Het centraal eindexamen bestaat al zolang we ons kunnen herinneren. Maar toetst het wel de juiste dingen? In hoeverre is een portfolio een betere manier om leerlingen te beoordelen?
Met een portfolio kunnen leraren hun leerlingen niet alleen beoordelen op kennis, maar ook op allerlei vaardigheden en competenties. Veel mbo-opleidingen werken ermee, maar in het voortgezet onderwijs houden we vast aan het centraal eindexamen (CE). Zal het portfolio dat ooit gaan vervangen? Cees Streng, rector van de Valkenswaardse scholengemeenschap Were Di, is daar een groot voorstander van. 'Zo'n portfolio doet meer recht aan de talenten van leerlingen. Daarmee moeten ze laten zien wat ze allemaal geleerd hebben: naast kennis, vaardigheden als plannen, samenwerken en presenteren.'

Volgens Jacquelien Bulterman, lector Docent en talent aan de Christelijke Hogeschool Ede en co-auteur van het boek Is alles van waarde meetbaar?, zit daar wel wat in: 'De huidige toetsen zijn vooral gericht op welk antwoord goed of fout is. Terwijl opgaven in het echte leven juist divergent zijn: op de meeste vragen zijn meerdere antwoorden mogelijk. Door andere beoordelingsvormen te gebruiken, kun je het onderwijs dus levensechter maken.' Toch zal Bulterman niet gauw pleiten voor een portfolio in plaats van het CE. 'Er is nog een lange weg te gaan. Het beoordelen van een portfolio is een stuk ingewikkelder dan het nakijken van een toets. Docenten zouden daar dus eerst training in moeten krijgen.'

Want ja, als er geen centraal schriftelijk meer is, hoe houden we dan het niveau in de gaten? Volgens Streng maken we ons daar in Nederland onnodig zorgen over. 'Tien kilometer bij onze school vandaan, in België, hebben ze geen centraal examen. Daar is het helemaal geen issue. Natuurlijk, als je het CE afschaft, moet je zorgen dat er controle is. Collega-scholen kunnen bijvoorbeeld elkaars leerlingen beoordelen, en we kunnen met vervolgopleidingen afspraken maken over het niveau.'

Jan van Tartwijk, hoogleraar Toegepaste onderwijskunde aan de Universiteit Utrecht, is niet overtuigd. 'Voor beoordeling in praktische, beroepsgerichte opleidingen is een portfolio een prima instrument, maar in een algemeen, meer gestandaardiseerd curriculum is het lastiger te gebruiken. Uit onderzoek blijkt dat zo'n portfolio veel werk vraagt. Voor sommige doelen is het dan gewoon te omslachtig, en is er vaak te weinig tijd om het goed te doen.'

En toch, op Were Di zijn ze al een heel eind met het gebruik van portfolio's. Een van de vmbo-afdelingen op de school heeft er geen normaal lesrooster, geen vakken en geen toetsen. Streng: 'Onze leerlingen voeren groepsopdrachten uit. We laten ze bijvoorbeeld een fietsroute uitstippelen met een museumbezoek en een folder in het Frans en het Engels maken. We beoordelen alle aspecten van de opdracht, zoals samenwerking, presentatievaardigheden en het toepassen van kennis. Die beoordeling komt in het portfolio.'

Maar uiteindelijk, halverwege de examenklas, is dan toch hoofdzakelijk de opdracht: slaag voor je examen. Streng: 'Ineens moeten die leerlingen dan toch sommetjes maken, terwijl ze zoveel meer hebben geleerd. Dat is gek: je mag in Nederland kiezen hoe je het onderwijs inricht, maar aan het eind van de rit moet iedereen hetzelfde examen doen.'

Waarom zijn we zo gehecht aan het CE? Bulterman: 'De afgelopen jaren is de focus steeds meer op objectiviteit komen te liggen, als tegenreactie op het studiehuis en het nieuwe leren. Dat heeft goede kanten. Maar daardoor zijn we ook alle leerstof in testformaat gaan persen.' En dan nog toetst het CE volgens Streng maar een klein deel van de competenties. 'Het geeft een vertekend beeld. Als je je neus in een emmer water steekt om de temperatuur ervan te meten, ben je nauwkeuriger bezig dan hoe wij op dit moment examineren.'

Nederland lijkt nog niet toe aan het portfolio als alternatief voor het CE. Misschien een combinatievorm dan? Van Tartwijk: 'We moeten zeker nadenken over andere elementen naast of binnen het CE. Creativiteit en probleemoplossend vermogen zijn lastig te toetsen, maar een profielwerkstuk is een mooi voorbeeld van hoe het anders kan.' / JvdB

Tekst Monique Marreveld, Bea Ros, Jessie van den Broek
Deze artikelen zijn eerder gepubliceerd in Didactief, mei 2014.
Gepubliceerd op 15 oktober 2014.