Onderzoek

Nabrander Leerwinst

Alleen de bruikbaarheid van het Cito-leerlingvolgsysteem (LVS) werd onderzocht, niet die van andere LVS'en. Toeval, zegt de projectleider. Stichting Cito was betrokken bij het onderzoek.

Leerwinst
Leerwinst is de toename van kennis en vaardigheden bij leerlingen gedurende een bepaalde periode. De bijdrage van de school aan de leerwinst is de toegevoegde waarde. In maart publiceerde de inspectie van het onderwijs het onderzoek Leerwinst en toegevoegde waarde in het primair onderwijs op haar website. Bij het archiveren deze maand keken we er nog eens goed naar. Vraag van de opdrachtgever - het ministerie van OCW - was of toets- en schoolinformatiesystemen geschikt zijn om de bijdrage van een basisschool aan de leerwinst van de leerlingen vast te stellen. Onderzoekers waren verbonden aan GION, CED-Groep, Universiteit Twente en Stichting Cito.

In de tweejarige pilot met LVS'en in het primair onderwijs hebben de onderzoekers alleen de LVS'en van Cito BV onderzocht om te bezien of ze bruikbaar zijn om leerwinst en toegevoegde waarde te bepalen. Gek eigenlijk. Zo'n 80% van de scholen werkt met een Cito-LVS van Cito BV. Maar 1 op de 5 scholen dus niet. Waarom zijn er geen toetsen van andere aanbieders onderzocht? Frans Janssens van de Universiteit Twente en projectleider van de pilot, stelt het volgende:
'Er is van te voren niet gekozen voor één toetsaanbieder. In het rapport staan de voorwaarden waaraan pilot-scholen moesten voldoen. Ten eerste moesten scholen een serie gestandaardiseerde toetsen gebruiken waarmee de vorderingen over een langere periode kunnen worden gevolgd en, ten tweede zijn er geen voorwaarden gesteld aan het op de scholen in gebruik zijnde toets- en schoolinformatiesysteem. Alle systemen waren welkom. De werving van scholen is door de CED-Groep uitgevoerd. Daarin speelde de aanbieder van de op de scholen in gebruik zijnde toetsen geen rol bij de selectie.'

Toeval
Maar hoe kan het dan dat er alleen LVS-toetsen van Cito BV zijn gebruikt bij de pilot? Puur toeval, aldus Janssens:
'Dat alle deelnemende scholen LVS-toetsen van Cito bleken te gebruiken (en geen andere) is toeval. Onder de scholen die aan de pilot deelnamen kwamen geen toetsen van andere aanbieders voor. Bovendien stelde OCW een bovengrens aan het aantal deelnemende scholen. Er konden maar 45 scholen meedoen en daarmee moest de pilot worden uitgevoerd. We hebben daarom geen ervaring kunnen opdoen met toetsen van andere aanbieders. Daarbij speelt natuurlijk mee dat, volgens gegevens van de inspectie, LVS-toetsen van Cito door ruim 80% van de Nederlandse scholen zijn aangeschaft. De kans is dus niet zo groot dat er scholen zijn die deze toetsen niet op het repertoire hebben staan.'
Een snelle rekensom maakt duidelijk dat die kans 20% is. Op een totaal van krap 7000 basisscholen in Nederland zijn dat er circa 1400.

Cito wijst naar CED-groep
De woordvoerder van Cito, Liesbeth van Litsenburg, argumenteert desgevraagd langs dezelfde weg als Janssens. Zij verwijst in eerste instantie naar de CED-Groep als verantwoordelijke voor de selectie, maar zegt ook:
'Stichting Cito is als onderzoeksinstituut betrokken geweest bij de pilot. Zij hebben in dit kader een van de maten voor leerwinst ontwikkeld. Om de scholen zo min mogelijk te belasten is in de pilot gebruik gemaakt van (toets)gegevens die al op school beschikbaar waren. Hier is na de werving (door de CED-Groep) geïnventariseerd op welke gebieden en op basis van welke (toets) resultaten de deelnemende scholen de maten wilden laten toepassen. Uit deze inventarisatie bleek dat er op de deelnemende uitsluitend LVS-toetsen van Cito gebruikt werden. Daarom zijn die toetsen gebruikt om de ontwikkelde modellen in de praktijk toe te passen.'
Ze voegt er nog aan toe: 'Dat er geen ervaring is opgedaan met het toepassen van de modellen op andere toetsen zegt niets over het wel of niet bruikbaar zijn van andere toetsen bij het in kaart brengen van leerwinst (of toegevoegde waarde).'

Klopt, over wat niet onderzocht is, kun je geen uitspraken doen. In theorie is het ook mogelijk dat toetsen van andere aanbieders beter geschikt zijn voor het meten van leerwinst en toegevoegde waarde. Maar dat is niet onderzocht. En dat is jammer, gezien de belangrijkste conclusie van de pilot: dat de onderzochte instrumenten nog geen bijdrage kunnen leveren aan de verdere ontwikkeling van het opbrengstgericht werken in scholen. Toets- en schoolinformatiesystemen moeten worden aangepast, aldus het rapport, om niet van schattingen van toegevoegde waarde, maar van nauwkeurige metingen te kunnen spreken. De vraag is of aanbieders van andere LVS misschien wel een dergelijke bijdrage zouden kunnen leveren. De onderzoekers stellen zich die vraag niet.
Maar, zegt Cito: 'Het model dat Cito ontwikkeld heeft, kan door andere toetsaanbieders toegepast worden op hun toetsen.'
Ook Frans Janssens zegt dat andere toetsaanbieders gewoon aan de slag kunnen:
'Een voorwaarde voor de deelnemende instituten was dat zij de in de pilot opgedane kennis ter beschikking stellen aan alle aanbieders van toets- en schoolinformatiesystemen in Nederland. Het model dat Cito heeft ontwikkeld kan daarom door andere toetsaanbieders toegepast worden op hun toetsen. Zij kunnen daarvan ook profiteren. De staatssecretaris van OCW is ook voornemens daarover met deze aanbieders afspraken te maken.'
Dat is tot nu toe niet gebeurd, zegt Judith Boom van Boom Uitgevers:
'We hebben er begrip voor dat ons LVS niet is gebruikt in de pilot leerwinst en toegevoegde waarde. De realiteit is tenslotte dat een meerderheid van de scholen het Cito LVS hanteert. Het is dan voorstelbaar dat in een eerste pilotstudie de aandacht vooral naar het Cito LVS uitgaat.'
'Wat betreft de verschillende concepten van leerwinst die in het rapport van de commissie worden voorgesteld, betreuren wij het wel te zeerste dat geen enkele aandacht uitgaat naar het gebruik van didactische leeftijdsequivalenten, temeer daar het werken met DLE's de mogelijkheid biedt om de leerwinst op een relatief eenvoudige en voor iedereen inzichtelijke wijze in beeld te brengen. Bovendien is deze manier van werken al jaren staande praktijk is in de diverse LVS'en.'
'We zijn vooralsnog niet benaderd door OCW over de bevindingen van het rapport, zijn uiteraard wel doordrongen van de relevantie van deze ontwikkelingen en gaan ervan uit dat er nog een uitnodiging volgt.'

Criteria
Wat zegt de CED-groep die door Janssens en Cito verantwoordelijk wordt gehouden voor de selectie van deelnemende scholen in het onderzoek? Bij monde van woordvoerder Elly van Zel: 'Nee, wij hebben niet alleen scholen gezocht die gebruik maken van Cito LVS. De keuze van deelnemende scholen is bepaald door: schoolgrootte, denominatie, onderwijsconcept en geografische spreiding. Alle deelnemende scholen hebben gebruik gemaakt van het Lvs dat zij op dat moment hadden en van de toetsen die zij al gebruikten. Omdat Cito immers een groot gedeelte van de markt beslaat, kan het best zo zijn dat veel scholen Cito LVS en toetsen hanteren. Maar dat is voor ons zeker niet een van de criteria geweest.'
In de eindrapportage adviseert Janssens de staatssecretaris op basis van dit onderzoek afspraken te maken met scholen over verplichte halfjaarlijkse toetsing van alle leerstofgebieden in aangepaste LVS'en. Janssens adviseert tevens te zoeken naar een instantie die de gegevens over toegevoegde waarde van scholen kan bijhouden en in kaart kan brengen.

De reactie van staatssecretaris Dekker op het rapport ten slotte was gematigd positief. Hij ziet in leerwinst en toegevoegde waarde een beloftevol hulpmiddel om onderwijs nog beter af te stemmen op de talenten van leerlingen. Maar dan moet er nog wel het een en ander gebeuren: het hulpmiddel moet verder technisch ontwikkeld worden en de praktische toepasbaarheid moet vergroot. De aanbevelingen die het rapport doet, wil de staatssecretaris graag oppakken.

Lees hier het rapport Leerwinst en toegevoegde waarde.

Tekst Nick van Schaik
Gepubliceerd op 2 juni 2014.