Onderzoek

Minder enquêtes, meer data

In november 2022 publiceerde European Schoolnet, een netwerk van 34 Europese ministeries van Onderwijs, op basis van een serie webinars een rapport over de ervaringen in het onderwijs tijdens de coronapandemie. Het rapport bevat aanbevelingen voor OCW en diens Europese partners ten aanzien van bijvoorbeeld digitalisering en monitoring om het onderwijs te verbeteren. Over dat laatste onderwerp sprak Melanie Ehren van de Vrije Universiteit Amsterdam met onderzoeker Elena Mosa uit Italië en beleidsadviseur Morten Søby uit Noorwegen in een van de webinars. Het verslag van dit gesprek is opgenomen in het rapport en bevat interessante conclusies.

Flexibel worden

Zo blijkt dat het tijdens de pandemie hielp als scholen al gebruikmaakten van gegevens uit evaluaties om na te denken over veranderingen. De scholen die dit deden, brachten het er bij de omschakeling naar online en hybride lesgeven het beste van af. Monitoring en dataverzameling is dus belangrijk als je als school flexibeler wilt worden bij aanpassingen in de onderwijspraktijk.

Kijk naar meer
dan toetsresultaten

Maar wat valt er allemaal onder monitoring volgens de onderzoekers? Ehren ziet het als een brede term waar verschillende vormen van evaluatie van kwaliteit onder vallen. Bijvoorbeeld schoolinspecties, maar ook leerlingevaluaties, zelfevaluaties van scholen, peer reviews en gestandaardiseerde toetsen. Onderwerp van monitoring zijn idealiter meerdere factoren die het onderwijs beïnvloeden, zoals het curriculum, de kwaliteit van lessen en de schoolcultuur. Door alleen naar de toetsresultaten van leerlingen te kijken, krijg je namelijk onvoldoende informatie voor goed beleid.

Wie doet wat?

Maar wie moet er monitoren en hoe? De drie experts erkennen dat de vele enquêtes van organisaties, ministeries en universiteiten waarmee scholen momenteel worden overspoeld, niet per se resulteren in betrouwbare of informatieve data. Veel enquêtes hebben immers te weinig respondenten om tot betrouwbare resultaten te leiden. Een centraal orgaan dat zich over dataverzameling ontfermt, heeft volgens hen verschillende voordelen. Zo’n orgaan kan monitoring standaardiseren om beter zicht te krijgen op vooruitgang. Ook kan het scholen vergelijken en landelijke beleidsvorming informeren. Ehren merkt echter op dat landelijke monitoring vooral geschikt is om een algemeen beeld te krijgen van de kwaliteit van het onderwijs, maar vaak onvoldoende informatie biedt aan scholen en leerkrachten om mee aan de slag te gaan. Centrale monitoring zorgt niet voor data over individuele of specifieke groepen leerlingen, terwijl juist individuele docenten dit soort data nodig hebben om hun lessen te verbeteren. Ehren benadrukt dan ook dat je monitoring op meerdere niveaus nodig hebt om goede beslissingen te nemen: landelijk, regionaal, op bestuursniveau en op school- en klasniveau. Hoe die monitoring eruit ziet, hangt af van wat je precies wilt weten.

Stortvloed aan enquêtes
levert geen
betrouwbare data op

Wat betreft het verzamelen van data ligt er nog een schone taak voor beleidsmakers, stelt het rapport van European Schoolnet. In het rapport merkt een Ierse schoolinspecteur op dat EdTech-bedrijven zoals Google momenteel vaak betere gegevens kunnen verkrijgen dan nationale instellingen of scholen zelf. Daarom zou volgens hem elk land beleid moeten hebben dat bepaalt wie over welke data mag beschikken.

Monitoring in de toekomst

Ehren en haar collega’s hebben een duidelijke visie op de toekomst van monitoring. Er moeten systemen komen waarin verschillende belanghebbenden (bijvoorbeeld schoolpersoneel, gezinnen, gemeenten, nationale instanties en EdTech-bedrijven) samenwerken om op basis van verkregen data het onderwijs te verbeteren. Mosa ziet ook een rol voor technologie: kunstmatige intelligentie (AI) kan helpen bij het interpreteren en analyseren van big data. Dan hoef je scholen ook niet meer lastig te vallen met enquêtes. Maar, zegt ze, als we gebruik gaan maken van AI, moeten we wel goed nadenken over kwesties rondom ethiek en privacy.