‘Kirschner Ig Nobelprijs’

De Annals of Improbable Research (AIR) heeft als motto: ‘Het tijdschrift over onderzoek dat mensen eerst aan het LACHEN maakt, en daarna laat NADENKEN.’ Elk jaar reikt AIR de Ig Nobelprijzen uit voor onderzoek dat op een bijzondere manier bijdraagt aan de wetenschap, geneeskunde en technologie. Doel: interesse in deze vakgebieden aanwakkeren. Dit jaar werd in de categorie onderwijs het artikel ‘Verveling leidt tot verveling: Een studie over hoe verveling bij docenten de verveling en motivatie van studenten beïnvloedt’ bekroond. Leuke kanttekening: Nederlander Wijnand van Tilburg (Universiteit van Essex) was een van de auteurs. Met deze laatste column van 2023 wil ik ook zo’n prijs uitreiken.

Serieuze vragen over
de betrouwbaarheid
van leerlingevaluaties

Waarschijnlijk herken je het wel: je bestelt iets online en kort daarna krijg je een e-mailverzoek om het product, de maaltijd of de dienst te beoordelen. Jouw feedback zou helpen om het te verbeteren. Als je deelneemt en je hebt geluk, dan ben je klaar met slechts drie vragen. Maar wie pech heeft, krijgt een uitgebreide enquête voorgeschoteld met minstens 18 schermen en 10 vragen op elk scherm.

Eerder schreef ik over beoordelingen van docenten door leerlingen. Deze beoordelingen worden soms gebruikt om het onderwijs en het functioneren van docenten te helpen verbeteren, maar ook te beslissen over aanstelling, salarisverhoging, of het verkrijgen van een vast contract. Soms kan dat heel oneerlijk zijn. Ik legde in mijn column uit dat mannelijke docenten bijvoorbeeld vaak als briljant worden gezien, terwijl vrouwelijke docenten die hetzelfde doen als bazig worden bestempeld.

Wat is nu het probleem? Onderzoek (Arubayi, 1987) heeft aangetoond dat leerlingevaluaties van docenten beïnvloed worden door allerlei verschillende factoren, zoals het geslacht van de beoordelaar en van de docent, de klasgrootte, de stemming van de leerlingen, de positie van de docent, de verwachte cijfers en het tijdstip van de les. Maar nog erger is dat, zoals Easarey en Valdes in 2020 vaststelden, het gebruik van deze beoordelingen door leerlingen ‘schadelijk is voor zowel leerlingen als docenten’. Ze kunnen ertoe leiden dat docenten die tot minderheidsgroepen behoren worden benadeeld of ze kunnen docenten ‘straffen’ die verplichte, onpopulaire cursussen moeten geven.

Nu kom ik bij mijn keuze voor de Kirschner Ig Nobelprijs. In 2018 publiceerden Michael Hessler en zijn collega’s een artikel over hoe de beschikbaarheid van koekjes onderwijsevaluaties beïnvloedt. Ze voerden een gecontroleerd experiment uit waarbij leerlingen willekeurig werden verdeeld over twintig groepen. Tien groepen kregen tijdens de les een pond chocoladekoekjes (de koekjesgroepen) en tien groepen kregen geen koekjes (de controlegroepen). Alle groepen hadden dezelfde docenten en hetzelfde lesmateriaal. Na de les kregen de deelnemers een evaluatieformulier met 38 vragen.

Wat bleek? De koekjesgroepen beoordeelden de docenten significant beter dan de controlegroepen, en het effect was behoorlijk groot (0,68). Bovendien vonden de koekjesgroepen het lesmateriaal beter (effectgrootte = 0,66). Zonder dat er verschil was in docenten, lesinhoud of lesmateriaal! Het uitdelen van chocoladekoekjes had dus een aanzienlijk effect op de beoordeling van de docent én de cursus. Dit roept serieuze vragen op over de betrouwbaarheid van leerlingevaluaties en hun gebruik bij besluitvorming in het onderwijs.

Aan alle geweldige docenten zeg ik: als jouw school overweegt zulke beoordelingen in te voeren, kijk of je het uitdelen van lekkere chocoladekoekjes kunt stimuleren tijdens de evaluaties. Fijne feestdagen, goede roetsj en bewaar wat kerstkoekjes voor je leerlingen!

Paul A. Kirschner is emeritus hoogleraar Onderwijspsychologie aan de Open Universiteit en gasthoogleraar aan de Thomas More Hogeschool (België). Meer blogs lezen?

Bronnen:

Arubayi, E.A. (1987). Improvement of instruction and teacher effectiveness: are student ratings reliable and valid? Higher Education, 16, 267–278.

Esarey, J. & Valdes, N. (2020). Unbiased, reliable, and valid student evaluations can still be unfair. Assessment & Evaluation in Higher Education, 45(8), 1106-1120.

Hessler, M., Pöpping, D. M., Hollstein, H., Ohlenburg, H., Arnemann, P. H., Massoth, C., Seidel, L. M., Zarbock, A., & Wenk, M. (2018). Availability of cookies during an academic course session affects evaluation of teaching. Medical Education, 52(10), 1064-1072.

Dit artikel verscheen in Didactief, december 2023.

Verder lezen

1 Verveling
2 Leraar briljant, lerares bazig!