Onderzoek

Van digitaal naar analoog

Tekst Jordi Vermeulen
Gepubliceerd op 30-04-2016 Gewijzigd op 15-09-2017
Beeld Human Touch Photography
Handig toch, als je dankzij een digitale tool precies weet welke onderdelen van je vak die ene leerling beheerst, en waar hij juist nog flink mee moet oefenen? Maar hoe geef je feedback op die informatie in een volle klas?

Een praktijkgerichte studie laat zien dat docenten bij de terugkoppeling van digitale prestatiegegevens van leerlingen in de les kiezen voor vrij traditionele handelingen. Maar waarom komen docenten eigenlijk terug op die prestatiegegevens? Adaptieve oefenprogramma’s zorgen er immers zelf voor dat een leerling juist die oefeningen maakt die passen bij zijn of haar niveau. En heeft de leerling uitleg nodig, dan bieden educatieve tools die vaak zelf aan in de vorm van een filmpje of tekst.

Het antwoord ligt voor de hand en blijkt ook uit onderzoek van Hattie & Timperley (2007) en Van Lehn (2011): Geautomatiseerde uitleg alleen leidt tot slechtere prestaties dan wanneer een persoon uitleg geeft. Van de 158 brugklassers die wij vroegen hoe ze het beste geholpen worden, kiest bijna 70% voor hulp van een persoon. ‘Als je de uitleg van een mens nog steeds niet snapt, kun je hem iets vragen. Dan kan hij het op een andere, betere manier uitleggen,’ aldus een brugklasser.

Docent onmisbaar

Hulp van de docent is dus onmisbaar. Die hulp kan bestaan uit individuele uitleg, maar ook uit een andere vorm van onderwijs-op-maat, zoals koppeling van een goede aan een minder goede leerling (voor verschillende manieren van feedback, zie didactiefonline.nl). Om te weten welke leerling wat nodig heeft, moet je gedetailleerd op de hoogte zijn van de prestaties van je leerlingen. Digitale educatieve programma’s die prestatiegegevens bijhouden bieden dan uitkomst, althans, in theorie. Ons praktijkgerichte onderzoek laat echter zien dat er aan de informatievoorziening van online oefentools - in dit geval Got it Taal - veel te verbeteren valt.

Aan de informatie die online tools geven,
valt veel te verbeteren

Got it Taal is een adaptief programma van ThiemeMeulenhoff voor Nederlands. Het biedt online oefeningen aan voor leesvaardigheid, spelling, grammatica, schrijfvaardigheid en mondelinge taalvaardigheid. Op Fons Vitae Lyceum in Amsterdam, waar dit praktijkgerichte onderzoek is uitgevoerd, oefenden brugklassers gedurende een schooljaar wekelijks een uur met dit programma. Dat gebeurde in een apart uur, buiten de reguliere les Nederlands. Een keer in de twee weken raadpleegden vier docenten Nederlands de resultaten van hun klas in Got it Taal. Op basis van de prestatiegegevens selecteerden ze elk twee tot zes leerlingen wier oefenscores ze opvallend vonden. Die leerlingen kregen vervolgens een bijzondere behandeling in de vakles. Deze terugkoppeling nam ongeveer een kwartier van het lesuur in beslag.

Kooptips
Staat u voor de keuze om een online leermiddel aan te schaffen waarmee u de vorderingen van uw leerlingen kunt bijhouden? Log dan in als leerling, maak enkele oefeningen, log vervolgens in als docent en bekijk hoe gebruiksvriendelijk het prestatieoverzicht is en welke informatie u over de leerling kunt zien. Kunt u op basis van deze gegevens zinvolle feedback geven?

Rapportage

De rapportage van Got it Taal bleek bij de start van het onderzoek niet specifiek genoeg. Om te kunnen onderzoeken wat docenten met prestatiegegevens doen als een programma wèl de benodigde informatie oplevert, is Got it Taal tijdens de onderzoeksperiode op ons verzoek op een aantal punten (maar niet alle) aangepast.

Want scoort de leerling slecht op het onderdeel ‘spellingtekens’ omdat hij het subonderdeel ‘hoofdletter aan het begin van de zin’ niet beheerst? kind op een tabletOf gebruikt hij trema’s verkeerd? Docenten konden bovendien niet zien op welk moment oefeningen waren gemaakt, waardoor onduidelijk was of de leerling de stof inmiddels wel begreep.

Ook zagen docenten de eerste weken niet wat er bij oefeningen was ingevuld. Hierdoor bleven denkfouten van leerlingen onbekend. Neem het onderdeel persoonsvorm als voorbeeld: schrijft de leerling ‘gaat’ terwijl het ‘gaan’ moet zijn? Of maakt hij vooral dt-fouten? Na klachten van  die tijdens het onderzoek werden verzameld is het programma - alleen voor de duur van het onderzoek en voor deze school – aangepast.

Een ander, niet-verholpen probleem, had te maken met hoe leerlingen oefenen. Dat doen ze - uiteraard - lang niet altijd serieus. Zoals een brugklasser toelicht als hij een slecht gemaakte oefening uit Got it Taal opnieuw onder ogen krijgt: ‘Dat was aan eind van het oefenuur, toen was ik heel erg moe.’ Scores zijn in zo’n geval geen juiste weergave van wat een leerling weet en kan.

Na de aanpassing vonden de docenten de automatisch gegenereerde prestatiegegevens waardevol, zeker als leerlingen serieus geoefend hadden. ‘Als docent ben je heel snel geneigd te denken dat ze het wel weten. Maar dankzij deze gedetailleerde informatie zie je waar de problemen liggen,’ aldus een docent Nederlands.

Hoe besloten de docenten welke leerling extra aandacht nodig had? Ze combineerden de harde digitale data vrijwel altijd met softere informatie over de leerling: ‘Je kunt niet alle vier de leerlingen die digitaal slecht scoren voor het bord halen. Dus dan kies je iemand omdat het goed is voor zijn zelfvertrouwen.’ Wat ze uiteindelijk in de les deden met de prestatiegegevens, verschilt op het oog nauwelijks van een reguliere les. Vaak kozen ze ervoor om zelf extra uitleg te geven, soms kreeg een goed presterende leerling die taak. Leerlingen legden iets uit voor het bord, kregen klassikale beurten, of maakten een extra oefening waarbij ze hun denkstappen hardop moesten formuleren.

Digitaal kan nog steeds niet zonder analoog, lijkt de belangrijkste conclusie.

Zinvolle feedback
- Toetst het programma met meerdere opgaven een lesstofonderdeel? Kijk dan niet als eerste naar de score op 1 opgave, maar bekijk de gemiddelde score op het lesstofonderdeel. Ga vervolgens na hoe de onderliggende opgaven zijn gemaakt: scoort de leerling op alle opgaven over ‘voltooid deelwoord gebruikt als bijvoeglijk naamwoord’ ongeveer hetzelfde? Of is er een opgave die de gemiddelde score enorm beïnvloedt? Richt je feedback dan op dat specifieke punt.
- Wijkt de score extreem af in negatieve zin, kijk dan wat de leerling heeft ingevuld. Vaak blijkt dat een leerling zomaar wat heeft ingevoerd om door te kunnen naar de volgende opgave. Of dat de instructies niet letterlijk zijn opgevolgd waardoor de lage score vertekend is. Is je feedback kortom wel relevant?

Jordi Vermeulen is docent aan de lerarenopleiding van de Hogeschool van Amsterdam. Het onderzoek ‘Docentgebruik van automatisch gegenereerde prestatiegegevens’ voerde hij uit als docent aan het Amsterdamse Fons Vitae Lyceum, in samenwerking met Wilfried Admiraal (Universiteit Leiden) en Jacquelien Bulterman (gasthoogleraar Berkeley University).

405-14-516-010 NRO-eindrapport: 'Feedback geven op basis van automatisch gegenereerde prestatiegegevens'

Bekijk ook de filmpjes van de interventies en het onderzoeksverslag.

Dit artikel verscheen in Didactief, april 2016.

Click here to revoke the Cookie consent