Uit onderzoek blijkt dat beslissingen die op data zijn gebaseerd over het algemeen beter zijn dan besluiten die op basis van intuïtie en anekdotisch bewijs tot stand komen (Ingram et al., 2004; Vanlommel et al., 2017). Intuïtie van leraren (zoals tacit knowledge) is weliswaar belangrijk (Sipman et al., 2019; Vanlommel et al., 2017) maar niet altijd correct of genoeg voor een goede beslissing (Kahneman & Frederick, 2005; Vanlommel & Schildkamp, 2019). Dat ontdekten we ook in ons datateam onderzoek. Dat toonde aan dat veel aannames over (het leren van) leerlingen in scholen niet kloppen (Schildkamp et al., 2016). Sommige van onze datateams werden daarom ‘mythBusters’ genoemd.
Met data bedoel ik overigens niet alleen de resultaten van gestandaardiseerde toetsen of kwantitatieve data. Data kunnen alle systematisch verzamelde relevante informatie zijn over leerlingen, ouders, scholen, schoolleiders, leraren en de gemeenschap waarin ze functioneren, kwalitatief (bijvoorbeeld gestructureerde observaties in de klas) en kwantitatief (bijvoorbeeld toetsresultaten) (Lai & Schildkamp, 2016). Het kan gaan om data over prestaties, maar ook over welbevinden, gezondheid en bijvoorbeeld sociaal emotionele ontwikkeling. Data kunnen geïnformeerde besluitvorming bevorderen en helpen om onderwijs, curricula en schoolprestaties te verbeteren (Schildkamp & Kuiper, 2010, p. 482; Grabarek & Kallemeyn, 2020; Marsh, 2012; Ansyari et al., 2022; Spiele et al., 2020).
Wat weten we over effectief datagebruik? In ieder geval moeten er duidelijke doelen zijn voordat er data verzameld worden. Deze data moeten geanalyseerd en geïnterpreteerd worden en er moet een actieplan op volgen en dat plan moet uitgevoerd en geëvalueerd worden (e.g., Marsh 2012; Schildkamp, 2019; van Geel et al., 2016).
De cyclus van datagebruik begint als het goed is met een helder doel (Marsh, 2012; Schildkamp, 2019), dat uitdagend, maar ook bereikbaar, meetbaar, specifiek en relevant is (Locke & Latham, 2019; van Kuijk et al., 2016). Wil je bijvoorbeeld het percentage leerlingen dat een klas overdoet met 15% verminderen, dan moeten er data zijn die aantonen hoeveel leerlingen nu een klas overdoen. Dialoog is belangrijk bij het stellen van doelen. Mensen hebben verschillende ideeën over doelen: de schoolleider wil in dit geval misschien een reductie van 20%, terwijl leraren 10% genoeg vinden en leerlingen misschien wel helemaal van cijfers af willen.
‘Ik ben leraar geworden
om met kinderen te werken,
niet met data’
Soms start datagebruik met data in plaats van met een doel. Het risico is dat men dan ‘verdrinkt’ in data. Leraren worden er over het algemeen ook weinig enthousiast van, bleek uit ons EU -project ‘Using data for improving school and student performance’. Zoals een leraar zei: ‘Ik ben leraar geworden om met kinderen te werken, niet met data.’ Vragen als ‘Wat vind je belangrijke doelen voor je school?’ of ‘Welke problemen wil je oplossen’ leidden wél tot goede gesprekken, waarna we data konden introduceren als middel om die doelen te bereiken.
Beginnen met data betekent soms ook dat oude, irrelevante data worden gebruikt. En dat de data soms het doel bepalen (goal displacement, Lavertu, 2014). In Nederland worden momenteel meer data verzameld over doelen die makkelijk meetbaar zijn. Het risico is dat scholen zich gaan richten op doelen waarvoor de data beschikbaar zijn in plaats van op wat belangrijk is. Neem digitale geletterdheid. Het is een belangrijk doel in het huidige onderwijs maar op veel scholen zullen de data ontbreken om te meten hoe ver het er mee staat. Beginnen met data in plaats van met een doel kan ook tot lagere doelen leiden. Op een school waar wij onderzoek deden, zeiden leraren vooraf dat een gemiddeld examencijfer van 6,5 of 7 met hun populatie wel haalbaar moest zijn. Maar toen uit de data bleek dat het gemiddelde een 5.9 was, vonden ze verdere actie eigenlijk niet meer nodig. Als ze eerst hun doel hadden bepaald, hadden ze wel actie moeten ondernemen.
Er zijn veel verschillende vormen van data, bijvoorbeeld resultaten op (gestandaardiseerde) toetsen, observaties in de klas, en leerlingenquêtes of interviews met leerlingen. In ons onderzoek bleek data in de vorm van meningingen van leerlingen heel waardevol. Toen leraren laag presterende leerlingen bijvoorbeeld interviewden over hoe zij hun cijfers verklaarden noemden ze bijvoorbeeld te veel videogamen en te weinig leren als oorzaak, maar ook dat ze vaak de instructie niet begrepen, en dat herhaling van de lesstof niet hielp. Een leerling vergeleek het met een gesprek in een ver buitenland waarvan je de taal niet spreekt en de gesprekspartner blijft maar hetzelfde herhalen, steeds luider.
Het is belangrijk om verschillende mensen te betrekken bij het gebruiken van data. Schoolleiders, docenten en leerlingen hebben allemaal hun eigen perspectief op oorzaken van problemen en oplossingen. Ook (wetenschappelijk) literatuur helpt. Door schooldata en wetenschappelijk bewijs te gebruiken, kunnen leraren het beste van twee werelden combineren (Brown et al., 2017).
Data zijn maar cijfers of stukjes tekst.
iemand moet er chocolade van maken
Data zijn maar cijfers of stukjes tekst. Iemand moet er chocolade van maken (Marsh, 2012; Schildkamp, 2019, Weick, 1998). En dat is niet altijd makkelijk (Kahneman & Frederick, 2005). Mensen interpreteren data verschillend, gebruiken hun intuïtie (Datnow et al. 2017) en kiezen vaak de makkelijkste weg (Kahneman & Frederick, 2005). Vooroordelen kunnen een rol spelen (Kahneman & Frederick, 2005; Katz & Dack, 2014; Vanlommel & Schildkamp, 2018). Door over data te praten, kan dit geobjectiveerd worden (D’ Mello et al., 2014). Leraren kunnen elkaars aannames, vooroordelen of interpretaties bevragen (Katz & Dack, 2014; Bolhuis et al., 2016) en tot een consensus komen en een actieplan maken. Dat trouw uitvoeren is een tweede, zeker als het om flinke veranderingen vraagt (Cohen 1990). Hoeveel aanpassingen zijn acceptabel voordat een plan ‘dodelijk veranderd’ is (Brown & Campione, 1996 in McKenney & Reeves, 2019) en doelen onbereikbaar zijn geworden? Ook hier zijn dialoog en data om de implementatie van een plan te volgen noodzakelijk (Marsh, 2012; Schildkamp, 2019).
Samenvattend betekent het dat effectief datagebruik dialogisch is (Schildkamp, 2022, gebaseerd op o.a. Carless & Chan, 2017). En dat is geen rechte weg maar een ingewikkeld proces, iteratief en soms een worsteling (Marsh, 2012; Schildkamp, 2019). Betrokkenen kunnen op den duur ontdekken dat de verzamelde data van slechte kwaliteit waren en tot slechte beslissingen hebben geleid, of dat de oorzaak van een probleem elders lag en nieuwe hypothesen nodig zijn. Soms spelen ook beleids- of organisatorische vragen een rol (bijvoorbeeld verantwoordingsdruk of een schoolleider die in gebreke blijft, Datnow & Hubbard, 2016; Grabarek & Kallemeyn, 2020; Hoogland et al., 2016; Marsh, 2012).
Voor de nabije toekomst zou het interessant zijn verder te onderzoeken wat het verschil maakt: starten met data of starten met doelen stellen. Het eerste heeft risico’s zoals hierboven beschreven, maar kan ook leiden tot nieuwe vergezichten dankzij verbanden tussen variabelen die we nog niet hebben gezien (Kool et al., 2015; Veldkamp et al., 2017). We moeten ook nieuwe meetinstrumenten ontwerpen om data te verzamelen over zaken die in het verleden niet of nauwelijks speelden. Neem digitale geletterdheid, of het welbevinden van leerlingen. Vraag is ook of we daarvoor straks nieuwe technologieën kunnen inzetten zoals artificial intelligence (AI) en machine learning? En kunnen we de obstakels die datagebruik op verschillende niveaus in het onderwijssysteem in de weg staan, verwijderen?
Leraren zelf zullen ook meer datageletterd moeten worden (Datnow & Hubbard, 2016; Hoogland et al., 2016; Mandinach & Gummer, 2016; Gummer and Mandinach (2015, p. 2) en leerlingen kunnen meer bij het proces van datagebruik worden betrokken. Passief, door hun feedback op de kwaliteit van de lessen zodat leraren hun instructie kunnen verbeteren (Bijlsma et al., 2019) en actief door aan te geven wat er beter kan en hier ook zelf aan mee te werken (Fielding, 2004; Kennedy & Datnow, 2011). Datageletterdheid hoort in het curriculum van school. Volgens de OESO (2019) is het zelfs een basisvaardigheid. Leerlingen moeten snappen wat hun devices voor data genereren (ook over hunzelf) en vooral begrijpen wanneer data misbruikt kunnen worden of gemanipuleerd (Gebre, 2018; Wolff et al., 2016). Datageletterdheid is ook belangrijk voor burgerschap (Gebre, 2018) en voor verder leren. Maar we moeten wel duidelijker maken wat we er dan precies mee bedoelen. Leerlingen zouden data moeten kunnen gebruiken als feedback om hun eigen leren te kunnen monitoren, plannen en reguleren. In de klas wordt met datageletterdheid echter meestal iets heel anders bedoeld. Daar gaat het vooral over het gebruik door leerlingen van data voor opdrachten en projecten, bijvoorbeeld bij wetenschaps- en techniekonderwijs.
Datageletterdheid op school
begint bij leraren,
maar het staat (nog) niet
in hun beroepsstandaard
Datageletterdheid op school begint bij leraren, maar het staat (nog) niet in hun beroepsstandaard (Bolhuis et al., 2017; Ministerie van Onderwijs, Cultuur & Wetenschap, 2017). Het word ‘data’ komt er niet eens in voor. Toch ontdekte Bolhuis (2017) dat datagebruik wel in het curriculum van 93% van de pabo voorkwam. Op 41% van de pabo’s werd er ongeveer 1-2 ECTS (28-56 hours) aan datagebruik besteed, op 26% was het 3-5 ECTS (84-140 hours), op 22% ging het om 6-10 ECTS (168-280 hours), en op 12% was het meer dan 10 ECTS (meer dan 280 hours). Slechts de helft van de pabo’s besteedde aandacht aan de kwaliteit van data en een kwart deed niets met data analyse (Bolhuis et al., 2017).
Goed datagebruik vergt oefening. Gelderblom et al. (2016) toonde aan dat besluitvormingsprocessen op basis van data op een aantal scholen nog behoorlijk oppervlakkig waren en niet altijd tot betere leerprestaties leidden . Na- en bijscholing kan helpen en vooral samenwerken lijkt effectief (bijvoorbeeld Darling-Hammond et al., 2017; Gast et al., 2017; Schildkamp et al., 2021; van Veen et al. 2010), bijvoorbeeld in een professionele leergemeenschap (PLGs; Brown & Poortman, 2018; Prenger et al., 2021). Onze data teams zijn een goed voorbeeld en er is bewijs dat dit tot beter onderwijs leidt (Poortman & Schildkamp, 2016). Echter, we moeten verder onderzoeken of ze leiden tot betere instructie in de klas of betere leerlingprestaties via rct-onderzoek (randomized controlled trial). Poortman et al. (2022) concludeerde ook op basis van verschillende reviews dat meer onderzoek nodig is. Interessant is bijvoorbeeld hoe leerlingen wijzigingen in de instructie ervaren. Gaan ze daardoor beter presteren of vergt dat ook meer tijd, verdieping of betrokkenheid.
Zijn scholen klaar
voor datagebruik?
Data gebruik op scholen vergt een op verbetering, vernieuwing en samenwerking gerichte schoolcultuur, helder afgebakende verantwoordelijkheden en duidelijke structuren en routines. Leraren moeten het gevoel hebben gerespecteerd te worden en zelf beslissingen kunnen nemen op basis van de data. Steun, tijd en middelen zijn natuurlijk voorwaardelijk voor dit alles (Grabarek & Kallemeyn, 2020; Hoogland et al., 2016; Marsh, 2012). Leerlingvolgsystemen kunnen helpen, maar alleen als ze zicht bieden op de doelen die de school gesteld heeft (Grabarek & Kallemeyn, 2020; Hoogland et al., 2016; Marsh, 2012). Leraren moeten daarbij net als anderen betrokkenen zijn, en niet alleen de schoolleider. Natuurlijk kan deze prioriteiten stellen maar die moeten wel gedragen worden door het team (Coburn, 2006; Schildkamp, 2019).
|
Hulpmiddelen Van den Boom-Muilenburg et al. (2021) hebben een reflectietool ontwikkeld voor leraren die ze helpt de juiste vragen te stellen als een schoolleider meer met data wil gaan doen. Ook de Quick Scan for Education Data is handig voor wie wil weten of de organisatie klaar is voor meer datagebruik. Wie zich wil verdiepen in veiligheid en privacy is de Privacy and Ethics Reference Framework for Education Data een goed hulpmiddel. Op de volgende website is een overzicht te vinden met wat we weten uit onderzoek op dit gebied: https://www.onderwijskennis.nl/themas/data-geinformeerd-werken |
Technologie heeft een hoge vlucht genomen tijdens de covid-pandemie. Het genereert veel data over het leren van leerlingen en het kan helpen data te visualiseren en er een verhaal van te maken (Akcaova et al., 2022; Jülicher, 2018). Artificial intelligence (AI) kan helpen bij het nemen van beslissingen op basis van deze data (Walker & Baten, 2022). Er zijn vele definities van AI, maar de Dutch National AI Coalition) gebruikt deze: ‘intelligent systems that can perform tasks independently in complex environments and improve their own performance by learning from experience’ (Dutch National AI Coalition, 2022). Voorbeelden hiervan zijn adaptieve oefenprogramma’s die fouten signaleren of automatische feedback leveren en dashboards die leraren informeren over leerlingactiviteiten (Molenaar & Knoop-van Campen, 2019; Onderwijsraad, 2022; Walker & Baten, 2022).
Een stap verder gaat het gebruik van augmented reality-brillen voor leraren zodat ze in real-time kunnen zien waarmee hun leerlingen online bezig zijn en waar ze hulp bij nodig hebben (Holstein et al., 2019, in Onderwijsraad, 2022; Wise & Jung, 2016, in Onderwijsraad, 2022). Het wordt steeds normaler om leerlingen te volgen met log files, muisbewegingen, keyboard entries, and eye-tracking data. Dat kan leraren tijd schelen die ze kunnen besteden aan instructie in meer complexe vaardigheden en persoonlijke aandacht voor leerlingen (Molenaar, 2022; Onderwijsraad, 2022). Adaptieve oefenprogramma’s kunnen de klas verrijken, omdat leerlingen vaker en meer (specifieke) feedback krijgen (Onderwijsraad, 2022). Ze leveren leraren ook sneller en meer up te date informatie op over de voortgang van hun leerlingen (Keuning and van Geel, 2021) waar ze sneller op kunnen handelen.
Technologie kan dus steeds meer taken overnemen in het onderwijs. Maar welke taken zien wij liever niet overgenomen door een machine? Molenaar (2022) ontwikkelde een model met zes niveaus van gepersonaliseerd leren om die vraag te beantwoorden. Op niveau 0 is de leraar volledig in controle. Op niveau 1 helpt de technologie de leraar de leeromgeving te organiseren. Op level 2 (gedeeltelijk geautomatiseerd) regelt de technologie specifieke zaken, door leerlingen bijvoorbeeld geautomatiseerde feedback te geven. Leraren beheren het dashboard. Op niveau 5 is de technologie in control en is de leraar niet meer nodig.
Molenaars (2022) model helpt ook bepalen welke taken we bij de leraar willen laten: doelen stellen bijvoorbeeld. Data verzamelen en analyseren kan deels met een computer gebeuren. Interpretatie en actie is een grijs gebied: er is wel steeds meer techniek die bijvoorbeeld suggereert welke instructie een leraar kan aanbieden als volgende stap. Momenteel wordt geëxperimenteerd met de ‘digitale tweeling’-techniek die leerlingprofielen maakt op basis van data (Fischer et al., 2020). Leerlingen worden als het ware vergeleken met hun digitale tweeling uit eerder cohortonderzoek, van wie we weten welk onderwijs hij of zij kreeg en welke resultaten dat opleverde. Op basis van de digitale tweeling kunnen we potentiële leerproblemen signaleren en zijn of haar leerontwikkeling voorspellen (Fischer et al., 2020). Op basis van eerder verkregen resultaten bij een digitale tweeling kan een leraar de beste interventie kiezen (Valiandes, 2015; Tomlinson, 2014).
Voorzichtigheid blijft wel geboden omdat algoritmen vaak worden gevoed met data uit bepaalde bevolkingsgroepen, waardoor fouten en vooroordelen in het systeem kunnen sluipen die leerlingen potentieel benadelen (Walker & Baten, 2022; Onderwijsraad, 2022). Met name minder ervaren leraren lopen het risico data verkeerd te gebruiken of minder te profiteren van datagebruik (Keuning & van Geel, 2021; Molenaar & Knoop-van Campen, 2019).
Natuurlijk blijft de leraar aan zet om data te verzamelen, analyseren en interpreteren over de leerling (Deunk et al., 2018; Keuning & van Geel, 2021; Molenaar, 2022; Onderwijsraad, 2022). Sterker nog, we moeten voorkomen dat de leraar het gevoel krijgt dat hij er niet meer toe doet (Holstein et al., 2020, in Molenaar, 2022), en een gebrek aan autonomie gaat ervaren (Molenaar, 2022; Onderwijsraad, 2022), met andere woorden slaaf van de data wordt. Daarom gaat het altijd om een combinatie van data met de wijsheid, creativiteit en ervaring van echte mensen.
Kim Schildkamp sprak haar oratie aan de Universiteit Twente uit op 11 november 2022. Ingekort en bewerkt door Monique Marreveld.
Lees ook: Digital twins to the rescue, NRO project nr. 40.5.20400.015.
1 Webinar Effectief datagebruik
2 Leren van je eigen praktijk
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
