Wat is artificial intelligence eigenlijk?
AI-technologie is vooral handig als het gaat om lastige beslissingen waarbij veel onzekere factoren spelen: is deze e-mailboodschap spam, hoeveel elektrische laadpalen voor auto’s moet ik in deze wijk neerzetten zodat niemand langer dan een half uur hoeft te wachten? Mensen vinden het moeilijk om beslissingen te nemen als er meer dan drie of vier factoren meespelen, zeker als die onzeker zijn. Maar in veel van dit soort vraagstukken heb je honderden factoren die allemaal een beetje meewegen; geen enkele is doorslaggevend maar samen vormen ze wél een signaal. Met AI proberen we dat signaal er uit te krijgen met behulp van algoritmes. En het werkt. Machines kunnen bijvoorbeeld met behulp van die big data slecht weefsel in medische beelden beter herkennen dan mensen.
De machine objectiveert data als het ware?
Precies. En met AI kun je ook terugkijken naar wat er in het verleden is gebeurd en tot wat voor uitkomsten dat leidde: met al die data kun je een machine voorspellingen laten doen. Gegeven de factoren die ik nu heb, de kenmerken van de situatie die voor mij interessant zijn: wat zou er kunnen gebeuren?
Kun je AI ook toepassen op een leerling of een groep leerlingen?
Als een individuele leerling een elektronische leeromgeving gebruikt, dan zie je hoe vaak diegene inlogt, misschien stukken bij de bibliotheek ophaalt of online leest. Je ziet kortom hoe vaak en wanneer iemand bepaald gedrag vertoont, bijvoorbeeld dicht bij of ver weg van een toets. Als je die factoren kunt vastleggen, en na verloop van tijd kunt koppelen aan een toets of een cijfer, dan zou je ook voor nieuwe leerlingen kunnen voorspellen wanneer er misschien een interventie nodig is. Een AI-systeem kan bijvoorbeeld aan een docent suggereren: kijk even naar deze leerling, want als die zo doorgaat, loopt-ie vast.
Hoe geschikt is AI voor het sociale domein? Prestaties van leerlingen zijn meetbaar, maar een school is ook een gemeenschap?
De vraag is dan: hoe stel je vast of een school goed werkt als gemeenschap of dat de cohesie te laag is? Je zou kunnen kijken naar sociale activiteiten, naar betrokkenheid van verschillende leeftijdsgroepen of verschillende segmenten uit de school bij activiteiten. Dan zie je of iedereen alleen met zichzelf bezig is of bijvoorbeeld ook activiteiten onderneemt die over aparte segmenten heen gaan?
Ook OCW maakt steeds meer gebruik van big data. Ziet u daar kansen voor AI?
Ik ben een techno-optimist hoor. Zo hoorde ik onlangs dat tienduizenden scholieren per jaar het verkeerde vo-onderwijs doen. Laten we met nieuwe technologie proberen of dat beter kan.
Hoe zou u dat dan aanpakken?
We hebben data van een heleboel jongeren die in het verleden van basis- naar voortgezet onderwijs zijn gegaan, en vaak hebben we zelfs van daarna nog allerlei indicatoren van maatschappelijk of persoonlijk succes. Zo beschikken we over patronen, op basis waarvan we voor nieuwe leerlingen, van wie we niet zeker weten naar welke schooltype ze zouden moeten, een voorspelling kunnen doen. Niet om blindelings te volgen, maar dit zijn wel typisch beslissingen met veel onzekere factoren, waarbij een machine op basis van algoritmes hopelijk hulp kan bieden.
Een AI-advies voor de brugklasser in plaats van een schooladvies van de leraar? Dreigt dan niet: computer says NO?
Nou, je moet leerlingen en ouders vooral zo veel mogelijk zelf laten kiezen, maar ik denk wel dat je ze kunt helpen bij het maken van keuzes. Nogmaals, het gaat er niet om dat de machine beslist, maar wel dat de machine helpt de beslissing beter te maken.
De overheid gaat niet beslissen?
Nee, en moet dat ook nooit. Nogmaals, het gaat niet om het inperken van de vrijheid, integendeel, het gaat erom beter gebruik te maken van de vrijheid die je hebt.
Kun je als inspectie beter voorspellen hoe een school moet presteren, als je de leerlingpopulatie en het lerarenteam zo in beeld hebt?
Ja, en het kan zinvol zijn om leraren handvatten te geven. Bijvoorbeeld, gegeven wie jullie zijn als school en gegeven de doelen die we als samenleving hebben gesteld, lijkt “dit” ons als inspectie een zinnige handeling. Of: we denken op basis van AI dat jullie over vijf jaar op dit punt uitkomen. Als je niks doet: prima, maar misschien willen jullie ook wel bijsturen?
Met AI kun je dus ook de doelen objectiveren? Scholen die onderpresteren en wijzen naar hun leerlingen, moeten dan wel een goed verhaal hebben.
Inderdaad, je kunt zeggen: op basis van de data die we gezien hebben, is dit – in jullie context – wat je kunt doen om dit aspect te verbeteren. Dus doe alsjeblieft iets.
Is AI zo betrouwbaar dat je daar als inspectie ook consequenties aan mag hangen, als een school blijft onderpresteren?
AI is nooit perfect, dus je moet je als overheid niet blindelings verlaten op die algoritmes, maar je kunt een bestuur wel scherper ter verantwoording roepen: “Volgens ons hebben jullie deze handelingsperspectieven, daar is niks mee gedaan.” Misschien heeft een bestuur er wel iets mee gedaan en is het anders uitgepakt, oké. Dat kan. Maar scholen kunnen leren van andere scholen, en dat leren kun je met AI faciliteren.
Een school zal zeggen: onze situatie is uniek en dat verklaart onze prestaties.
Vergelijk het met de personalisatie van aanbevelingen bij bol.com, of online nieuws: mensen en dus ook scholen zijn niet zo uniek als ze zelf denken.
Het is wel belangrijk om, als je voorspellingen wilt doen die als meetlat kunnen fungeren voor scholen, eerst vast te stellen welke meetlat je wilt hanteren. Welk slagingspercentage bijvoorbeeld willen we bereiken en wat nemen we mee in het vaststellen van zo’n doel? Zeggen we botweg: iedere school moet 92% halen, of houden we rekening met kenmerken van de leerlingpopulatie en geven we bijvoorbeeld een onder- en bovengrens? Maar de data kunnen ons informeren hoe te handelen om een bepaalde leerlingenpopulatie naar alle waarschijnlijkheid zo goed mogelijk te laten presteren.
Hoe komt de overheid aan data die ze kan gebruiken voor AI om aanbevelingen te doen voor onderwijsverbetering? Zou het Nationaal Cohortonderzoek Onderwijs (NCO) daarin een rol kunnen spelen?
Ja! Daar zitten veel nuttige data in. En het bevat historisch materiaal waar je zo’n algoritme op kunt trainen.
Geeft u eens een voorbeeld?
Neem slagingspercentages: op basis van historische data en kenmerken van een populatie, kun je met een getraind AI-model voorspellen wat de kans is dat een leerling uitvalt.
Zou u de onderwijsinspectie adviseren NCO te gebruiken?
Ja, maar ik ben vermoedelijk atypisch: dit is ons brood. Je kunt voorzichtig beginnen. Stel, je hebt 25 jaar aan data. Dan kun je algoritmes trainen op de eerste twintig jaar en vervolgens net doen alsof die laatste vijf jaar nog niet bestaan. Wat voorspelt het algoritme en wat gebeurde er in werkelijkheid? Als blijkt: het algoritme geeft een waardevol signaal, want de voorspellingen kloppen, dan zou ik dit in mijn beslissingsondersteuning inzetten. En nogmaals, het gaat nooit 100% kloppen, uiteindelijk moet een mens de beslissing nemen. Maar het kan wel helpen.
In hoeverre zijn high stakes-testen als de eindtoets bruikbaar in zo’n verhaal? Vervuilen zij de voorspelling niet omdat ze strategisch gedrag oproepen?
Mensen vertonen altijd strategisch gedrag, dus je zou juist meer data willen hebben: niet alleen die ene opname van de eindtoets, maar meer meetpunten. Dat zou een stabielere voorspelling moeten geven en ongewenste neveneffecten of ongewenst gedrag moeten onderdrukken.
Dus meer toetsen, maar niet high stakes?
Of zeggen dat ze er altijd toe doen. In bijna alle data zit een vertekening, een bias, dat is bijna onvermijdelijk. Probeer die bias te kwantificeren en liefst weg te nemen uit de meting. Een van de manieren om dat te doen is meer metingen te gebruiken.
Lees meer over de inspectie in Georganiseerd wantrouwen (4): De staat van het toezicht, en over het Nationaal Cohortonderzoek Onderwijs in Een eerlijke vergelijking?
Lees hier het rapport van het Rathenau Instituut (2020): Zeven acties voor verantwoord innoveren met AI.
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
