De onderwijs-econoom Levin won de AERA-Award vanwege zijn levenslange bijdrage aan het onderwijsonderzoek. Didactief sprak hem op zijn werkkamer op Columbia University aan de Upper-west-side van Manhattan, een oase van rust, een paar kilometer verwijderd van de AERA drukte rondom Times Square.
‘Ik ben niet tegen PISA, maar wel tegen de over-interpretatie ervan. Er wordt veel te nauw gefocust op test scores, alsof die bepalend zijn voor de kwaliteit van de volwassenen die we willen, niet alleen als werknemers maar ook thuis en als burger in de maatschappij. De hele schoolcultuur en alle waarden en normen die worden overgedragen, de persoonlijkheden, de karakters die daardoor worden gevormd, dat is allemaal belangrijk.’
‘De Verenigde Staten scoren al jaren ergens in de middenmoot van PISA en TIMSS studies. Dat we veel immigranten hebben die het Engels nog niet goed beheersen drukt waarschijnlijk de score. Maar is het onderwijs daardoor slecht? Natuurlijk niet.’
Als rechtgeaarde econoom vindt Levin bewijs voor deze stelling in de OECD cijfers die een indicatie geven voor de arbeidsproductiviteit van een land. ‘OECD cijfers laten zien dat een werknemer in de VS een arbeidsproductiviteit heeft van 67 dollar per uur. Zuid-Korea en Japan zitten rond de 40 dollar, ondanks het feit dat ze al jaren hoog scoren op de PISA test. PISA scores zeggen dus niet alles. Die zijn gemakkelijk te beïnvloeden door je onderwijs nauw op de PISA test af te stemmen. Hierdoor train je vooral voor de toets. Dat gebeurt minder in Europa, vooral Aziatische landen doen het.’
Levin ziet steeds meer bewijzen dat de schoolcultuur een rol speelt in de kosteneffectiviteit van het onderwijs. ‘Recent onderzoek laat zien dat sociaal-emotionele vaardigheden minstens zoveel verschillen verklaren in kosteneffectiviteit als cognitieve scores.’ Veel van het sociale-emotionele effect lijkt verband te houden met de hoeveelheid tijd dat een kind op school doorbrengt. ‘Het hangt van het land af, maar over het algemeen geldt dat hoe langer je naar school gaat, hoe meer je in aanraking komt met democratische gedachten, de discussie daarover, het feit dat mensen verschillende ideeën hebben, enzovoorts. Die democratische cultuur is belangrijk.’ Levin wijst in dit verband op een survey waarin zes categorieën van sociale vaardigheden worden onderscheiden die belangrijk zijn (zie kader).
6 categorieën in vaardigheden:
1. Sociale emotionele vaardigheden: het stellen van doelen, conflict oplossen, probleem oplossen, besluitvaardigheid.
2. Houding t.o.v. jezelf en anderen: zelfvertrouwen, zelf perceptie, opvattingen over geweld, sociale rechtvaardigheid etc.
3. Positief sociaal gedrag: de omgang met anderen.
4. Gedragsproblemen: agressie, pesten, schoolverzuim.
5. Emotionele problemen: depressie, angst, stress.
6. Academische prestaties: lees- en wiskunde resultaten.
Op het moment wordt volgens Levin over het algemeen alles behalve “academische prestaties” genegeerd, terwijl leerprestaties maar een beperkt aandeel hebben in de ontwikkeling van een kind. Levin ziet hier een belangrijke opdracht voor onderwijsonderzoek. Eerst moet het gedrag geïdentificeerd worden dat we zouden willen bevorderen in het onderwijs. Tweede is te onderzoeken hoe we dat kunnen bereiken. ‘Niet alleen op school ontwikkelt een kind zich op sociaal-emotioneel gebied, ook thuis en in de maatschappij. Scholen kunnen ook niet alles; ze zullen moeten kiezen. De vraag is dus: op welke vaardigheden kun je het onderwijs het best richten?’
Dat onderzoek staat nog in de kinderschoenen. Een moeilijkheid is dat veel sociaal-emotioneel onderzoek gebaseerd is op zelf-rapportage. Dit geeft niet altijd een betrouwbaar beeld, vanwege de “sociale-wenselijkheids-bias”. Levin pleit daarom voor meer observaties, door onderzoekers in de klas of met de hulp van leraren en ouders, in plaats van zelf-rapportages. ‘Doorzettingsvermogen is een belangrijke eigenschap, voor werkgevers, maar ook in relaties, om bijvoorbeeld een huwelijk in stand te houden. Om dit soort vaardigheden bij leerlingen in kaart te brengen, kan het oordeel van ouders en leraren gevraagd worden. Die weten heel goed of een kind snel opgeeft bij een taak uit frustratie, of dat het blijft proberen.’
Helaas is dit soort onderzoek relatief duur, maar wel nodig om het hele spectrum van de kosteneffectiviteit van het onderwijs in beeld te krijgen. Ook pleit Levin voor een combinatie van kwalitatief en kwantitatief onderzoek. In het verleden liet onderzoek bijvoorbeeld zien dat een bepaalde aanpak beter was dan de andere, maar helaas is nooit goed beschreven hoe die aanpak dan precies werkte. Kwalitatief onderzoek is hierin essentieel, want effectiviteit zit vaak in de kleine details.
'Kwalitatief onderzoek is essentieel,
want effectiviteit zit vaak in de kleine details.
‘De conclusie dat “meer leraren”
effect hebben is niet genoeg.
We willen precies weten
welke vaardigheden ze hadden.'
‘Bijvoorbeeld, de conclusie dat “meer leraren” effect hebben is niet genoeg. We willen precies weten welke vaardigheden deze leraren hadden. Opleidingsniveau zegt niet veel; je er komt alleen achter met kwalitatief onderzoek, dat de onderzochte interventie heel nauwkeurig beschrijft.’
‘De analyse moet eerlijk zijn, en dat is het vaak niet. Veel onderzoek is misleidend. Veel mensen gebruiken het woord “kosteneffectief” alleen maar om iets te verkopen. Van de 9000 onderzoekpublicaties die het woord “kosteneffectief” bevatten, gebruikt 80 procent het als marketing instrument. Minder dan 2 procent doet echt iets aan kosten-effectiviteitsonderzoek, ‘en dan nog lang niet altijd op de goede manier (wat is de goede manier?),’ aldus Levin.
Hij heeft veel last van het slechte beeld dat mensen hebben van kosten-effectiviteitsonderzoek: ‘In het onderwijs vinden veel mensen alleen al praten over kosten verkeerd. Ze zeggen dat het uiteindelijk altijd leidt tot bezuinigingen.’ Nu bezuinigen overheden ook vaak onder het mom van kosteneffectiviteit, geeft Levin toe, maar: ‘Dat is alleen maar retorica. Het gaat om kostenbesparing, niet om kosteneffectiviteit.’
Dat laatste vraagt meestal juist om extra investeringen, want over het algemeen verdient een investering in onderwijs zich altijd ruim terug. Voor elke dollar of euro die de maatschappij in onderwijs investeert, krijgt het er 3 tot 4 terug blijkt uit onderzoek. ‘Dat zou op zich al genoeg moeten zijn om elke beleidsmaker te overtuigen,’ betoogt Levin.
Het is voor Levin reden te meer om door te gaan met “echt” onderzoek naar kosteneffectiviteit. ‘Of je het nu leuk vindt of niet, besluitvormers moeten constant kiezen waar ze geld aan uitgeven. Dan kunnen ze het maar beter doen op basis van goed onderzoek. Als wij constateren dat een bepaalde aanpak werkt, dan is dat een mooi argument voor geldschieters, juist om extra te investeren in onderwijs.’
Dit artikel is verschenen in Didactief, juni 2018, in een special over de AERA die is gefinancierd met steun van het NRO.
1 'Haal scholieren uit hun eigen kringetje'
2 Burgerschap voor kleuters
3 Jongeren prikkelen tot activisme
4 Onderwijs doordrenken met onderzoekskennis
5 In gesprek met ...Karen Seashore Louis
6 De taalwereld volgens Brian Street
7 Het maak-idee van Theo
8 Thuiscultuur ook belangrijk voor motivatie in de klas
9 Met de iPad emotie bespreekbaar maken
10 ‘Tout’ Onderwijskundig Nederland in New York
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
