Eerst maar een vooroordeel uit de weg ruimen. Van Eck praat niet in cijfers en Cronbach alpha’s. Sterker nog, onderzoek dat scholen gebruiken hoeft niet àllemaal super hard te zijn, zegt ze. Want ook onderzoek komt in soorten. ‘We kijken tegenwoordig heel erg naar effectiviteit, maar ik denk dat onderzoekers scholen goed kunnen ondersteunen met minder hard bewijs; we moeten ze vooral suggesties bieden waaruit ze zelf kunnen selecteren wat voor hun situatie relevant is.’
Ik geloof haar. Van Eck doet onderzoek sinds 1971, ze heeft decennialang meegewerkt aan grote en kleine onderwijsonderzoeken, het langste bij het Kohnstamm Instituut in Amsterdam. Ze weet waar ze het over heeft.
Maar toch, minder ‘harde’ resultaten, opent dat niet de deur naar misverstanden en verkeerd gebruik van slecht onderzoek? ‘Ik denk van niet’, zegt ze gedecideerd. ‘Ik ben een enorme fan van de kennispiramide die Kennisnet ooit heeft ontwikkeld.’ Crux is dat je onderwijs(vernieuwing/interventie) evalueert op vier niveaus: 1) Klopt wat we willen met wat er uit de wetenschap bekend is? 2) Is het in te voeren en is het goed ingevoerd? 3) Wat voor effecten zien de betrokkenen (gepercipieerde effecten)? 4) Zijn er ook gemeten effecten?
De gepercipieerde effecten zijn meestal minder hard. Maar er is lang niet altijd een gevalideerd instrument om effecten echt keihard te meten. ‘Let wel,’ zegt ze, ‘ik ben niet tegen hard effectonderzoek, maar dat kost heel veel tijd (en geld) en dan meet je toch vaak maar een heel klein stukje van wat je wilt bereiken met je vernieuwing of met je onderwijs. Terwijl wetenschappers bijvoorbeeld al wel bij het eerste niveau kunnen zeggen: dit heb je mooi bedacht, maar eigenlijk is het in strijd met hoe wij weten dat het zou kunnen werken.’ De kennispiramide maakt onderzoek als het ware op meer niveaus bruikbaar, zolang er maar transparantie is over het niveau waarop je zit.
‘Wat je wilt bereiken met onderwijs
is nu eenmaal niet in één effectmaat te meten
De kennispiramide doet ook meer recht aan de complexiteit van de praktijk, zegt Van Eck: ‘Wat je wilt bereiken met onderwijs is nu eenmaal niet in één effectmaat te meten. Daar moet je een heleboel effectmaten voor hebben en dan kan het best 20 jaar duren voor je die effecten aantoont. Maar je wilt een school niet zo lang laten wachten, tot je hebt uitgezocht of iets werkt. Dan zijn al die kinderen al uit de rijdende trein gevallen.’
Wie zo lang in het vak zit als Van Eck, ziet zaken zich herhalen (waarover zo meer…). Maar ze heeft ook veel zien veranderen in onderwijsonderzoek. Toen ze begon, was onderzoek nog vooral een zaak van papier en potlood. ‘Veel ging per post, alle analyses moest je zelf uitrekenen met een rekenmachine, dat was behoorlijk ingewikkeld rekenwerk.’ Computers zoals nu bestonden nog niet. Veel concurrentie onder onderzoekers was er ook niet, er was tijd en ruimte. Met verbazing kijkt ze er nu op terug: ‘Als je toen onderzoek deed, was het echt voor drie man werk, voor drie jaar ofzo. En als er nieuwe vragen kwamen bovendrijven, kreeg je er vaak zo nog een jaar bij.’ Er was tijd om zaken goed uit te diepen, wil ze maar zeggen. Nu moet het vaak snel, snel, snel.
Klanten waren de overheid, gemeenten, en soms bedrijven of scholen. ‘We onderzochten bijvoorbeeld samen met scholen en bedrijven hoe je een stage in het beroepsonderwijs zo kon inrichten dat studenten er meer van leerden. Wat overigens niet veranderd is: het model dat er uit zo’n onderzoek rolde, was prachtig, maar in de praktijk nog best een uitdaging.’ Heel soms bleek het ook niet de bedoeling dat het uitgevoerd werd, vertelt ze. ‘Ik kan me herinneren dat ik samen met Willem Houtkoop onderzoek deed naar voortijdige studiebeëindiging in het schriftelijk onderwijs. Maar toen we eenmaal hadden uitgezocht hoe dat beter kon worden voorkomen, bleek dat het hele verdienmodel van die opleiding er op gemaakt was dat een deel van de studenten stopt en toch nog doorbetaalt omdat er een opzegtermijn geldt. Heel confronterend vond ik dat als jonge onderzoeker. Opdrachtgevers bleken dus meer overwegingen te hebben dan beter onderwijs.’
Over het algemeen was het onderzoek in de jaren zeventig en tachtig vooral bedoeld voor het beleid en voor vakgenoten in de wetenschappelijke community en minder voor de praktijk; toegankelijke publicaties zijn pas later een doel geworden, zegt Van Eck. ‘Onderzoek was ook meer fundamenteel. Het belandde in een rapport, heel soms nog in Didactief, en dat was het dan.’
Dat verklaart ook waarom thema’s de afgelopen decennia soms verschillende keren terugkwamen. Van Eck wordt er niet per se vrolijker van. ‘Neem nou Klassen, die documentairereeks over onderwijs in Amsterdam-Noord. Vijftig jaar geleden benoemde Co van Calcar dezelfde problemen in dezelfde buurt, en opperde een vergelijkbare aanpak: open de wereld voor die kinderen, betrek de buurt erbij, en zorg niet alleen dat ze taal en rekenen beheersen, maar neem ze ook mee naar de Hortus Botanicus. We weten als onderzoekers dus al decennia precies hoe het zou moeten, maar we moeten het voor elkaar krijgen.’
Warme relaties tussen opdrachtgever
en onderzoeker kunnen heel productief zijn
Inmiddels telt verspreiding van onderzoeksresultaten meer dan ooit. Hoe verklaart Van Eck dat juist dat toch een moeizaam proces blijft?
Echt makkelijk was het nooit, zegt ze. ‘Als wij vroeger een rapport schreven en er stond een taalfout in, dan namen leraren het onderzoek al niet meer serieus. “Als je zo omgaat met je Nederlands, wat zegt dat dan over je onderzoek?!?” Maar afgezien daarvan, deels kampt het onderwijs met een not invented here-syndroom. De bezwaren die scholen in de jaren tachtig hadden tegen onderwijsvernieuwingen die in een laboratorium waren ontwikkeld hebben ze nu tegen wat andere scholen hebben ontwikkeld.…Terwijl er vaak best lessen uit te trekken zijn waar ze van zouden kunnen profiteren. Maar nog veel belangrijker is het vertaalprobleem. Leraren hebben concretere vragen dan in onderzoek worden beantwoord en ze hebben moeite onderzoek toepasbaar te maken op hun situatie. Wij zouden daar als onderzoekers meer aandacht aan moeten besteden. We denken nu eenmaal een slag abstracter dan mensen uit de praktijk..’
Het zou ook goed zijn als lerarenopleidingen meer lestijd zouden besteden aan het leren maken van die vertaalslag, vindt Van Eck, dan kan het onderwijs veel meer profiteren van onderzoek dan het nu doet. ‘Leraren kunnen dan veel beter gebruik maken van het onderzoek dat is verricht. Leraren en onderzoekers samen kunnen verder komen.’ Wat dat betreft is het ook jammer, zegt ze, dat subsidiegevers tegenwoordig bang zijn voor te warme contacten met de ‘gebruikers’ van het onderzoek. ‘Dat maakt het heel moeilijk om precies dat te gaan onderzoeken waar behoefte aan is. Je kunt de vraag niet goed articuleren, en ook het beoogde gebruik van onderzoek niet goed aansturen. Warme relaties kunnen heel productief zijn.’
Onderzoekende leraarZou het toenemend aantal leraren dat zelf onderzoek doet, kunnen helpen om onderwijs te verbeteren middels onderzoek? Van Eck zet er kanttekeningen bij. ‘Je hebt onderzoek en onderzoek. Ik zou liever willen dat leraren zich richten op “onderzoeksmatig werken”. Dan bedoel ik dat zij werken volgens een kwaliteitscyclus: een aanpak bedenken, uitvoeren, kritisch kijken wat werkt en wat niet en de aanpak zo nodig bijstellen. Daarin zijn zij de experts: zij zien wat uitvoerbaar is, wat werkt en wat niet en waarom. Zij kunnen werkenderwijs monitoren wat de effecten zijn van vernieuwingen in hun onderwijs en bijstellingen daarvan. Inbreng van de onderzoekers in de samenwerking is dat zij meer weten van de onderliggende theorie van onderwijsaanpakken, van ervaringen van andere scholen en van verantwoorde manieren om effecten vast te stellen. Ik denk dan aan instrumentontwikkeling, onderzoeksdesigns en de aannamen die ten grondslag liggen aan veel gebruikte statistische technieken. Met de huidige statistische programma’s verricht je met één druk op de knop geavanceerde analyses, maar voldoen de data aan de eisen die aan die toets ten grondslag liggen? Dat zie ik nogal eens misgaan bij onderzoek door scholen zelf.’
Van Eck zou graag weer investeren in cohortonderzoeken zoals die tot een paar jaar geleden werden gedaan. ‘Nu wordt er wel veel naar leerlingen gekeken en hoe zij presteren, maar toen verzamelden onderzoekers ook grootschalig data aan de aanbodkant. Die gegevens vormden op hun beurt weer een goede bron voor leerzame analyses. Doen jongens het slechter als er een vrouw voor de klas staat? Het antwoord op die vraag konden we zo uitdraaien uit gegevens die in die cohortonderzoeken waren verzameld.’
Het kan sowieso geen kwaad nog eens te kijken naar de golden oldies. Wie een tijdje praat met Van Eck hoort zoveel zaken langskomen die nu nog steeds spelen. Van Eck: ‘We hebben destijds bijvoorbeeld veel onderzoek gedaan naar sekseverschillen. Onderzoekers die dat materiaal erbij pakken, kunnen met hun huidige onderzoek gewoon drie stappen verder.’ Bij deze, warm aanbevolen.
Edith van Eck is gepensioneerd onderzoeker aan het Kohnstamm Instituut.
1 Is er iets mis met het schooladvies?
2 Geef netwerken het voordeel van de twijfel
3 Scholen kijken kritisch naar eigen kwaliteit
4 Na Dijsselbloem veranderde er weinig
5 Maak onderwijsonderzoek relevanter voor het onderwijs
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
