Onderzoeker Frits Simon heeft eerder zijn zorgen geuit over het combineren van wetenschappelijke kwaliteitseisen en het praktijkgericht maken van onderwijsonderzoek. In een lezenswaardige artikel in Onderwijsinnovatie in juni 2016 is Simon niet optimistisch: ´Praktijkgericht onderzoek worstelt voortdurend met het dilemma dat het recht moet doen aan de bijzondere praktijksituatie en tevens algemeen geldig moet zijn. Een bevredigende oplossing voor dit dilemma is er (nog) niet.´
Met de komst van lectoren in het hbo is praktijkgericht onderzoek sterk opgekomen. Zij worstelen volgens Simon met wat dat praktijkgericht onderzoek eigenlijk zou moeten inhouden. En spiegelen zich hierbij aan universiteiten. Grote probleem is het combineren van praktijkgerichtheid en wetenschappelijkheid, zo concludeert de auteur somber.
Ook de publicatie van het CPB-rapport Kansrijk Onderwijsbeleid leidde tot een fikse discussie over de kwaliteit van (praktijkgericht) onderwijsonderzoek.
Ik denk dat het helpt om eens te verkennen wat nu echt het probleem is. Daarmee wordt de oplossingsrichting ook meteen duidelijk. En die oplossing is dichterbij dan het lijkt, want er zijn hoopgevende ontwikkelingen in het denken over wetenschappelijk onderzoek waar met name het onderwijsonderzoek veel profijt van kan hebben.
Lange tijd, vanaf de opkomst van het Behaviorisme in de jaren vijftig in de Verenigde Staten, heeft de sociale wetenschap geprobeerd zich het aura van een exacte wetenschap aan te meten. In een complexe werkelijkheid worden meetbare variabelen onderscheiden die in een theoretisch kader geplaatst kunnen worden waardoor het paradigma generaliseerbaar wordt. Een prachtig idee dat ontleend is aan de bètawetenschap en waarbij de complexe werkelijkheid teruggebracht wordt tot een kleine set kwantitatieve variabelen en kennisuitwisseling plaats vindt via een relatief kort (inter)nationaal wetenschappelijk artikel. En omdat die wetenschappelijke artikelen worden beoordeeld door collega’s die als reviewers optreden, hebben we ook nog eens een uitstekend objectief en kwantitatief kwaliteitsinstrument dat we kunnen gebruiken om onderzoekers langs een meetlat te leggen en te kijken wie goed, en wie minder goed is. Daarmee hebben we ook een simpel, bijna bedrijfsmatig HRM-instrument dat ook nog eens gebruikt kan worden om complete vakgroepen of zelfs universiteiten met elkaar te vergelijken. Prachtig toch?
Alleen… Het werkt voor geen meter. En gelukkig zijn vrijwel alle belangrijke partijen in Nederland, zoals het ministerie van OCW, VSNU, NWO en NRO het daar inmiddels wel over eens. En zijn ze begonnen om hun beleid ingrijpend te wijzigen.
Heilige graalLaten we eerst kijken of het inderdaad niet werkt. De heilige graal van het kwantitatieve reductionisme is de RCT: de Randomized Controlled Trial. Dat is gerandomiseerd onderzoek met een controlegroep. Veel prominente onderzoekers, zoals Trudy Dehue, hebben betoogd dat de RCT zelden werkt in sociaal-wetenschappelijk onderzoek. Dat komt, en dat is even ingewikkeld, door de complexiteit van de problemen die wordt aangesneden. In mijn oratie uit 2010 gebruikte ik het volgende voorbeeld: wanneer jongens en meisjes tegengesteld reageren op een onderwijskundige ingreep, zoals een educatieve game om studiesucces te bevorderen, dan zou een slechte analyse de conclusie trekken dat de ingreep geen effect had. Pas door te kijken naar het interactie-effect dat optreedt omdat jongens en meisjes anders reageren, zien we het effect. Er was dus een analysefout gemaakt. De werkelijkheid werd te simpel voorgesteld. Pas toen het interactie-effect tussen jongens en meisjes werd meegewogen, ontstond er een beter beeld van de werkelijkheid. Het is dus gevaarlijk om te simpele gegeneraliseerde uitspraken te doen over de vraag of een onderwijskundige ingreep wel of niet werkt.
Het probleem is dat er in de sociale wetenschap, net als in de economische wetenschap, meestal zulke complexe interacties zijn. Zoals de onderzoeksvraag waarbij de inzet van ict gekoppeld wordt aan de verbetering van onderwijs. Vaak wordt dan gedacht dat kan worden volstaan met pakweg vijfentwintig RCT’s en die vervolgens bij elkaar op te tellen om te bepalen of ict wel of niet ‘werkt’ in het onderwijs. Dat is te simpel en leidt tot type 2-fouten: een methodologische term die aangeeft dat een bestaand verband tussen variabelen in de analyse gemist wordt. Een type 2-fout is in mijn ogen net zo erg als een type 1-fout, waarin een niet bestaand verband tussen twee variabelen onterecht gelegd wordt. Hoe complexer de situatie en hoe moeilijker het is om variabelen uiteen te rafelen, des te groter de kans op een type 2-fout. Door de dominante, op bèta-leest geschoeide vorm van wetenschap gaat verreweg de meeste aandacht uit naar het vermijden van een type 1-fout. De enorme hoeveelheid type 2-fouten staat ondertussen als een grote roze olifant om zich heen te kijken in de sociale wetenschap.
Ook Dehue (2002) kwam tot dezelfde conclusies over de dominante positie van de RCT in de sociale wetenschap: `In de hedendaagse Nederlandse menswetenschappen, misschien nog sterker dan in de hedendaagse Amerikaanse, moet men voor het verwerven van wetenschappelijk gezag het experimentele model aanhouden. Dat model schrijft voor dat alle beschikbare denkkracht en geld wordt besteed aan het dichtstoppen van gaten en kieren waardoor interpretaties (‘vertekeningen’) zouden kunnen binnenslippen. Ik heb betoogd dat dit altijd vergeefs zal zijn, en bovendien onontbeerlijk inzicht in de weg kan staan.´ (Dehue, 2002, p. 245).
Wat er dus misgaat, is dat een complexe situatie waarin veel variabelen samenspelen op een verkeerde manier wordt gereduceerd en versimpeld. Dit leidt ertoe dat resultaten van dergelijke studies niet herhaalbaar zijn. In de psychologische wetenschap is volgens verschillende studies de kans dat de uitkomst van een empirische studie repliceerbaar is hooguit zestig procent. Wat dus nauwelijks beter is dan je op basis van toeval zou verwachten. Drenth (2016) zegt daarover: ´Interessant is de vraag waarom zoveel psychologisch onderzoek bij toetsing geen bevestiging van de oorspronkelijke conclusies oplevert. Robbert Dijkgraaf kwam nog het dichtst bij het goede antwoord door er op te wijzen hoe gecompliceerd psychologische verschijnselen en processen zijn. Natuurlijk kan een hypothese fout zijn. Natuurlijk kan ook het onderzoek waarop conclusies gebaseerd zijn tekortschieten (…). Maar in veel gevallen is, vaak ongemerkt, toch een belangrijke conditie of omstandigheid over het hoofd gezien. Veel psychologische wetmatigheden zijn contingent, dat wil zeggen dat ze onder bepaalde omstandigheden en condities wel en onder andere niet gelden. Bij toetsing onder andere condities vindt men dan geen bevestiging. (…) Menselijk en dierlijk gedrag is inderdaad uiterst gecompliceerd. De atoomfysicus Niels Bohr zei al eens: het begrijpen van kernfysica is kinderspel vergeleken met het begrijpen van kinderspel.” (p. 19).
Betekent dit dat we niet alleen onderwijsonderzoek, maar ook al het psychologisch onderzoek en misschien zelfs de hele sociale wetenschap inclusief de economische wetenschap bij het grofvuil moeten zetten omdat het niet lukt het spel te spelen volgens de exacte wetenschappelijke tradities? Natuurlijk niet. Wetenschap is niet meer dan systematisch gezond denken. Er zijn heel veel complexe situaties waarin het niet mogelijk is die complexiteit te ontkennen of te versimpelen. Je krijgt dan platte onhoudbare uitspraken zoals ´er is geen bewijs voor het nieuwe leren´ of ´effectief leren met probleemgestuurd onderwijs is een mythe´.
En daarmee lost het probleem van Simon zich op. Het was een schijntegenstelling. Zogenaamd ‘echt’ wetenschappelijk onderzoek dat consequent de complexiteit van de werkelijkheid miskent en daardoor vrijwel niet te repliceren is, is pseudowetenschap. Dat de onderwijspraktijk er zo weinig gebruik van maakt, hoeft niemand te verbazen.
Hoe moet het dan wel? Simpel, we moeten iets doen wat we als mensen eigenlijk heel goed kunnen: omgaan met zeer complexe problemen en onzekerheid. Het is ondoenlijk om in deze tekst alle valide en betrouwbare onderzoeksmethodes en oplossingen op te sommen die er bedacht zijn om met de samenhangende complexiteit van de meeste problemen in de sociale wetenschappen om te gaan. Maar de belangrijkste is: het herstellen van de verbindingen tussen praktijk en onderzoek.
In die nieuwe benadering is er meer gelijkwaardigheid tussen onderzoekers en practitioners. Er moet een partnerschapmodel opgezet worden waarbij mensen uit de onderwijspraktijk en onderwijsonderzoekers samenwerken. Waarbij beiden probleemeigenaar zijn. Practitioners worden zo aangezet tot verdieping, professionalisering en kritische reflectie op hun eigen professionaliteit en onderwijsonderzoekers dalen af uit de ivoren toren en worden gedwongen in begrijpelijk Nederlands uit te leggen wat de zin van hun onderzoek is. Ook zij worden zo gedwongen tot kritische zelfreflectie (Martens, 2010). Speciaal bij onderwijsonderzoek is dat van belang. Admiraal (2013, p. 4): ´De oude idee van de kennisketen (van kennisproductie, al dan niet via vertaling, naar toepassing) moet doorbroken worden en onderwijsonderzoek moet veel meer door en in samenwerking met de docenten gebeuren.´
Daarbij wordt, in nauwe samenwerking met die praktijk, kennis ontwikkeld die ook echt bruikbaar is voor praktijk en samenleving. Meestal gebeurt dit vraaggestuurd, dus vertrekkend vanuit echte problemen, zoals patiënten die hebben in een academisch ziekenhuis waarin ook een afstemming gevonden is tussen wetenschap en praktijk.
De Wetenschapsvisie2025 van OCW (2014) is op dit punt helder: ´Het idee dat kenniscirculatie en valorisatie pas aan de orde zouden zijn als de kennis uitontwikkeld is, is achterhaald. Wij vinden dat juist in het begin van de keten een bewustzijn nodig is van de behoefte aan kennis en van de mogelijke kennisgebruikers. Volgens de principes van kennis-cocreatie ontwikkelen wetenschappers samen met maatschappelijke partijen nieuwe kennis die aansluit bij de praktijk. Daarbij maken de wetenschappers gebruik van de unieke kennis en vaardigheden van de eindgebruikers.´ (p. 39).
Ook NWO meldt voor de strategieperiode 2015-2018 initiatieven te nemen ´om sterkere verbindingen mogelijk te maken die van meerwaarde zijn voor maatschappelijke en economische uitdagingen´. Want: ´Moderne wetenschap is verbonden met onderwijs, met partijen in de samenleving en met het bedrijfsleven. Kennis delen en samenwerken met mensen en organisaties buiten de wetenschap behoort steeds meer tot het werk van de wetenschapper. Deze samenwerking legt de basis voor innovatie en maatschappelijke impact van wetenschap.´ (p. 7).
Wat helemaal goed nieuws is, is dat ook in de manier waarop vakgroepen worden afgerekend een grote verandering is opgetreden (het zogeheten SEP). Ook het sterk toegenomen belang voor valorisatie, dat wordt ingevuld door veel meer nadruk op samenwerking met de praktijk, is mooi. Zo kan niet langer de complexiteit van de onderzoekswerkelijkheid worden weggepoetst. En als er één tak in de sociale wetenschap is die hier enorme kansen heeft, dan is het wel de onderwijswetenschap.
Goede onderzoekers willen niets liever dan onderzoek doen dat echt relevant is. Terug met de voeten in de modder in duurzame samenwerking met de onderwijspraktijk. En daar is niets onwetenschappelijk aan.
Kortom, stop met het eindeloos delibereren over de kloof tussen praktijk en wetenschap. Ellenlange wetenschapsfilosofische haarkloverij brengt het onderwijs niet verder en houdt de onderwijswetenschap ten onrechte zo absurd klein als ze geworden is in de mislukte poging bèta- wetenschappertje te spelen. Ga aan het werk. In nauwe, blijvende en respectvolle samenwerking met scholen en leraren.
Referenties
Admiraal, W. F. (2013). Academisch docentschap: naar wetenschappelijk praktijkonderzoek door docenten [oratie]. Leiden: ICLON, Leiden University.
Dehue, T. (2002). Over de assumpties van RCT’s geïllustreerd aan het Nederlandse experiment met verstrekking van heroïne. Maandblad voor de geestelijke Gezondheidszorg, 57, 230-249.
Drenth, P. (2016). Is psychologie wel een wetenschap? De Volkskrant, 12-8-2016, p. 19.
Martens, R. L. (2010). Zin in onderzoek. Oratie. Heerlen: Open Universiteit Nederland.
Simon, F. (2016). Het duivelse dilemma van praktijkgericht onderzoek. OnderwijsInnovatie, juni 2016, 26-29.
Deze column is eerder gepubliceerd in het septembernummer van het tijdschrift OnderwijsInnovatie (OI 3, 2016).
En blijf op de hoogte van onderwijsnieuws en de nieuwste wetenschappelijke ontwikkelingen!
Inschrijven
