In de pen klimmen (1)

Deel 1: hoe meten we schrijfvaardigheid?

Onderwijs in schrijfvaardigheid kan niet buiten toetsing. Het vaststellen van wat leerlingschrijvers, van welke leeftijd dan ook, al wel en nog niet kunnen, is nodig om te weten waar de aandacht bij instructie, oefening en feedback naar toe moet gaan. Te weinig toetsing is dus niet goed. Teveel toetsing overigens ook niet.

Het toetsen van schrijfvaardigheid is lastig en juist daarom wordt de vraag naar hoe te meten gesteld. Waar zit ‘m het probleem? Om te beginnen in de taakspecificiteit. De ene schrijfopdracht is de andere niet. De inhoudelijke voorkennis waar opdrachten een beroep op doen, varieert en dat kan maken dat een leerling op verschillende opdrachten heel verschillend presteert. Ook het genre dat aan de orde is, kan wel of juist niet aansluiten bij de kennis en vaardigheden van een schrijver. Wat ligt je het beste: een betoog, een kort verhaal, een boekbespreking, een essay of een onderzoeksverslag? Ook met genreverschillen kunnen fluctuaties in schrijfprestaties gepaard gaan. Schrijftaken zijn meestal heel specifiek, geven iedere keer weer een beperkte inkijk in wat schrijvers kunnen.

Hoe zou je taakspecificiteit moeten bestrijden? In elk geval doe je er goed aan om leerlingen meer dan een schrijfopdracht te geven, tenminste als je er op uit bent om te bepalen hoe schrijfvaardig ze zijn. Hoeveel schrijfopdrachten zijn dan nodig? Ik houd het erop dat je met een drietal goed gekozen opdrachten (ofwel directe metingen van schrijfvaardigheid) al heel wat te weten kunt komen over de capaciteiten van schrijvers.

Sommige onderzoekers pleiten voor een radicaal andere aanpak. Waarom zou je leerlingen hele teksten laten schrijven? Dat kost veel tijd, ook van leerkrachten, en levert niet veel informatie op. Wat je volgens hen veel beter kan doen, is leerlingen een lange reeks van kleine schrijfproblemen voorleggen. Laat ze uit vier titels bij een klein tekstje de beste kiezen. Laat ze voor een paar alinea’s bepalen welke volgorde de beste is. Laat ze fouten detecteren of de beste verbetering ervan kiezen. Breng zulke taakjes onder in een meerkeuzetoets en je hebt volgens deze onderzoekers een meting van schrijfvaardigheid die niet te lijden heeft onder taakspecificiteit en ook niet onder beoordelingsproblemen.

Volgens mij heeft de meerkeuzetoets voor schrijven geen toekomst, in ieder geval niet als vervanger van directe metingen. Ze kan hoogstens een diagnostisch hulpmiddel zijn.

Directe metingen hebben te lijden onder beoordelingsproblemen, want daarbij is een oordeel nodig over de teksten die dienen als proeve van bekwaamheid. En uit onderzoek weten we dat de oordelen van leerkrachten of docenten, en trouwens ook die van medeleerlingen of medestudenten niet altijd valide en betrouwbaar zijn.

Oordelen over de kwaliteit van teksten zijn valide of geldig wanneer ze precies dat weerspiegelen waar we op uit zijn. Een oordeel over samenhang of over overtuigingskracht moet precies die eigenschappen weerspiegelen waar het ons om te doen is en geen andere. Maar kwaliteitsoordelen over teksten zijn niet altijd zuiver: ook andere kenmerken dan de bedoelde kleuren soms ons oordeel. Wie op stijl wil letten, zou zijn oordeel niet moeten laten beïnvloeden door spelfouten. Maar dat lukt niet altijd.

Bij onbetrouwbaarheid gaat het niet over systematische vertekeningen, maar over toevallige vertekeningen, over oordelen die iedere keer weer een beetje of een stuk anders uitvallen. Beoordelingen van schrijfvaardigheid hebben vaak te lijden onder zulke fluctuaties. Door toevalligheden valt een oordeel de ene keer wat hoger uit dan de andere. Beoordelaars zijn het daardoor niet alleen met elkaar, maar ook met zichzelf oneens.

Laten we eens de proef op de som nemen en zelf ondervinden hoe lastig beoordelen is. Ik laat u twee teksten zien, geschreven door leerlingen uit de onderbouw van het voortgezet onderwijs, in reactie op de volgende opdracht:

Dit is tekst 1.

En dit tekst 2.
 

Welke van de twee teksten vindt u de beste?

De meeste mensen kiezen voor de langste tekst. En daar staan ze niet alleen in, want we weten uit onderzoek dat tekstlengte meestal de beste voorspeller is van oordelen over tekstkwaliteit. Ook bij deze schrijfopdracht is dat zo. In ons onderzoek naar schrijfvaardigheid hebben we gegevens verzameld over schrijfproducten van 418 leerlingen; daarin bedraagt de correlatie tussen tekstlengte en het gemiddelde oordeel over tekstkwaliteit van drie getrainde beoordelaars maar liefst .86. Dit wil zeggen dat 75% van de variatie in tekstkwaliteit voorspeld kan worden uit tekstlengte.

Betekent dit nu dat die beoordelaars zonder verder nadenken vallen voor lekker lang? Nee, natuurlijk niet.

Beoordelaars lijken oppervlakkig te werken,
maar bij nadere beschouwing
is dat helemaal niet het geval

Onder de sterk verschillende lengte van deze twee teksten gaan allerlei interessante kenmerken schuil. De tweede schrijver begint met het uitleggen van de kwestie en maakt de lezer zo deelgenoot van de context. Het standpunt van schrijver 2 wordt expliciet geformuleerd en de argumenten ervoor worden uitgewerkt en nader onderbouwd. En aan het slot van de tekst worden de lezers direct aangesproken. Allemaal relevante inhoud en die zorgt voor een langere tekst. We moeten, dat is de boodschap van mijn voorbeeld, de beoordelaar niet te snel in het verdachtenbankje zetten: beoordelaars lijken misschien oppervlakkig te werk te gaan, maar bij nadere beschouwing is dat helemaal niet het geval.

We moeten het beoordelaars ook niet te moeilijk maken door hen taken op te leggen die niet goed doenlijk zijn. We doen dat in onderzoek wel vaak als we beoordelaars vragen om een globaal oordeel over de kwaliteit van een tekst als geheel. Het geven van zo’n oordeel is gezien de veelheid aan tekstkenmerken en aan variaties in de wijze waarop leerlingschrijvers een taak kunnen uitvoeren eigenlijk onbegonnen werk. Met analytische beoordeling denken we het beoordelaars makkelijker te maken, maar zo’n analytisch oordeel heeft meestal betrekking op niet nader omschreven aspecten als ‘inhoud’, ‘opbouw’ en ‘stijl’ en is daarmee quasi-concreet. We zouden er daarom goed aan doen om bij het beoordelen ons vaker te richten op concrete tekstkenmerken. Met collega’s, of dat nu onderzoekers of docenten zijn, en met leerlingschrijvers zouden we het dus, bijvoorbeeld, niet alleen over ‘stijl’ moeten hebben, maar ook over ‘persoonlijke elementen’, of ‘intensiveerders’, of ‘drieslagen’.

Voor de goede orde: het moet daarbij wel steeds gaan om de functie van die kenmerken. Draagt de indeling in alinea’s bij aan de begrijpelijkheid van de tekst? Is er sprake van variatie in de opbouw van zinnen, in de wijze waarop ze beginnen, en draagt dit bij aan de aantrekkelijkheid van de tekst?

Maken signaalwoorden de verbanden tussen zinnen duidelijker?

Op het gevaar af dat Arjen Lubach ermee aan de haal gaat, zoals in zijn persiflage van het onderwijs in tekstbegrip, het gaat dus bij het schrijfonderwijs uiteindelijk om de tekst, om hoe die in elkaar zit en hoe die is geformuleerd. Om de tekst, een ding dat een meer of minder geslaagd, eerlijk of overtuigend beeld kan geven van de wereld en van de schrijver zelf. En natuurlijk moet er bij het schrijven wel iets op het spel staan en doet de inhoud ertoe. Zeer zeker, want alleen als je iets te zeggen hebt, wil je in de pen klimmen. Maar om de inhoud sec gaat het uiteindelijk niet in het schrijfonderwijs, en ook niet in het leesonderwijs trouwens. Het gaat niet om de wereld, maar om de compositie ervan, om de verwoording van de inhoud.

Dit is deel 1 van een ingekorte versie van het afscheidscollege dat Kees de Glopper gaf op 29 juni 2023, als hoogleraar Taalbeheersing van het Nederlands aan de Rijksuniversiteit Groningen. Deel 2 (hoe bevorderen we de ontwikkeling van schrijfvaardigheid?) volgt later.

Kees de Glopper vormde met Amos van Gelderen en Roel van Steensel de kernredactie van het boek Leer ze lezen dat je hier gratis kunt downloaden.

Verder lezen

1 In de pen klimmen (2)
2 Schrijfvaardigheid: steviger basis nodig
3 Webinar Kees de Glopper #Didactief50