Datasoep en de gewenste uitkomsten

Leestijd: 4 minuten

Datasoep en de gewenste uitkomsten

Een data-wet

Op basis van mijn ervaringen bij data-analyses die ik sinds de jaren zeventig vaak naloop had ik een wetmatigheid vastgesteld. Een wetmatigheid die ik tijdens de Coronaperiode regelmatig tegenkwam bij het werk van RIVM, OMT, CBS, maar ook bij mensen die juist het tegendeel beweerden van wat die officiële instanties beweerden. Ik noem het “De wet van de wenselijke resultaten”. Die wet luidt als volgt:

Wanneer de uitkomsten van een analyse samenvallen met de gewenste of gehoopte resultaten, wordt de ontoereikendheid van de datakwaliteit ondergeschikt gemaakt aan het bereiken van deze conclusies.

Dat is vaak geen opzet, maar als je al van tevoren van iets bent overtuigd, of je hebt bepaalde belangen bij een bepaalde uitkomst, dan is de kans groot dat je in de data wel datgene herkent wat in lijn ligt met die overtuiging/belangen. En je bent niet kritisch over de kwaliteit van de data en/of negeert datgene wat die conclusies ondergraaft. Op deze site hebben we er veel voorbeelden van gegeven. Dit is misschien wel de meest flagrante. 

Vergelijkbare patronen zie je bij modellen, waar het RIVM ook een handje van had. Ongefundeerde aannames, onduidelijke berekeningen, en doorgaans uitgaan van een zwart scenario, waarbij de kans dat dit scenario waarheid zou worden, heel klein was. Toch werd het beleid daarop afgestemd.

Pisa-leesonderzoek

Ik heb geen tijd om diepgaand onderzoek te doen naar de kwaliteit van data op terreinen waar ik niet heel actief mee bezig ben, maar als dan iemand die data aandachtig bestudeert, blijkt hetzelfde het geval te zijn. Vanmorgen las ik een analyse over de kwaliteit van de data van het Pisa-leesonderzoek, waar recentelijk grote ophef over was. De kwaliteit van het lezen van de Nederlandse scholieren was in 4 jaar tijd, tussen 2022 en 2018 fors gedaald. Nederland was daarbij harder gedaald dan de rest van Europa.

Op veel plekken werden deze resultaten aangehaald toen vlak voor Kerst het rapport van Pisa naar buiten kwam. En ik moet bekennen dat bij mij toen ook niet de noodzaak kwam om goed naar de data te kijken.

Maar gelukkig heeft iemand anders dat wel gedaan, Kim Fairley en zij plaatste er een artikel over in De Volkskrant. Zij is gedragseconoom en werkt aan de Radboud Universiteit.

In het artikel beschrijft zij dat de kwaliteit van de data van Pisa ontoereikend is om de conclusies te trekken over de sterk dalende leesvaardigheid.

Ik som een aantal even kort op:

1. Het meet vooral motivatie

Voor leerlingen maakt het nogal wat uit of ze een toets krijgen waar ze een cijfer voor krijgen of dat ze een toets doen, die geen enkele consequentie heeft (low-stake-toets). Er zijn nogal wat onderzoeken, waar dat proefondervindelijk mee is bewezen, zoals dit onderzoek. Naarmate de financiele beloning hoger was in relatie tot de uitkomst van de toets werd deze beter gemaakt.

Maar bij dit onderzoek had dat bijvoorbeeld geen invloed op Chinese jongeren, omdat zij een hoge intrinsieke motivatie hadden. Dus de onderzoeksvorm, zoals die van Pisa, heeft bij de uitkomsten last van het verschil in intrensieke motivatie tussen de leerlingen van verschillende landen.

2. De volgorde van de toets

Bij de Pisa-toets, die elke 3 jaar wordt uitgevoerd, is één onderwerp prominent. Dat hoofddomein wordt in het eerste uur van de toets afgenomen. En in het tweede uur wordt dan één van de twee andere domeinen getoetst. Bij de laatste toets is wiskunde het hoofddomein en zijn leesvaardigheid en natuurwetenschappen de subdomeinen. Terwijl in 2018 leesvaardigheid het hoofddomein was.

Uit de analyse van 2022, waar men eerst een uur wiskunde moest doen en daarna twee keer een half uur een subdomein, bleken beduidend meer vragen overgeslagen te zijn of onwaarschijnlijk snel beantwoord dan in het eerste uur van de toets. Dus de betrouwbaarheid van de leesvaardigheidsscores in 2022  zijn ook daardoor fors aangetast.

Forse daling overall

Als je naar de totale resultaten kijkt op de Pisa site dan valt op dat:

• in de hele EU er voor de drie gemeten vakken, net zoals in Nederland, een forse daling is vast te stellen tussen 2022 en 2018.
• de daling in Nederland van de leesvaardigheid groter was dan in het gemiddelde van de EU, en ook in 2018 die trend al vast was te stellen.

Het lijkt er sterk op dat de Coronaperiode met scholensluiting er fors op heeft ingehakt. De dalende trends, die al in 2018 werden vastgesteld, hebben zich in de daaropvolgende jaren doorgezet

Maar het probleem is, zoals Kim Fairley beschreef, dat we wellicht meer de dalende motivatie van leerlingen vaststellen om aan dit soort toetsen mee te doen, dan de feitelijke daling van de vaardigheden op het terrein van wiskunde/rekenen, natuurkunde en leesvaardigheden. Plus natuurlijk die half jaar lagere gemiddelde leeftijd.

Een zorgwekkende grafiek over de Coronaperiode vond ik deze uit het Nederlandse rapport:

In Nederland was de reactie van de leerlingen met het thuisleren tijdens Corona duidelijk slechter dan in zes andere landen waar dit aanvullende onderzoek ook is gedaan. En uit een ander deel van het onderzoek blijkt dat VWO-leerlingen het minste last hebben gehad van het niet naar school mogen gaan dan leerlingen van een ander schooltype. VMBO-leerlingen en Havo-leerlingen scoorden duidelijk lager.

Het is een indicatie dat één van de gevolgen van de schoolsluitingen tijdens Corona niet in een gelijke mate effect had op de leerlingen in verschillende schooltypen. Een van de vele negatieve gevolgen van de maatregelen, die genomen werden op het vlak van het “bestrijden van de verspreiding van Corona”.

Conclusie

Ook bij dit onderwerp geldt het dat als je dieper in de kwaliteit van de data duikt de conclusies niet zo stevig zijn als ze lijken te zijn. Maar als de hoofdconclusies, zoals ze in de publiciteit komen, in lijn zijn met wat je toch al dacht (of de belangen die je hebt) worden ze kritiekloos omarmd.

Ook het artikel in De Volkskrant van Kim Fairley wijst daar terecht op.

Onderzoeken, en ook dit onderzoek van Pisa, heeft zeker waardevolle componenten. Maar je moet heel erg opletten uitkomsten niet te verabsoluteren en de onderliggende data ook aan een kritische blik onderwerpen. Zeker als de uitkomsten je prima uitkomen!

Volg Maurice de Hond op X | Facebook | LinkedIn | YouTube   

Blijf onbeperkt toegang houden tot alles wat Maurice.nl te bieden heeft. Klik hier om lid, abonnee, vriend en bondgenoot te worden.