Consistentie van de scholenlijst

Het stuk over de lijst van Dronkers is met afstand het best gelezen stuk op deze blog. Ik gaf daarin kritiek op diverse aspecten van de wijze waarop Dronkers tot zijn cijfers komt. Een van de dingen die mij – en anderen, Dirk van der Wateren en OogTV– opvielen is dat de scores tussen dit jaar en vorig jaar nogal kunnen verschillen, met een extreem geval dat een school van 9 naar 3.5 gaat. Dronkers zelf rapporteert correlaties tussen de scores van vorig jaar en dit jaar (variërend van 0.22 tot 0.49) constateert dat die significant zijn (p<0.01) schrijft hierover:

„De samenhang tussen de schoolexamencijfers van beide jaren is substantieel; blijkbaar zijn ze niet het resultaat van toevallige goede of slechte jaren.”  (pagina 8).

Hoe zit dat nu? Om het beeld compleet te krijgen heb ik voor het VWO de cijfers van dit jaar geplot tegen de cijfers van vorig jaar. Die cijfers zijn te downloaden van schoolcijferlijst.nl. Het resultaat zie je hieronder:

2013-2012

Elk blauw puntje staat voor 1 of meerdere scholen. Als alle scores dit jaar hetzelfde zouden zijn als vorig jaar, zouden alle punten op de groene lijn liggen. Dat is niet zo, scholen kunnen natuurlijk beter of slechter gaan scoren dan vorig jaar. Bovendien heeft Dronkers zijn rekenmethode iets gewijzigd, hetgeen ook kan leiden tot verschillen. Op het oog is de spreiding wel erg groot, de school rechtsonder die van 9 naar 3,5 gaat ligt wel erg buiten de puntenwolk, maar grote verschillen zijn geen uitzondering.

Interessant is de rode lijn. Dat een regressielijn, de lijn die het beste het verband weergeeft tussen de cijfers op de horizontale en verticale as. Je verwacht dat die min of meer samenvalt met de groene. Scholen veranderen niet heel snel. Dat doet hij duidelijk niet. De vergelijking van de lijn is:

y = 0.37x+4.96.

terwijl y=x het ideale verband is. Concreet betekent dat dat scholen die in 2012 laag scoorden (7.5 of lager) gemiddeld hoger gingen scoren terwijl hoger scorende scholen dat lager gingen doen. Een geval van regressie naar het gemiddelde: Omdat je moeilijk hoger kunt is de kans dat je volgend jaar lager scoort groter. En belangrijker, het getal 0.37 geeft aan dat het verband tussen beide jaren helemaal niet zo sterk is. Een significant verband geeft nog niet aan dat het verband ook heel sterk is.

Op basis van deze grafiek kun je dus de nodige vraagtekens zetten bij Dronkers’ bewering dat toevallige goede of slechte jaren geen rol lijken te spelen.

Geef een reactie