Categorie archief: Cognitive load

Efficiente kennis, een meetbare grootheid?

I also have an English version of this blog.

Soms lukt het je niet om een artikel geplaatst te krijgen in een wetenschappelijk tijdschrift. Zelfs als je zelf overtuigd bent dat het artikel een waardevolle bijdrage aan het veld levert gebeurt het je soms dat je stuk niet wordt gewaardeerd. Dat ligt in eerste instantie natuurlijk aan jezelf. Kennelijk lukt het je niet je idee overtuigend genoeg te brengen. Soms krijg je ook je idee niet aan de man omdat je sterk tegen een bepaald idee ingaat, en de reviewers steeds dat idee blijven verdedigen. Frustrerend. Ik heb zo’n artikel op de plank liggen over het begrip “Instructional Efficiency”. Dat is een maat die wel gebruikt wordt in de theorie van Cognitive Load, die beweert dat je bij instructie rekening moet houden met het werkgeheugen van de leerling. Daar is op zich niets mis mee, maar de wijze waarop aanhangers van de theorie de Cognitive Load meten en de conclusies die ze trekken liggen wel onder vuur. Een van de begrippen die gebruikt wordt is dat van “Instructional Efficiency”, ook wel “Relative Condition Efficiency” genoemd. Vanaf hier noem ik het kortweg “Efficiency”. Het idee is dat het een maat is voor de kwaliteit van iemands kennis. Hoe hoger de efficiency van iemands kennis, hoe beter die is. Die efficiency is een trade-off van prestatie en “Mental Effort”. Als je goed presteert op een taak met weinig mentale inspanning is je kennis efficiënter dan van iemand die dezelfde prestatie haalt met meer inspanning is de redenering. Nu kun je over die redenering twisten, maar dat is niet mijn punt. Mijn bezwaar ging over de wiskundige definitie van Efficiency.

Omdat Efficiency zowel gaat over prestatie als inspanning moet je beiden kunnen meten. Prestatie is relatief makkelijk te meten vaak gaat het het aantal punten op een toets, genormeerd naar een percentage. Door onderzoekers naar Cognitive Load wordt in de regel mentale inspanning gemeten door proefpersonen op een schaal van 1 tot 9 aan te laten geven hoe belastend ze een bepaalde taak vinden. Ook daar is kritiek op te geven: in welke mate kunnen proefpersonen dat zelf aangeven en moet je behalve belasting niet ook de tijd meenemen die proefpersonen over de taak hebben gedaan. Die discussie wordt elders gevoerd. Wat echter curieus is, is de wijze waarop  vervolgens efficiency wordt berekend. Dat gebeurt met de volgende formule:

Efficiency

De redenering achter de formule is de volgende: Iemand met een gemiddelde prestatie(P) en een gemiddelde inspanning(R) heeft efficiency 0. Om dat van iemand anders te berekenen berekenen we hoeveel hij van de gemiddelden afwijkt, door z-scores te berekenen. Een z-score is het verschil met het gemiddelde, gedeeld door de standaardafwijking, een maat voor de spreiding van de gegevens. Dat punt wordt uitgezet in een grafiek en je berekent de afstand tot de lijn waarvoor beide z-scores gelijk zijn. Om dat helder te maken heb ik dit in een simulatie weergegeven. 

In onderstaande grafiek worden twee of drie condities vergeleken, bijvoorbeeld de kennis die het resultaat is van verschillende vormen van instructie. De efficiency is de lengte van het lijntje tussen de rode punten en de lijn die onder 45 graden getekend staat. Door op “Simulate” te drukken wordt een nieuwe dataset gegenereerd. 

Wat is nu mijn bezwaar tegen deze manier van berekenen? Dat zijn er twee: ten eerste wordt hier een grafiek verward met een meetkundig vlak. In een grafiek staan langs x-as en y-as twee grootheden met verschillende eenheden. In een meetkundig vlak kun je afstanden tussen punten meten, in een grafiek kun je dat niet omdat de horizontale en verticale eenheden verschillen. Een schuin lijntje heeft daarin geen betekenis. Het is alsof je meters bij liters op zou kunnen tellen.

Het tweede bezwaar betreft het feit dat de maat afhankelijk is van de verdeling. Als je bij dezelfde gemiddelden de standaarddeviaties varieert zie je dat de efficiency verandert, en zelfs om kan keren. Vul hierboven maar eens achtereenvolgens voor de standaarddeviatie van performance 20, 10 en 1 in en kijk wat dat met de efficiency doet. Een maat die afhangt van de verdeling van de scores kan geen goede maat zijn. Ook wanneer een derde conditie wordt toegevoegd zie je de efficiency van de originele condities veranderen. 

Hier vind je het manuscript waarmee ik geleurd heb bij meerdere tijdschriften. Als je geïnteresseerd bent, zeker als je enige wiskundige of statistische achtergrond hebt stel ik je commentaar op prijs.