Onderzoeksfinanciering is geen loterij

Ik heb dit jaar de eer te mogen dienen als referent voor de  de PROO, de “Programmaraad voor Onderwijsonderzoek”, een onderdeel van NWO dat onderzoeksgelden verdeelt voor – niet verrassend – onderzoek aan het onderwijs. De PROO heeft een call uitgezet voor “Reviewstudies”. Een reviewstudie verzamelt zoveel mogelijk artikelen die in een bepaalde tijd over een bepaald onderwerp zijn geschreven. Ik heb zelf recent zo’n studie gedaan samen met promovendus Nico Rutten naar de effecten van het leren met computersimulaties. Zo’n review is heel nuttig om een breed overzicht over een onderzoeksgebied te krijgen.

De PROO wil graag een aantal van deze studies laten uitvoeren. In de call wordt een breed gebied beschreven. Belangstellenden kunnen intekenen met een voorstel waarin uiteengezet wordt welk deelgebied gereviewd gaat worden, waarom dat belangrijk is, hoe ze het gaan doen, en op welke wijze de resultaten van de review bekend gemaakt gaan worden. Een aanvraag beslaat zo’n zeven pagina’s tekst.

Voor deze call is een half miljoen euro beschikbaar. Per project kan €50000 worden aangevraagd (en de meeste aanvragen komen precies op dat bedrag uit). Er kunnen dus tien projecten worden gehonoreerd.

Toen ik de lijst met 43 aanvragen zag bekroop me het gevoel dat dit wel eens veel werk zou kunnen zijn. Ik kreeg de taak om negen van de 43 aanvragen van redelijk gedetailleerd commentaar te voorzien. Twee van mijn collega’s doen dat ook. Daarna werden de commentaren weer over de commissie verdeeld en geeft ieder commissielid zijn of haar persoonlijke top tien. Daarvoor moet je dus ook de andere aanvragen lezen, en de commentaren daarop. Tot slot vergadert de commissie (veertien man en vrouw sterk) een dag lang om tot een definitieve aanbeveling te komen. Dat alles overigens zonder vergoeding van NWO.

Ik sloeg aan het rekenen: voor een gedetailleerd commentaar ben ik per aanvraag 2 tot 3 uur bezig. Keer drie omdat elke aanvraag drie commentaren krijgt. Keer 43. De eerste reviewronde kost de reviewers dus zo’n 320 uur. De tweede ronde kostte me een dag. Acht uur keer veertien reviewers is 112 uur. Nog een dag vergaderen is nog eens 112. Totaal voor de reviewers dus 544 uur. Dat is dan nog zonder de uren die de PROO aan de administratie en organisatie besteedt.

Nu hebben 43 onderzoekers natuurlijk ook tijd besteed aan het schrijven van de aanvragen. Uit eigen ervaring weet ik dat zo’n aanvraag een paar dagen werk is. Je moet wat vooronderzoek doen, literatuur raadplegen, een mooie overtuigende tekst componeren en een begroting maken. Al gauw kost deze aanvraag iemand die redelijk ervaren is in projectaanvragen vier dagen vaak overigens verdeeld over twee personen. Vier keer acht uur is 32 uur. Keer 43 = 1376 uur.

Zowel aanvragers als referenten zijn in de meeste gevallen hoogleraar of universitair hoofddocent. Een uurtarief van 120 euro is dan laag geschat. Maar laten we het er mee doen. De totale kosten van de aanvraagronde zijn dus (544+1376) x €120 = €230400. Dat is bijna de helft van het te verdelen budget dat verdeeld kan worden. Uiteraard moet dit getal met de nodige slagen om de arm worden genomen, het is gebaseerd op ruwe schattingen.

We kunnen nu twee dingen zeggen. De bewering die je wel eens hoort dat de verdeling van onderzoeksgeld via NWO een loterij is klopt niet. Bij een loterij is de uitbetaling lager dan de inleg, hier is hij hoger. Het is echter wel de vraag of onderzoeksgeld op deze manier effectief wordt besteed. Veel van dat geld wordt uitgegeven aan de relatief kleine kans (1/4) om een niet eens zo grote hoeveelheid onderzoeksgeld te verwerven. Ik heb voor iets grotere projecten (promotieplaatsen voor vier jaar, ongeveer €200000 per project) ook eens zo’n berekening gedaan. Er konden minder projecten worden toegekend, aantal aanvragen was groter en de aanvragen zelf uitgebreider, en het beeld wat nog ongunstiger.

Onderzoeksgeld wordt op deze manier verdeeld zodat de overheid kan sturen op kwaliteit en bepaalde wetenschapsgebieden kan stimuleren. De vraag of financieren van kleine projecten met daarbij een uitgebreide reviewprocedure zoals deze wel een efficiënte manier is.

2 gedachten over “Onderzoeksfinanciering is geen loterij

  1. Bij een loterij is de uitbetaling lager dan de inleg, hier is hij hoger?
    Die snap ik niet. Bij een loterij is de kans op winnen meestal lager (ligt er aan over welke loterij je het hebt). Als mensen het er echter over hebben dat een eenvraag bij NWO indienen ‘een loterij’ is, dan doelen ze er op dat de toewijzing er lang niet altijd berust op dat de beste wint.

    En inderdaad, er gaat zeer veel tijd en geld zitten in die mallemolen.

Geef een reactie