‘Kwantitatieve geletterdheid’ moet verkeerd wetenschapsbeleid voorkomen
De impact van wetenschappelijk onderzoek wordt op verschillende manieren gemeten. Vaak zijn die indicatoren echter gebaseerd op dubieuze berekeningen. Dat zegt hoogleraar Ludo Waltman. Oratie op 21 juni.
Op allerlei manieren proberen beleidsmakers inzicht te krijgen in hoe goed wetenschappers en onderzoeksinstellingen presteren. Hoe vaak wordt een wetenschapper geciteerd door collega’s uit het werkveld? Hoe hoog is zijn of haar impact, gemeten in de h-index? En hoe goed presteert een universiteit in vergelijking met andere instellingen in binnen- en buitenland?
Twijfelachtig
Die indicatoren en ranglijsten zijn echter vaak gebaseerd op twijfelachtige berekeningen, zegt Ludo Waltman in zijn oratie. De hoogleraar Kwantitatief Wetenschapsonderzoek stelt onder meer dat universitaire ranglijsten onverenigbare indicatoren samenvoegen. ‘Deels meten die ranglijsten de grootte van universiteiten, en deels de relatieve prestaties ten opzichte van hun grootte. Deze perspectieven worden vervolgens op één hoop gegooid, waardoor niemand echt begrijpt wat de ranglijsten nu precies vertellen.’ Ook in andere ranglijsten wordt gegoocheld met cijfers.
Volgens Waltman bestaat het gevaar dat simplistische indicatoren het wetenschapsbeleid negatief zullen beïnvloeden, bijvoorbeeld als wetenschappers of onderzoeksinstellingen op basis van deze indicatoren worden beoordeeld. Een hoger niveau van ‘kwantitatieve geletterdheid’ is volgens de hoogleraar noodzakelijk om hier iets aan te veranderen. Een beter begrip van kwantitatieve analyses – en van de conclusies die uit deze analyses worden getrokken – zou een wereld van verschil maken.
‘Onnatuurlijk binair’
Waltman vindt onder meer dat kwantitatief onderzoek teveel waarde hecht aan statistische significantie, ‘waardoor de resultaten van onderzoek op een onnatuurlijke binaire manier, dus wel of niet significant, worden gepresenteerd’. Daarnaast gebeurt het regelmatig dat in de betreffende berekeningen correlatie wordt verward met causaliteit. Onderwijs gericht op het bereiken van een hoger niveau van kwantitatieve geletterdheid zou veel kunnen opleveren, verwacht de hoogleraar. ‘De toepassing van data-gedreven methodes in de specifieke context van beleidsontwikkeling lijkt niet de systematische aandacht te krijgen die het verdient.’
‘Onderzoeksbeleid moet uiteraard waar mogelijk gebruik maken van inzichten uit het wetenschapsonderzoek,’ zegt Waltman verder in zijn oratie. ‘Maar het is onrealistisch om te denken dat we de vele vragen van eenduidige kwantitatieve antwoorden kunnen voorzien. Ik geloof dat we af moeten van het idee dat we dit soort complexe vragen met een simpel ‘ja’ of ‘nee’ kunnen beantwoorden.