Beoordeling van onderzoek te weinig op inhoud
Prestaties van onderzoekers worden teveel beoordeeld op beschikbare data en indicatoren en onvoldoende op inhoud. Hierdoor dreigt het systeem de wetenschap schade te berokkenen in plaats van te verbeteren. Vijf bibliometrische experts, waaronder hoogleraar Paul Wouters, formuleren in Nature tien principes voor het gebruik van prestatie-indicatoren.
Meten is doorgeslagen
‘Het meten van de prestaties van wetenschappers is doorgeslagen’, zegt Paul Wouters, directeur van het Centre for Science and Technology Studies (CWTS) in Leiden. Dat is een opmerkelijke uitspraak, want bibliometrici zoals Wouters hebben dat meten ooit zelf ‘uitgevonden’.
Manifest met tien principes
Wouters heeft samen met de Amerikaanse hoogleraar Public Policy Diana Hicks en drie collega's in een Comment in Nature tien ‘principes’ beschreven waar het meten van wetenschappelijke prestaties aan zouden moeten voldoen: het Leiden Manifesto for Research Metrics. Het idee voor dit manifest is geboren op een conferentie van indicator-experts afgelopen september in Leiden.
Verkeerd meten leidt tot misbruik
Het doorgeslagen en verkeerde meten leidt tot ‘misbruik’, schrijven de auteurs. Bijvoorbeeld bij sollicitaties voor wetenschappelijke functies. Veel beoordelaars kijken tegenwoordig naar de zogenaamde h-index van een sollicitant: een indicator die aangeeft hoe vaak de wetenschapper geciteerd is door anderen. Wouters: ‘Maar dat zegt weinig over zijn onderzoekskwaliteiten want de h-index is sterk afhankelijk van het vakgebied en de leeftijd van de onderzoeker.’
Bonussen op basis gemeten prestaties
In sommige Aziatische en Scandinavische landen krijgen wetenschappers zelfs bonussen op basis van bepaalde gemeten ‘prestaties’. Het gevolg: onderzoekers gaan zich primair richten op hoge scores op soms twijfelachtige indicatoren in plaats van op het bedrijven van goede wetenschap.
Louter ondersteunend bij vorming oordeel
Wat moet er veranderen volgens de tien principes van Wouters en collega’s? Prestatie-indicatoren moeten volgens hen weer gebruikt worden zoals ze ooit bedoeld waren: als ondersteuning bij het vormen van een oordeel. Dat oordeel zelf – over wetenschappers, over onderzoek – is namelijk primair expertwerk: de in zekere zin ‘subjectieve’ afweging van deskundigen en andere bekwame stakeholders in de samenleving.
Rekening houden met kenmerken vakgebied
Ook moeten we af van de bijna exclusieve focus van de huidige prestatie-indicatoren op Engelstalige journals. Zo worden Spaanse juristen nu gedwongen in een Engelstalig tijdschrift te publiceren, anders krijgen ze geen prestatiepunten. Bij veel vakgebieden passen de uniforme prestatie-indicatoren sowieso slecht, vinden de bibliometrici. Volgens de auteurs moeten de indicatoren veel meer rekening houden met de specifieke kenmerken van ieder vakgebied. In veel geesteswetenschappen is het schrijven van boeken bijvoorbeeld usance.
Prestatie-indicatoren speelden vroeger minder grote rol
Die prestatie-indicatoren bestaan toch al enkele decennia. Waarom dan nu zo veel kritiek? Wouters: ‘De indicatoren speelden vroeger een minder grote rol bij beoordelingen. De laatste jaren worden ze echter te serieus en absoluut genomen. Niet alleen door managers van universiteiten, maar ook door onderzoekers zelf.’
Discussie op scherp
Hebben de bibliometrici een ‘Monster van Frankenstein’ gecreëerd waar ze de wereld nu ernstig voor waarschuwen? Wouters: ‘Die vergelijking is te sterk, omdat het niet de bibliometrici zijn die bepalen hoe onderzoekers worden beoordeeld. Maar ik hoop wel dat nu de waarschuwing van óns komt, de bedenkers van de prestatie-indicatoren, wetenschappers en managers goed zullen luisteren. In ieder geval is de discussie nu wel scherp aangezet.’
(KV)
'Bibliometrics: Leiden Manifesto for Research Metrics', in Nature, 22 april 2015