Presentatie handreiking Evaluatie van maatschappelijke relevantie van wetenschappelijk onderzoek

Maandag 8 maart reikte ERiC de eerste exemplaren uit van de nieuwe handreiking Evaluatie van maatschappelijke relevantie van wetenschappelijk onderzoek aan vertegenwoordigers van NWO, KNAW, VSNU en HBO-raad. Deze handreiking stelt onderzoekers in staat op een constructieve en structurele manier de maatschappelijke relevantie van hun onderzoek in kaart te brengen.

 

De handreiking begeleidt onderzoeksgroepen door zelfstudie en rapportage aanvullend op het SEP (voor universiteiten en onderzoeksinstituten) en het BKO (voor hogescholen). Barend van der Meulen (ERiC-project, Rathenau Instituut) noemt de methode zelf 'eigenlijk niet zo revolutionair.' Er is geen baanbrekende nieuwe definitie van wat maatschappelijke relevantie is, noch een geheel nieuwe manier van dataverzameling. De handreiking geeft wel aan hoe onderzoekers op basis van missie en doelstellingen en gebruik makend van slimme indicatoren tot een goede beschrijving kunnen komen van de maatschappelijke relevantie van hun onderzoek. Het meest in het oog springende daarbij was de nadrukkelijke aanwijzing om te letten op concreet behaalde resultaten in plaats van vage beloften.

Beleidsmakers

'Dit initiatief komt op een goed moment. We leven in een politiek onzekere tijd en dan moet je je zaken goed op orde hebben. Enerzijds moeten beleidsmakers een sense of urgency weten te creëren. Wetenschappelijk onderzoek is in het verleden te veel gezien als een constructieve investering. Met bezuinigingen voor de deur is er echter behoefte aan besteding van middelen aan probleemoplossende activiteiten. Anderzijds moet beleid evidence based zijn: je moet weten waarover je het hebt. Er is vraag naar gegevens over de impact van onderzoek op meso- en microniveau. Deze methode geeft een aanzet om die gegevens te kunnen genereren,' aldus Renk Roborgh, Directeur-generaal Hoger onderwijs, Beroepsonderwijs, Wetenschap en Emancipatie, Ministerie van OCW.

De centrale vraag tijdens de bijeenkomst was: gaan onderzoekers de methode ook echt gebruiken? Dat was wel het advies van Roborgh: 'Er ligt voor 1,3 miljard aan investeringsplannen op de plank. Al die plannen zijn aangestuurd vanuit maatschappelijk rendement. Het ligt voor de hand dat valorisatie alleen maar belangrijker wordt. Ik nodig de instellingen van harte uit de handschoen op te pakken.' Ook Doekle Terpstra (HBO-raad) zei de ERiC-methode van harte aan te bevelen aan de HBOinstellingen. 'Het maakt mogelijk het onderzoek van lectoraten met elkaar te vergelijken op dit criterium.'

Diversiteit van onderzoek 

Sijbolt Noorda (VSNU) wees op de mogelijkheid die ERiC biedt om rekening te houden met diversiteit van onderzoek. Hij voorzag problemen wanneer de ERiC-methode een keurslijf zou worden voor wetenschappers. Hoe vergelijk je nu de maatschappelijke impact van fundamenteel natuurkundig onderzoek naar Higgs Boson met rechtswetenschappelijk onderzoek naar een verschuivende strafmaat? Noorda: 'De maatschappelijke betekenis verloopt bij elke discipline via andere wegen.' Hij stelde dat het huidige rankingsysteem (citaties tellen en peer review) een vergelijkbaar, maar ander keurslijf vormde. Juist in het doorbreken van dát keurslijf zag Noorda kansen voor ontwikkeling: 'Rankings leiden tot kloongedrag. Als je anders gaat ranken, kun je veranderen. Dat maakt deze handreiking niet alleen belangrijk voor de buitenwereld, maar ook voor onszelf.'

Stakeholders 

Theo Mulder, directeur Instituten van de KNAW, maakte een vergelijkbaar bruggetje naar de dagelijkse praktijk waarin de wetenschappelijke kwaliteit van onderzoek wordt bepaald. Waar bij peer review en visitatie de peers de maat nemen voor onderzoek, kun je onmogelijk verwachten dat zij dit belangeloos doen. Velen kennen voorbeelden waarbij persoonlijke vetes of eigenbelang een rol in de oordeelsvorming spelen. 'Als je aan de maatschappelijke stakeholders gaat vragen wat ze van je onderzoek vinden, is het naïef om te veronderstellen dat je onderzoeksresultaten landen in een neutrale samenwerking. Die stakeholders zijn ook niet belangeloos.'

Vanuit de zaal werd hetzelfde bezwaar uitgesproken: belangenverstrengeling ligt op de loer wanneer stakeholders de keurmeester worden. 'Het is niet simpel,' erkende Noorda, 'maar het is echt niet veel anders dan wat er bij peer review dagelijks gebeurt. Als je aan het gevaar gewend bent, zie je het niet meer. Daardoor lijkt stakeholderparticipatie in visitaties nu ineens een nieuw probleem. Dat is het dus niet. Het goede van de ERiC-methodiek vind ik, dat het systematische evaluatie mogelijk maakt. Daardoor word je er minder kwetsbaar voor.'

 

Ketenrelevantie 

Daar waar de traditionele manier van visiteren (vooral lettend op wetenschappelijke kwaliteit) sommige disciplines of domeinen onderbelicht, zo vreesde een aantal onderzoekers in de zaal dat het aantonen van maatschappelijke relevantie van bijvoorbeeld sterrenkundig onderzoek de onderzoekers voor grote problemen zal stellen. 'Je moet eigenlijk kijken naar ketenrelevantie,' meldde een aanwezige onderzoeker van Astron. 'Direct maatschappelijk nut is er vaak niet, maar ons onderzoek leidt wel tot technologische vernieuwingen.' Van der Meulen merkte op dat via de ERiC-methode dan zeker aan het licht komt dat er contact is met de ketenpartners. 'Laat maar zien dat die keten functioneert.`

Ondersteuning van het SEP 

Ton Backx, decaan van de faculteit Electrical Engineering van de TU Eindhoven, was betrokken bij een van de pilots. Volgens hem biedt een tweede volwaardige manier van onderzoeksbeoordeling juist goed evenwicht. Het SEP voldoet niet voor ieder type onderzoek. 'Het SEP hapert bij toepassingsgericht onderzoek en ontwerpstudies. Je telt publicaties en je ziet wetenschappelijke reputatie in cijfers uitgedrukt. Maar vind maar eens een peer reviewed tijdschrift voor dat soort resultaten. Je meet voor die disciplines gewoon het verkeerde.' Backx vond daarom de ERiC-methodiek een welkome ondersteuning van wat het SEP zou moeten uitdrukken. 'Maar ik ben niet erg optimistisch zolang de wetenschappelijke kwaliteit op de traditionele manier beoordeeld blijft worden.'

Fundamenteel onderzoek 

De panelleden waren het eens met elkaar: de meetlat die je langs onderzoek legt, zou eigenlijk voor elke discipline anders moeten zijn. Jos Engelen (voorzitter NWO) merkte daarbij op dat de tegenstelling tussen fundamenteel en toegepast zoals die door sommigen in de zaal geponeerd werd, er wat hem betreft niet was. 'In de NWO-strategie is er ruim plaats voor fundamenteel onderzoek, dat maatschappelijk geïnspireerd is. Je ziet ook vaak dat fundamenteel onderzoek leidt tot toepassingen, die op hun beurt weer nieuwe fundamentele vragen oproepen. Je hoeft er niet ver voor te zoeken: internet is een alledaags voorbeeld van die cyclus.'

Onderzoekers 

De vertegenwoordigers van de verschillende instanties waren eensgezind enthousiast over de ERiC-methodiek. 'Maar zitten onderzoekers er wel op te wachten? De bureaucratische druk op de gemiddelde wetenschapper ís al torenhoog,' vroeg dagvoorzitter Harry Lintsen (TU Eindhoven) zich af. Backx: 'Onderzoekers waren enthousiast. Het brengt hen de kans op waardering voor zaken waar tot nu toe geen oog voor was.' Noorda: 'Je laat nu een heel waardevol gebied aan researchpotentie onbenut. Dat hebben we te veel laten gebeuren. Dit is een kans op een omslagpunt.' Mulder, zelf hoogleraar, moest om de administratieve last een beetje glimlachen: 'Het wordt al jarenlang gevraagd: societal relevance is echt niet nieuw in het SEP. Alleen fantaseerde iedereen erop los bij het invullen. Nu heb je in elk geval een richtlijn. Dus ik denk dat het wel meevalt met de administratiedruk.' Dat stelde Lintsen enigszins gerust.

Medeauteur Peter van den Besselaar (Rathenau Instituut) besloot de paneldiscussie met de woorden: 'Ik ben zelf ook onderzoeker, dus ik spreek uit eigen ervaring. Onderzoekers zijn ontzettend narcistisch. Als bestuurders een context creëren waarin maatschappelijke relevantie relevant wordt, komen ze er vanzelf mee.' Daarmee legde hij de bal terug bij OCW, KNAW, NWO, VSNU, HBO-raad en de besturen van universiteiten, onderzoeksinstituten en hogescholen – de beslissers inzake visitatie, verdeling van onderzoeksgeld en wetenschappelijke agendering.