Evalueren van onderzoek op zijn Frans

Eerder deze week was ik in Parijs te gast bij het INRA. Vanuit hun ASIRPA project organiseerden ze een interessante conferentie over het evalueren van onderzoek. In dit geval stond de evaluatie van een instituut centraal - hoe kun je aantonen dat INRA zijn geld waar is?
De gedachte is dan om naar de successen te kijken. Veel projecten leveren weinig op, maar af en toe is er een knaller die tot een vinding leidt waar boeren of consumenten zeer goed mee af zijn. Elke universiteit heeft wel zo'n boekje met grootste successen uit het verleden.
Waarmee we meteen bij probleem 1 zijn: het is net de aandelenmarkt - resultaten uit het verleden zijn geen garantie voor de toekomst. Maar we hebben niets beters. Tweede probleem is natuurlijk dat het niets zegt over de kwaliteit van het management en de efficiency van de bestede gelden. Dankzij een klapper kan een instituut de investering meer dan waard zijn, maar misschien hadden de 'bleeders' wel veel eerder kunnen worden gestopt. Fast failure is dus goed management, geen slecht management. Omdat je net als bij de reclame of de aandelen niet weet wat het goed zal doen maar wel weet dat de helft of meer niet zal werken, is een portefeuille aanpak nuttig. Maar misschien moet je dan toch ook op portefeuille niveau analyseren en vergelijken.

ASIRPA pakt het aan met case-studies van succesvolle introducties van nieuwe technieken. het mooie daarvan is dat het verhalen met tijdlijnen oplevert waarin je kan zien wat onderzoek gedaan heeft en wat bv. de wetgeving. Zoals iemand zei: "Science brings hope, that is the first reason to do it. Stories help, like testimonials".
Maar vervolgens ontstaat er wel een probleem. Hoeveel van de maatschappelijke winst reken je nu toe aan een bepaald onderzoeksprogramma. Dit attributie-probleem wordt nog erger als je beseft dat een onderzoeksprogramma vaak weer op een eerder programma voortbouwt. En zo kom je uit bij de 19e eeuw of de oude Grieken. INRA kent geen programma's of projectenorganisatie dus daar valt dit effect misschien mee, maar in Nederland heb je al snel last van 'project fallacy' - het idee dat alles komt door het project dat je doet en dat dit wordt afgezet tegen niets doen (terwijl in werkelijk de manager vaak kiest tussen dit en een alternatief project).
Overigens kwam iemand met het idee dat je niet zou uit moeten gaan van onderzoeksdoorbraken, maar van maatschappelijke uitdagingen (INRA is een publiek instituut) en zou moeten kijken waar en hoe het onderzoek heeft bijgedragen.

Leerzaam vond ik een inleiding van een internationaal onderzoeksmanager (met ervaring bij de Google Foundation en Bill Gates, maar nu weer in de publieke sector) die uitlegde afspraken te maken tussen financiers en onderzoekers over de outcome van een project. En dat ziet als een onderhandeld concept. Het is het niveau waar onderzoekers zich nog wel verantwoordelijk voor willen voelen (hoewel ze meer met output in de vorm van aantal lezingen of papers hebben, maar outcome geeft wel wat meer flexibiliteit en minder detail controle in de financien). Financiers maken liever afspraken over impact maar het duurt vaak een paar jaar voor je kunt aantonen dat die duurzaam bereikt zijn. En daar is de mode om ze nu vast te stellen via echte rendementsberekeningen op basis van randomized control experiments. Daar moet je een individueel project of programma niet op afrekenen. We gaan er over nadenken of dit een opening biedt in de discussie over excellence en relevance in onderzoek. Vandaar deze aantekenngen van een nuttig dagje Parijs.