Il sistema attuale della ricerca e della comunicazione scientifica si costruisce su regole di valutazione che non sempre sono allineate con i principi della scienza aperta, della qualità e dell’integrità. I parametri di giudizio si concentrano sulle pubblicazioni, ovvero sulla sintesi finale del percorso di ricerca, che tralascia tutto quanto ha riguardato i processi intermedi. Per questo motivo, la Commissione Europea, ben consapevole dei limiti intrinseci ai metodi di valutazione attuali, ha lanciato un’iniziativa per ridefinire la valutazione della ricerca, raccogliendo le spinte e il fermento che già da diversi anni vanno nella direzione di azioni concrete verso il cambiamento.

Il modo di fare ricerca si evolve. I valori della collaborazione, delle pratiche della scienza aperta, della condivisione dei risultati prevalgono sempre di più sulla competizione. La digitalizzazione ha cambiato il modo di lavorare e questa trasformazione ha riguardato risultati e processi della ricerca e dell’innovazione in tutte le loro forme, compresi set di dati, software, codici, metodologie, protocolli e brevetti e non solo le pubblicazioni; la trasformazione apre a percorsi di carriera eterogenei, a varie discipline di ricerca, alla diversità, alla parità di genere.

La comunicazione e la valutazione corrente della scienza hanno condotto sempre più verso comportamenti dubbi quando non scorretti: la publish or perish culture, ovvero la corsa a pubblicare, a svilire l’importanza dei processi in favore del risultato, a premiare la quantità delle pubblicazioni e di pubblicazioni su riviste rispondenti a determinati canoni, riconosciuti come elementi distorsivi (Journal Impact Factor, H-Index e indicatori bibliometrici quantitativi in generale). Ci si è quindi interrogati sull’appropriatezza del sistema di valutazione attuale e ne è emersa l’urgenza di un’azione di riforma concreta e non di mera forma.

La lunga strada che porta all'accordo europeo

Nel gennaio 2021 la Commissione Europea ha dato formalmente l’avvio a un processo di consultazione per riformare la valutazione della ricerca scientifica, azione poi sfociata nella pubblicazione dell’Agreement on Reforming Research Assessment, avvenuta il 20 luglio 2022. L’Accordo è attualmente aperto alla sottoscrizione di università, enti di ricerca e agenzie di finanziamento.

Ma quali sono stati gli avamposti della riforma? La San Francisco Declaration on Research Assessment (DORA, 2013) ha rappresentato una premessa teorica essenziale: ha stabilito raccomandazioni per migliorare la maniera in cui i prodotti della ricerca scientifica sono valutati e ha raccomandato in particolare la valorizzazione del merito intrinseco della ricerca, escludendo le misurazioni basate su metriche quantitative, come il Journal Impact Factor. The Leiden Manifesto for Research Metrics (2015) e Hong Kong Principles for Research Assessment (2019) hanno definito i principi per assicurare che i ricercatori siano incentivati a pratiche a supporto dell’integrità della ricerca. Non sono mancate azioni con impatto a livello nazionale, come il Room for everyone’s talent, che ha unito le forze di diversi stakeholder a livello nazionale in Olanda, come università ed enti finanziatori della ricerca, per promuovere cambiamenti nella valutazione della scienza.

Il fermento alla base di questi movimenti nazionali e sovranazionali ha innescato il processo per la riforma in atto, accelerato in maniera dirompente dalla pandemia di Covid-19, che ha reso lampanti molti limiti del sistema di comunicazione della scienza e fatto emergere enormi contraddizioni.

Tedros Adhanom Ghebreyesus, direttore generale dell’Organizzazione Mondiale della Sanità, immediatamente dopo l’inizio della pandemia, invitava tutti i paesi, le aziende e le istituzioni di ricerca a rendere liberamente accessibili dati della ricerca e informazioni per l’avanzamento della scienza, a beneficio della comunità («I call on all countries, companies and research institutions to support open data, open science, and open collaboration so that people can enjoy the benefits of science and research» , WHO Director-General’s Opening Remarks at the Media Briefing COVID-19 - 6 April 2020). Robert Terry, Manager Research Policy, dell’OMS, asseriva come, dopo oltre un anno dall’inizio della pandemia, gli editori tradizionali si fossero rivelati "inutili" e meno del 25% del materiale scientifico incluso nelle linee guida dell’OMS sul Covid-19 proveniva da pubblicazioni tradizionali («They proved useless, just when we needed them most», Time to unlock the potential of the digital age, Open Science Fair 2021, settembre 2021)

In questo scenario, la Commissione Europea ha messo in atto una duplice strategia: sul fronte pratico, per quanto riguarda le procedure di valutazione dei progetti europei, e sul fronte politico, con la promulgazione dell’Accordo per una riforma della valutazione della ricerca.

Con il Programma quadro dell'Unione Europea per la ricerca e l'innovazione 2021-2027, Horizon Europe, sia nella valutazione dei ricercatori sia delle proposte c’è stata una grande accelerazione in direzione della scienza aperta. Vengono ammesse e sottoposte a valutazione diverse tipologie di risultati della ricerca a favore della bibliodiversità, la valutazione dei curricula dei ricercatori avviene mediante forma narrativa: è esplicitamente richiesto di descrivere l’impatto dei propri risultati non utilizzando gli indicatori bibliometrici. Si sottopongono a valutazione solo - o in via privilegiata - pubblicazioni provviste di DOI, un identificativo univoco che le renda pertanto rintracciabili, ossia che rispondano al primo dei principi FAIR (Findabile, Accessibile, Interoperable, Reusable) della scienza aperta, e che siano ad accesso aperto. Altro aspetto molto importante e innovativo è che per la prima volta le pratiche della scienza aperta devono essere incluse nella metodologia.

La genesi dell’accordo

L’Agreement on Reforming Research Assessment è stato pubblicato il 20 luglio di quest’anno, alla fine di una serie di consultazioni tra Commissione Europea, stati membri, agenzie di valutazione avutesi nel corso del 2021. Un processo complesso che ha portato, nel dicembre dello scorso anno, alla composizione di un gruppo di lavoro, il Drafting Team, composto da Commissione Europea, Science Europe, che rappresenta i maggiori enti finanziatori della ricerca a livello europeo, la European University Association, che comprende oltre 800 università in Europa e la ricercatrice Karen Stroobants. Il Drafting Team che si è dedicato, tra gennaio e luglio 2022, alla stesura dell’Accordo, coadiuvato da un ulteriore gruppo di lavoro, il Core Group (di cui hanno fatto parte 20 istituzioni europee, tra cui il Consiglio Nazionale delle Ricerche, unica istituzione italiana) e un’assemblea degli stakeholder interessati, che ha superato le 350 organizzazioni (23 italiane), da 40 paesi.

Il documento è stato sottoposto ai rappresentanti degli stati membri in occasione dello European Research Area Forum per essere finalmente pubblicato il 20 luglio 2022. È stato ufficialmente aperto alle firme dei potenziali sottoscrittori durante la sessione plenaria dell’evento European Research and Innovation Days 2022, il 28 settembre, da Mariya Gabriel, Commissaria europea per l'istruzione, la cultura, il multilinguismo e la gioventù, occasione in cui è stata anche lanciata dalla Coalition for Advancing Research Assessment (CoARA).

Quello che è importante sottolineare è non solo il numero di organizzazioni che hanno contribuito e collaborato alla stesura dell’Accordo, bensì l’eterogeneità di tali organizzazioni, coinvolte a vario titolo nella valutazione della ricerca. Una riforma di entità rilevante può avvenire in modo efficace solo se si tratta di un cambiamento che interessa l’intero ecosistema della comunicazione e della valutazione scientifica. L’inclusività che ha connotato il processo di genesi dell’Accordo è certamente una delle ragioni per le quali oggi un numero importante di organizzazioni è già firmatario del documento (si contano 360 organizzazioni, al 18 novembre).

L’Agreement on Reforming Research Assessment

L’anima dell’accordo è racchiusa in un documento denominato Scoping Report; esso contiene le basi teoriche per facilitare e accelerare una riforma che:

• promuova la valutazione qualitativa basata sulla peer review, supportata da un uso più responsabile degli indicatori quantitativi
• consideri il valore e l’impatto di una pluralità di risultati della ricerca (bibliodiversità) e il multilinguismo
• riconosca la diversità delle attività svolte da un ricercatore e supporti la scienza collaborativa (team science)
• incentivi la collaborazione aperta e la condivisione di risultati e dati preliminari

«Lo scopo» spiega il documento «è che la ricerca venga valutata sulla base dei suoi meriti intrinseci piuttosto che del mero numero di pubblicazioni e di dove sono state pubblicate». Si tratta in altre parole, i diversi risultati, le pratiche e le attività che massimizzano qualità e impatto della ricerca.

Il documento è estremamente snello e si compone di cinque sezioni: un’introduzione, che riprende brevemente quanto contenuto nello Scoping Report, i principi su cui si basa l’accordo, gli impegni fondamentali e di supporto che chi firma l’accordo è tenuto a rispettare, la definizione della coalizione CoARA, la cui attività sarà preposta all’implementazione di quanto previsto nell’accordo e, infine, un calendario di azione che scandisce le tappe e gli obiettivi che le istituzioni aderenti alla coalizione si impegnano a raggiungere.

Uno strumento estremamente prezioso, infine, sono gli allegati che contengono una serie di strumenti concreti che facilitano la messa in pratica del processo di cambiamento.

I principi 

La seconda parte del documento è focalizzata sui principi sia per le condizioni generali sia per la valutazione di criteri e di processi. I principi per le condizioni generali:

• rispettare le regole e le pratiche di etica e integrità e garantire che etica e integrità siano la massima priorità, mai compromessa da alcun contro-incentivo
• tutelare la libertà della ricerca scientifica
• rispettare l’autonomia delle organizzazioni di ricerca
• garantire l'indipendenza e la trasparenza dei dati, dell'infrastruttura e dei criteri necessari per la valutazione della ricerca e per determinare gli impatti della ricerca; in particolare attraverso una raccolta di dati, algoritmi e indicatori chiari e trasparenti, garantendo il controllo e la titolarità da parte della comunità di ricerca sulle infrastrutture e gli strumenti critici e consentendo alle persone valutate di accedere ai dati, alle analisi e ai criteri utilizzati.

I principi per la valutazione di criteri e processi si focalizzano in modo particolare sulla qualità, in particolare:

• l'originalità delle idee, la conduzione professionale della ricerca e i risultati che vanno oltre lo stato dell'arte
• la varietà di missioni di ricerca, che vanno dalla ricerca di base e di frontiera alla ricerca applicata
• la qualità, ovvero la ricerca è condotta attraverso processi e metodologie di ricerca trasparenti e attraverso una gestione della ricerca che consenta il riutilizzo sistematico dei risultati precedenti. L'apertura della ricerca e i risultati verificabili e riproducibili, ove applicabili, contribuiscono quindi in maniera decisiva alla qualità. L'apertura riguarda anche i risultati preliminari e la condivisione dei dati, nonché la collaborazione aperta, compreso il coinvolgimento della società ove appropriato. La valutazione dovrebbe basarsi su un giudizio qualitativo per il quale la revisione tra pari è centrale, supportata da eventuali indicatori quantitativi utilizzati in modo responsabile
• diversità, inclusività, collaborazione.

Gli impegni di chi firma l'accordo

Gli enti firmatari dell’accordo sono tenuti a rispettare dieci impegni chiari al cambiamento. Fra questi, quattro sono fondamentali, perché rappresentano i punti che favoriranno  il cambiamento verso il riconoscimento della diversità dei risultati della ricerca, pratiche e attività e che supporteranno una valutazione della ricerca che si evolve dal semplice uso degli indicatori quantitativi a una valutazione più complessa. I quattro impegni fondamentali sono:

1. riconoscere la varietà dei contributi e delle carriere, secondo i bisogni e la natura della ricerca
2. basare la valutazione principalmente sugli aspetti qualitativi per i quali la peer review è centrale, supportata da un uso responsabile di indicatori quantitativi
3. abbandonare gli usi inappropriati di metriche basate su riviste e pubblicazioni, in particolare gli usi inappropriati del Journal Impact Factor (JIF) e dell'H-index
4. evitare l’uso di ranking delle organizzazioni di ricerca.

Sei impegni di supporto rendono praticabili, attuabili i quattro punti precedenti:

5. impegnare risorse per riformare la valutazione della ricerca sulla base di quanto è necessario a realizzare i cambiamenti organizzativi sui quali ci si è impegnati
6. rivedere e sviluppare criteri, strumenti e processi per la valutazione della ricerca
7. aumentare la consapevolezza sulla riforma della valutazione della ricerca e fornire comunicazione, orientamento e formazione trasparenti sui criteri e sui processi di valutazione, nonché sul loro utilizzo
8. scambiarsi pratiche ed esperienze per l'apprendimento reciproco all'interno e all'esterno della Coalizione
9. comunicare i progressi compiuti nell'adesione ai principi e nell'attuazione degli impegni
10. valutare pratiche, criteri e strumenti basati su prove solide e sullo stato dell'arte della ricerca sulla ricerca (research on research) e rendere i dati apertamente disponibili per la raccolta e la ricerca.

CoARA, la coalizione

L'iter dell'accordo prevede la sottoscrizione e quindi l'adesione alla costituenda Coalition for Advancing Research Assessment (CoARA), una coalizione di organizzazioni di finanziamento della ricerca, organizzazioni di ricerca, autorità e agenzie di valutazione nazionali e regionali, nonché associazioni delle suddette organizzazioni, società scientifiche e altre organizzazioni pertinenti. Lo scopo primario della coalizione è quello di facilitare lo scambio di informazioni, l'apprendimento reciproco, la condivisione di buone pratiche tra tutti coloro che desiderano migliorare le pratiche di valutazione della ricerca.

La comunicazione dei progressi delle singole istituzioni, nel rispetto dell’autonomia di ognuna, si baserà su un’autovalutazione condivisa pubblicamente. A un anno dalla firma, i membri pubblicheranno un proprio percorso e piano d’azione per la riforma. Dopo cinque anni, l’organizzazione che ha sottoscritto l’accordo si impegna ad avere realizzato almeno un ciclo di revisione e sviluppo dei nuovi criteri, processi e strumenti di valutazione.

Già al lancio della coalizione, il 28 settembre scorso, all’apertura delle firme, comparivano i primi 51 firmatari e, pochi giorni dopo, il 6 ottobre, anche l’ANVUR, l’Agenzia nazionale di valutazione del sistema universitario e della ricerca, ha sottoscritto l’accordo, impegnandosi formalmente a entrare nel processo. La Commissione Europea ha aderito ufficialmente l’8 novembre e, nella stessa occasione, ha anche firmato la San Francisco Declaration on Research Assessment (DORA).

L’assemblea costituente di CoARA si terrà il primo dicembre 2022 e ne faranno parte solo i membri che hanno firmato e sono divenuti parte della coalizione entro il 17 novembre. CoARA resterà aperto per le organizzazioni che firmeranno successivamente e sarà sempre possibile farne parte. I firmatari non diventano automaticamente parte della coalizione, tuttavia aderirvi è il modo di diventare attori nel processo e membri di una comunità che lavora alla definizione di nuovi criteri e processi di valutazione. 

L’Open Science è riconosciuta come una condizione non sufficiente, ma necessaria per indicare la qualità della ricerca. La riforma vuole tornare a porre l’accento sul rigore e sul processo aperto e trasparente che porterà a pubblicare probabilmente meno, ma meglio. L’Agreement è certamente un punto di partenza, e non di arrivo.