Ben poche le innovazioni sostanziali contenute nel draft della Valutazione della Qualità della ricerca (VQR), che riguarda il quadriennio 2011-2014. Piuttosto, un piccolo ma significativo passo indietro rispetto alla precedente VQR, che abbracciava un periodo più lungo, 6 anni, dal 2004 al 2010.  
Ci si chiede infatti che affidabilità può avere una valutazione limitata ad un periodo, 4 anni, che nel caso di molte ricerche, soprattutto innovative, può essere troppo breve anche per generare un  solo articolo a stampa in extenso, un saggio o un libro.
Un periodo così breve, inoltre, rende praticamente inutilizzabili le citazioni bibliometriche specifiche di ciascuna pubblicazione. Queste citazioni sono in generale ben poche nei primi anni dalla pubblicazione, diventando significative e indicative dell’impatto del lavoro sulla letteratura internazionale solo dopo almeno 4-5 anni.

L’altro parametro bibliometrico disponibile per valutare la ricerca è il fattore di impatto (impact factor, IF), che però non riguarda l’articolo da valutare ma la rivista nella quale è stato pubblicato. Nella migliore delle intenzioni, l’IF fornirebbe una valutazione prospettica dell’impatto dell’articolo attraverso l’impatto della rivista, calcolato annualmente sulla base delle citazioni degli articoli in essa pubblicati nei due anni precedenti.  
E’ noto, tuttavia, che l’IF è determinato in larga misura dalle citazioni ottenute da una percentuale molto bassa di articoli (appena il 5% del totale) che raccolgono un numero elevato di citazioni entro i due anni dalla pubblicazione. Inoltre, l’IF è facilmente manipolabile da parte delle case editrici e degli stessi autori che vi pubblicano. Infine, l’IF è inaffidabile nel caso di aree di ricerca poco frequentate e meno di moda, ma non per questo meno importanti.
Ma l’aspetto più negativo dell’uso dell’impact factor come criterio bibliometrico di valutazione, sul quale si sono appuntate le critiche di varie società scientifiche, come la Society for Neuroscience (SFN) e la Federation of European Neuroscience Societies (FENS), è l’aspetto diseducativo sui giovani, costretti a seguire, invece della loro creatività e inventiva, i filoni di ricerca più in voga, privilegiati dalle riviste più prestigiose, o le interpretazioni e le posizioni  di quel tal gruppo di ricercatori che le controllano dal punto di vista scientifico.

A questa critica del limitato potere valutativo dei metodi bibliometrici applicati su un periodo di 4 anni si potrebbe obiettare che il VQR 2011-2014 prevede , come il precedente, un altro strumento per la valutazione dei prodotti della ricerca, la peer review anonima da parte di almeno due revisori per ciascun prodotto. Anche questo metodo, però, non è esente da inadeguatezze, le quali, nelle intenzioni del legislatore, sarebbero potute essere moderate o corrette proprio dall’introduzione dello strumento bibliometrico.
La peer review, infatti, fatta in questo modo finisce per essere afflitta dagli stessi problemi che hanno afflitto la valutazione dei Progetti di Interesse Nazionale (PRIN), anch’essa basata sul giudizio di due referee anonimi, e coronata dall’abolizione dei PRIN stessi. Una peer review siffatta si presta inevitabilmente alle valutazioni più personalistiche e di parte, basate, non su criteri di originalità, rigore metodologico e impatto internazionale, come indicato nel draft del VQR 2011-2014, ma su criteri di Scuola o, peggio, su rapporti e interessi personali. Inoltre, il fatto che lavori appartenenti alla stessa area siano valutati da un numero imprecisato di revisori in maniera strettamente individuale piuttosto che collegiale, rende impossibile l’applicazione di criteri comuni e comparativi e anche nel migliore dei casi e delle intenzioni, è destinato a produrre valutazione del tutto non uniformi.

Nel caso della VQR, il GEV potrebbe avere la funzione di uniformare i giudizi e correggere gli eventuali eccessi più manifesti ma la mole dei prodotti è tale da rendere questo compito estremamente arduo ed oneroso.
Quale correttivo proporre per quello che a nostro parere è il difetto maggiore del VQR 2011-2014? Basterebbe riprendere in considerazione i prodotti del VQR 2004-2010 e integrare la loro valutazione con quella dei prodotti 2011-2014. A questa proposta si potrebbe obbiettare che quei dati sono disponibili e che  sono stati già utilizzati ai fini della premialità. Tuttavia, mentre rifare la peer review, effettuata con le modalità nazionali (che, beninteso, non sono quelle internazionali) e cioè con due referee anonimi per prodotto, non assicurerebbe un miglioramento, le valutazioni bibliometriche potrebbero avvantaggiarsi del tempo trascorso ed essere, in molti casi, praticamente a regime, diventando così uno strumento efficace di valutazione.
Perciò, per i prodotti del VQR 2004-2010 basterebbe prendere in considerazione solo le citazioni per lavoro, escludendo l’IF, che, riferendosi all’anno di pubblicazione del lavoro, è rimasto lo stesso. In pratica si tratterebbe di utilizzare, per il computo del valore di ciascun prodotto, oltre ai fattori, bibliometrici e non bibliometrici, previsti  dal VQR 2011-2014, anche le citazioni al 31 dicembre 2015 dei prodotti della ricerca del VQR 2004-2010. Si tratta di un’integrazione che non comporterebbe alcun aggravio per le Università e gli Istituti di ricerca e potrebbe essere effettuata centralmente da parte del supporto informatico dell’ANVUR.

Un altro punto critico del nuovo VQR è quello del numero di lavori di ciascun ricercatore da presentare ai fini della valutazione. Questo numero è 2 per la maggior parte dei ricercatori universitari e sale a 3 per i ricercatori degli Istituti. In pratica la valutazione viene effettuata sui 2 o 3 migliori prodotti in capo a ciascun ricercatore. E’ evidente che questo metodo finisce per appiattire le differenze tra le Istituzioni ma potrebbe in certi casi addirittura stravolgerle.
Non c’è dubbio che solo la valutazione di tutta la produzione scientifica di ciascuna Istituzione può fornire una quadro realistico della qualità della ricerca. Siamo ben consci che la valutazione dell’intera produzione scientifica di ciascuna Istituzione, anche solo per il periodo 2011-2014, comporta un sforzo organizzativo e finanziario incompatibile con la dotazione di personale e di fondi dell’ANVUR.
Tuttavia, riteniamo che il numero di prodotti da utilizzare per la valutazione vada aumentato almeno fino ad un massimo di 4 per i ricercatori universitari e di 6 per quelli degli Istituti. In questo modo si aumenterebbe il potere di risoluzione della valutazione, aumentando le differenze tra le Istituzioni e consentendo a quelle più meritevoli di staccarsi dalle altre.

Gruppo 2003 per la ricerca scientifica