I due sociologi Robert Merton e Harriet Zuckerman lo dicono dagli anni Sessanta: nella scienza chi è più famoso verrà favorito. In un articolo firmato da Merton nel 1968 per la rivista Science questo effetto venne chiamato Matthew Effect, alludendo al salmo di Matteo 25, 29 che recita
Perché a chiunque ha sarà dato e sarà nell'abbondanza; ma a chi non ha sarà tolto anche quello che ha.
Provoca un sorriso amaro il fatto che Merton firmò da solo quel lavoro su Science, e solo venti anni dopo ammise, in un articolo successivo, che le sue considerazioni erano fortemente basate sulle interviste raccolte sul campo con diversi premi Nobel da Zuckermann e che dunque avrebbe dovuto firmare anche lei l’articolo. Da quel momento in poi Merton propose di riferirsi al Matthew Effect come alla “ipotesi Zuckerman-Merton”, condividendo con la sociologa americana il merito della scoperta. Zuckerman era caduta vittima di un’altra distorsione nell’attribuzione del talento nella scienza, il cosiddetto Matilda Effect, cioè il mancato riconoscimento dei meriti alle donne scienziate.
Ora uno studio randomizzato, che ha coinvolto oltre 3000 revisori contattati dalla rivista Journal of Behavioural and Experimental Finance, ha confermato che il Matthew Effect esiste eccome: avere un nome noto aumenta significativamente la probabilità di vedere il proprio manoscritto pubblicato. Lo studio, depositato a metà agosto sull’archivio di preprint delle scienze sociali SSRN, è stato presentato due settimane fa a Chicago durante l’International Congress on Peer Review and Scientific Publication.
In una prima fase gli editor della rivista hanno inviato a 3300 revisori un invito a valutare il manoscritto. In circa 800 inviti era indicato solo il nome del più giovane autore del lavoro, Sabiou Inoua, post doc presso la Chapman University in California. In circa 2000 inviti non veniva indicato alcun autore, mentre in 500 inviti veniva segnalato solo il nome dell’altro autore, il premio Nobel per l’economia del 2002 Vernon Smith, anche lui alla Chapman University. I revisori hanno accettato di valutare il manoscritto nel 29%, 31% e 39% rispettivamente. La probabilità che i revisori accettino di valutare il manoscritto è dunque significativamente più alta se confrontiamo il caso in cui compare solo il nome di Smith con quello in cui non compare alcun nome o compare solo il nome di Inoua. Al contrario, non si vede un effetto “scoraggiante” del nome di Inoua rispetto al caso in cui nessun autore viene indicato.
In una seconda fase, gli autori hanno misurato quanto lo status di “premio Nobel“ e “giovane ricercatore” influenzino le valutazioni dei revisori. I revisori che hanno valutato il manoscritto firmato solo da Inoua hanno raccomandato la sua pubblicazione o hanno suggerito solo revisioni minori in poco meno del 10% dei casi. Questa percentuale sale al 24% per i revisori che hanno ricevuto il manoscritto anonimo e al 59% per quelli che hanno revisionato lo stesso manoscritto ma firmato solo da Smith. Allo stesso modo, la probabilità che il manoscritto venisse rifiutato o ricevesse una valutazione molto negativa è stata significativamente maggiore quando compariva solo il nome di Inoua rispetto a quando compariva solo il nome di Smith.
È importante sottolineare che i revisori che hanno accettato di valutare il manoscritto sono stati avvisati che erano parte di uno studio randomizzato. Inoltre, il manoscritto non era stato depositato come preprint, cosa avvenuta solo dopo la fine dello studio.
«Il maggiore punto di forza del lavoro è quello di aver scelto come autore famoso un premio Nobel per l’economia. Questo garantisce che la comunità a cui appartengono i revisori coinvolti nello studio ne riconosca l’autorevolezza e il prestigio al di là di ogni dubbio», commenta Flaminio Squazzoni, sociologo all’Università degli Studi di Milano che si occupa di sociologia della scienza e che, tra le altre cose, ha guidato il progetto europeo PEERE dedicato all’analisi e al miglioramento del processo di peer review.
Squazzoni segnala però un possibile fattore confondente. «L’origine etnica del nome del secondo autore, il ricercatore giovane, è differente da quella del premio Nobel e questo potrebbe aver condizionato la decisione dei revisori».
In altre parole, viene il dubbio che più che misurare il bias dovuto al prestigio, la ricerca misuri il bias dovuto al fatto che Smith è un ricercatore maschio bianco e Inoua è un ricercatore maschio non bianco. Si potrebbe obiettare che questa scelta abbia reso ancora più forte il segnale, ma non è possibile affermarlo con ragionevole certezza senza dati sperimentali. «È impossibile distinguere i due effetti con questa impostazione dell’esperimento. Un peccato».
Per quanto riguarda la propensione ad accettare di valutare il manoscritto, Squazzoni commenta che forse ci sono altri meccanismi che spiegano i dati raccolti. «Nonostante il lavoro dei revisori sia remunerato in molte riviste di economia e finanza, anche se si tratta di cifre simboliche, i revisori sono interessati a minimizzare la probabilità di trovarsi in mano un articolo di bassa qualità che fa sprecare tempo mentre sono tipicamente interessati a massimizzare la probabilità di imparare qualcosa dagli autori durante la revisione», commenta Squazzoni e aggiunge: «considerando che la decisione di accettare il compito di revisore si basa solo su titolo, abstract e parole chiave del manoscritto, senza poter leggere l’intero articolo, è comunque probabile che la notorietà di Smith sia stata percepita in qualche modo come garanzia di qualità del testo».
Nelle conclusioni del lavoro, gli autori suggeriscono che la peer review che mantiene l’anonimato sia dei revisori che degli autori, la cosiddetta double blind peer review, potrebbe mitigare questo effetto. «In sociologia, il campo in cui questo effetto è studiato da cinquant’anni, questa è la prassi di tutte le riviste. Accade lo stesso in altre discipline affini, perché è proprio la comunità di umanisti e sociologi a studiare gli effetti di questi bias di percezione nel generare disuguaglianze. Ma le riviste di molti altri campi e anche quelle più prestigiose, non la adottano di default», commenta Squazzoni e aggiunge «mi aspetto che quando gli autori decideranno di sottoporre questo manoscritto per la pubblicazione scelgano una rivista double blind».
C’è da dire che nei campi in cui è molto diffusa la pratica dei preprint, la double blind peer review potrebbe essere difficile da realizzare nella pratica. Ai revisori basterebbe googlare il titolo dell’articolo per scoprire chi lo ha firmato. «È vero», dice Squazzoni, «ma ritengo che la scelta di applicare la double blind peer review mandi un messaggio implicito da parte degli editor della rivista ai revisori. Con quella scelta gli editor stanno dicendo che si aspettano che il nome degli autori non influenzi le valutazioni dei loro revisori».
Infine, è interessante notare che gli autori hanno inviato un manoscritto di qualità media (cioè hanno volontariamente lasciato alcuni aspetti migliorabili) proprio per evitare di introdurre ulteriori elementi di distorsione: manoscritti troppo brutti o troppo belli possono “annullare” il Matthew Effect. «Un interessante follow-up dello studio sarebbe testare l’effetto dei diversi livelli di qualità di un manoscritto per capire fino a che punto il prestigio dell’autore compensa la qualità e viceversa quanto deve essere buono un lavoro per compensare la mancanza di fama di giovani ricercatori che non hanno ancora vinto o, probabilmente, non vinceranno mai un premio Nobel».
