La riproducibilità, cioè la possibilità di riprodurre un risultato scientifico quando un esperimento viene ripetuto da un diverso gruppo di ricerca, è considerata uno dei fondamenti che legittimano lo status della scienza. In realtà, sovente viene usato anche un altro termine, replicabilità, e nella letteratura scientifica c’è parecchia confusione.

Un documento preparato nel 2019 dalle Accademie scientifiche degli USA ha cercato di fare chiarezza, concludendo che riproducibilità significa ottenere gli stessi risultati utilizzando gli stessi dati in ingresso, gli stessi approcci computazionali, metodi, codici e procedure di analisi; replicabilità significa ottenere risultati concordanti fra studi mirati a risolvere lo stesso problema scientifico, ottenuti a partire ciascuno da un set diverso di dati. Che si tratti dell’uno o dell’altro approccio, l’obiettivo è quello di garantire che i risultati siano affidabili e utilizzabili da tutti.

Come tutti i grandi fondamenti, il confine fra mito e realtà è sfumato e complesso. E l’attenzione della stampa scientifica si è concentrata, negli ultimi anni, sulle criticità che rischiano di minare questo fondamento. L’argomento ha stimolato una serie di articoli sulle maggiori riviste scientifiche, in particolare Nature. Anche restando alla stampa nostrana, un contributo interessante si può leggere nell’articolo di D. Eisner uscito su pH, la rivista della Società italiana di fisiologia a inizio 2021.

Esperimenti flop

Più recentemente, una delle occasioni che hanno riacceso la discussione è stato un articolo, pubblicato su Nature nel dicembre 2021, che riferisce come uno studio condotto negli USA, durato 8 anni e costato 2 milioni di dollari, mirato a replicare dati preclinici sul cancro considerati molto rilevanti, ha prodotto risultati inquietanti: meno di metà degli esperimenti hanno superato il vaglio. Lo studio, finanziato da enti e fondazioni filantropiche privati, si proponeva di ripetere 193 esperimenti da 53 lavori, ma è riuscito a ripeterne solo 50 da 23 lavori. I risultati sono stati riassunti in due articoli. Nel primo, vengono elencate le difficoltà incontrate. Per ogni esperimento è stato necessario contattare gli autori per consigli e informazioni sui protocolli sperimentali, non riportati in dettaglio negli articoli originali. Il 26% degli autori si è dimostrato “estremamente collaborativo”, perdendo anche mesi per dare informazioni e scambiare reagenti; il 32% (!) è stato «assolutamente non collaborativo», in molti casi non rispondendo per niente. L’estrema complessità del progetto (in media ci sono volute 197 settimane per replicare un lavoro) ha fatto lievitare i costi (fino a 53.000 dollari per esperimento) e ha così costretto a ridimensionare l’obiettivo iniziale.

Il secondo articolo riporta i risultati. Solo il 46% dei tentativi di replicazione ha potuto confermare le conclusioni originali. E, in media, le dimensioni degli effetti erano più ridotte (85% in meno) di quelli riportati in origine. Molti dei ricercatori oggetto delle verifiche hanno criticato il rapporto, affermando di aver avuto conferme da altri lavori e che i protocolli usati dal progetto non erano sempre completi. Il fatto è che è che i processi di replicazione sono molto difficili: piccole differenze nella manipolazione dei materiali, non identificabili nei protocolli, possono portare a differenze anche significative. Qualcuno fa notare che un ricercatore, in una ricerca indipendente, ha riferito di essere riuscito a confermare i risultati di solo 6 dei 53 lavori di alto profilo che ha analizzato, pur avendo lavorato in stretto rapporto con gli autori dei lavori.

La riproducibilità, una faccenda complicata in cerca di soluzioni

Alcuni hanno parlato esplicitamente di “crisi della riproducibilità”. A questo punto il dibattito si è incentrato su cause e rimedi: e qui il quadro si fa complicato. Le proposte non mancano ma la loro applicabilità non è così ovvia. Ecco un breve elenco di alcuni dei rimedi proposti: uso degli studi in cieco; campioni più numerosi: maggior rigore statistico; pre-registrazione dei progetti. I ricercatori dovrebbero fare meno affermazioni a effetto e fornire prove più solide, e fare della condivisione dei dati un fondamento della propria ricerca.

In realtà, proposte simili – e il problema che le sottende – non sono nuovi. Già un decennio fa, il National Institute of Neurological Disorders and Stroke (NINDS) aveva organizzato un workshop con l’obiettivo di migliorare la rigorosità della ricerca preclinica. Le raccomandazioni erano state molto semplici, e analoghe a quelle riportate sopra.

Ma dieci anni dopo, molti ricercatori non seguono queste regole. Quali sono le cause? La risposta più comune è dare la colpa agli “incentivi perversi”: i ricercatori sono premiati per la quantità di pubblicazioni, non per la correttezza. Ma questa spiegazione può essere troppo semplice. Un'etnografa, usando gli strumenti della sua professione, si è messa a studiare il background culturale dei ricercatori in biomedicina, in particolare di quelli che lavorano nella ricerca preclinica con animali, e il quadro che ne esce è più complesso. In molti casi la necessità di studi in cieco si scontra con le regole di gestione del laboratorio o degli stabulari; le esigenze della ricerca preclinica possono non essere facilmente apprezzate da chi lavora sui pazienti, e così via. Il problema è quindi strutturale, insito nei meccanismi di produzione dei dati scientifici.

Una nuova cultura basata sull'autocorrezione

L’obiettivo è allora quello di sviluppare protocolli riproducibili in modi che riducano le paure dei ricercatori e non le aumentino, e di creare una cultura che includa la disponibilità all’autocorrezione e vedere i tentativi di replicazione non come una minaccia ma come uno stimolo al miglioramento: «va cambiata tutta la cultura della ricerca”, come ha affermato uno studioso. Un cambiamento di questo genere avrebbe conseguenze che vanno al di là degli Stati Uniti, e contribuirebbe a migliorare la fiducia del pubblico nella scienza.

D’altra parte, qualcuno ha anche tentato di quantificare i costi delle ricerche non riproducibili, e si è arrivati a una stima fra i 10 e i 50 miliardi di dollari spesi in studi che impiegano metodi non adeguati. E si tratta in larga misura di soldi che sono arrivati dalle agenzie pubbliche. I National Institutes of Health (NIH) statunitensi hanno cercato di affrontare il problema con una svolta che molti considerano radicale: dal gennaio 2023 cominceranno a richiedere a ricercatori ed enti che ricevono i suoi finanziamenti di includere nelle domanda un piano esplicito di come verranno gestiti i dati e in seguito di renderli pubblici.

Pro e contro del data sharing

Il data sharing è considerato da molti ricercatori la risposta necessaria, anche se alcuni pensano che l’applicabilità pratica non sia così semplice e che i più danneggiati potrebbero essere i giovani ricercatori, sottoposti a ritmi e condizioni di lavoro già oggi molto pesanti, e che in molti casi non hanno a disposizione il supporto manageriale per gestire il lavoro extra che sarà necessario. Perché questa svolta “sismica” nella politica di finanziamento della ricerca possa funzionare, è stato fatto notare che deve essere fatta chiarezza su come l’NIH metterà a disposizione fondi addizionali, mirati in particolare ai ricercatori a inizio carriera, per rispondere alle maggiori esigenze burocratiche, in modo che l’iniziativa, al di là delle buone intenzioni, non aumenti le diseguaglianze presenti nella comunità scientifica.

Come si vede, una volta sollevata la pietra, è difficile capire dove andrà a cadere; modificare uno status quo consolidato è complicato e può avere conseguenze non facilmente controllabili. Per finire, c’è anche chi sostiene che la “crisi di riproducibilità” non riguarda solo la ricerca preclinica e clinica, e non va esagerata: la difficoltà a riprodurre i dati fa parte del processo di formazione della conoscenza scientifica, e comporta la necessità di conciliare risultati e interpretazioni differenti e di arrivare a una sintesi migliore, processo che può richiedere tempi non brevi: «I successi richiedono fallimenti». Ma qui il discorso si farebbe molto più lungo.