fbpx I database per la valutazione dei ricercatori sono affidabili? | Science in the net

I database per la valutazione dei ricercatori sono affidabili?

Primary tabs

Read time: 4 mins

Un articolo pubblicato su la Repubblica di venerdì 15 settembre sulla disoccupazione giovanile, indica che ogni anno 14 miliardi investiti nella formazione vengono persi a causa della cosiddetta “fuga dei cervelli”. Questi dati, forse quantitativamente da verificare, ma nella sostanza non contestabili, sono anche legati alle crescenti difficoltà della ricerca scientifica e, in particolare, della ricerca di base. Inutile aggiungere che al flusso di ricercatori di ogni età che lascia l’Italia non corrisponde un flusso entrante e il rapporto fra questo e il flusso uscente è nella sostanza trascurabile.

In attesa che il “problema ricerca” entri nelle coscienze collettive e sia colto in modo efficace dalla politica, emerge quasi sistematicamente il “problema valutazione”. Indubbiamente importante se si pensa a un finanziamento della ricerca su base meritocratica. Per i processi di valutazione vengono utilizzati anche gli indicatori bibliometrici. La comunità scientifica generalmente concorda che la valutazione si dovrebbe basare su un insieme di elementi che concorrano ad un risultato finale. Gli indicatori bibliometrici appartengono comunque a questo insieme.

L’utilizzo dei database come sorgente di informazioni per stime bibliometriche è il primo passo verso possibili valutazioni per le quali gli indicatori bibliometrici possono costituire un’utile fonte di informazione. Si pone quindi il problema della validità di ogni database, sia in termini di correttezza quantitativa (ad esempio sulle citazioni di lavori di ricerca pubblicati su riviste), sia sulle sorgenti dell’informazione ricevuta, e infine su criteri di normalizzazione fra ambiti di ricerca diversi altrimenti non confrontabili.

I dati forniti dai database sono utilizzati nei “ranking” internazionali, ma anche nelle richieste di finanziamento a livello Europeo. Il Gruppo 2003 ritiene che questo delicato problema vada opportunamente istruito ed elaborato, e in tal senso intende produrre un documento, da proporre alla comunità scientifica, che evidenzi luci e ombre dei database disponibili.

In sostanza si vuole evitare che sul tema circolino elaborazioni fantasiose e non adeguatamente approfondite, come necessario in ogni approccio scientifico. In attesa di questo documento, desidero rimarcare che la banca dati Web of Science (precedentemente ISI, a cura di Thomson Reuters, e attualmente a cura di Clarivate Analytics) costituisce da decenni il riferimento bibliometrico sistematicamente utilizzato nella comunità scientifica internazionale in un ampio spettro, anche se non completo, di ambiti di ricerca.

Le sorgenti che alimentano il database sono note, costituite da un insieme di riviste e di proceedings, selezionati sulla base di un processo di review piuttosto severo. In sostanza, ogni visitatore conosce queste fonti di informazioni. Inoltre, le riviste sono divise in settori specifici in base all’ambito di ricerca delle pubblicazioni stesse. Questa divisione è fondamentale per poter confrontare settori con metodo di lavoro e di interazione scientifica diversa. È ben noto infatti che il numero medio di citazioni varia molto da settore a settore, e che il confronto è possibile solo se i prodotti della ricerca sono inseriti in ambiti scientifici omogenei in modo da poter confrontare prodotti scientifici “simili”. Analogo discorso vale per le riviste, essendo queste inserite in liste omogenee.

Il database, fornisce il numero di citazioni relative a ogni pubblicazione sia per autori che per riviste scientifiche. Le relative classifiche sull'impatto dei singoli ricercatori sono consultabili sugli “Essential Science Indicators”. In particolare, queste classifiche determinano i ricercatori di maggiore impatto (Influential minds o Highly cited Researchers). Da segnalare, che il ranking universitario Shanghai utilizza il parametro della presenza Highly Cited Researchers per misurare il prestigio delle istituzioni e assegna a esso il 20% del peso nel proprio insieme di indicatori.

Questa breve nota può apparire pedagogica, tuttavia alcuni soci del Gruppo 2003 hanno evidenziato la presenza di note in circolazione che invece meriterebbero ulteriore approfondimento. Quindi ho voluto anticipare queste considerazioni rispetto al lavoro che svolgeremo come Gruppo 2003 e che esaminerà alcuni database evidenziandone la capacità di fornire informazioni utili ai processi di valutazione.

Il documento sul quale il Gruppo 2003 potrà impegnarsi ambisce anche a contribuire al passo successivo, quello dell’analisi degli algoritmi sviluppati e utilizzati dalle agenzie di ranking. Questi potranno avere una componente euristica, tuttavia il livello minimo richiesto per una valutazione attendibile è che si parta da dati unanimemente considerati affidabili.

 

Gli italiani tra gli Highly Cited

Qui sotto è rappresentata la percentuale di Highly Cited italiani negli ultimi 4 anni. L'edizione della lista Clarivate del 2017 è ancora provvisoria. Verrà resa pubblica a metà novembre.

Gli italiani Highly Cited nel 2017 appartengono in gran parte all'ambito medico (21). Qui sotto il numero di ricercatori Highly Cited 2017 per ambito di lavoro.


Scienza in rete è un giornale senza pubblicità e aperto a tutti per garantire l’indipendenza dell’informazione e il diritto universale alla cittadinanza scientifica. Contribuisci a dar voce alla ricerca sostenendo Scienza in rete. In questo modo, potrai entrare a far parte della nostra comunità e condividere il nostro percorso. Clicca sul pulsante e scegli liberamente quanto donare! Anche una piccola somma è importante. Se vuoi fare una donazione ricorrente, ci consenti di programmare meglio il nostro lavoro e resti comunque libero di interromperla quando credi.


prossimo articolo

Why have neural networks won the Nobel Prizes in Physics and Chemistry?

This year, Artificial Intelligence played a leading role in the Nobel Prizes for Physics and Chemistry. More specifically, it would be better to say machine learning and neural networks, thanks to whose development we now have systems ranging from image recognition to generative AI like Chat-GPT. In this article, Chiara Sabelli tells the story of the research that led physicist and biologist John J. Hopfield and computer scientist and neuroscientist Geoffrey Hinton to lay the foundations of current machine learning.

Image modified from the article "Biohybrid and Bioinspired Magnetic Microswimmers" https://onlinelibrary.wiley.com/doi/epdf/10.1002/smll.201704374

The 2024 Nobel Prize in Physics was awarded to John J. Hopfield, an American physicist and biologist from Princeton University, and to Geoffrey Hinton, a British computer scientist and neuroscientist from the University of Toronto, for utilizing tools from statistical physics in the development of methods underlying today's powerful machine learning technologies.