Valutazione Accademica: Basta Numeri a Caso! Vi presento l’RT-score

Ciao a tutti! Oggi voglio parlarvi di un argomento che mi sta molto a cuore e che, diciamocelo, è un bel grattacapo nel mondo accademico: come si misura il “valore” di un ricercatore o di un professore universitario? Sembra una domanda semplice, ma la risposta è tutt’altro che banale.

Il Far West della Valutazione Accademica

Attualmente, chi lavora all’università o partecipa a concorsi scientifici viene spesso valutato sulla base di metriche strane, derivate dalle pubblicazioni e da altre attività. Il problema è che creare un algoritmo matematico solido per processare tutte queste informazioni bibliometriche è un’impresa titanica. E, cosa ancora più frustrante, spesso mancano strumenti informatici accessibili per farlo come si deve.

Il risultato? Comitati di valutazione che si improvvisano esperti di scientometria, tirando fuori dal cilindro metodi di valutazione “fai-da-te”. Questi metodi, purtroppo, sono spesso inadeguati dal punto di vista matematico, poco standardizzati, eccessivamente semplicistici e, alla fine della fiera, portano a risultati ingiusti e poco trasparenti. Vi è mai capitato di pensare che certe valutazioni sembrassero un po’… pilotate o superficiali? Ecco, non siete i soli.

Si finisce per dare peso a cose sbagliate. Ad esempio, usare l’Impact Factor di una rivista per giudicare la qualità di un singolo articolo. Ragazzi, è una pratica considerata “inappropriata” da tutti gli esperti! L’Impact Factor misura la rivista nel suo complesso, non il singolo lavoro. Pensateci: anche riviste super prestigiose come Nature e Science a volte pubblicano articoli deboli. E sapete una cosa? Solo il 10% delle ricerche premiate col Nobel per la fisica è uscito su queste riviste “top”. Questo ci dice che la ricerca più innovativa non sempre si trova dove ci aspetteremmo.

Un altro classico errore è affidarsi a un’unica metrica, come il numero totale di pubblicazioni o il famoso H-index. Comodo, sì, ma ingannevole. Un ricercatore potrebbe pubblicare tantissimi articoli di scarso interesse, mentre un altro pochi lavori ma rivoluzionari. L’H-index (il numero H di articoli che hanno ricevuto almeno H citazioni) cerca di bilanciare quantità e impatto, ma ha i suoi limiti. Da quando è diventato popolare, la sua correlazione con i premi scientifici è diminuita. Perché? Per la legge di Goodhart: “Quando una misura diventa un obiettivo, cessa di essere una buona misura”. È spuntato il fenomeno dell'”iper-authorship”, con articoli firmati da centinaia di autori, gonfiando artificialmente l’H-index di tutti.

E che dire dei limiti temporali rigidi? Valutare solo gli ultimi 5 o 10 anni di lavoro? Albert Einstein ha vinto il Nobel nel 1921 per un lavoro del 1905! Imporre questi paletti è spesso ingiusto e “non trasparente”, perché mette sullo stesso piano carriere diversissime e apre la porta a favoritismi. Immaginate un professore esperto con 30 anni di carriera messo alla pari di un giovane ricercatore con meno esperienza e magari solo co-autore di lavori recenti. Non ha senso!

Una Bussola Affidabile: Nasce l’RT-score

Di fronte a questo caos, ho pensato: non si può fare di meglio? Serve un approccio più completo, onesto e trasparente. Ed è qui che entra in gioco l’idea di un nuovo algoritmo, che ho chiamato RT-score (Research-Teaching score).

L’RT-score non nasce dal nulla. Prende spunto dal “C-score”, un indice già utilizzato per stilare la famosa lista “Stanford/Elsevier World Top 2% Most Influential Scientists”. Ma l’RT-score va oltre. L’obiettivo è creare una metrica composita che tenga conto di tanti fattori diversi, in modo equilibrato.

Come Funziona l’RT-score? La Parte “R” (Ricerca)

La componente “Ricerca” (R-score) dell’RT-score si basa sull’idea che una valutazione scientifica seria debba considerare almeno questi aspetti:

• Produttività: Quanti lavori hai pubblicato? (Indicatore: NA)
• Impatto: Quante citazioni hanno ricevuto i tuoi lavori? (Indicatori: NC, H, Hm)
• Contributo Individuale: Sei stato l’autore principale, il primo autore, l’ultimo (spesso chi supervisiona)? O uno dei tanti co-autori? (Indicatori: NCS, NCSF, NCSFSL)
• Rilevanza nel Tempo: I tuoi lavori più recenti e di maggior impatto dovrebbero pesare di più.
• Equità tra Discipline: Bisogna tener conto che in campi diversi si pubblica e si cita in modo differente.

L’R-score combina ben sette indicatori bibliometrici:

1. NA: Numero totale di articoli (aggiustabile per includere libri, brevetti, etc.).
2. H-index: Il classico indice di Hirsch.
3. Hm-index: Una versione dell’H-index che tiene conto del numero di co-autori (per smorzare l’effetto “iper-authorship”).
4. NC: Citazioni totali.
5. NCS: Citazioni ricevute da articoli come autore singolo.
6. NCSF: Citazioni ricevute come autore singolo o primo autore.
7. NCSFSL: Citazioni ricevute come autore singolo, primo autore, o secondo/ultimo autore.

Questi indicatori vengono poi standardizzati e normalizzati rispetto al gruppo di scienziati che si sta valutando. Le citazioni, ad esempio, vengono normalizzate logaritmicamente perché la loro distribuzione è spesso esponenziale. Il numero di articoli (NA) viene normalizzato con una radice quadrata (di default), perché si presume che i lavori di un autore tendano a sovrapporsi tematicamente nel tempo.

Ma non finisce qui! Per rendere il confronto equo tra discipline diverse (pensate a un fisico teorico e un biologo molecolare), l’algoritmo può usare dei fattori di scala. In Italia, ad esempio, si potrebbero usare le soglie ASN (Abilitazione Scientifica Nazionale) specifiche per ogni settore scientifico-disciplinare (SSD) per calibrare gli indicatori.

Infine, per avere una visione completa e dinamica della carriera, l’R-score finale (chiamato ^totR) non si basa su un’unica foto, ma combina i punteggi calcolati su diversi scenari:

• L’intera carriera (CV completo).
• I 30 articoli più citati (o un numero a scelta).
• Gli articoli degli ultimi 15 anni.
• Gli articoli degli ultimi 5 anni.

Questo mix permette di valorizzare l’intera storia scientifica, dando però un peso maggiore ai lavori più recenti e di impatto.

Non Solo Pubblicazioni: La Parte “T” (Didattica e Altro)

Un professore universitario non fa solo ricerca. C’è la didattica, un pilastro fondamentale! L’RT-score include quindi una componente “Teaching” (T-score).

Il modo più semplice per misurarla è contare le ore di insegnamento universitario (Nhi). Anche qui, l’algoritmo usa una normalizzazione (radice quadrata di default) perché l’esperienza didattica cresce nel tempo, ma magari in modo meno esplosivo della ricerca.

Ma attenzione, il T-score è flessibile! Si può decidere di includere molto altro:

• Supervisione di tesi.
• Presentazioni a convegni, seminari.
• Attività di divulgazione (la famosa “Terza Missione”).
• Valutazioni qualitative dell’insegnamento (se disponibili).
• Impatto pubblico della ricerca (menzioni sui media, blog, etc., magari usando dati da Altmetric o PlumX).

L’idea è creare un indicatore ^totT che rifletta davvero l’impegno complessivo al di là delle pubblicazioni.

E i Finanziamenti? Un Nodo Spinoso

Parliamo dei finanziamenti. Ottenere fondi per la ricerca è importante, certo. Ma come valutarlo correttamente nell’RT-score? È complicato. I finanziamenti sono un input per la ricerca, non un output di per sé. Grandi scienziati del passato hanno fatto scoperte epocali con pochissimi mezzi. Basare la valutazione sui soldi ricevuti penalizzerebbe ingiustamente i teorici o chi lavora in campi meno “costosi”.

Inoltre, c’è il rischio di “doppio conteggio”: valuto il finanziamento e poi valuto anche le pubblicazioni che ne derivano? Non ha molto senso. E poi, diciamocelo, l’assegnazione dei fondi non è sempre legata solo alla qualità scientifica, ma anche a fattori politici ed economici.

Quindi, come gestire i finanziamenti nell’RT-score? La proposta è questa:

1. I progetti di ricerca approvati e finanziati, essendo frutto di peer review, possono essere considerati come “pubblicazioni non indicizzate” (alla pari di libri o brevetti).
2. Si possono quindi aggiungere al conteggio NA (numero di articoli), magari con un peso specifico (es: un progetto piccolo vale 1 pubblicazione, uno grande 5). Questo dà un “boost” a chi ottiene finanziamenti, senza però farne l’indicatore principale.
3. I risultati scientifici ottenuti grazie ai fondi verranno comunque valutati tramite le pubblicazioni e il loro impatto (R-score).

In questo modo, si riconosce l’abilità nel reperire fondi, ma senza penalizzare chi non ne ha bisogno per fare ricerca di qualità e senza trasformare l’università in una mera macchina per fare soldi. L’obiettivo resta l’avanzamento della conoscenza.

Il Punteggio Finale: Mettere Tutto Insieme

Alla fine, abbiamo il nostro R-score totale (^totR) per la ricerca e il nostro T-score totale (^totT) per didattica e altre attività. Come combinarli? Semplicemente con una media pesata:

^totRT = RT_rw * ^totR + (1 – RT_rw) * ^totT

Il fattore RT_rw decide quanto peso dare alla ricerca rispetto al resto. Se lo mettiamo a 0.70 (valore di default proposto), la ricerca conterà per il 70% e la didattica/altro per il 30%. Se lo mettiamo a 1.00, conterà solo la ricerca.

Questo punteggio finale ^totRT offre una visione d’insieme, bilanciata e sfaccettata, della performance accademica. Ho fatto anche una piccola simulazione (pubblicata nell’articolo originale) con alcuni recenti premi Nobel per la fisica, e i risultati mostrano come l’RT-score riesca a cogliere sfumature diverse rispetto a metriche più semplici.

Perché la Trasparenza è Cruciale

Lo so, potreste pensare: “Ma è un altro algoritmo, un’altra scatola nera!”. In realtà, l’obiettivo dell’RT-score è proprio l’opposto: la trasparenza.
L’algoritmo è descritto nel dettaglio, i suoi componenti sono chiari e si basa su dati verificabili (principalmente da SCOPUS, ma integrabili). Viene fornito anche il codice MATLAB per implementarlo, così chiunque può usarlo, modificarlo e controllare i calcoli.

Questo è fondamentale per garantire equità, pari opportunità e per contrastare pratiche scorrette come l’abuso dell’iper-authorship o l’uso di criteri di valutazione “opachi” che possono favorire alcuni e discriminarne altri (a volte si parla di “academic inbreeding” o favoritismi locali). Quando le regole sono chiare e applicate correttamente, tutto il sistema ne beneficia.

Certo, nessun algoritmo è perfetto. La valutazione qualitativa, il giudizio tra pari sul merito scientifico intrinseco delle scoperte, resta insostituibile. L’RT-score non vuole sostituirla, ma affiancarla con un supporto quantitativo responsabile, completo e standardizzato, in linea con le raccomandazioni di DORA, CoARA e del Manifesto di Leiden.

In un mondo accademico sempre più competitivo, avere strumenti di valutazione migliori non è un lusso, ma una necessità per promuovere il vero merito e far progredire la scienza nel modo più onesto possibile. Spero che l’RT-score possa essere un piccolo passo in questa direzione.

Fonte: Springer