Revisioni Sistematiche Addio Fatica: Gli LLM Rivoluzionano la Ricerca!

Amici e colleghi ricercatori, quante volte ci siamo trovati sommersi da montagne di articoli scientifici, cercando di distillare l’essenza della conoscenza per una revisione sistematica? È un lavoro improbo, fondamentale per le linee guida basate sull’evidenza, ma che, diciamocelo francamente, consuma tempo e risorse come poche altre cose. Ma se vi dicessi che l’era dell’intelligenza artificiale, e in particolare dei Large Language Models (LLM), sta per cambiare tutto?

La Sfida Monumentale delle Revisioni Sistematiche

Le revisioni sistematiche (SR) sono il cardine su cui si fonda lo sviluppo di linee guida basate sull’evidenza. Il problema? Sono un processo incredibilmente laborioso e dispendioso in termini di tempo. Immaginatevi a dover passare al setaccio migliaia di articoli, prima analizzando titoli e abstract, poi leggendo per intero quelli selezionati. In media, una SR può richiedere 67,3 settimane per essere completata! E con la produzione scientifica che raddoppia ogni 9 anni, la necessità di strumenti più rapidi è diventata impellente, specialmente in contesti come pandemie o per mantenere aggiornate le “living practice guidelines”.

Negli anni sono emersi diversi strumenti basati sull’IA per tentare di velocizzare questo processo, come Abstrackr, Rayyan AI, ASreviews, Colandr e DistillerAI. Questi strumenti, pur variando nelle loro funzionalità, si concentrano principalmente sullo screening di titoli e abstract. Tra questi, Rayyan AI, un tool semi-automatico basato sul web, ha ottenuto buoni punteggi in analisi comparative.

LLM al Contrattacco: Prompt Engineering e RAG

Recentemente, l’attenzione si è spostata sui modelli linguistici di grandi dimensioni (LLM), come GPT-3.5 e GPT-4, che hanno mostrato promettenti capacità nello screening di titoli e abstract. Ma la vera frontiera è estendere queste capacità anche allo screening del testo completo. Ed è qui che entriamo in gioco noi, o meglio, il nostro studio. Abbiamo voluto indagare come tecniche di LLM quali il Prompt Engineering (la progettazione di input specifici per guidare le risposte del modello) e la Retrieval-Augmented Generation (RAG) (che combina il recupero di dati esterni con capacità generative per migliorare accuratezza e rilevanza) possano automatizzare l’intero processo.

Abbiamo messo a punto un sistema end-to-end basato su GPT-4 che, ricevendo un articolo e i criteri di inclusione/esclusione, decide se includerlo o meno nella revisione. Per testarlo, abbiamo utilizzato i dati di una revisione sistematica già completata su vitamina D e cadute, confrontando il nostro sistema LLM con il metodo manuale tradizionale (il nostro “gold standard”) e con Rayyan AI.

La SR originale aveva recuperato 14.439 articoli. Per Rayyan, abbiamo addestrato il modello con 2.000 articoli screenati manualmente, per poi fargli classificare il resto. Per il nostro sistema LLM, abbiamo usato il prompt engineering per lo screening di titoli/abstract e la RAG per quello dei testi completi.

Abbiamo valutato le performance usando metriche come il tasso di esclusione degli articoli (AER), il tasso di falsi negativi (FNR), la specificità, il valore predittivo positivo (PPV) e il valore predittivo negativo (NPV). E, ovviamente, abbiamo confrontato i tempi.

Rayyan AI: Un Aiuto, ma con Limiti

Utilizzando Rayyan, con una soglia di inclusione che considerava gli articoli “indecisi” o “probabilmente da includere”, abbiamo ottenuto un AER del 72,1% e un FNR del 5%. Il tempo di screening totale stimato, inclusa la revisione manuale degli articoli segnalati da Rayyan, è stato di 54,7 ore. Abbassando la soglia per essere più conservativi (considerando da escludere solo i “molto probabilmente da escludere”), l’FNR scendeva a 0% e l’AER al 50,7%, ma il tempo saliva a 81,3 ore. È importante notare che Rayyan, al momento dello studio, non offriva automazione per lo screening dei testi completi, ma solo una piattaforma per la registrazione manuale.

Il Trionfo del Sistema LLM

E qui viene il bello! Con il nostro sistema basato su LLM, dopo lo screening di titoli/abstract e dei testi completi, sono rimasti solo 78 articoli per la revisione manuale, e tra questi c’erano tutti i 20 articoli identificati dal metodo tradizionale. Un risultato incredibile!

Le metriche parlano chiaro:

• AER complessivo: 99,5%
• Specificità: 99,6%
• PPV: 25,6%
• NPV: 100%
• FNR: 0% (nessun articolo rilevante perso!)

Il tempo totale di screening con il sistema LLM, inclusa la revisione manuale dei 78 articoli finali, è stato di sole 25,5 ore. Questo rappresenta una riduzione del tempo di screening manuale del 95,5% rispetto al metodo tradizionale, che avrebbe richiesto circa 564,4 ore! Pensateci: da quasi 24 giorni di lavoro continuo a poco più di un giorno!

Il nostro studio dimostra che sia Rayyan AI sia il sistema LLM riducono drasticamente il carico di lavoro rispetto ai metodi tradizionali, mantenendo un basso FNR. Tuttavia, il sistema LLM si è distinto non solo automatizzando lo screening di titoli/abstract ma anche incorporando quello dei testi completi, un compito ben più arduo, grazie a tecniche avanzate come il prompt engineering e la RAG. Questo ha permesso all’LLM di ridurre il numero di articoli per la revisione manuale a soli 78 su 14.439 originali.

Perché l’LLM Fa la Differenza?

A differenza di Rayyan e dei metodi tradizionali, che si basano sull’input umano, il sistema LLM riduce drasticamente l’intervento umano, abbassando i rischi di errore e bias. Questa impressionante combinazione di risparmio di tempo e accuratezza evidenzia il potenziale trasformativo degli LLM nel rendere le SR più efficienti e affidabili.

Secondo la Cochrane Collaboration, lo screening della letteratura dovrebbe idealmente coinvolgere due revisori indipendenti per minimizzare i bias e massimizzare la sensibilità. Questo, però, è estremamente dispendioso. L’approccio basato su LLM può fungere da strumento di screening iniziale, riducendo significativamente il numero di articoli che richiedono una revisione manuale. Con un FNR dello 0%, ci assicuriamo che nessun articolo rilevante venga escluso erroneamente in questa fase. Questo non significa sostituire i revisori umani, ma piuttosto permettere loro di concentrare i propri sforzi sulla valutazione degli articoli rimanenti, ottimizzando il flusso di lavoro pur mantenendo alta sensibilità e accuratezza.

Uno Sguardo al Panorama Esistente e ai Nostri Punti di Forza

Mentre alcune pubblicazioni hanno esplorato il potenziale di Rayyan, spesso si basavano su dataset più piccoli o mancavano di dettagli sulle soglie utilizzate. Altri studi hanno iniziato a esplorare l’uso di GPT-4 per lo screening di titoli/abstract, ma senza estendersi allo screening del testo completo, una fase critica. Un’eccezione notevole ha utilizzato la segmentazione degli articoli per lo screening del testo completo, un approccio che può compromettere la comprensione del contesto da parte del modello, a differenza del nostro framework RAG, e che infatti ha riportato una bassa sensibilità.

Il nostro studio vanta diversi punti di forza:

• Abbiamo testato il nostro approccio su oltre 14.000 articoli, un dataset considerevolmente più grande rispetto ad altri studi simili.
• Abbiamo dimostrato performance eccellenti: AER del 99,5%, specificità del 99,6%, PPV del 25,6% e NPV del 100%.
• Sebbene il sistema LLM richieda competenze ingegneristiche per la sua costruzione, una volta operativo, gli utenti possono interagire facilmente inserendo i propri criteri di inclusione/esclusione sotto forma di domande.
• La registrazione trasparente dell’esito di ogni domanda in un foglio Excel non solo migliora l’integrità del sistema ma facilita anche controlli manuali successivi, rafforzando la fiducia in questo approccio.

Limiti e Prospettive Future

Nonostante i risultati promettenti, gli LLM non sono privi di limiti. Uno svantaggio chiave è la loro dipendenza dalla progettazione dei prompt: prompt non ottimali possono portare a risposte incoerenti. Inoltre, gli LLM potrebbero avere difficoltà con criteri di inclusione/esclusione complessi o sfumati che richiedono una profonda esperienza nel dominio, necessitando di un’attenta supervisione umana.

Sebbene il nostro approccio abbia dimostrato miglioramenti significativi, la sua performance dovrebbe essere validata attraverso revisioni sistematiche diverse e complesse per confermarne robustezza e generalizzabilità. Ricerche precedenti hanno mostrato che le performance degli LLM possono variare a seconda dell’argomento e del dataset utilizzato.

In conclusione, il nostro studio dimostra che il sistema basato su LLM proposto migliora significativamente l’efficienza del processo di SR rispetto sia ai metodi tradizionali sia al sistema Rayyan, mantenendo un basso FNR. Le sue eccellenti metriche di performance, la facilità d’uso, la spiegabilità, l’allineamento con i metodi tradizionali e la sua efficienza temporale lo posizionano come un approccio molto promettente. Il lavoro futuro potrebbe esplorare l’espansione delle capacità del sistema per supportare fasi di revisione più complesse, come l’estrazione e la sintesi dei dati. Il futuro della ricerca scientifica efficiente è già qui, e parla il linguaggio dei modelli!

Fonte: Springer