AI in corsia: Come rendiamo sicuri i ‘cervelloni’ digitali per la gastroenterologia con il framework EVAL

Ciao a tutti! Oggi voglio parlarvi di qualcosa che sta rivoluzionando (o almeno ci prova!) il mondo della medicina, ma che porta con sé anche qualche grattacapo: i modelli linguistici di grandi dimensioni (LLM), quei sistemi di intelligenza artificiale (AI) capaci di chiacchierare e rispondere a domande complesse. Immaginate di poter chiedere a un’AI un consiglio medico e ricevere una risposta plausibile… fantastico, no? Beh, quasi. Il problema è che “plausibile” non significa sempre “corretto”, e in medicina un errore può avere conseguenze serie.

Il Dilemma dell’Affidabilità Medica dell’AI

Sapete, questi LLM sono incredibilmente bravi a generare testi che sembrano scritti da un umano. Li abbiamo visti rispondere a domande cliniche con una disinvoltura sorprendente. Ma c’è un “ma” grande come una casa: a volte, queste risposte non sono accurate. E quando si tratta della salute delle persone, specialmente in situazioni critiche come il processo decisionale clinico, l’accuratezza non è un optional, è fondamentale.

Pensate alla gastroenterologia, il mio campo. Ci occupiamo di problemi come il sanguinamento gastrointestinale superiore (UGIB), una condizione comune, costosa e potenzialmente letale. Le linee guida cliniche ci dicono come agire, basandosi su anni di ricerca e prove scientifiche (la famosa Medicina Basata sull’Evidenza o EBM). Ma studi preliminari hanno mostrato che gli LLM, se lasciati a briglia sciolta, possono dare raccomandazioni sbagliate sia ai pazienti che a noi medici.

Il punto è: come facciamo a fidarci? Verificare manualmente ogni risposta di un LLM richiede tempo, risorse e un esercito di esperti. Non è pratico nella frenesia quotidiana di un ospedale. Serve un sistema, un metodo per assicurarci che questi strumenti siano non solo intelligenti, ma anche sicuri.

La Nostra Soluzione: Nasce il Framework EVAL

Ed è qui che entriamo in gioco noi. Abbiamo pensato: “E se potessimo creare un modo più smart e scalabile per valutare questi LLM?”. Così è nato EVAL (Expert-of-Experts Verification and Alignment). L’idea di base è semplice ma potente: invece di chiedere a tanti medici cosa ne pensano (processo lungo e a volte eterogeneo), andiamo direttamente alla fonte. Coinvolgiamo i “super esperti”, quelli che scrivono le linee guida cliniche, i cosiddetti “expert-of-experts”. Le loro risposte diventano il nostro “metro d’oro”, il riferimento assoluto per valutare l’accuratezza.

EVAL fa due cose principali, lavorando su due livelli diversi.

Livello 1: Classificare i Modelli con l’Intelligenza Artificiale

Prima di tutto, dobbiamo capire quali LLM e quali configurazioni (perché sì, ce ne sono tantissime versioni e modi di usarli!) sono i migliori. EVAL usa tecniche di embedding non supervisionato. Lo so, suona complicato, ma immaginate di trasformare le risposte degli LLM e quelle dei nostri super esperti in “impronte digitali” matematiche (vettori). Poi, misuriamo quanto queste impronte si assomigliano. Più sono simili, migliore è l’LLM.

Abbiamo testato diverse metriche per questa “misurazione della somiglianza”, come TF-IDF e Sentence Transformers, ma quella che si è rivelata la campionessa, la più allineata al giudizio umano, è stata una versione affinata di ColBERT (Fine-Tuned ColBERT). Questa tecnica è particolarmente brava a cogliere le sfumature del linguaggio medico. Grazie a questo sistema, possiamo stilare una classifica dei modelli senza dover leggere e valutare manualmente migliaia di risposte. Un bel risparmio di tempo e fatica!

Livello 2: Un “Guardiano” per Ogni Risposta

Ma non basta sapere qual è il modello migliore in generale. Dobbiamo assicurarci che ogni singola risposta fornita sia affidabile. Qui entra in gioco il secondo livello di EVAL: un reward model (modello di ricompensa). Pensatelo come un “giudice” artificiale che abbiamo addestrato specificamente per questo compito.

Come lo abbiamo addestrato? Gli abbiamo dato un sacco di risposte generate dagli LLM a diverse “temperature” (un parametro che regola la creatività/casualità della risposta) e gli abbiamo detto quali erano giuste e quali sbagliate, basandoci sulla valutazione fatta dai nostri esperti umani. Il reward model ha imparato a riconoscere le risposte accurate con un’ottima precisione (circa l’88% delle volte!).

La cosa forte è che possiamo usare questo reward model per fare “rejection sampling”. In pratica, chiediamo all’LLM di generare non una, ma diverse risposte candidate (ad esempio, 5). Il reward model le valuta tutte e sceglie quella con il punteggio più alto, scartando le altre. Questo processo migliora significativamente l’accuratezza complessiva, specialmente in quelle situazioni (temperature più alte) dove l’LLM tende a essere più “creativo” ma anche più prono all’errore. È come avere un buttafuori all’ingresso che fa passare solo le risposte di qualità!

EVAL alla Prova dei Fatti: Il Caso dell’UGIB

Per vedere se EVAL funzionava davvero, lo abbiamo messo alla prova nel contesto del sanguinamento gastrointestinale superiore (UGIB). Abbiamo usato un bel po’ di LLM famosi (come i vari GPT di OpenAI, Claude di Anthropic, LLaMA di Meta e Mixtral di Mistral AI) in diverse configurazioni:

• Baseline: Il modello così com’è, senza aiuti.
• RAG (Retrieval-Augmented Generation): Il modello può “leggere” le linee guida cliniche prima di rispondere.
• SFT (Supervised Fine-Tuning): Il modello viene “addestrato” specificamente con le informazioni delle linee guida.
• RAG + SFT: Una combinazione dei due approcci precedenti.

Abbiamo testato tutto questo su tre set di dati diversi:

1. Domande create dai nostri “expert-of-experts” sull’UGIB.
2. Domande a scelta multipla prese dai test di autovalutazione dell’American College of Gastroenterology (ACG).
3. Domande reali poste da medici in formazione durante simulazioni cliniche sull’UGIB (questo è super interessante!).

Cosa Abbiamo Scoperto?

I risultati sono stati incoraggianti!
Innanzitutto, Fine-Tuned ColBERT si è confermato il miglior modo per classificare i modelli in base alla somiglianza con le risposte degli esperti, mostrando una correlazione altissima (fino a 0.91!) con la valutazione umana.

Poi, abbiamo visto che le configurazioni avanzate (RAG e SFT) generalmente migliorano le prestazioni rispetto ai modelli base. Dare accesso alle linee guida (RAG) o addestrare specificamente il modello (SFT) aiuta parecchio. Curiosamente, combinare RAG e SFT non sempre ha dato risultati migliori rispetto a usarli singolarmente. Forse perché le informazioni diventano ridondanti o perché l’addestramento specifico (SFT) modifica il modo in cui il modello interpreta le informazioni recuperate (RAG). È un aspetto su cui riflettere.

Il nostro reward model si è comportato egregiamente, replicando il giudizio umano nell’87.9% dei casi nel test interno e nell’81.8% nel test esterno (su un modello diverso da quello usato per l’addestramento). E il rejection sampling ha aumentato l’accuratezza complessiva delle risposte di oltre l’8%, “salvando” molte risposte potenzialmente errate, soprattutto a temperature più elevate.

Modelli come GPT-4o (specialmente nella versione SFT) e Claude-3-Opus si sono piazzati spesso tra i migliori nelle varie valutazioni umane, dimostrando le capacità delle architetture più recenti.

Perché EVAL è Importante (e Cosa Manca Ancora)

Allora, perché tutto questo lavoro? Perché crediamo fermamente che l’AI possa essere un aiuto prezioso in medicina, ma solo se possiamo fidarci. EVAL offre un percorso per migliorare la sicurezza dell’AI in ambito clinico. Fornisce un metodo scalabile per:

• Identificare i modelli e le configurazioni LLM più affidabili per compiti specifici.
• Filtrare attivamente le risposte potenzialmente inaccurate prima che raggiungano il medico o il paziente.

Questo è fondamentale per integrare questi strumenti nel supporto alle decisioni cliniche, specialmente in aree ad alto rischio come la gestione dell’UGIB, dove l’aderenza alle linee guida è spesso bassa e un aiuto “intelligente” potrebbe fare la differenza.

Certo, il nostro lavoro ha delle limitazioni. Abbiamo bisogno degli “expert-of-experts” e di linee guida di alta qualità. Il nostro focus era sull’UGIB, e anche se il framework è flessibile, andrà testato su altre condizioni mediche. Le domande “real-world” provenivano da simulazioni, non dalla pratica clinica quotidiana vera e propria. Inoltre, abbiamo usato linee guida americane per l’addestramento e europee/asiatiche per il test, il che è ottimo per la generalizzabilità ma potrebbe introdurre piccole differenze.

Verso un Futuro di AI Medica più Sicura

Nonostante i limiti, siamo convinti che EVAL sia un passo importante nella giusta direzione. Dimostra che è possibile ottimizzare la sicurezza dell’AI all’interno del paradigma della medicina basata sull’evidenza. Abbiamo anche reso pubblico il nostro reward model su Hugging Face, sperando che possa essere utile ad altri ricercatori.

Il prossimo passo? Estendere questo approccio ad altre aree della medicina e continuare a lavorare per garantire che le risposte fornite dall’AI in contesti critici siano accurate, affidabili e allineate agli standard di cura più elevati. La strada è ancora lunga, ma strumenti come EVAL ci aiutano a percorrerla con maggiore sicurezza.

Alla prossima!

Fonte: Springer