IA e Referti Radiologici: La Mia Ricetta Segreta per Scovare i Dati che Contano!

Amici lettori, mettetevi comodi perché oggi vi porto nel cuore di una sfida che mi appassiona da tempo: come possiamo usare l’intelligenza artificiale per pescare le informazioni davvero cruciali da quei documenti, a volte un po’ ostici, che sono i referti radiologici? Parliamoci chiaro, quando un referto contiene un “reperto critico”, significa che c’è qualcosa che potrebbe mettere a rischio la vita del paziente e che quindi va comunicato ai medici curanti alla velocità della luce. Il tempo, in questi casi, è tutto.

Il Nocciolo del Problema: Referti Complessi e Dati Preziosi

Per anni, l’estrazione di questi dati è stata un’impresa. Immaginatevi questi referti: lunghi, pieni di termini tecnici, con strutture e formati che cambiano da un ospedale all’altro, a volte persino da un radiologo all’altro! Trovare il bandolo della matassa per un’analisi retrospettiva o per migliorare la qualità del lavoro può diventare un vero incubo. Certo, la comunicazione urgente di un reperto critico avviene per vie dirette, come una telefonata o una chat, ma pensate a quanto sarebbe utile avere strumenti automatici per monitorare la qualità, tracciare la conformità e popolare dashboard istituzionali. Insomma, c’è un gran bisogno di sistemi affidabili che ci aiutino a estrarre queste informazioni chiave.

In passato, ci si è provato con approcci basati su regole fisse, ma questi sistemi, pur avendo una loro utilità, peccano un po’ in flessibilità e generalizzazione. Magari funzionano bene su un set specifico di referti (ad esempio, solo TAC toraciche) o per una lista predefinita di reperti, ma faticano ad adattarsi a nuovi dati o a contesti diversi. Poi sono arrivati i modelli basati su BERT, specifici per il contesto clinico, che hanno segnato un passo avanti, ma anche loro spesso si limitavano a classificare un referto come “contenente reperti critici” o meno, senza dirci esattamente quali fossero questi reperti.

La Svolta: Arrivano gli LLM (e un Pizzico di Astuzia)

Ed è qui che entriamo in gioco noi, o meglio, la nostra idea. Con i recenti progressi nel campo del Natural Language Processing (NLP), e in particolare con l’avvento dei Large Language Models (LLM) – sì, proprio quei modelli di cui si sente tanto parlare, come GPT-4 – si sono aperte praterie di possibilità. Questi “cervelloni” artificiali sono capaci di comprendere e recuperare informazioni da testi complessi in modo sorprendente. E se li “specializziamo” un po’ (un processo che chiamiamo fine-tuning), possono diventare dei veri campioni nel scovare informazioni mediche cruciali.

Il vero scoglio, però, è la scarsità di dati etichettati specificamente per i reperti critici. Pensateci: per addestrare un modello AI in modo tradizionale, servono montagne di esempi in cui qualcuno ha già segnato “questo è un reperto critico, questo no”. E chi ha il tempo e le risorse per farlo su vasta scala, soprattutto considerando la varietà e la rarità di alcuni di questi reperti? Molti centri accademici hanno database di esami critici, ma spesso mancano definizioni dettagliate e annotazioni precise.

Ecco la nostra “ricetta segreta”: un approccio di fine-tuning supervisionato debolmente (weakly supervised fine-tuning). In pratica, abbiamo escogitato un sistema in due fasi per insegnare ai modelli a fare questo lavoro sporco, senza bisogno di tonnellate di dati etichettati a mano. Abbiamo preso 15.000 referti non etichettati della Mayo Clinic e li abbiamo usati per “istruire” i nostri modelli.

Fase 1: Generare “Indizi” con l’IA

Nella prima fase, abbiamo usato dei modelli LLM pre-addestrati (nello specifico, della famiglia Mistral, noti per la loro efficienza) per generare delle “etichette deboli”. Come? Attraverso un’attenta ingegneria dei prompt. In parole povere, abbiamo dato istruzioni molto precise ai modelli, definendo cosa intendiamo per “reperto critico” e “reperto incidentale”, e chiedendo loro di identificare e estrarre i termini sospetti dai referti. Abbiamo provato due tecniche di prompting: zero-shot (dove il modello lavora solo con le istruzioni) e few-shot (dove gli forniamo anche qualche esempio di input e output desiderato).

Per rendere il tutto ancora più robusto, abbiamo curato manualmente una lista di circa 210 termini e frasi che indicano reperti critici in diverse aree anatomiche. Siamo partiti da una lista iniziale dell’American College of Radiology (ACR) e l’abbiamo espansa usando l’espansione basata su ontologie (come SNOMED_CT), per includere sinonimi, abbreviazioni comuni (tipo “PE” per “Embolia Polmonare”) e persino varianti di spelling. Questa lista ci è servita per “mappare” le estrazioni testuali dei modelli ai termini critici effettivi, usando algoritmi di confronto testuale.

Quindi, per ogni referto non etichettato, questa prima fase ci ha restituito una lista di termini critici (o una lista vuota se non ne trovava). Questi sono i nostri “indizi”, le nostre etichette deboli.

Fase 2: Allenare i Modelli con gli “Indizi”

Nella seconda fase, abbiamo usato queste etichette deboli per fare il vero e proprio fine-tuning dei modelli Mistral (sia la versione generica Mistral-7B sia quella più orientata al biomedico, BioMistral-7B). L’obiettivo era affinare la loro capacità di discernere le informazioni critiche nel formato richiesto. Abbiamo combinato i referti con le loro etichette deboli e abbiamo aggiunto le istruzioni specifiche del task, un po’ come si fa per l’addestramento iniziale di questi modelli. Abbiamo usato tecniche come LoRA per un training più veloce ed efficiente dal punto di vista computazionale.

La Prova del Nove: Test Interni ed Esterni

E poi, il momento della verità! Abbiamo testato il nostro sistema su due fronti: un set di dati interno della Mayo Clinic (80 referti annotati manualmente) e due set di dati esterni pubblici, MIMIC-III (123 referti annotati manualmente) e MIMIC-IV (ben 5000 referti). Abbiamo confrontato le performance dei modelli “debolmente affinati” (WFT) con quelle dei modelli pre-addestrati di base (PT).

Per la valutazione, abbiamo usato sia metriche basate sul confronto con annotazioni umane (come ROUGE, BLEU, METEOR e RadBERTScore, che misurano la somiglianza lessicale e semantica) sia metriche innovative basate su altri LLM (G-Eval, che usa GPT-4, e Prometheus, che usa LLaMa). Quest’ultimo approccio è super utile per valutare su larga scala, dove l’annotazione manuale sarebbe proibitiva.

I risultati? Beh, lasciate che ve lo dica: la supervisione debole fa la differenza! I modelli WFT hanno costantemente superato i modelli PT. E la tecnica di prompting few-shot nella Fase 1 ha dato una marcia in più. Ad esempio, sul set interno della Mayo, il modello Mistral WFT ha raggiunto un punteggio ROUGE-2 del 48%, superando i modelli base. Risultati simili li abbiamo visti sul set esterno MIMIC-III.

Curiosamente, i modelli Mistral generici hanno performato leggermente meglio dei BioMistral, forse perché BioMistral è addestrato su letteratura biomedica, che ha uno stile diverso dai referti radiologici, mentre i Mistral generici, essendo addestrati su una vasta mole di testo dal web, potrebbero aver “visto” più esempi simili ai referti.

Abbiamo anche notato che i referti più lunghi (come quelli della Mayo Clinic, in media 476 parole) sono più difficili da processare rispetto a quelli più corti (MIMIC-III, in media 53 parole). Più testo non significa sempre più informazione utile per il modello; a volte può portare a “allucinazioni” o a generare informazioni errate. Un’altra sfida sono le frasi negative, tipo “Nessuna evidenza di…”, che a volte il modello interpreta erroneamente come un segnale positivo, estraendo il termine critico anche se è negato.

Cosa Significa Tutto Questo (e Cosa Ci Aspetta)?

Il nostro lavoro, che consideriamo un importante proof-of-concept, dimostra che gli approcci supervisionati debolmente possono migliorare significativamente le performance in scenari dove i dati etichettati scarseggiano. Siamo riusciti a estrarre una vasta gamma di reperti critici da set di dati interni ed esterni senza la necessità di una laboriosa cura manuale dei dati di training.

Certo, siamo onesti: le metriche, pur mostrando un chiaro miglioramento rispetto ai modelli base, indicano che c’è ancora strada da fare prima che questi sistemi possano essere adottati come soluzioni cliniche pronte all’uso. A volte, reperti critici rari potrebbero non essere catturati dalla nostra lista, o il matching parziale dei termini (es. “lesione spinale” vs. “lesione della colonna vertebrale”) potrebbe non essere gestito al meglio.

Ma le prospettive sono entusiasmanti! Un sistema del genere potrebbe ridurre il rischio di errore umano nel segnalare condizioni gravi, portando a trattamenti più tempestivi e appropriati per problemi come emorragie intracraniche, lesioni spinali o embolie polmonari. E non solo: apre la porta ad analisi retrospettive dei dati, assicurando che problemi di salute significativi non vengano trascurati.

Per il futuro, puntiamo a migliorare ulteriormente il sistema, magari adattandolo per facilitare la comunicazione tempestiva dei reperti critici ai medici refertanti e per estrarre informazioni con una granularità maggiore (distinguendo tra reperti nuovi, noti o attesi). E perché no, sogniamo di integrare modelli che analizzino direttamente le immagini radiologiche insieme al testo!

Insomma, la nostra avventura nell’automatizzare l’estrazione di reperti critici è appena iniziata, ma i primi passi sono promettenti. Sfruttare l’intelligenza degli LLM con metodi di addestramento “furbi” come la supervisione debole potrebbe davvero fare la differenza nella cura del paziente. E questo, per me, è ciò che conta di più.

Se siete curiosi e volete dare un’occhiata più da vicino al nostro lavoro, il pipeline e il modello sono disponibili pubblicamente con licenza accademica su GitHub (trovate il link nella fonte originale).

Fonte: Springer