ChatGPT-4 Scrive i Referti Forensi: Rivoluzione alle Porte o Cautela d’Obbligo?

Amici lettori, preparatevi perché oggi ci addentriamo in un territorio che sembra uscito da un film di fantascienza, ma che è già prepotentemente realtà: l’intelligenza artificiale (IA) applicata alla medicina legale. Sì, avete capito bene! Mi sono imbattuto in uno studio affascinante che valuta la capacità di ChatGPT-4, il cervellone artificiale di OpenAI, di generare referti forensi. E credetemi, i risultati mi hanno fatto riflettere parecchio.

Da appassionato di tecnologia e delle sue implicazioni, non potevo esimermi dall’analizzare questo studio, intitolato “Assessing ChatGPT-4’s ability to generate forensic reports: a study of artificial intelligence in forensics”. L’idea di un’IA che redige documenti così cruciali, che possono decidere le sorti di un processo, è al tempo stesso esaltante e un tantino inquietante. Ma andiamo con ordine.

Cos’è questa Intelligenza Artificiale di cui tutti parlano?

L’intelligenza artificiale è una delle conquiste tecnologiche più sbalorditive della nostra epoca, con un impatto che si estende dalla medicina alla farmaceutica, dall’educazione all’assistenza al paziente. E la sua integrazione nella vita quotidiana è destinata solo ad aumentare. In questo scenario, modelli linguistici come ChatGPT (Chat Generative Pre-Trained Transformer) giocano un ruolo da protagonisti. Sviluppato da OpenAI e reso pubblico nel novembre 2022, ChatGPT ha segnato un’evoluzione rispetto ai precedenti modelli di deep learning. Questi nuovi Large Language Models (LLM) sono addestrati a prevedere la probabilità di una sequenza di parole basandosi sul contesto. Immaginate di dargli in pasto una quantità spropositata di testi: il modello impara a generare nuove sequenze di parole coerenti e appropriate, quasi come farebbe un essere umano. ChatGPT-4, rilasciato nell’aprile 2023, è l’evoluzione su cui si concentra lo studio, noto per le sue capacità di ragionamento superiori.

Nonostante la loro accessibilità e i continui aggiornamenti, questi modelli, diciamocelo, faticano ancora a cogliere appieno le sfumature e le complessità dei singoli casi clinici. E qui casca l’asino, o meglio, qui si apre la sfida per la medicina legale.

La Sfida dei Referti Forensi: Un Lavoro da Certosini

La medicina legale si basa pesantemente sulla preparazione di referti, un processo che richiede tempo, meticolosità e un’enorme mole di lavoro. Le crescenti richieste amministrative hanno ulteriormente allungato i tempi. Ecco che l’IA, e in particolare gli LLM, si presentano come una potenziale manna dal cielo per automatizzare la documentazione clinica secondo protocolli standardizzati. Tuttavia, studi precedenti che hanno utilizzato ChatGPT e LLAMA per la generazione di referti forensi hanno evidenziato problemi come la dimensione del modello, i tempi di elaborazione e, soprattutto, il rischio di informazioni inaccurate. Nonostante ciò, il potenziale per standardizzare la struttura dei referti e migliorare la coerenza è innegabile.

Uno studio sulla refertazione in radiologia d’urgenza, ad esempio, ha mostrato come ChatGPT-4 abbia superato altri modelli nel riconoscere e classificare correttamente i reperti d’emergenza. Anche in oftalmologia, ChatGPT si è allineato con le preferenze degli specialisti nel 58% dei casi di chirurgia del glaucoma, superando Google Gemini. Forte di queste premesse, lo studio che vi racconto oggi ha scelto proprio ChatGPT-4.

Entriamo nel Vivo: Come Hanno Messo alla Prova ChatGPT-4 in Turchia

Lo studio si è svolto in Turchia, dove la preparazione dei referti forensi è standardizzata da una linea guida nazionale, basata sugli articoli 86 e 87 del Codice Penale Turco. Questa guida è fondamentale per determinare le conseguenze penali delle lesioni. Termini come “pericolo di vita (LT – Life-threatening)” e “lesione guaribile con semplice intervento medico (SMI – Simple Medical Intervention)” sono concetti chiave. Ad esempio, una lesione a organi interni, anche se guarisce, costituisce un LT. Una lesione muscolare da arma da taglio, invece, non rientra nello SMI.

Ma come hanno “istruito” ChatGPT-4? Gli è stata fornita la guida forense turca e 20 casi esemplificativi. L’IA è stata addestrata ad analizzare questi documenti per comprendere il processo di scrittura e usare la guida come riferimento. Dopodiché, è iniziata la sperimentazione vera e propria:

• Fase retrospettiva: ChatGPT-4 ha dovuto scrivere le conclusioni di 100 casi forensi archiviati, privati delle conclusioni originali.
• Fase prospettica: ChatGPT-4 ha elaborato le conclusioni per 266 nuovi casi, che sono stati parallelamente analizzati anche da 11 medici specializzandi in medicina legale (con 2 anni di esperienza su 4 di specializzazione).

Due medici legali specialisti, con almeno 3 anni di esperienza, hanno poi valutato l’accuratezza di tutti i referti (sia quelli dell’IA che quelli degli specializzandi) secondo i criteri della guida: condizioni LT, casi SMI, fratture ossee (presenza e classificazione), cicatrici permanenti al volto (PFS) e lesioni sensoriali o d’organo. È importante sottolineare che i dati personali dei pazienti non sono mai stati condivisi con l’IA, ma solo le loro anamnesi mediche.

L’obiettivo? Capire se ChatGPT-4 potesse davvero eguagliare, o almeno avvicinarsi, alla perizia umana.

I Risultati: Numeri che Parlano (ma con Qualche Sfumatura)

Ebbene, i risultati sono stati sorprendenti, ma con delle precisazioni importanti. Nelle categorie combinate di “Pericolo di Vita” (LT) e “Semplice Intervento Medico” (SMI), ChatGPT-4 ha raggiunto un’accuratezza del 96,6% nella fase retrospettiva e del 96,2% in quella prospettica. Non male, vero? Tuttavia, gli specializzandi in medicina legale hanno fatto meglio, con un tasso di accuratezza del 99,1% in queste stesse categorie.

Analizzando gli errori di ChatGPT-4, emergono dettagli interessanti:

• Errori nella categoria LT: L’IA ha commesso errori in casi che coinvolgevano un difetto della dura madre, una frattura da compressione minima della vertebra C3 e un’intossicazione da monossido di carbonio (CO). In un caso di avvelenamento da farmaci, ha dato un risultato errato indipendentemente dai dati clinici. Ha mancato un’emorragia subaracnoidea e una valutazione LT necessaria in una frattura del seno frontale. Si ipotizza che in alcuni casi, come quello dell’intossicazione da CO, ChatGPT-4 possa aver consultato risorse online esterne alla guida fornita, portando a conclusioni non allineate.
• Errori nella categoria SMI: In un caso, l’IA ha classificato come “non guaribile con SMI” le lesioni di una paziente incinta, dando priorità alla gravidanza rispetto alle linee guida specifiche per le lesioni stesse, che sarebbero state considerate SMI. Questo dimostra una sorta di “iniziativa” del modello, ma non in linea con il protocollo.
• Fratture Ossee: Sebbene ChatGPT-4 abbia identificato correttamente la presenza di fratture nel 100% dei casi, ha commesso errori nella loro classificazione (punteggio) nel 7,8% dei casi retrospettivi e nel 6,6% di quelli prospettici. Gli errori si sono concentrati su fratture multiple, fratture esposte e fratture scomposte, soprattutto di ossa lunghe e maxillo-facciali. Qui la differenza con gli specializzandi, che hanno raggiunto il 100% di accuratezza nella classificazione, è stata statisticamente significativa. Il problema sembra risiedere nella difficoltà dell’IA di interpretare correttamente la terminologia radiologica variabile o di conciliare discrepanze tra note cliniche e referti radiologici.
• Cicatrici Permanenti al Volto (PFS): ChatGPT-4 ha correttamente identificato il 98,7% dei casi che richiedevano o meno un riesame a 6 mesi. Tuttavia, ha errato nel non richiedere il controllo per piccole lesioni (≤ 10 mm) in aree protette del viso (es. vicino alla narice, sotto la palpebra), presumendo forse che non avrebbero lasciato cicatrici.
• Casi senza reperti patologici traumatici: Nella fase retrospettiva, successo del 100%. Nella fase prospettica, un caso è stato erroneamente classificato come lesione lieve SMI, nonostante l’assenza di reperti fisici, perché l’IA si è concentrata sulla dicitura “trauma cranico” nell’anamnesi.

In generale, le risposte di ChatGPT-4 in turco sono state giudicate coerenti con la terminologia medico-legale e comprensibili. Gli specialisti hanno ritenuto la sua performance “utilizzabile” nel campo.

Uomo vs. Macchina: Chi la Spunta?

Il test statistico di McNemar ha indicato che non c’erano differenze statisticamente significative nei tassi di accuratezza tra ChatGPT-4 e gli specializzandi in medicina legale per la maggior parte delle categorie, ad eccezione della classificazione delle fratture ossee. Qui, l’esperienza umana ha fatto la differenza.

Questo studio dimostra che ChatGPT-4 raggiunge un’elevata accuratezza nelle classificazioni forensi, specialmente in quelle oggettive dove non è richiesto un ragionamento contestuale profondo. Il suo approccio strutturato contribuisce alla standardizzazione della documentazione. Tuttavia, i suoi limiti emergono in casi che necessitano di un’interpretazione più profonda, sottolineando il ruolo insostituibile dell’esperienza umana.

L’accuratezza di ChatGPT-4, come evidenziato anche da ricerche precedenti, dipende fondamentalmente dalla qualità e dalla completezza dei dati di addestramento. Nonostante la capacità di generare risposte strutturate, il modello manca di capacità di ragionamento intrinseco e, in alcuni casi, può “inventare” regole o supposizioni. Questa è la sua natura probabilistica: predice la sequenza di parole più probabile, non comprende concettualmente.

Limiti, Potenzialità e il Futuro che ci Aspetta

Lo studio ha delle limitazioni, come la dimensione ristretta del campione e la limitata diversità dei casi, che potrebbero influenzare la generalizzabilità dei risultati. Inoltre, è stato condotto prima del rilascio dell’ultimo aggiornamento ChatGPT-4o, che potrebbe offrire performance superiori.

Nonostante ciò, i risultati sono promettenti. ChatGPT-4 ha dimostrato di elaborare e valutare efficacemente la documentazione forense, adottando la terminologia corretta e raggiungendo un alto tasso di successo. Questo si allinea con ricerche precedenti che hanno mostrato come l’integrazione tecnologica nella documentazione clinica e nei processi decisionali abbia dato buoni frutti, soprattutto nella gestione dei pazienti.

L’elevato tasso di successo di ChatGPT-4 in questo studio, rispetto ad altre applicazioni mediche, potrebbe essere attribuito alla natura strutturata della documentazione medico-legale, dove i modelli linguistici basati su testo possono elaborare e analizzare efficacemente informazioni standardizzate. Tuttavia, la performance superiore degli specializzandi sottolinea la necessità di una supervisione esperta.

Pensiamo agli errori sulla valutazione del “pericolo di vita”: l’IA ha faticato con termini come “difetto della dura madre” o nel valutare correttamente una “frattura da compressione minima”. Questi sono dettagli che l’occhio esperto di un medico coglie immediatamente nel loro contesto clinico completo.

La scrittura di referti forensi è un compito complesso e dispendioso in termini di tempo. L’implementazione di ChatGPT-4 potrebbe accelerare questo processo, specialmente nei casi semplici, minimizzando l’errore umano e offrendo al medico una prospettiva critica aggiuntiva.

Conclusioni: Un Alleato Prezioso, Ma Non (Ancora) un Sostituto

Cosa ci portiamo a casa da questo studio? Personalmente, vedo un enorme potenziale. ChatGPT-4 può diventare uno strumento di supporto incredibilmente valido per i medici legali. Può aiutare a velocizzare la stesura dei referti, a standardizzare i formati, forse persino a ridurre il carico di lavoro dei medici, permettendo loro di concentrarsi sui casi più complessi.

Tuttavia, e questo è un “tuttavia” grande come una casa, la supervisione umana rimane cruciale. L’IA può sbagliare, può interpretare male, può non cogliere quelle sfumature che solo l’esperienza e il ragionamento clinico di un professionista possono decifrare. Nel contesto della refertazione forense, anche errori minimi possono avere conseguenze giudiziarie significative.

L’avanzamento dell’IA nel campo medico e legale è inevitabile, ma la sua integrazione deve passare attraverso un attento scrutinio etico. Chi è responsabile se l’IA commette un errore in un referto? Come garantiamo la privacy dei dati? Sono domande a cui dobbiamo trovare risposte solide.

In conclusione, questo studio segna un punto di svolta. È la prima ricerca nel suo genere a esaminare l’uso di un chatbot basato su IA in medicina legale e dimostra che l’IA può funzionare in armonia con le scienze mediche. Si prevede che l’applicazione di ChatGPT-4 in altre discipline forensi, come la valutazione della disabilità, le autopsie e la determinazione dell’età, ridurrà il carico di lavoro dei medici e aumenterà l’efficienza. Ma, lo ripeto, il ruolo del medico supervisore resta insostituibile. Un futuro di collaborazione tra intelligenza umana e artificiale, questo sì, mi sembra uno scenario affascinante e realistico.

Fonte: Springer