IA e Crisi Epilettiche: Quando i Modelli Sbattono Contro la Realtà Clinica

Ciao a tutti! Oggi voglio portarvi con me in un viaggio affascinante, ma anche pieno di sfide, nel mondo dell’intelligenza artificiale applicata alla medicina. Nello specifico, parleremo di come ho cercato di usare modelli di machine learning e deep learning per un compito importantissimo: classificare le crisi epilettiche analizzando i dati dell’Elettroencefalogramma (EEG). Sembra fantascienza, vero? Eppure, ci stiamo lavorando sodo.

L’Epilessia e la Sfida dell’EEG

Partiamo dalle basi. L’epilessia, come ci ricorda l’Organizzazione Mondiale della Sanità (OMS), è una malattia neurologica cronica che colpisce circa 50 milioni di persone nel mondo. Si manifesta con crisi ricorrenti, episodi improvvisi di attività cerebrale anomala. L’EEG è uno strumento fondamentale per la diagnosi: registra l’attività elettrica del cervello e permette ai medici di “vedere” queste scariche anomale.

Il problema? Gli esami EEG possono durare ore, a volte giorni! Analizzare manualmente queste enormi moli di dati per individuare le crisi è un lavoro lungo e meticoloso per i neurologi. Ed è qui che entra in gioco l’idea di usare l’IA: e se potessimo addestrare un computer a riconoscere automaticamente i pattern delle crisi epilettiche nell’EEG? Sarebbe un aiuto enorme per velocizzare la diagnosi e migliorare la gestione dei pazienti.

La Promessa dell’Intelligenza Artificiale

Negli ultimi anni, abbiamo visto un fiorire di studi che propongono modelli di machine learning (ML) e deep learning (DL) per questo scopo. Molti di questi studi riportano risultati strabilianti, con accuratezze superiori al 90%, a volte sfiorando il 100%! Si usano algoritmi classici come le Support Vector Machine (SVM) o le Random Forest (RF), che lavorano su “features” estratte dal segnale EEG (statistiche, frequenze, pattern temporali). E poi ci sono le reti neurali profonde, come le Reti Neurali Convoluzionali (CNN) o le Reti Neurali Ricorrenti (RNN), che promettono di imparare direttamente dai dati grezzi, senza bisogno di estrarre features manualmente.

Tutto bellissimo sulla carta. Ma c’è un “ma”, e bello grosso. Spesso, questi modelli vengono addestrati e testati su un singolo database pubblico. Cosa succede quando proviamo a usarli su dati reali, provenienti da un ospedale diverso, con pazienti diversi, magari registrati con macchinari leggermente differenti? Ecco, qui iniziano i dolori.

Il Mio Esperimento: Dal Laboratorio all’Ospedale

Proprio da questa domanda è nato il mio lavoro, in collaborazione con il reparto di epilessia della Fundacion Hospital Pediatrico de la Misericordia (HOMI). Ci siamo chiesti: questi modelli super-performanti che vediamo in letteratura, funzionano davvero quando li applichiamo agli EEG dei pazienti dell’HOMI?

Per scoprirlo, ho fatto un lavoro certosino:

1. Ho preso tre grandi database pubblici di EEG (CHB-MIT, AUB, NICU), contenenti dati di oltre 100 pazienti diversi, già annotati da esperti (cioè, con le crisi già segnate).
2. Ho riprodotto e riaddestrato un bel po’ di modelli ML e DL descritti in letteratura, usando questi dati pubblici combinati. L’idea era creare modelli robusti, addestrati su una grande varietà di segnali.
3. Ho preparato i dati con cura (preprocessing): filtraggio per eliminare rumore, standardizzazione della frequenza di campionamento (256 Hz), e suddivisione degli EEG in piccoli frammenti di 5 secondi, classificati come “Crisi” o “Non Crisi”. Ho anche bilanciato il dataset, perché normalmente i momenti senza crisi sono molti di più.
4. Ho testato i modelli migliori ottenuti sui dati pubblici su un EEG reale, registrato e annotato manualmente dagli esperti dell’HOMI, proveniente da un paziente pediatrico. Questo era il vero banco di prova.

Risultati sulla Carta: I Campioni dei Dati Pubblici

Nella prima fase, sui dati pubblici, i risultati sono stati incoraggianti, in linea con la letteratura.

• Tra i modelli di machine learning classico, il migliore è stato il Random Forest Classifier (RFC), soprattutto quando addestrato usando tutte le features calcolate (ben 1998!). Ha raggiunto un’accuratezza (misurata con AUROC e F1-Score) davvero alta, intorno a 0.97 e 0.92 rispettivamente. Anche usando solo features specifiche come quelle derivate dalle trasformate wavelet o dalle bande di potenza, l’RFC si è comportato molto bene. Altri algoritmi come SVM o KNN erano buoni, ma non a quel livello.
• Passando al deep learning, ho riprodotto diverse architetture di reti neurali (CNN, RNN, Autoencoder…). Una specifica rete convoluzionale (chiamata CNN1 nello studio) ha ottenuto risultati leggermente superiori persino all’RFC, con un AUROC di 0.977 e un F1-Score di 0.923. Anche altre reti (DCNN, CNN3) hanno mostrato performance elevate (>0.94 AUROC).

Insomma, fino a qui, tutto sembrava confermare le grandi potenzialità di questi approcci. Avevo tra le mani modelli che, sulla carta, erano dei campioni nel riconoscere le crisi.

La Doccia Fredda: Il Test sui Dati Reali dell’HOMI

E poi è arrivato il momento della verità: testare i modelli “campioni” sull’EEG del paziente dell’HOMI. Ragazzi, che batosta!
L’accuratezza è crollata drasticamente per tutti i modelli.

• Il modello che era risultato il migliore sui dati pubblici, la rete neurale CNN1, è stato il peggiore in assoluto sui dati HOMI, con un’accuratezza (AUROC) praticamente pari a tirare a indovinare (0.495)! Un disastro.
• Il modello che si è difeso meglio è stato il buon vecchio Random Forest (RFC) addestrato con tutte le features. Ha ottenuto un AUROC di 0.656 e un F1-Score decente, ma comunque molto, molto lontano dai risultati brillanti visti sui dati pubblici.
• Anche gli altri modelli RFC (con Wavelets o Power Bands) e le altre reti neurali (CNN3, DCNN) hanno mostrato un calo enorme, posizionandosi tra l’RFC completo e il disastroso CNN1.

Analizzando più a fondo, ho visto che alcuni modelli (come CNN1 o RFC con poche features) generavano tantissimi falsi positivi (segnalavano crisi dove non c’erano), mentre altri (come DCNN) producevano molti falsi negativi (mancavano crisi reali). L’RFC con tutte le features sembrava il più equilibrato, ma comunque lontano dalla perfezione.

Perché questa Enorme Differenza? Un Rompicapo da Risolvere

Questo “accuracy gap”, questo divario tra le performance in laboratorio e quelle nella pratica clinica, è il vero nodo cruciale. Perché succede? Le ipotesi sono diverse:

• Diversità dei Dati: I dati pubblici, anche se numerosi, potrebbero non catturare tutta la variabilità presente negli EEG reali di un ospedale specifico (diversi macchinari, protocolli, popolazioni di pazienti).
• Caratteristiche Cliniche: Il paziente HOMI aveva un’età specifica (13 anni). I dati pubblici coprivano un ampio range di età, ma con molti neonati. Forse il modello non generalizza bene tra età diverse? O magari il tipo specifico di crisi del paziente HOMI era poco rappresentato nei dati di training? Purtroppo, le informazioni sul tipo di crisi erano limitate nei dataset pubblici.
• Annotazioni Manuali: Anche se fatte da esperti, ci possono essere piccole differenze nel modo in cui le crisi vengono annotate. Ho provato a usare metriche meno sensibili ai confini esatti delle crisi, ma il ranking dei modelli non è cambiato molto, suggerendo che non fosse questo il problema principale.
• Preprocessing e Formati: Nonostante gli sforzi per standardizzare i dati, potrebbero esserci differenze tecniche sottili tra i dataset che influenzano le performance, specialmente per le reti neurali che sono molto sensibili all’input.
• Bilanciamento delle Classi: Nella realtà, le crisi sono eventi rari. Anche se ho bilanciato il dataset per il training, testare su dati reali sbilanciati può essere problematico.

Velocità vs Accuratezza: Un Altro Fattore da Considerare

Un altro aspetto interessante è stato il tempo computazionale. Addestrare questi modelli richiede tempo e risorse. L’RFC con tutte le features è stato il più lento da addestrare (oltre 50 ore!), principalmente per il calcolo delle features stesse. Le reti neurali hanno richiesto tra le 8 e le 38 ore.
Ma per l’uso clinico, è cruciale il tempo di classificazione, cioè quanto ci mette il modello ad analizzare un nuovo EEG. Qui le reti neurali sono state le più veloci (circa 1 ora per analizzare un esame di 6 ore). L’RFC con tutte le features, invece, è risultato molto lento (oltre 12 ore!), sempre a causa del calcolo delle features. I modelli RFC con meno features erano una via di mezzo (circa 1.5 ore). C’è quindi un trade-off tra l’accuratezza (migliore per RFC+All su dati HOMI) e la velocità di analisi (migliore per le reti neurali).

Conclusioni e Prossimi Passi: La Strada è Ancora Lunga

Cosa ci portiamo a casa da questa esperienza? Che c’è ancora molta strada da fare prima di poter integrare questi modelli AI in modo affidabile nella pratica clinica quotidiana per la diagnosi dell’epilessia. L’accuratezza strabiliante riportata su dati “puliti” e controllati spesso non si traduce direttamente in performance utili su dati reali e specifici di un ospedale.

La soluzione? Probabilmente passa da:

• Addestrare modelli su dati locali: Creare dataset ampi e ben annotati con dati provenienti dallo stesso ospedale in cui si userà il modello sembra fondamentale per catturare le specificità locali. È quello che stiamo pianificando di fare all’HOMI.
• Migliorare la generalizzazione: Sviluppare tecniche che rendano i modelli meno sensibili alle variazioni tra diversi dataset.
• Rendere i modelli accessibili: Un altro ostacolo che ho incontrato è stata la difficoltà nel reperire i modelli già addestrati dalla letteratura. Per questo, ho reso disponibili i modelli riaddestrati in questo lavoro e il codice per usarli, sperando che altri possano testarli e costruirci sopra.

Il potenziale dell’IA per aiutare nella diagnosi dell’epilessia è enorme, ma dobbiamo essere realistici sulle sfide e lavorare sodo per superare questo “gap” tra ricerca e applicazione clinica. Spero che questo racconto vi abbia dato uno spaccato onesto di questo percorso!

Fonte: Springer