Svelare i Legami Nascosti: Le Misure di Associazione Basate su Cluster e le Loro Meraviglie

Ciao a tutti, appassionati di dati e misteri nascosti! Oggi voglio parlarvi di un argomento che mi sta particolarmente a cuore, perché, diciamocelo, capire come le cose sono collegate tra loro è un po’ il sale della vita, soprattutto quando si tratta di ricerca scientifica e analisi complesse. Siamo abituati a pensare alle correlazioni in termini semplici, magari con il buon vecchio coefficiente di Pearson o quello di Spearman. Ma cosa succede quando la realtà è molto più intricata, quando le relazioni non sono una bella linea retta o una curva dolce, ma un groviglio di pattern inaspettati? E se, per di più, all’interno dei nostri dati si nascondessero dei sottogruppi, dei “cluster”, ognuno con una sua storia da raccontare? Ecco, è qui che le cose si fanno affascinanti!

I Soliti Sospetti: Quando Pearson e Spearman Non Bastano Più

Partiamo dalle basi. Quando vogliamo capire se due variabili “si parlano”, spesso ricorriamo a strumenti come il coefficiente di correlazione di Pearson, perfetto se la relazione è lineare (immaginate una retta), o al coefficiente di Spearman, che va bene se la relazione è monotonica (cioè, se una variabile cresce, l’altra cresce o decresce costantemente, anche se non in linea retta). Kendall’s tau è un altro amico per le variabili ordinali. Questi sono gli eroi di molte analisi, ma hanno i loro limiti.

Pensate, ad esempio, a geni il cui livello di espressione segue un ciclo, come quelli legati al ciclo cellulare o all’orologio circadiano. O immaginate l’abbondanza di microbi in un ecosistema dinamico. Difficilmente queste relazioni saranno lineari! Anzi, potrebbero essere decisamente non lineari, come le curve dose-risposta in tossicologia, dove non sappiamo a priori che forma prenderà la relazione. In questi casi, affidarsi solo a Pearson o Spearman potrebbe portarci fuori strada, facendoci vedere correlazioni deboli o nulle quando in realtà c’è un legame fortissimo, ma più complesso. Un esempio banale? Se la relazione tra due variabili è una parabola perfetta, Pearson e Spearman ci direbbero che non c’è correlazione, anche se le due variabili sono perfettamente legate!

Una Giungla di Nuove Misure: Ma i Cluster Restano un Grattacapo

Negli anni, noi statistici abbiamo sviluppato un arsenale di metodi per misurare correlazioni e dipendenze più complesse. Abbiamo il coefficiente di correlazione massimale, vari coefficienti basati su funzioni di distribuzione cumulativa e ranghi, metodi basati su kernel, coefficienti teorici dell’informazione come il Maximal Information Coefficient (MIC), quelli basati sulle copule, e la distance correlation. Recentemente, sono spuntati anche il coefficiente di correlazione di Chatterjee e generalizzazioni multivariate. Insomma, non ci mancano gli strumenti!

Tuttavia, c’è un’altra complicazione: i famosi “cluster nascosti”. Immaginate di analizzare dati di imaging medico, immagini satellitari, espressione genica o dati sul microbioma. Spesso, questi dati non sono un blocco omogeneo, ma contengono sottogruppi eterogenei, dei cluster appunto, o addirittura outlier. Questi cluster potrebbero rappresentare, ad esempio, diversi stati di una malattia, differenti tipi di terreno in un’immagine satellitare, o gruppi di pazienti che rispondono diversamente a un trattamento. Se ignoriamo questi cluster, le nostre misure di associazione globali potrebbero darci un quadro completamente distorto della realtà.

Un esempio classico è il dataset del geyser Old Faithful. Ci sono due cluster naturali di osservazioni basati sulla durata delle eruzioni. Se ignoriamo i cluster, sembra che tempo di eruzione e tempo di attesa per la prossima eruzione siano fortemente correlati positivamente. Ma se guardiamo dentro ogni cluster, la correlazione è debole! Questo è un po’ come il paradosso di Simpson nelle tabelle di contingenza: un effetto che appare in una certa direzione quando i dati sono aggregati, scompare o si inverte quando i dati sono disaggregati.

L’idea di “clusterizzare” prima di calcolare le associazioni non è nuova, ma le metodologie esistenti sono spesso ad-hoc. Magari si fa un K-means (dove devi specificare tu il numero di cluster, K) o uno spectral clustering, e poi si calcola la correlazione di Pearson dentro ogni cluster. Ma c’è bisogno di un approccio più strutturato e affidabile.

L’Idea Geniale: Prima Dividi (in Cluster), Poi Misura! Ecco CLAM

Ed è qui che entra in gioco la nostra nuova procedura, che abbiamo chiamato CLAM (CLuster based Association Measures). L’idea di fondo è semplice ma potente:

1. Utilizziamo algoritmi di clustering capaci di scovare questi cluster nascosti in modo “agnostico”, cioè senza che noi dobbiamo dirgli molto a priori.
2. Una volta identificati i cluster, calcoliamo le misure di associazione all’interno di ciascun cluster, usando metodi adatti a quantificare relazioni arbitrarie (non solo lineari).
3. Infine, combiniamo queste informazioni per ottenere sia una misura di associazione complessiva che tenga conto dei diversi cluster, sia le associazioni specifiche per ogni cluster.

Perché questo è importante? Perché ci permette di avere una visione molto più ricca e accurata delle relazioni tra le variabili, specialmente in dati eterogenei e complessi, che sono all’ordine del giorno nella ricerca biomedica e non solo.

CLAM: Come Funziona Questa Magia? Proprietà e Algoritmi

Per costruire CLAM, abbiamo pensato a cosa dovrebbe fare una misura di associazione ideale ((rho(X,Y))):

• (B1) Essere compresa tra 0 e 1.
• (B2) Essere 0 se e solo se X e Y sono indipendenti.
• (B3) Essere 1 se e solo se Y è una funzione misurabile di X (Y = f(X)).
• (B4) Per variabili univariate, essere invariante a trasformazioni monotone (cioè (rho(T(X), S(Y)) = rho(X, Y)) se T e S sono monotone).

E un algoritmo di clustering ideale?

• (A1) Essere guidato dai dati, senza input manuale sul numero di cluster o troppi parametri di tuning.
• (A2) Essere consistente, con garanzie teoriche che identifichi i “veri” cluster al crescere della dimensione del campione.

Per la parte di clustering, ci siamo concentrati su algoritmi che funzionano bene sotto il cosiddetto modello LDLN (Low Dimensional Large Noise). Questo modello assume che i nostri dati, anche se sembrano vivere in uno spazio ad alta dimensione, in realtà si concentrano su manifold (sottospazi) a dimensione intrinseca più bassa, magari circondati da rumore. Molti dati reali (immagini, genomica, parlato) seguono questa ipotesi. Alcuni algoritmi che abbiamo considerato sono:

• Clustering basato su grafi di vicinato: Si costruisce un grafo dove i nodi sono i punti dati e gli archi collegano punti vicini. I cluster emergono come componenti connesse di questo grafo.
• Spectral Clustering (SC) con distanze sensibili alla densità: Questi metodi usano autovalori e autovettori di una matrice di similarità per trovare i cluster. Le distanze “sensibili alla densità” (come LLPD o g-distance) aiutano a identificare cluster di forme strane e in presenza di densità variabili.
• Clustering basato sulla prominenza topologica: Sfrutta l’omologia persistente, uno strumento della Topological Data Analysis (TDA), per identificare cluster significativi basandosi sulla “nascita” e “morte” di componenti connesse a diverse scale.

Una volta ottenuti i cluster, diciamo K cluster ({mathscr{M}_{i}}_{i=1}^{K}), e scelta una misura di associazione M (come Chatterjee, Copula, Maximal, etc.), calcoliamo l’associazione (rho_{M}(X, Y, mathscr{M}_{i})) dentro ogni i-esimo cluster. L’associazione CLAM complessiva è una media pesata di queste associazioni intra-cluster:
[ rho_{CLAM, M}(X,Y) = sum_{i=1}^{K} alpha_{i} rho_{M}(X, Y, mathscr{M}_{i}) ]
dove (alpha_{i}) è la proporzione di dati nell’i-esimo cluster. Questa formula è motivata dalla decomposizione della correlazione di Pearson quando si tiene conto dell’effetto della posizione dei cluster.
È importante notare che CLAM non solo ci dà un numero complessivo, ma ci fornisce anche i pesi dei cluster, le associazioni intra-cluster e la “posizione” media dei cluster. Questo è fondamentale, perché se le associazioni intra-cluster sono molto diverse (ad esempio, positiva in un cluster e negativa in un altro), la media potrebbe essere fuorviante se presa da sola.

CLAM alla Prova dei Fatti: Esempi Concreti

Abbiamo messo alla prova CLAM su dati sintetici e reali, e i risultati sono stati davvero incoraggianti!

Old Faithful Geyser (di nuovo!):
Tornando al nostro geyser, CLAM (usando varie misure di base come Chatterjee, Copula, Maximal, Distance, MIC) ha confermato che, una volta considerati i due cluster naturali, la correlazione tra tempo di eruzione e tempo di attesa è debole (valori CLAM tra 0.08 e 0.45 a seconda della misura base, molto più bassi delle correlazioni globali che arrivavano fino a 0.97!). Diversi metodi di clustering hanno prodotto partizioni simili, portando a risultati CLAM consistenti.

Dati sul Microbioma Intestinale (IBD):
Abbiamo analizzato dati dal progetto Integrative Human Microbiome Project su pazienti con malattie infiammatorie intestinali (IBD). Concentrandoci su coppie di microbi, abbiamo visto come gli outlier o piccoli cluster potessero influenzare drasticamente le misure di correlazione standard. Ad esempio, per una coppia di microbi, la correlazione di Pearson era 0.36, ma CLAM (con Maximal Correlation come base e clustering NG) ha dato 0.11, riflettendo meglio la debole associazione una volta “puliti” gli effetti dei cluster/outlier. In generale, (hat{rho}_{CLAM,Max,NG,n}) è sembrata la stima più realistica, meno influenzata da questi gruppi anomali rispetto alla (hat{rho}_{Max,n}) standard.

Dati di Imaging (DrivFace, Landsat, COIL):
Qui la sfida era interessante: potevamo usare CLAM per valutare l’associazione tra le immagini stesse (X) e le loro etichette di classe (Y, ad esempio, il tipo di terreno in Landsat o l’identità del guidatore in DrivFace)? Abbiamo usato una versione multivariata della correlazione di Chatterjee. I risultati sono stati netti: CLAM ha mostrato un’associazione molto più forte tra immagini e loro etichette predette dal clustering rispetto alla correlazione di Chatterjee calcolata sui dati grezzi. Ad esempio, per il dataset Landsat, la correlazione di Chatterjee era 0.69, mentre (hat{rho}_{CLAM,Ch,SC,n}) (usando Spectral Clustering) era 0.93! Questo dimostra l’accuratezza del clustering e come CLAM possa quantificare meglio queste relazioni complesse.
Abbiamo anche visto come, all’interno delle classi di immagini (ad esempio, tutte le immagini di “suolo rosso”), misure come Image Distance Correlation (IDC) e Image Maximal Correlation (IMC) fossero stocasticamente più grandi di Image Pearson Correlation (IPC) o Image Chatterjee’s Correlation (ICC), indicando che catturano meglio le similarità non lineari tra immagini della stessa classe. E, cosa ancora più interessante, le IDC calcolate all’interno dei cluster trovati algoritmicamente erano spesso ancora più alte, suggerendo che i cluster matematici erano persino più omogenei delle etichette originali!

Perché CLAM Ci Cambia la Vita (da Analisti di Dati)

Insomma, descrivere le associazioni tra variabili è un problema vecchio come il cucco, ma diventa sempre più sfidante con la complessità crescente dei dati scientifici. Relazioni non lineari e cluster nascosti possono confondere le acque. CLAM ci offre un approccio più robusto e dettagliato: prima scopriamo la struttura nascosta dei dati dividendoli in cluster significativi, e poi analizziamo le associazioni all’interno di questi contesti più omogenei, oltre a fornire una visione d’insieme più consapevole.
Questo non significa buttare via i vecchi metodi, ma avere uno strumento in più, particolarmente potente quando sospettiamo che i nostri dati siano più “disordinati” e “sfaccettati” di quanto sembri a prima vista. È un passo avanti per interpretare meglio i segnali nascosti nei nostri dati e, speriamo, per fare scoperte scientifiche più accurate. E voi, siete pronti a svelare i legami nascosti nei vostri dati?

Fonte: Springer