Reti Neurali Virtuali: Centinaia di Anime in un Solo Corpo!

Ehilà, appassionati di tecnologia e futuri visionari! Oggi voglio parlarvi di qualcosa che mi ha letteralmente fatto saltare sulla sedia, un concetto che suona quasi fantascientifico ma è incredibilmente reale e promettente: le Reti Neurali Virtuali (VNNE). Immaginate di poter avere la potenza di centinaia di cervelli artificiali, tutti operanti all’unisono, ma occupando lo spazio e le risorse di pochissimi. Sembra magia, vero? Beh, preparatevi, perché stiamo per scoprire come funziona!

Ma prima, un piccolo passo indietro: cos’è un “ensemble” e perché dovremmo preoccuparcene?

Nel machine learning, l’idea di mettere insieme tanti “classificatori deboli” per crearne uno “forte” non è nuova. Pensate a tecniche come Boosting, Stacking, Bagging… sono tutti modi per far collaborare diversi modelli e ottenere risultati migliori. Anche le reti neurali profonde beneficiano di questo approccio, creando i cosiddetti “deep ensemble”. I vantaggi? Principalmente si riduce l’overfitting (quando un modello impara troppo bene i dati di training e poi fa cilecca su dati nuovi) e si ottiene una complessità inferiore rispetto a un singolo, gigantesco modello con la stessa precisione. Avete presente le competizioni su Kaggle? Spesso le soluzioni vincenti usano decine di modelli!

Il problema, però, sorge quando questi ensemble diventano troppo ingombranti. Immaginate di dover caricare e scaricare 37 modelli giganteschi dalla memoria della GPU uno dopo l’altro solo per processare un singolo input. Un’eternità! E poi, c’è la questione della diversità: se i modelli sono addestrati separatamente, chi ci assicura che non finiscano per darsi ragione a vicenda anche quando sbagliano? Poca diversità, poco guadagno in accuratezza.

Ecco che entrano in gioco le Reti Neurali Virtuali: l’eleganza della condivisione

Ed è qui che la faccenda si fa super interessante. Le VNNE propongono una soluzione geniale: un ensemble implicito e omogeneo che fonde i principi delle reti neurali siamesi (quelle che imparano a confrontare le cose) con la tecnica dei deep ensemble. Il trucco? Parametri virtuali condivisi! Grazie a questa condivisione, possiamo addestrare e far girare centinaia di reti neurali contemporaneamente senza il bisogno di caricarle e scaricarle una ad una dalla memoria della GPU. Ecco da dove viene il titolo un po’ poetico: “centinaia di anime in un solo corpo”. E la cosa più bella è che, sperimentalmente, le VNNE battono i deep ensemble standard, anche quelli con un numero maggiore di parametri allenabili!

Ma come funziona esattamente questa magia?

• Si parte da un’architettura di rete neurale standard (tipo ResNet o EfficientNet).
• Questa architettura viene usata per creare un piccolo numero di “modelli fisici”. Questi modelli fisici sono più che altro dei contenitori di pesi (i parametri allenabili).
• Poi, si generano tantissimi “modelli virtuali”. Ogni modello virtuale non ha pesi propri, ma “prende in prestito” blocchi di pesi dai modelli fisici in modo casuale, a parità di livello. Si creano così combinazioni uniche.

Tutti questi modelli virtuali ricevono lo stesso input, e la loro struttura interconnessa, quasi “ingarbugliata”, induce una sorta di “distorsione interna” che, udite udite, aumenta la robustezza dell’intero ensemble. L’accuratezza migliora all’aumentare del numero di reti virtuali, senza che aumenti il numero di parametri da addestrare! È come avere più prospettive sullo stesso problema, ma senza dover pagare il prezzo di avere più “cervelli” fisici.

I punti di forza che mi hanno conquistato

Questo approccio ha delle caratteristiche davvero notevoli:

• Scalabilità virtuale: Aumentiamo la “capacità virtuale” mantenendo fisso il numero di parametri allenabili. Questo è un cambio di paradigma pazzesco!
• Distorsione interna benefica: La struttura aggrovigliata delle reti virtuali crea una robustezza intrinseca.
• Meno “overconfidence”: Le VNNE tendono ad essere meno sicure di sé quando sbagliano rispetto ai deep ensemble tradizionali, il che è un bene! Hanno una minore “disagreement diversity” ma una maggiore divergenza di Kullback-Leibler.
• Il singolo campione: Prendendo il miglior modello singolo dall’ensemble VNNE, si ottengono risultati superiori persino a modelli allenati individualmente con più parametri. Incredibile!

Pensateci: non stiamo creando sotto-reti riducendo i parametri di un modello base (come fa il dropout). Qui, tutte le sotto-reti (i modelli virtuali) mantengono lo stesso numero di parametri del modello base. E la memoria richiesta per l’addestramento cresce in modo sub-lineare, non esplode!

Come si costruisce una VNNE e come impara?

Ok, entriamo un po’ più nel tecnico, ma cercherò di non annoiarvi.
Si sceglie un’architettura base (ad esempio, una ResNet) e la si divide in una sequenza logica di blocchi (un blocco può essere uno o più layer). Poi si creano alcuni modelli “fisici” standard, che non verranno usati direttamente per l’addestramento o l’inferenza, ma solo come “magazzini” di pesi. Infine, si costruiscono i modelli “virtuali”: per ogni blocco di ogni rete virtuale, si pesca il blocco corrispondente da uno dei modelli fisici scelti a caso. L’intero VNNE viene caricato sulla GPU in una volta sola e tutte le reti virtuali vengono addestrate congiuntamente.

La funzione di perdita (quella che dice alla rete quanto sta sbagliando) è interessante. Non si basa solo sull’errore dell’ensemble finale, ma include anche una componente che considera l’errore delle singole reti virtuali, pesata da una costante (chiamata ω). Se ω è troppo grande, le reti virtuali pensano solo a sé stesse e l’ensemble non funziona. Se è troppo piccola, l’effetto benefico si perde. Trovare il giusto bilanciamento è cruciale.

Quando i parametri vengono aggiornati durante l’addestramento, tutti i modelli virtuali che condividono un certo blocco contribuiscono all’aggiornamento dei pesi di quel blocco. È un po’ come aumentare la dimensione del batch: più “voci” contribuiscono all’aggiornamento, portando a una maggiore generalizzazione. E la cosa affascinante è che, dovendo un blocco condiviso processare input leggermente diversi provenienti da percorsi virtuali differenti (generati dallo stesso dato iniziale ma passati attraverso blocchi fisici diversi), diventa intrinsecamente più robusto alle variazioni e meno prono all’overfitting.

Ma non c’è il rischio che collassino tutte in una?

Una domanda lecita: se condividono i pesi e imparano insieme, non finiranno tutte le reti virtuali per diventare identiche, annullando i benefici dell’ensemble? Gli esperimenti dicono di no! La divergenza di Kullback-Leibler (una misura di quanto sono diverse le predizioni dei modelli) diminuisce all’inizio, ma poi si stabilizza. Non collassano in un’unica rete, a meno che non vengano inizializzate tutte uguali, cosa estremamente improbabile. Pensate ai kernel convoluzionali in un layer standard: processano lo stesso input ma non collassano tutti nello stesso stato, grazie all’inizializzazione casuale e al fatto che filtri diversi aiutano a diminuire la loss.

Prove sul campo: i risultati parlano chiaro

Le VNNE sono state testate su dataset come CIFAR-10, CIFAR-100-LT (una versione con distribuzione sbilanciata delle classi, molto più tosta) e persino ImageNet, usando architetture come ResNet ed EfficientNet. I risultati?

• Le VNNE ottengono un’accuratezza superiore rispetto al modello base.
• Superano anche modelli base “più pesanti”, cioè con più parametri allenabili.
• E, come dicevo, il miglior singolo modello virtuale estratto da una VNNE batte il modello base e persino i modelli base più pesanti!

Per ottenere un’accuratezza paragonabile a una VNNE con soli due modelli fisici, servirebbe un deep ensemble standard di ben quattro modelli! E la cosa ancora più forte è che le VNNE possono essere messe in ensemble tra loro, per un ulteriore boost.

Un risultato chiave è la scalabilità della capacità virtuale. Fissando il numero di modelli fisici (ad esempio, due ResNet-20) e aumentando il numero di reti virtuali (da 2 a 30), l’accuratezza sul test aumenta! E questo, lo ripeto, con lo stesso numero di parametri allenabili. C’è una correlazione fortissima tra numero di modelli virtuali e accuratezza, il che è diverso dalla maggior parte degli approcci dove la correlazione è tra parametri allenabili e accuratezza.

Dal punto di vista dei costi, la memoria richiesta durante l’addestramento cresce in modo sub-lineare (addestrare 100 reti virtuali basate su 2 fisiche richiede circa 4 volte la memoria di un singolo modello standard), mentre il tempo di addestramento aumenta linearmente con il numero di reti virtuali. Si può quindi bilanciare accuratezza e complessità computazionale mantenendo costanti i parametri.

Qualche curiosità e direzioni future

Hanno anche provato a fare cose “estreme”, tipo addestrare una ResNet-20 VNNE con 5 modelli fisici e ben 500 reti virtuali! Anche se interrotto dopo 60 epoche per questioni di tempo, si vedeva chiaramente che l’aumento di capacità fisica e virtuale non portava a overfitting, ma a un ulteriore incremento dell’accuratezza.

Si è tentato anche di rendere la generazione delle reti virtuali meno casuale, per assicurare massima diversità strutturale, ma paradossalmente ha dato risultati peggiori. A volte, lasciare che la “magia” del training congiunto e della condivisione faccia il suo corso è la strada migliore. Anche l’aggiunta esplicita di una “diversity loss” non ha funzionato, perché la diversità emerge naturalmente quando serve.

E per il futuro? Molte architetture basate su Transformer (Swin, Eva, MaxVit) sono già divise in blocchi, il che le rende candidate ideali per questo schema di virtualizzazione. Certo, bisognerà studiare come le strategie di fusione si applichino ai blocchi Transformer, ma la strada è aperta!

In conclusione: un nuovo paradigma all’orizzonte?

Per me, le Reti Neurali Virtuali sono più di una semplice tecnica di ensembling. Rappresentano un modo nuovo di pensare alla capacità e alla scalabilità dei modelli. L’idea di “anime multiple” che condividono un “corpo” fisico, imparando insieme e diventando più robuste e accurate grazie alla loro interazione “ingarbugliata”, è semplicemente affascinante. Il fatto che un singolo modello estratto da questo “coro” possa superare modelli più grandi allenati da soli la dice lunga sul potenziale di questo approccio, specialmente per modelli di piccole dimensioni.

Non stiamo parlando di rivoluzioni che stravolgono tutto da un giorno all’altro, ma di un passo avanti significativo, di una freccia in più al nostro arco per costruire intelligenze artificiali più efficienti e performanti. E io non vedo l’ora di vedere dove ci porterà questa “virtualizzazione” delle anime neurali!

Fonte: Springer