NiCTRAM: Vedere al Buio per Riconoscere le Persone, la Rivoluzione dei Transformer!

Ciao a tutti! Oggi voglio parlarvi di una sfida davvero intrigante nel mondo della computer vision: il riconoscimento delle persone, o come lo chiamano gli addetti ai lavori, Person Re-Identification (Re-ID). Immaginate di dover ritrovare la stessa persona in immagini catturate da telecamere diverse, magari in condizioni di luce variabili, con pose differenti o sfondi caotici. Non è un gioco da ragazzi, vero? Eppure, è fondamentale per la sicurezza e la sorveglianza.

La maggior parte dei sistemi tradizionali lavora bene con la luce del giorno, usando immagini nel cosiddetto spettro visibile. Ma che succede quando cala la notte o l’illuminazione è scarsa? Qui entrano in gioco le immagini a infrarossi (IR), che ci permettono di “vedere” anche al buio. Fantastico, no? Beh, quasi. Perché mettere insieme immagini visibili (VIS) e infrarosse (IR) è come cercare di far parlare due lingue completamente diverse: nascono delle discrepanze, un “gap modale”, che rende difficile allineare le caratteristiche e capire se la persona nell’immagine a colori è la stessa di quella nell’immagine termica.

Il Problema: Il Fastidioso “Gap Modale”

Questo “gap modale” è il vero rompicapo. Le fotocamere visibili catturano colori e texture dettagliate con una buona illuminazione, mentre quelle a infrarossi rilevano le emissioni termiche, rendendole perfette per la notte ma prive di informazioni cromatiche. Pensateci: un cappotto scuro sotto il sole potrebbe apparire molto diverso dalla sua “firma” termica di notte. Questo rende l’allineamento delle caratteristiche un compito arduo. Molti sistemi Re-ID cross-modali faticano proprio per queste differenze intrinseche.

Le sfide principali che i modelli attuali devono affrontare sono:

• L’infrarosso manca di dettagli cruciali come colore e texture, rendendo difficile estrarre caratteristiche condivise con il visibile, che è molto più ricco di informazioni.
• Durante l’estrazione delle caratteristiche, si rischia di perdere informazioni specifiche della modalità, limitando la capacità della rete di sfruttare appieno i dati.
• Variazioni significative di posa, abbigliamento e sfondo per la stessa persona complicano ulteriormente l’estrazione di feature robuste.

Negli anni, si sono tentate diverse strade. Alcuni approcci iniziali usavano reti generative avversarie (GAN) per “tradurre” le immagini da una modalità all’altra, ad esempio generando immagini pseudo-infrarosse da quelle visibili. Interessante, ma spesso si perdeva qualche dettaglio importante per l’identificazione. Poi sono arrivati i Transformer, modelli potentissimi capaci di catturare dipendenze a lungo raggio e informazioni contestuali globali, che hanno dato una bella scossa al settore. Tuttavia, la loro complessità computazionale, spesso quadratica, può essere un limite per applicazioni reali.

NiCTRAM: La Nostra Arma Segreta contro il Gap Modale

Ed è qui che entra in scena la nostra proposta, che abbiamo battezzato NiCTRAM: un acronimo un po’ tecnico (Nyströmformer-based Cross-Modality Transformer) ma che nasconde un’idea potente per il Re-ID visibile-infrarosso. L’obiettivo? Superare queste difficoltà e far sì che i sistemi di riconoscimento siano efficaci 24 ore su 24.

Come funziona, vi chiederete? Immaginate un sistema che prima estrae le caratteristiche salienti sia dalle immagini a colori (RGB) sia da quelle a infrarossi (IR) usando una base comune, una rete neurale convoluzionale (CNN) condivisa. Questo ci aiuta a mantenere le informazioni specifiche di ciascuna modalità. Poi, queste caratteristiche vengono elaborate da speciali “traduttori”, i nostri encoder Nyströmformer, che lavorano in parallelo. Questi sono dei Transformer super efficienti, capaci di capire le relazioni a lunga distanza nelle immagini senza appesantire troppo i calcoli, grazie a meccanismi di auto-attenzione leggeri. Il Nyströmformer, infatti, approssima l’auto-attenzione usando un sottoinsieme di “token di riferimento” (landmark tokens), riducendo la complessità da quadratica a lineare. Una vera manna dal cielo per l’efficienza!

Ma il vero colpo di genio, se posso dirlo, è il nostro blocco di fusione con attenzione incrociata (cross-attention). Qui, le caratteristiche RGB e IR si “parlano”, si scambiano informazioni e integrano statistiche di covarianza di secondo ordine. Cosa significa? Che andiamo a vedere non solo le somiglianze dirette, ma anche correlazioni più complesse e sottili tra i dati, un po’ come capire il contesto di una frase invece di tradurre solo le singole parole. Le caratteristiche fuse vengono poi affinate e ottimizzate per il compito di re-identificazione.

Per “allenare” NiCTRAM al meglio, usiamo una combinazione di tre funzioni di perdita (loss functions) complementari:

• Identity (ID) Loss: Incoraggia il modello a produrre caratteristiche discriminanti per ogni identità.
• Weighted Regularization Triplet (WRT) Loss: Migliora la rappresentazione delle caratteristiche assegnando pesi adattivi alle coppie di campioni positivi e negativi, dando più importanza ai campioni “difficili”.
• Modality-Aware Enhancement (MAE) Loss: Affronta il gap modale migliorando l’allineamento delle caratteristiche tra visibile e infrarosso, pur preservando le loro peculiarità.

Siamo particolarmente orgogliosi di alcune innovazioni chiave di NiCTRAM: è, a nostra conoscenza, il primo modello basato su Nyströmformer per il Re-ID VIS-IR, offrendo un approccio scalabile ed efficiente. L’integrazione delle statistiche di secondo ordine nel blocco di fusione cross-attention è un altro elemento distintivo che potenzia l’allineamento.

L’Architettura di NiCTRAM nel Dettaglio

Vediamo un po’ più da vicino come è strutturato NiCTRAM. Si parte con una coppia di immagini, una RGB e una IR, della stessa persona. L’immagine IR, originariamente a singolo canale, viene espansa a tre canali per compatibilità.

1. Backbone CNN Condiviso: Le immagini passano attraverso una rete convoluzionale. Il primo blocco è specifico per modalità (uno per RGB, uno per IR) per catturare le caratteristiche uniche. I blocchi successivi sono condivisi, imparando una rappresentazione comune per allineare le feature.

2. Encoder Nyströmformer Paralleli: Le feature map estratte dalla CNN vengono inviate a due rami di encoder Nyströmformer, uno per RGB (con 8 livelli di encoder) e uno per IR (con 6 livelli). Questa scelta asimmetrica riflette la maggiore complessità delle immagini RGB. Questi encoder, grazie all’approssimazione di Nyström, gestiscono le dipendenze globali con complessità lineare.

3. Blocco di Fusione Cross-Attention e Statistiche di Secondo Ordine: Qui avviene la magia. Le feature RGB e IR interagiscono tramite meccanismi di cross-attention: l’RGB “guarda” l’IR e viceversa, per imparare caratteristiche complementari. In parallelo, calcoliamo le statistiche di secondo ordine (matrici di covarianza) per catturare correlazioni più profonde tra i canali delle feature. Le uscite della cross-attention e queste statistiche vengono concatenate e fuse, per poi essere raffinate da un’ulteriore convoluzione.

4. Funzioni di Perdita Combinate: Come accennato, l’addestramento è guidato dalla somma pesata delle tre loss: ID, WRT e MAE. Abbiamo scoperto sperimentalmente che dare un peso maggiore alla MAE Loss (0.6, contro 0.2 per le altre due) aiuta significativamente a colmare il divario modale.

La complessità computazionale del modello è dominata dagli encoder Nyströmformer e dal blocco di fusione, ma grazie all’efficienza del Nyströmformer, rimane gestibile e scalabile.

I Risultati Parlano Chiaro: NiCTRAM Alza l’Asticella

E i risultati? Beh, lasciatemi dire che siamo rimasti piacevolmente sorpresi! Abbiamo messo alla prova NiCTRAM su dataset di riferimento per il Re-ID VIS-IR, come SYSU-MM01 (un dataset su larga scala con immagini da 6 telecamere, 4 visibili e 2 termiche), RegDB (con immagini allineate RGB e termiche per 412 individui) e LLCM (il più grande dataset ad oggi, con oltre 46.000 immagini di 1064 identità da 9 telecamere). Ebbene, il nostro modello non solo ha tenuto testa ai metodi esistenti, ma li ha superati, raggiungendo un’accuratezza e una robustezza da stato dell’arte.

Per darvi qualche numero:

• Sul dataset SYSU-MM01, NiCTRAM ha migliorato la precisione Rank-1 (la probabilità che il primo risultato della ricerca sia corretto) del 4.21% e il mAP (mean Average Precision, un’altra metrica importante) del 2.79% nella modalità “all-search single-shot”. E i guadagni sono simili anche in altre configurazioni (multi-shot, indoor-search).
• Su RegDB, in modalità da Visibile a Termico (V to T), abbiamo un +0.87% in Rank-1 e +2.70% in mAP. In modalità da Termico a Visibile (T to V), i miglioramenti sono del +2.33% in Rank-1 e +1.94% in mAP.
• Su LLCM, i risultati sono ancora più eclatanti: in modalità V to T, +5.06% in Rank-1 e +2.09% in mAP. In modalità T to V, arriviamo a un +5.90% in Rank-1 e +5.83% in mAP!

Questi numeri dimostrano che NiCTRAM affronta efficacemente le sfide dell’allineamento cross-modale. Non male, eh?

Sotto il Cofano: Perché NiCTRAM Funziona Così Bene? (Ablation Studies)

Per capire veramente cosa rende NiCTRAM speciale, abbiamo fatto un po’ di “dissezionamento”, quelle che in gergo chiamiamo ablation studies. Ci siamo chiesti: cosa succede se cambiamo il numero di encoder Nyströmformer? O se modifichiamo i pesi delle diverse funzioni di perdita che guidano l’apprendimento? O se togliamo qualche pezzo dell’architettura?

• L’importanza delle Loss Function: Abbiamo confermato che la nostra combinazione di tre funzioni di perdita (ID, WRT e MAE) è cruciale. In particolare, dare un peso maggiore alla MAE Loss ((beta_3 = 0.6)) è fondamentale per allineare le modalità. Rimuovere la MAE Loss causa il calo di performance più significativo, dimostrando il suo ruolo cardine. Anche le altre due loss contribuiscono in modo complementare. Usare una singola loss o combinazioni alternative (es. Cross-Entropy + Triplet standard) porta a risultati inferiori.
• Il Giusto Numero di Encoder: Abbiamo testato diverse configurazioni e visto che usare 8 encoder Nyströmformer per il ramo RGB (più ricco di dettagli) e 6 per il ramo IR (più semplice) è la configurazione ottimale (Rank-1 81.12%, mAP 78.91% su SYSU-MM01). Aumentare ulteriormente il numero di encoder non porta a miglioramenti, anzi, a volte a un leggero peggioramento, probabilmente per overfitting o eccessivo carico computazionale.
• Architettura Ibrida Vincente: Abbiamo confrontato NiCTRAM con architetture alternative: una completamente condivisa (tutti i blocchi uguali per RGB e IR), una completamente specifica per modalità (blocchi separati per RGB e IR), e una variante con encoder Nyströmformer condivisi. Il nostro approccio ibrido (CNN backbone con un primo blocco specifico per modalità e poi blocchi condivisi, seguito da encoder Nyströmformer specifici per modalità) si è dimostrato il più efficace. Questo design permette prima di estrarre feature generiche di basso livello e poi di apprendere rappresentazioni di alto livello consapevoli della modalità, trovando un equilibrio perfetto.

Questi studi confermano che ogni componente di NiCTRAM e ogni scelta di design giocano un ruolo importante nel raggiungimento delle performance elevate.

Conclusioni e Prossimi Passi: Il Futuro è Cross-Modale!

Insomma, con NiCTRAM abbiamo dimostrato che è possibile affrontare efficacemente il divario tra visibile e infrarosso nel Re-ID. Combinando l’efficienza dei Nyströmformer con strategie intelligenti di fusione delle caratteristiche (incluse le statistiche di secondo ordine) e un attento design delle funzioni di perdita, abbiamo creato un modello che non solo è performante, ma anche computazionalmente più leggero rispetto ai Transformer tradizionali. Questo lo rende un candidato ideale per applicazioni reali, dove le risorse sono spesso limitate.

I risultati sui principali dataset parlano da soli: NiCTRAM ha stabilito un nuovo punto di riferimento nel campo del Re-ID VIS-IR. Ma non ci fermiamo qui! Stiamo già pensando a come integrare meccanismi di fusione adattiva per bilanciare dinamicamente le feature condivise e quelle specifiche della modalità. Inoltre, incorporare la modellazione spazio-temporale potrebbe estendere l’applicabilità di NiCTRAM al Re-ID basato su video. Il riconoscimento persone cross-modale è un campo in continua evoluzione, e noi siamo entusiasti di contribuire a plasmarne il futuro!

Se siete curiosi e volete dare un’occhiata più da vicino al codice e al modello, lo renderemo disponibile su GitHub: https://github.com/Ranjitkm2007/NiCTRAM.

Fonte: Springer