Vedere nel Buio: La Magia del Denoising ‘Zero-Shot’ con Pochi Fotoni

Ciao a tutti! Avete mai scattato una foto in condizioni di luce scarsissima, magari di notte o in una stanza buia, per poi ritrovarvi con un’immagine piena di “rumore”, quei fastidiosi puntini che rovinano tutto? È frustrante, vero? Beh, oggi voglio parlarvi di una sfida affascinante nel mondo dell’elaborazione delle immagini: come ripulire foto scattate quasi al buio, quando la luce è così debole che ogni pixel cattura solo una manciata di fotoni, a volte neanche uno! E la parte più incredibile? Impareremo a farlo usando *solo* l’immagine rumorosa stessa, senza bisogno di una versione “pulita” di riferimento. Sembra magia, ma è scienza: benvenuti nel mondo del denoising “zero-shot” per immagini con pochissimi fotoni.

Il Problema: Quando la Luce Scarseggia

Immaginate di essere fotografi dell’universo, puntando il telescopio verso galassie lontanissime, o scienziati che osservano cellule al microscopio ad altissima risoluzione, o ancora, ingegneri che sviluppano sistemi di visione notturna. In tutti questi casi, la luce a disposizione è minima. Ogni immagine che catturiamo è, in fondo, il risultato del conteggio dei fotoni che colpiscono i sensori (come quelli delle fotocamere digitali o persino i coni e bastoncelli nei nostri occhi).

Quando i fotoni sono tanti, tutto fila liscio e otteniamo immagini nitide. Ma quando sono pochi, pochissimi, la statistica che governa questo conteggio (la statistica di Poisson) diventa dominante e crea un sacco di rumore. È un tipo di rumore diverso da quello “gaussiano” a cui siamo abituati e che molti algoritmi standard di machine learning (come la PCA o lo Sparse Coding) assumono. Ignorare questa natura “Poissoniana” del rumore, specialmente con pochissima luce (pensate a immagini dove il pixel più luminoso ha catturato in media meno di 3 fotoni!), porta a risultati di pulizia piuttosto scarsi.

Certo, esistono tecniche per provare a “trasformare” il rumore Poisson in qualcosa di più simile al gaussiano (come la trasformazione di Anscombe, usata in metodi come VST+BM3D), ma anche queste mostrano i loro limiti quando la luce è davvero al minimo. E le reti neurali profonde (DNN)? Sono potentissime, ma di solito hanno bisogno di enormi quantità di dati per allenarsi, incluse coppie di immagini rumorose e le loro versioni pulite. Questo non è fattibile nel nostro scenario “zero-shot”, dove abbiamo solo la nostra singola, preziosa (e rumorosissima) immagine.

La Sfida “Zero-Shot”: Pulire con Quello che Abbiamo

Qui entra in gioco il concetto di “zero-shot”. Significa che non abbiamo accesso a dati esterni, né a versioni pulite dell’immagine. Tutto quello che abbiamo è l’immagine rumorosa stessa. L’idea è sfruttare l’informazione *intrinseca* all’immagine, la sua struttura nascosta, per separare il segnale utile dal rumore. Pensateci: anche in una foto rumorosa, ci sono pattern, bordi, aree omogenee. Se riusciamo a “imparare” queste strutture direttamente dall’immagine corrotta, possiamo poi usarle per ricostruire una versione più pulita.

Questo approccio è fondamentale quando non si possono ottenere altre immagini: foto storiche uniche, immagini mediche di condizioni rare, scatti irripetibili da missioni spaziali. Niente grandi database, niente versioni “pulite”: solo noi e l’immagine rumorosa.

I Nostri Eroi: Modelli Generativi Lineari e Non Lineari

Nel nostro studio, abbiamo messo sotto la lente d’ingrandimento due approcci specifici, due tipi di modelli generativi latenti (LVM) pensati apposta per dati che seguono la statistica di Poisson. Entrambi funzionano in modalità “zero-shot”.

Cosa fa un LVM? Immaginate di avere dei “mattoncini” fondamentali (chiamati campi generativi o funzioni di base) e delle “istruzioni” nascoste (le variabili latenti) che dicono quali mattoncini usare e come combinarli per costruire una piccola porzione (una “patch”) dell’immagine pulita. Il modello impara questi mattoncini e come funzionano le istruzioni analizzando le patch rumorose dell’immagine originale.

I due modelli che abbiamo studiato sono molto simili, ma differiscono in un punto cruciale: come combinano i mattoncini.

• P-BSC (Poisson Binary Sparse Coding): Questo modello usa una combinazione lineare. È come mescolare colori: l’effetto finale è la somma dei singoli componenti. Assume che le strutture nell’immagine si sovrappongano sommandosi.
• P-MCA (Poisson Maximal Causes Analysis): Questo modello usa una combinazione non lineare basata sulla funzione massimo. È più simile a sovrapporre fogli trasparenti colorati: dove si sovrappongono, domina il colore più intenso (il valore massimo). Questo tipo di combinazione è spesso più realistico per le immagini, dove un oggetto può occluderne un altro.

Entrambi i modelli usano variabili latenti “binarie”, come interruttori on/off che dicono se un certo mattoncino (struttura) è presente o assente in quella patch. Questo aiuta a modellare la “sparsità”, l’idea che in ogni piccola porzione di immagine siano attive solo poche strutture fondamentali.

Per far imparare questi modelli, abbiamo usato una tecnica di ottimizzazione avanzata (chiamata EVO, Evolutionary Variational Optimization) che è particolarmente brava a estrarre informazioni utili anche da dati molto corrotti, perfetta per il nostro caso di luce bassissima!

La Sfida: Lineare contro Non Lineare al Limite dei Fotoni

Abbiamo preso otto immagini standard usate come benchmark in questo campo e le abbiamo “rovinate” con rumore Poisson a diversi livelli di intensità, spingendoci fino a condizioni estreme (ad esempio, “peak value 0.1”, significa che il pixel originariamente più luminoso riceve in media solo 0.1 fotoni!).

Poi, per ogni immagine rumorosa, abbiamo addestrato sia P-BSC che P-MCA usando solo quella singola immagine. Abbiamo diviso l’immagine in piccole patch sovrapposte, le abbiamo date in pasto ai modelli per fargli imparare i “mattoncini” e le regole di combinazione, e infine abbiamo usato i modelli addestrati per ricostruire l’immagine pulita.

I risultati? Molto interessanti! In quasi tutte le condizioni testate, specialmente quelle con pochissima luce, il modello non lineare (P-MCA) ha dato risultati migliori (misurati con il PSNR, un indicatore di qualità dell’immagine) rispetto al modello lineare (P-BSC). Sembra proprio che la regola del “massimo” catturi meglio la statistica delle immagini naturali in queste condizioni estreme.

C’è stata un’eccezione significativa: l’immagine “Ridges”, che contiene delle barre luminose che si sovrappongono. In questo caso, dove la sovrapposizione è effettivamente lineare, il modello P-BSC ha avuto la meglio. Questo conferma che la scelta tra lineare e non lineare dipende dalla natura intrinseca dell’immagine!

Abbiamo anche confrontato i nostri due modelli con altri otto algoritmi “zero-shot” considerati tra i migliori per il denoising Poisson a bassa luminosità, come NLSPCA, SPDA, PWPCA e varianti di BM3D. Siamo stati felici di vedere che sia P-MCA che P-BSC sono molto competitivi. Anzi, in alcuni casi specifici (due per P-MCA e uno per P-BSC, proprio su “Ridges”!), abbiamo ottenuto i migliori risultati mai riportati finora per quelle immagini a quel livello di rumore!

Guardando le immagini ricostruite, si nota come diversi algoritmi introducano artefatti diversi. Ad esempio, P-MCA a volte mostra un leggero “ringing” ad alta frequenza, mentre SPDA può lasciare rumore a bassa frequenza nello sfondo. Non c’è un vincitore assoluto su tutta la linea, ma P-MCA si è dimostrato particolarmente robusto nelle condizioni più difficili.

Bonus: Riempire i Buchi Oltre a Pulire

Ma non ci siamo fermati qui. Abbiamo testato i nostri modelli su una sfida ancora più complessa: immagini a bassa luminosità a cui mancavano anche dei pezzi! Immaginate una foto con dei “buchi”, pixel di cui non conosciamo il valore, oltre ad essere rumorosa. Questo può succedere per vari motivi nel mondo reale.

Molti algoritmi di denoising vanno in crisi in questa situazione. Invece, la natura generativa di P-MCA e P-BSC li rende adatti anche a questo compito (chiamato inpainting). Abbiamo addestrato i modelli sui pixel “buoni” conosciuti e poi li abbiamo usati sia per stimare i valori dei pixel mancanti sia per pulire l’intera immagine dal rumore Poisson.

Abbiamo confrontato i risultati con SPDA (che era stato precedentemente adattato per questo compito). Anche qui, P-MCA e P-BSC si sono comportati molto bene, a volte superando SPDA, specialmente P-MCA quando la percentuale di pixel mancanti era minore, e P-BSC quando aumentava.

Cosa Ci Portiamo a Casa?

Questa esplorazione nel mondo del denoising “zero-shot” con pochi fotoni ci ha insegnato parecchio.

• È possibile ottenere risultati eccellenti pulendo immagini estremamente rumorose usando solo l’immagine stessa.
• I modelli generativi che tengono conto della statistica di Poisson sono fondamentali in queste condizioni.
• La scelta di come le strutture latenti si combinano (lineare vs. non lineare) ha un impatto significativo: la sovrapposizione non lineare (massimo) sembra generalmente più adatta per le immagini naturali, ma quella lineare ha i suoi vantaggi in casi specifici.
• I nostri approcci, P-MCA e P-BSC, grazie anche a tecniche di ottimizzazione potenti, sono non solo competitivi ma a volte superiori agli attuali metodi stato dell’arte in condizioni di luce molto bassa.
• Questi modelli sono flessibili e possono affrontare anche il problema dei pixel mancanti.
• Essendo modelli più generali (non specifici per le immagini 2D come molte DNN o BM3D), potrebbero essere applicati anche ad altri tipi di dati di conteggio (non solo fotoni!) in altri campi scientifici.

Insomma, la prossima volta che vedrete un’immagine digitale apparentemente “rovinata” dal buio, ricordate che nascosta dentro quel rumore c’è ancora molta informazione. Con gli strumenti giusti, come i modelli generativi che abbiamo esplorato, possiamo tirarla fuori e “vedere nel buio” in un modo che sembra quasi magico!

Fonte: Springer