Luci, Camera, Inganno! Sveliamo il Mondo Enigmatico dei Frame Malevoli nella Videosorveglianza

Ciao a tutti! Oggi voglio portarvi con me in un viaggio affascinante, ma anche un po’ inquietante, nel cuore pulsante delle nostre città intelligenti: i sistemi di videosorveglianza. Strumenti potentissimi, vero? Ci aiutano a garantire la sicurezza pubblica, a scovare attività criminali, a gestire il traffico… insomma, sono diventati i nostri occhi digitali sul mondo. E grazie all’intelligenza artificiale (AI), in particolare al deep learning (DL) e al machine learning (ML), questi sistemi sono diventati incredibilmente più precisi ed efficienti. Ma c’è un lato oscuro, un “glitch nella matrice” che pochi conoscono: la loro vulnerabilità agli attacchi avversari.

Il Problema Nascosto: Quando l’AI Viene Ingannata

Avete presente quei film di spionaggio dove il protagonista manipola le telecamere? Beh, la realtà non è poi così lontana, anche se l’approccio è molto più subdolo. Gli attacchi avversari, originariamente pensati per ingannare i modelli AI che classificano immagini statiche, possono essere estesi – e qui sta il punto cruciale – ai sistemi di videosorveglianza in tempo reale. Immaginate cosa potrebbe succedere: un sistema progettato per rilevare attività sospette che viene accecato proprio nel momento del bisogno, o un sistema di controllo accessi che non riconosce una minaccia.

Per farvi capire meglio la portata del problema, nel nostro studio (di cui vi parlerò oggi) abbiamo preso di mira un sistema specifico, ma molto attuale: quello per il rilevamento delle mascherine facciali. Ricordate il periodo della pandemia COVID-19? Sistemi come questi sono stati fondamentali per monitorare il rispetto delle norme sanitarie. Abbiamo dimostrato come sia possibile “ingannare” un sistema basato su tecnologie avanzate come le Multi-Task Cascaded Convolutional Networks (MTCNN) per il rilevamento dei volti e MobileNet-v2 per la classificazione delle mascherine.

Il nostro lavoro pionieristico mostra come attacchi avversari all’avanguardia possano essere adattati per colpire proprio questi sistemi di sorveglianza in tempo reale. E i risultati? Beh, diciamo che sono stati… d’impatto. Siamo passati da un sistema affidabile, con precisione (P), recall (R), F1 score (F) e accuratezza (A) intorno al 0.93, a un sistema praticamente cieco, con tutti i valori crollati a circa 0.22. Un calo drastico che fa riflettere.

Smart Cities e Talloni d’Achille Digitali

Le Smart Cities si affidano enormemente a questi sistemi basati su DL. Non solo per la sicurezza, ma anche per ottimizzare i flussi di traffico, monitorare l’ambiente, gestire le risorse e persino supportare iniziative di salute pubblica. Sono il cervello digitale delle nostre città. Ma se questo cervello può essere ingannato? Le conseguenze potrebbero essere gravi:

• Mancato rilevamento di intrusioni o attività criminali in aree critiche (pensate ai confini o alle infrastrutture vitali).
• Inefficacia delle misure sanitarie durante una pandemia a causa di errate classificazioni (come nel nostro caso delle mascherine).
• Compromissione della sicurezza generale della città, con potenziali falle nella sicurezza nazionale.

La nostra motivazione è stata proprio questa: investigare l’impatto reale di questi attacchi e capire i rischi associati all’implementazione di questi sistemi nel mondo reale. Vogliamo contribuire a creare sistemi di sorveglianza più resilienti e sicuri, capaci di resistere a queste minacce digitali.

La Nostra Metodologia: Smascherare la Vulnerabilità

Come abbiamo fatto a dimostrare questa vulnerabilità? Abbiamo costruito un sistema di sorveglianza per mascherine affidabile, usando MT-CNN per trovare i volti nei video e MobileNetV2 (un modello leggero ed efficiente, ideale per queste applicazioni) per classificare se la persona indossasse la mascherina, la indossasse male o non la indossasse affatto. Abbiamo “allenato” MobileNetV2 su un dataset personalizzato, disponibile pubblicamente su Kaggle, contenente migliaia di immagini etichettate.

Poi è arrivato il momento dell’attacco. Abbiamo usato il Fast Gradient Sign Method (FGSM), una tecnica di attacco white-box (dove l’attaccante conosce i dettagli del modello) nota per la sua efficienza nel generare “rumore” avversario quasi impercettibile all’occhio umano, ma devastante per l’AI. Perché FGSM? Perché è veloce, ideale per un attacco in tempo reale su un flusso video, a differenza di metodi più complessi come PGD o CeW che richiedono più calcoli.

L’idea chiave è stata introdurre un modulo “generatore di frame malevoli” tra il rilevatore di volti (MT-CNN) e il classificatore (MobileNetV2). Ecco come funziona, in pratica:

1. La telecamera cattura un frame video.
2. MT-CNN rileva un volto nel frame.
3. PRIMA che il volto rilevato venga inviato al classificatore, il nostro generatore di frame malevoli entra in azione.
4. Utilizzando FGSM, modifica leggermente i pixel del volto rilevato (creando la “perturbazione” avversaria).
5. Questo volto “modificato” (il frame malevolo) viene inviato a MobileNetV2.
6. MobileNetV2 viene ingannato e classifica erroneamente il volto (es. vede una maschera dove non c’è, o viceversa).

Questo approccio svela una vulnerabilità critica: l’attacco non avviene sull’immagine originale, ma sul dato processato all’interno del sistema, rendendolo potenzialmente più difficile da rilevare con metodi tradizionali.

Attacchi White-Box vs Black-Box e Altri Metodi

È importante capire che esistono diversi tipi di attacchi. Nel nostro caso, abbiamo simulato un attacco white-box, assumendo che l’attaccante conosca i dettagli del modello (architettura, parametri). Questo ci permette di capire il massimo danno potenziale. Esistono anche attacchi black-box, dove l’attaccante ha informazioni minime e deve “interrogare” il sistema per capire come ingannarlo. Sono più realistici in certi scenari, ma spesso meno potenti.

Il mondo degli attacchi avversari è vasto. FGSM è solo uno dei metodi. Altri includono:

• Basic Iterative Method (BIM): Applica FGSM iterativamente con piccoli passi. Più potente ma più lento.
• Projected Gradient Descent (PGD): Simile a BIM, considerato uno degli attacchi white-box più forti.
• Carlini e Wagner (CeW): Attacchi ottimizzati per essere molto efficaci e difficili da rilevare.
• Universal Adversarial Perturbations (UAP): Creano una singola perturbazione che può ingannare il modello su molte immagini diverse.

Anche se la ricerca sugli attacchi a modelli di immagini è vasta, quella sui modelli video è ancora relativamente limitata. Alcuni approcci precedenti hanno usato GANs o perturbazioni sparse, ma spesso non consideravano l’impatto sul tempo reale o richiedevano di perturbare ogni frame. Il nostro metodo, generando frame malevoli solo quando necessario e calcolando la perturbazione per classe (invece che per ogni singolo frame/volto), è pensato specificamente per l’efficienza richiesta dalla videosorveglianza live.

Il Dataset: La Base per l’Allenamento e l’Attacco

Un buon modello AI ha bisogno di buoni dati. Abbiamo creato e reso pubblico un dataset su Kaggle ([14]) con oltre 14.500 immagini divise in tre categorie principali: “con maschera”, “maschera indossata male” e “senza maschera”. Queste categorie sono ulteriormente suddivise (es. “maschera sul mento”, “maschera semplice”, “maschera complessa”) per coprire una vasta gamma di scenari reali. Tutte le immagini sono state ridimensionate a 224×224 pixel per essere compatibili con MobileNetV2. Questo dataset è stato fondamentale sia per addestrare il nostro classificatore iniziale sia per testare l’efficacia dell’attacco.

Scenari d’Attacco nel Mondo Reale

Abbiamo ipotizzato due scenari principali in cui un sistema di sorveglianza basato su IoT/Cloud (dove i modelli AI risiedono su un server, non sul dispositivo locale) potrebbe essere attaccato:

• Scenario 1 (Il nostro focus): L’attaccante intercetta i dati dopo che sono stati pre-processati localmente (es. dopo il rilevamento del volto) ma prima che vengano inviati al server per la classificazione. È qui che il nostro generatore di frame malevoli si inserisce. Richiede accesso alla rete o al flusso di dati.
• Scenario 2: L’attaccante perturba l’input prima che venga catturato dalla telecamera (es. proiettando pattern specifici nell’ambiente). Più difficile da realizzare ma non richiede accesso diretto al sistema.

Ci siamo concentrati sullo Scenario 1 perché rappresenta una minaccia concreta e tecnicamente plausibile in molte architetture client-server moderne.

Dentro i Modelli: MT-CNN e MobileNetV2

Vale la pena spendere due parole sui modelli usati. MT-CNN è fantastico per il rilevamento dei volti perché usa un approccio a cascata (P-Net, R-Net, O-Net) che progressivamente affina la localizzazione del volto, rendendolo veloce e accurato anche con volti di diverse dimensioni o pose.

MobileNetV2, invece, è un campione di efficienza. Usa tecniche come le convoluzioni separabili per profondità (depthwise separable convolutions) e i blocchi residui invertiti (inverted residual blocks) per ottenere ottime prestazioni con pochissimi parametri e calcoli. Questo lo rende perfetto per dispositivi con risorse limitate o per analisi video in tempo reale. Noi abbiamo ulteriormente potenziato MobileNetV2 usando il transfer learning: abbiamo preso un modello pre-allenato sul gigantesco dataset ImageNet e lo abbiamo “adattato” al nostro compito specifico (classificazione mascherine) sostituendo l’ultimo strato con uno personalizzato. Questo accelera l’allenamento e migliora le performance.

I Risultati Sperimentali: Un Crollo Impressionante

Passiamo ai numeri, quelli che davvero mostrano l’impatto.
Il nostro classificatore di mascherine, allenato sul dataset custom, ha raggiunto un’ottima accuratezza del 97.27% sui dati di training e del 96.41% su quelli di test. Non male, vero?
Applicato in tempo reale (usando una webcam), su frame “puliti” (non attaccati), l’accuratezza è scesa leggermente al 93% (837 frame corretti su 900 estratti). Questo calo è normale, dovuto a fattori come la qualità della webcam e le condizioni di luce variabili.

Ma poi abbiamo scatenato l’attacco FGSM. Abbiamo testato diversi valori di “epsilon” (che controlla l’intensità della perturbazione). Già con un epsilon molto piccolo, l’effetto era notevole. Con un epsilon di 0.008, l’accuratezza del sistema è precipitata al 21.78%!
Le metriche medie (precisione, recall, F1 score) sono crollate da circa 0.93 a 0.22. La matrice di confusione post-attacco mostrava un caos totale, con tantissime classificazioni errate.

L’attacco ha avuto successo nel 21.78% dei casi (cioè ha ingannato il modello in 196 frame su 900), e la robustezza del sistema (la differenza tra accuratezza su frame puliti e successo dell’attacco) è scesa al 71.22%.

Non Solo Accuratezza: L’Impatto sul Tempo Reale

Un aspetto cruciale nella videosorveglianza è la velocità. L’attacco ha un costo computazionale? Sì. Abbiamo misurato i Frame Per Second (FPS) prima e dopo l’attivazione del generatore di frame malevoli.

• Prima dell’attacco: Il sistema processava circa 7 FPS (ogni frame richiedeva 0.132 secondi).
• Dopo l’attacco (con FGSM): Il sistema rallentava a 5 FPS (ogni frame richiedeva 0.2 secondi).

Questo “overhead” di 0.068 secondi per frame è dovuto al calcolo della perturbazione FGSM. Anche se può sembrare poco, in scenari critici ogni millisecondo conta. È interessante notare, però, che il nostro approccio è comunque più efficiente di altri metodi che potrebbero richiedere calcoli ancora più intensivi.

Abbiamo visto casi concreti in cui un volto senza maschera veniva classificato come “con maschera” con una confidenza del 92% a causa del frame malevolo generato. Questo dimostra quanto possa essere efficace l’inganno.

Il Contesto e le Prospettive Future

Confrontando il nostro lavoro con studi precedenti, vediamo che molti si sono concentrati su immagini statiche o non hanno valutato l’impatto sul tempo di decisione. Il nostro approccio si distingue per l’efficacia nel causare errori di classificazione senza rallentare eccessivamente il processo, un vantaggio chiave per le applicazioni real-time.

Certo, il nostro studio ha delle limitazioni: la qualità della webcam usata, il focus su una singola applicazione (mascherine), l’ambiente controllato. Ma apre strade interessanti per il futuro:

• Testare altri metodi di attacco (PGD, CeW) in tempo reale.
• Sviluppare strategie di difesa efficaci e real-time.
• Estendere l’analisi ad altre applicazioni critiche (rilevamento attività sospette, rilevamento incendi).
• Integrare tecniche di privacy-preserving (come federated learning o differential privacy).
• Esplorare la “transferability” degli attacchi: un frame malevolo può ingannare diversi modelli?
• Potenzialmente, usare questa conoscenza per attaccare altri sistemi di classificazione, come i filtri dei social media.

Conclusione: Un Appello alla Cautela e all’Innovazione Responsabile

Questa ricerca getta un fascio di luce su una vulnerabilità critica dei sistemi di sorveglianza basati su AI che popolano sempre più le nostre Smart Cities. Gli attacchi avversari non sono fantascienza; sono una minaccia reale che può degradare drasticamente l’affidabilità di tecnologie su cui facciamo sempre più affidamento per la nostra sicurezza e gestione urbana.

I risultati parlano chiaro: senza adeguate contromisure, questi sistemi possono essere manipolati, portando a conseguenze potenzialmente gravi. È fondamentale che la sicurezza diventi una priorità fin dalla fase di progettazione e implementazione di questi sistemi. Dobbiamo essere consapevoli dei rischi e lavorare attivamente per sviluppare difese robuste.

L’innovazione tecnologica nella sorveglianza deve andare di pari passo con la sicurezza e l’etica. Solo così potremo garantire che l’intelligenza artificiale sia davvero al servizio del benessere collettivo e della sicurezza pubblica, proteggendoci non solo dalle minacce tradizionali, ma anche da quelle digitali nascoste nei “frame malevoli”.

Fonte: Springer