Realtà Mista e Mente Sotto Stress: Decifriamo il Carico Cognitivo con i Sensori?

Ciao a tutti! Oggi voglio portarvi con me in un viaggio affascinante, al confine tra il mondo fisico e quello digitale, esplorando qualcosa che sta rivoluzionando il modo in cui interagiamo con le macchine: la Realtà Mista (MR). Immaginate di indossare un visore, come l’HoloLens 2, e vedere informazioni virtuali sovrapposte al vostro ambiente reale, magari mentre lavorate su un macchinario complesso in una fabbrica. Sembra fantascienza, vero? Eppure, è una realtà sempre più concreta, specialmente nell’industria 5.0, quella che rimette l’essere umano al centro.

Ma c’è un “ma”. Questa incredibile fusione tra reale e virtuale, se da un lato promette efficienza e sicurezza mai viste (pensate a poter riparare un macchinario pericoloso a distanza!), dall’altro pone una sfida sottile ma cruciale: il carico cognitivo.

Il Fascino della Realtà Mista e la Sfida Nascosta

Lavorare in ambienti industriali, spesso rumorosi e pieni di stimoli, è già di per sé impegnativo per la nostra mente. Aggiungete un visore MR che proietta interfacce, dati, allarmi virtuali… et voilà, il nostro cervello potrebbe andare in sovraccarico. Questo “stress mentale”, o carico cognitivo, non è solo una sensazione di fatica. Può portare a:

• Errori decisionali
• Tempi di reazione più lenti
• Minore performance generale
• Aumento del rischio di incidenti (e nell’industria, questo è un problema enorme!)

Pensateci: passare continuamente da informazioni reali a virtuali, gestire magari più allarmi contemporaneamente, il tutto mentre il rumore di fondo della fabbrica martella… è come chiedere al nostro cervello di fare il giocoliere con troppe palle.

La domanda che ci siamo posti è stata: possiamo misurare questo carico cognitivo in modo oggettivo e non invasivo, magari usando proprio la tecnologia che lo genera?

La Nostra Missione: Capire la Mente al Lavoro

Ecco dove entriamo in gioco noi. Abbiamo messo in piedi un esperimento ad hoc nel nostro laboratorio, che simula una linea di produzione con tanto di macchine CNC (quelle a controllo numerico, per intenderci) in versione “gemello digitale”. Abbiamo reclutato 20 volontari, tutti con un po’ di esperienza con queste macchine, e gli abbiamo fatto indossare un HoloLens 2 e un braccialetto per monitorare il battito cardiaco.

Il loro compito? Eseguire operazioni standard su una macchina CNC virtuale, visualizzata tramite il visore MR. Ma ecco il trucco: lo hanno fatto in tre condizioni ambientali diverse, create apposta per indurre livelli differenti di carico cognitivo:

1. Ambiente C (Controllo): Basso rumore di fondo, nessun allarme virtuale. Una passeggiata.
2. Ambiente B (Medio Carico): Rumore moderato, qualche pop-up di allarme virtuale. Già più impegnativo.
3. Ambiente A (Alto Carico): Rumore di fondo elevato (simulato da registrazioni reali in fabbrica!), tanti allarmi pop-up e sonori. Il vero stress test!

Mentre i partecipanti si destreggiavano tra pulsanti virtuali e procedure, noi, come dei detective high-tech, raccoglievamo dati a palate. E la cosa bella è che abbiamo usato principalmente i sensori già integrati nell’HoloLens 2:

• Movimenti della testa (posizione, rotazione)
• Tracciamento oculare (dove guardavano, dilatazione pupillare)
• Movimenti delle mani (gesti, posizione delle articolazioni)

A questi abbiamo aggiunto i dati del battito cardiaco dal braccialetto. Dopo ogni sessione (ne hanno fatte 6 in totale, due per ogni ambiente, in ordine casuale), chiedevamo ai partecipanti di compilare il questionario NASA-TLX. È uno strumento standard per valutare soggettivamente quanto un compito sia stato mentalmente impegnativo, faticoso, frustrante, ecc.

Cosa Abbiamo Scoperto? Risultati Sorprendenti (e Non)

Le analisi dei dati ci hanno regalato conferme e qualche sorpresa.

Prima di tutto, i tempi di completamento del compito parlavano chiaro: nell’ambiente ad alto carico (A), i partecipanti ci mettevano in media il 49% di tempo in più rispetto all’ambiente tranquillo (C). Il rumore e gli allarmi non solo distraggono, ma rallentano proprio l’esecuzione.

Il questionario NASA-TLX ha confermato le sensazioni: nell’ambiente A, i partecipanti riportavano molta più richiesta mentale, sforzo, frustrazione e percepivano una performance peggiore. Molti hanno ammesso di aver fatto più click sbagliati sotto stress. Sembra ovvio, ma quantificarlo è fondamentale.

E i sensori? Qui arriva il bello. Abbiamo dato in pasto i dati raccolti (movimenti testa, occhi, mani, battito cardiaco) a diversi algoritmi di machine learning, dai più classici (SVM, Random Forest) ai più moderni basati su reti neurali (RNN, LSTM, BiLSTM) fino a un modello chiamato Transformer, che abbiamo leggermente modificato per il nostro scopo (lo abbiamo chiamato Transformer-CL). L’obiettivo era vedere se l’algoritmo riusciva a “indovinare” in quale ambiente (A, B o C) il partecipante stava lavorando, basandosi solo sui dati dei sensori.

I risultati? Eccezionali!

• I dati multimodali funzionano meglio: Combinare i dati di testa, occhi e mani ha dato risultati nettamente superiori rispetto all’usare un solo tipo di sensore. Il nostro corpo “parla” del nostro stato mentale in molti modi!
• Il cuore dice poco (in questo caso): Sorprendentemente, aggiungere i dati del battito cardiaco ha peggiorato le performance degli algoritmi. In questo specifico contesto sperimentale, la frequenza cardiaca non sembrava correlare fortemente con il carico cognitivo indotto da rumore e allarmi visivi/auditivi. Questo non vuol dire che il cuore non sia importante, ma che forse altri fattori fisiologici (come la variabilità della frequenza cardiaca, HRV, che non abbiamo misurato qui) o altri tipi di task potrebbero mostrarne meglio il ruolo.
• Transformer-CL superstar: Il nostro modello Transformer-CL modificato ha sbaragliato la concorrenza, raggiungendo un’accuratezza del 95.83% nel classificare correttamente il livello di carico cognitivo (alto, medio, basso) basandosi solo sui dati dei sensori dell’HoloLens! Questo significa che il visore stesso può diventare uno strumento per capire quanto è stressato l’utente. L’analisi dei “pesi di attenzione” del modello ha anche suggerito che i dati relativi alla postura della testa e della mano destra erano particolarmente informativi.

Un Guardiano Digitale per la Mente

Avere un algoritmo così preciso apre scenari applicativi incredibili. Abbiamo quindi sviluppato un prototipo di sistema di allerta per alto carico cognitivo. Immaginate: un lavoratore sta usando l’HoloLens in fabbrica. Il sistema, in background, analizza i dati dei sensori. Se rileva che l’utente è in uno stato di alto carico cognitivo per un periodo prolungato (nel nostro prototipo, circa 1 minuto e mezzo, basato su 5 rilevazioni consecutive ogni ~16 secondi), fa apparire un avviso direttamente nel visore.

L’avviso chiede all’utente se vuole fare una pausa o chiedere aiuto. Se sceglie la pausa, il sistema silenzia temporaneamente gli allarmi virtuali e invita a togliere il visore per riposarsi. Se chiede aiuto, viene inviata una notifica a un supervisore o a un collega, che può intervenire per dare supporto. L’obiettivo è prevenire l’accumulo di stress, ridurre gli errori e aumentare la sicurezza, in modo proattivo.

Limiti e Orizzonti Futuri

Ovviamente, la nostra ricerca ha dei limiti. L’esperimento è stato condotto in un laboratorio controllato, non in una vera fabbrica. Il numero di partecipanti era limitato (20 persone) e con caratteristiche specifiche (giovani, istruiti, con esperienza pregressa). Il rumore era simulato. I visori MR attuali hanno ancora delle pecche: costo elevato (un HoloLens 2 costa migliaia di euro!), durata della batteria limitata (2-3 ore), peso, e la necessità di inviare i dati a un computer esterno per l’analisi (l’HoloLens 2 non ha abbastanza potenza per far girare il nostro Transformer-CL in tempo reale).

Tuttavia, i risultati sono estremamente promettenti. Dimostrano che è tecnicamente fattibile usare i sensori integrati nei dispositivi MR per monitorare il carico cognitivo.

Il futuro? Vediamo diverse direzioni:

• Integrare più dati: aggiungere la variabilità cardiaca (HRV), analizzare i flussi video delle telecamere del visore, usare dati spaziali.
• Personalizzazione: ogni persona reagisce allo stress in modo diverso. Sviluppare modelli che si adattano all’individuo.
• Testare su più dispositivi: confrontare HoloLens con altri visori come Magic Leap o Apple Vision Pro.
• Validazione sul campo: portare questi sistemi nelle vere fabbriche per testarli in condizioni reali.
• Migliorare i dispositivi: sperare in visori più leggeri, economici, potenti e con maggiore autonomia.

Inoltre, suggeriamo che i futuri visori MR per l’industria integrino funzioni di cancellazione del rumore e gestiscano meglio la visualizzazione degli allarmi (magari impilandoli per priorità) per ridurre intrinsecamente il carico cognitivo.

In conclusione, la nostra esplorazione nel mondo della realtà mista e del carico cognitivo ci ha mostrato che possiamo davvero “leggere” lo stato mentale di una persona attraverso i sensori che indossa. È un passo importante verso la creazione di ambienti di lavoro non solo più efficienti grazie alla tecnologia, ma anche più sicuri e rispettosi del benessere umano. La strada è ancora lunga, ma la promessa di una collaborazione uomo-macchina più armoniosa e consapevole è decisamente affascinante.

Fonte: Springer