ARTHUR: Programmare Robot con la Realtà Aumentata Non È Mai Stato Così Facile!

Ciao a tutti! Oggi voglio parlarvi di qualcosa che mi appassiona da matti: come far lavorare insieme umani e robot in modo davvero efficace. Sembra fantascienza, vero? Eppure, con i progressi della robotica collaborativa (i cosiddetti “cobot”), questa visione è sempre più vicina. Il problema è che, anche se la tecnologia c’è, integrarla nei processi produttivi, specialmente nell’industria manifatturiera, è ancora una bella sfida. Spesso, umani e robot lavorano sì vicini, ma non *insieme*: si danno il cambio, oppure l’umano interviene solo se qualcosa va storto.

Qui entra in gioco la Realtà Aumentata (AR). Immaginate di poter vedere informazioni utili sovrapposte al mondo reale, direttamente nel vostro campo visivo: cosa sta facendo il robot, cosa farà dopo, quali passaggi toccano a voi. Fantastico, no? La AR può mostrare le intenzioni del robot, visualizzare zone di sicurezza, evidenziare i compiti da svolgere. Ci sono già state ricerche interessanti su questo, ma creare questi sistemi AR interattivi è complesso e richiede tempo.

La Sfida dell’Authoring in AR per la Collaborazione Uomo-Robot

Il processo tradizionale di creazione di contenuti AR per la collaborazione uomo-robot (HRC) è spesso macchinoso. Si progetta tutto su un computer desktop, simulando l’ambiente reale. Poi si carica l’applicazione su un visore AR (come un HoloLens, per intenderci) e si testa sul campo. Spesso, però, quello che si vede nel visore non corrisponde perfettamente alla simulazione. Bisogna quindi tornare al computer, modificare, ricaricare, ritestare… un ciclo continuo che porta via un sacco di tempo.

Alcuni hanno provato a creare strumenti per modificare i contenuti direttamente *in-situ*, cioè indossando il visore e agendo nell’ambiente reale. Questo è un passo avanti, perché vedi subito il risultato. Però, diciamocelo, interagire con menu complessi o scrivere testo fluttuando le mani a mezz’aria non è il massimo dell’efficienza e della precisione. È qui che ho pensato: e se unissimo il meglio dei due mondi?

ARTHUR: La Soluzione Ibrida Che Cambia Tutto

Ed ecco che nasce ARTHUR! È il nome che abbiamo dato al nostro strumento di authoring open-source, pensato proprio per semplificare la creazione di processi di collaborazione uomo-robot supportati dalla Realtà Aumentata. L’idea chiave è usare un’interfaccia utente ibrida. Cosa significa? Significa combinare la potenza e la comodità di un’interfaccia desktop (su PC o tablet) con l’immediatezza e la visualizzazione contestuale di un visore AR (Head-Mounted Display – HMD).

Il flusso di lavoro con ARTHUR si divide in tre fasi flessibili:

• Configurazione: Si parte dal PC. Qui si definisce l’impostazione generale, si importano dati magari da sistemi esistenti (come i sistemi PLM per la gestione del ciclo di vita del prodotto), si aggiungono gli “agenti” (robot, operatori), si definiscono i tracker (come i QR code) per ancorare il mondo virtuale a quello reale, e si crea una prima bozza dei contenuti AR. Usare il PC è comodo per scrivere testo, gestire elenchi lunghi e importare file.
• Raffinamento: Ci si sposta nell’area di lavoro vera e propria, indossando il visore AR. Qui si vedono i contenuti creati prima, ma direttamente sovrapposti all’ambiente reale. Si possono fare aggiustamenti “al volo”: spostare un’istruzione virtuale, cambiare un colore, verificare che la traiettoria del robot sia visualizzata correttamente. E qui viene il bello: per le modifiche più complesse o precise, si può usare un tablet! L’interfaccia web di ARTHUR è accessibile anche da lì. Quindi, hai il visore per vedere l’effetto immediato e il tablet per interagire con menu e parametri in modo efficiente. Niente più attese per ricompilare o ricaricare! Le modifiche sono istantanee.
• Operazione: Una volta che tutto è configurato e rifinito, si passa alla fase operativa. L’utente (che potrebbe essere l’autore stesso o un operatore finale) usa il visore AR per eseguire il compito collaborando con il robot, seguendo le istruzioni e le visualizzazioni create. E se serve una modifica dell’ultimo minuto? Si può tornare facilmente alla fase di raffinamento.

Questo approccio ibrido permette di sfruttare i punti di forza di ogni dispositivo: la precisione e la potenza del PC/tablet per l’input e la configurazione complessa, l’immediatezza e la contestualizzazione del visore AR per la visualizzazione e gli aggiustamenti spaziali. Si riducono drasticamente i tempi del ciclo “progetta-testa-correggi”.

I Mattoncini di ARTHUR: Feedback, Azioni e Condizioni

Ma cosa si può creare esattamente con ARTHUR? Abbiamo definito tre tipi principali di “mattoncini” per costruire le esperienze HRC in AR:

• Feedback: Sono tutti i modi in cui il sistema comunica informazioni all’utente. Principalmente visualizzazioni AR, ma pensiamo anche ad audio e feedback aptici in futuro. ARTHUR supporta ben 20 tipi di feedback! Possiamo visualizzare la traiettoria futura del robot, il suo stato (in funzione, in pausa), evidenziare parti o attrezzi da usare, mostrare istruzioni passo-passo (testo, immagini, modelli 3D), creare zone virtuali (ad esempio, aree di sicurezza) e molto altro.
• Azioni: Sono i comandi che l’utente può dare al sistema o al robot. Ne abbiamo implementate 10 tipi, sfruttando le modalità di input tipiche dei visori AR (sguardo, gesti, voce, prossimità). L’utente può avviare o fermare il robot, confermare il completamento di un’operazione, assegnare un compito, inviare messaggi ad altri sistemi.
• Condizioni: Sono le “regole” che determinano quando un feedback deve apparire o come deve modificarsi, oppure quando un’azione deve essere attivata automaticamente. Ce ne sono 18 tipi, basate su fattori spaziali (la posizione dell’utente rispetto al robot), sullo stato dell’operatore, del robot, dell’ambiente o del compito in corso. Ad esempio, potremmo far apparire un avviso solo se l’utente si avvicina troppo al robot mentre è in movimento, o mostrare istruzioni dettagliate solo se l’operatore è un principiante.

Combinando questi tre elementi – feedback, azioni e condizioni – si possono creare flussi di lavoro HRC personalizzati e dinamici. ARTHUR gestisce anche i tracker (come i QR code) per ancorare precisamente i contenuti virtuali al mondo reale e permette di importare dati specifici del compito, come la sequenza di assemblaggio (Bill of Process – BoP) o l’elenco dei materiali (Bill of Material – BoM), spesso provenienti da sistemi PLM aziendali.

Dietro le Quinte: Architettura Flessibile

Senza entrare troppo nei dettagli tecnici, ARTHUR si basa su un’architettura a servizi. C’è un servizio centrale per l’authoring, uno opzionale per gestire la sequenza dei compiti di assemblaggio, uno per prevedere i movimenti del robot (utile per visualizzare le traiettorie future), e un “adattatore” per comunicare con il robot specifico (al momento supportiamo i robot Universal Robots, ma è estensibile). La comunicazione tra tutti questi componenti avviene tramite MQTT, un protocollo leggero e flessibile che rende facile integrare anche altri sistemi o sensori. E la cosa bella è che ARTHUR è open-source! Chiunque abbia le competenze può estenderlo, aggiungendo nuovi tipi di feedback, azioni, condizioni o supporto per altri robot.

ARTHUR Alla Prova dei Fatti

Bello sulla carta, ma funziona davvero? Per dimostrare le capacità di ARTHUR, abbiamo replicato alcuni scenari presi da ricerche precedenti. Ad esempio, abbiamo ricreato un sistema che usava sfere virtuali colorate per comandare il robot e visualizzava zone di sicurezza dinamiche. Abbiamo anche mostrato come ARTHUR possa essere usato per confrontare facilmente diverse modalità di visualizzazione delle intenzioni del robot (un tema molto dibattuto nella ricerca HRI) o per visualizzare dati da sensori in tempo reale (come la pressione applicata durante un’operazione di levigatura).

Ma la prova più importante è stata coinvolgere degli esperti. Abbiamo invitato cinque professionisti con esperienza nello sviluppo di applicazioni AR e nell’interazione uomo-robot a provare ARTHUR. Il loro compito era replicare uno degli scenari di esempio e poi esplorare liberamente il sistema. I risultati sono stati davvero incoraggianti!

Tutti sono riusciti a completare il compito e hanno trovato ARTHUR facile da usare e potente. Hanno apprezzato moltissimo l’approccio ibrido: “La combinazione di un buon dispositivo di input/menu (tablet o PC) e il feedback immediato sull’HoloLens è fantastica“, ha detto uno di loro. Hanno trovato comodo usare il tablet per i menu invece di dover interagire con menu virtuali flottanti nel visore. Hanno anche sottolineato il vantaggio di poter fare aggiustamenti grossolani direttamente in AR (usando i gesti) e poi rifinire la posizione con precisione usando il tablet.

Il passaggio tra le diverse fasi (Configurazione, Raffinamento, Operazione) e tra i diversi dispositivi (PC, tablet, HMD) è stato percepito come fluido e non problematico. Anzi, è stato visto come un punto di forza: “Puoi passare dal tablet all’HoloLens così facilmente. Premi [sul tablet] e si aggiorna immediatamente in AR. Non c’è bisogno di aspettare che si carichi una configurazione o simili“.

Ovviamente, sono emersi anche suggerimenti per migliorare. Ad esempio, rendere più precisa la manipolazione degli oggetti 3D in AR o migliorare le funzioni di allineamento tra oggetti virtuali. Ma nel complesso, il feedback è stato estremamente positivo sull’utilità e l’usabilità dell’approccio ibrido di ARTHUR.

Perché ARTHUR è Importante e Cosa Ci Riserva il Futuro

Credo che strumenti come ARTHUR possano davvero fare la differenza. Abbassano la barriera d’ingresso per creare esperienze di collaborazione uomo-robot efficaci e intuitive supportate dalla Realtà Aumentata. Rendono il processo di authoring più veloce, flessibile e meno frustrante. Questo può accelerare l’adozione dei cobot nell’industria, permettendo di automatizzare compiti ripetitivi o faticosi, migliorando l’ergonomia e la sicurezza per i lavoratori.

Certo, c’è ancora strada da fare. Vogliamo condurre studi più approfonditi, magari direttamente in ambienti produttivi reali (“in-the-wild”) coinvolgendo non solo esperti di tecnologia, ma anche progettisti UX e operai di linea. Questo ci darà feedback preziosissimi per migliorare ancora ARTHUR. Pensiamo anche di estendere il sistema per supportare robot mobili, altri tipi di display AR (come proiettori o smartphone), nuove modalità di interazione (come la voce) e magari integrare sistemi di raccomandazione intelligenti che suggeriscano le configurazioni migliori in base al contesto.

In conclusione, ARTHUR rappresenta un passo avanti significativo verso un futuro in cui umani e robot collaborano fianco a fianco in modo naturale ed efficiente, grazie al supporto della Realtà Aumentata. E grazie all’approccio ibrido, creare queste esperienze diventa finalmente un processo più accessibile e creativo. Sono davvero entusiasta delle potenzialità e non vedo l’ora di vedere cosa riusciremo a costruire insieme!

Fonte: Springer