Difetti Invisibili? La Visione 3D+2D che Rivela e Misura Ogni Graffio!

Ciao a tutti! Oggi voglio parlarvi di una sfida davvero affascinante nel mondo dell’industria di precisione, quella che riguarda la qualità delle superfici dei componenti. Sapete, in settori come l’aerospaziale, l’automotive o persino nella produzione di semiconduttori, anche il più piccolo difetto su una superficie, come un graffio apparentemente innocuo, può compromettere le prestazioni di apparecchiature costosissime e, nei casi peggiori, causare guasti seri. È un problema enorme!

Il Dilemma: Vedere o Misurare?

Per anni, abbiamo cercato il modo migliore per scovare questi difetti. I metodi tradizionali? Beh, l’ispezione manuale è lenta, costosa e dipende troppo dall’occhio esperto (e a volte stanco) dell’operatore. Poi sono arrivate le tecnologie non distruttive come ultrasuoni, raggi X… potenti, sì, ma spesso complesse da usare e non sempre adatte a tutti i tipi di difetti o materiali.

Negli ultimi tempi, la visione artificiale e il deep learning hanno fatto passi da gigante. Le telecamere 2D sono fantastiche per individuare difetti evidenti su superfici piane, pensate alle schede elettroniche o alle lamiere d’acciaio. Sono veloci e facili da integrare nelle linee di produzione. Ma c’è un “ma” grande come una casa: le immagini 2D vedono la superficie, ma non la profondità. Un graffio lo vedono, certo, ma quanto è profondo? È superficiale o è un solco pericoloso? Non possono dircelo. E senza questa informazione, come facciamo a valutare la reale gravità del danno?

Allora abbiamo pensato: usiamo la tecnologia 3D! Gli scanner 3D e le nuvole di punti ci danno una visione completa della geometria della superficie, profondità inclusa. Fantastico, no? Beh, quasi. Ricostruire una nuvola di punti 3D dettagliata di un componente complesso richiede un sacco di tempo e potenza di calcolo. Immaginate di doverlo fare per ogni singolo pezzo che esce dalla linea di produzione… impraticabile per molte industrie che puntano sulla velocità.

Quindi, ci siamo trovati a un bivio: la velocità e la praticità del 2D, che però non “misura” la gravità, o la completezza del 3D, che però è lenta e costosa. Non sarebbe magnifico poter avere il meglio dei due mondi?

La Nostra Soluzione: Fusione Multimodale al Potere!

Ed è qui che entra in gioco la nostra idea, un sistema che abbiamo chiamato MDDS (Multimodal Defect Detection System). L’intuizione è semplice ma potente: perché scegliere tra 2D e 3D quando possiamo fonderli insieme?

Abbiamo messo a punto un sistema basato sulla visione binoculare, un po’ come i nostri occhi. Usiamo due telecamere industriali ad altissima precisione, montate fianco a fianco, che catturano immagini 2D dettagliate del componente. Ma non solo! Sfruttando la stereoscopia (proprio come fa il nostro cervello con le immagini provenienti dai due occhi), il sistema è in grado di ricostruire anche una nuvola di punti 3D della superficie.

Ma come funziona nel dettaglio questo “matrimonio” tra 2D e 3D? Il processo si articola in alcuni passaggi chiave.

Passo 1: L’Occhio Elettronico Vede il Difetto (Rilevamento 2D)

Prima di tutto, usiamo le immagini 2D catturate dalla telecamera (per ora basta quella sinistra). Qui entra in campo il deep learning. Abbiamo preso un algoritmo molto potente per il rilevamento di oggetti, chiamato Faster R-CNN, e lo abbiamo “potenziato”. Perché? Perché i difetti industriali, specialmente su parti complesse come le giranti dei motori aeronautici su cui abbiamo lavorato, possono essere piccoli, nascosti, di forme strane.

Il nostro Faster R-CNN migliorato utilizza alcuni “trucchi”:

• Un’architettura di base (chiamata Res2Net) che è bravissima a catturare dettagli a diverse scale contemporaneamente.
• Un sistema più furbo per proporre le aree potenzialmente difettose (Cascade RPN), che affina progressivamente la mira.
• Un modo più intelligente per estrarre le caratteristiche dalle regioni di interesse (GRoIE), che “guarda” le informazioni provenienti da diversi livelli della rete per non perdersi nulla di importante.

Il risultato? Una capacità incredibile di localizzare con precisione i difetti, anche quelli più ostici, disegnando un riquadro (bounding box) attorno ad essi nell’immagine 2D. Abbiamo ottenuto un’accuratezza superiore al 99% nei nostri test!

Passo 2: Costruire il Ponte tra le Dimensioni (Mapping 2D-3D)

Ok, abbiamo trovato il difetto nell’immagine 2D e abbiamo le coordinate del riquadro che lo circonda. E adesso? Adesso dobbiamo collegare questa informazione al mondo 3D. Qui entra in gioco la magia della visione binoculare e della calibrazione.

Avendo calibrato perfettamente le nostre due telecamere (conosciamo la loro posizione reciproca, la lunghezza focale, ecc.), possiamo fare una cosa fondamentale: per ogni punto 3D che il sistema ricostruisce, sappiamo esattamente a quali pixel corrisponde nell’immagine della telecamera sinistra e in quella della telecamera destra.

Per rendere questo processo super efficiente, abbiamo creato una struttura dati speciale per la nuvola di punti. Ogni punto 3D non memorizza solo le sue coordinate (x, y, z), ma anche le coordinate dei pixel (u, v) corrispondenti nelle immagini 2D sinistra e destra. In questo modo, quando il nostro sistema 2D ci dice “il difetto è in questo riquadro di pixel”, possiamo istantaneamente recuperare tutti e soli i punti 3D che cadono all’interno di quell’area. Geniale, vero? Questo ci permette di ricostruire la nuvola di punti 3D solo della zona difettosa, risparmiando un sacco di tempo di calcolo.

Passo 3: Misurare la Profondità del Danno (Analisi 3D e Quantificazione)

Ora abbiamo la nostra nuvola di punti 3D focalizzata sull’area del difetto. È il momento della verità: la quantificazione. Ma prima, un po’ di pulizia. Le nuvole di punti reali possono avere un po’ di “rumore” (punti sparsi qua e là) o essere leggermente irregolari. Applichiamo quindi algoritmi di denoising (basati sulla densità dei punti vicini) e smoothing (usando una tecnica chiamata Moving Least Squares – MLS) per ottenere una rappresentazione 3D pulita e liscia della superficie difettosa, preservando però i dettagli importanti del difetto stesso.

A questo punto, arriva il nostro “ingrediente segreto” per l’analisi 3D. Abbiamo sviluppato un approccio nuovo basato sui vettori normali. Immaginate ogni punto sulla superficie come se avesse una piccola freccia (il vettore normale) che indica la direzione perpendicolare alla superficie in quel punto. Nei graffi, queste frecce cambiano direzione bruscamente rispetto alla superficie circostante.

• Aggregazione dei Vettori Normali (NvA): Abbiamo ideato una trasformazione matematica che “esagera” queste differenze, facendo sì che i punti all’interno del graffio tendano a raggrupparsi virtualmente verso il centro del difetto quando analizziamo i loro vettori normali trasformati. Questo rende il graffio molto più evidente nei dati.
• Descrizione Dettagliata (FPFH): Per descrivere la geometria locale attorno a ogni punto in modo molto più ricco rispetto al solo vettore normale, usiamo un descrittore chiamato Fast Point Feature Histogram (FPFH). Questo crea una sorta di “impronta digitale” a 33 dimensioni che cattura le relazioni geometriche tra un punto e i suoi vicini. Le impronte dei punti difettosi sono molto diverse da quelle dei punti sani.
• Classificazione Intelligente (Fuzzy C-Means): Infine, diamo queste “impronte digitali” (i vettori FPFH) in pasto a un algoritmo di clustering chiamato Fuzzy C-Means (FCM). Questo algoritmo è bravissimo a separare i punti in gruppi distinti (nel nostro caso, “difettoso” e “non difettoso”) basandosi sulle loro caratteristiche FPFH.

Il risultato finale è una precisa identificazione di tutti i punti 3D che appartengono effettivamente al graffio. E una volta che li abbiamo identificati, possiamo finalmente fare ciò che il 2D da solo non poteva: misurare! Calcoliamo l’area totale del difetto sommando le aree dei piccoli triangoli che compongono la sua superficie nella nuvola di punti, e soprattutto, misuriamo la sua profondità calcolando la distanza dei punti del difetto da un piano di riferimento locale. Possiamo così ottenere la profondità massima, minima e media, dando una stima quantitativa precisa della gravità.

I Risultati Parlano Chiaro

Abbiamo messo alla prova il nostro sistema MDDS su giranti di motori aeronautici reali con graffi di varia entità. I risultati sono stati entusiasmanti!

• Accuratezza 2D: Il nostro Faster R-CNN migliorato ha superato molti altri algoritmi di rilevamento all’avanguardia, sia sul nostro dataset che su dataset pubblici standard (NEU-DET, GC10-DET), raggiungendo un’accuratezza (AP) del 99.1% sui nostri dati specifici per i graffi.
• Accuratezza 3D: La ricostruzione 3D delle aree difettose si è dimostrata molto precisa, con un’elevata sovrapposizione (IoU > 92%) e distanze minime (Chamfer < 0.02mm, Hausdorff < 0.04mm) rispetto a scansioni laser 3D ad altissima precisione usate come riferimento (ground truth).
• Quantificazione Affidabile: Il nostro metodo di rilevamento 3D basato su NvA, FPFH e FCM ha superato nettamente altri approcci (inclusi metodi basati su deep learning come PointNet/PointNet++ e tecniche geometriche come RANSAC o DoR), identificando i punti del difetto con alta precisione (Precision > 97%) e pochissimi falsi positivi (FPR < 2%). Le misure di profondità e area calcolate erano molto vicine a quelle reali misurate con strumenti di metrologia di precisione (errori medi sotto il 5-6%).
• Efficienza: E la cosa bella è che, concentrando l’analisi 3D solo sulle piccole aree difettose identificate dal 2D, il nostro sistema è molto più veloce dei metodi che devono analizzare l’intera nuvola di punti 3D del componente. Parliamo di un aumento di velocità di oltre dieci volte!

Siamo riusciti persino a classificare la gravità dei graffi in 4 livelli basandoci sulla profondità misurata, fornendo un’informazione cruciale per decidere se un pezzo può essere utilizzato, riparato o scartato.

Guardando al Futuro

Certo, nessuna tecnologia è perfetta fin da subito. Sappiamo che la precisione della ricostruzione 3D può essere influenzata da superfici molto riflettenti o da condizioni di luce non ideali, e l’accuratezza del rilevamento 2D dipende dalla qualità dei dati di addestramento.

Ma la strada intrapresa è promettente. Stiamo già pensando a come migliorare ulteriormente la robustezza, magari usando più viste (multi-view stereo) o integrando altri tipi di sensori. L’obiettivo finale è rendere questo approccio ancora più versatile e integrarlo direttamente nei sistemi di controllo qualità automatizzati delle linee di produzione.

Credo fermamente che la fusione di informazioni da diverse modalità, come abbiamo fatto noi con 2D e 3D, sia la chiave per risolvere problemi complessi come la valutazione quantitativa dei difetti superficiali. È un campo di ricerca affascinante e siamo solo all’inizio! Spero di avervi trasmesso un po’ della nostra passione per questa tecnologia.

Fonte: Springer