Applicazioni emergenti della tecnologia time-of-flight nel settore industriale e automobilistico
Il time-of-flight (ToF) è una tecnica di misura in cui un elemento di rilevamento invia un raggio laser al bersaglio e una parte della luce riflessa ritorna al ricevitore.
Il tempo misurato indica la distanza dall'oggetto. Un ToF 3D fornisce immagini 3D ad alta risoluzione a basso costo per varie applicazioni, tra cui la grafica computerizzata, l'interazione uomo-macchina (HMI) e la visione computerizzata. Una potente visione 3D può risolvere diversi problemi associati alla visione 2D, in quanto è in grado di separare senza sforzo il primo piano dallo sfondo. In questo articolo, scopriremo la tecnologia ToF di ADI per il rilevamento della profondità 3D con un supporto completo per gli imager CMOS, i driver laser, il calcolo della profondità basato su software e hardware e i sistemi completi.
Tecnologia del tempo di volo - Panoramica
Il ToF 3D utilizza impulsi ottici ad alta potenza della durata di nanosecondi per acquisire informazioni sulla profondità, in genere a breve distanza da una scena di interesse. Si tratta di un tipo di LIDAR (Light Detection and Ranging) senza scanner in grado di stimare le distanze dei bersagli. Il rilevamento della distanza (misurazione della distanza senza contatto) basato sulla luce laser utilizza tre metodi principali: triangolazione, tempo di volo e modulazione.
Figura 1: Misurazione del tempo di volo
Una telecamera ToF misura la distanza illuminando attivamente un oggetto con una sorgente luminosa modulata, come un laser, e catturando la luce riflessa con un sensore sensibile alla lunghezza d'onda del laser (Figura 1). Il sensore misura l'intervallo di tempo tra l'emissione della luce e il momento in cui la fotocamera riceve la luce riflessa. Il ritardo è proporzionale al doppio della distanza tra la telecamera e l'oggetto (round-trip). È possibile stimare la profondità in base a: 
Dove c rappresenta la velocità della luce, ΔT rappresenta il ritardo temporale (ToF) e d è la profondità misurata. Una telecamera ToF calcola la differenza di tempo tra i segnali emessi e quelli restituiti. Per calcolare il tempo (T) si possono utilizzare due metodi: onda continua (CW) e impulso. La tecnica CW impiega un segnale modulato periodico per l'illuminazione attiva e la demodulazione omodina del segnale ricevuto aiuta a determinare lo spostamento di fase della luce riflessa. Una sorgente di illuminazione genera N brevi impulsi di luce, che vengono riflessi in un sensore con un otturatore elettronico, consentendo la cattura della luce in una serie di brevi finestre temporali.
Tecnologie di rilevamento della profondità
L'inclusione di informazioni sulla profondità in un'immagine 2D consente di estrarre informazioni utili. Le informazioni sulla profondità consentono di tracciare i tratti del viso e del corpo delle persone, permettendo un riconoscimento del volto di qualità superiore e più affidabile per l'autenticazione di sicurezza. Una risoluzione più elevata e una maggiore precisione della profondità consentono di ottenere un algoritmo di classificazione migliore.
La telecamera ToF (figura 2) comprende diversi elementi come una sorgente luminosa, un driver laser e sensori ToF. La sorgente luminosa emette luce nel dominio del vicino infrarosso. La sorgente può essere un diodo laser con emissione dal bordo o un laser con emissione dalla superficie a cavità verticale (VCSEL).
Il driver laser modula l'intensità della luce emessa dalla sorgente luminosa. Il sensore ToF con una matrice di pixel raccoglie la luce di ritorno dalla scena e produce valori per ogni pixel. L'obiettivo mette a fuoco la luce di ritorno sull'array di sensori. Infine, un algoritmo di elaborazione che converte i fotogrammi grezzi in uscita dal sensore in immagini di profondità o nuvole di punti.
Figura 2: Componenti della ToF, compreso il processore di profondità
La telecamera ToF raccoglie la luce generata dall'illuminazione attiva. Le prestazioni complessive della telecamera dipendono dall'uniformità e dall'efficienza della raccolta della luce sull'array di pixel. L'obiettivo deve avere un'elevata trasmissione, un forte potere di raccolta e una bassa luce parassita. La Tabella 1 mostra i diversi componenti a livello di sistema delle telecamere 3D Time of Flight e le loro caratteristiche.
Tabella 1: Componenti a livello di sistema delle telecamere ToF
Sistema ToF di dispositivi analogici - Dispositivo di elaborazione del segnale ToF
La tecnologia ToF di ADI è un sistema CCD ToF a impulsi (Figura 3) utilizzando un CCD ToF ad alte prestazioni e l'ADDI9036 (front-end analogico), un dispositivo completo di elaborazione del segnale ToF che integra un ADC a 12 bit, il processore di profondità (che elabora i dati dell'immagine grezza dal CCD in dati di profondità/pixel), nonché un generatore di clock ad alta precisione che genera la temporizzazione sia per il CCD che per il laser. Il nucleo di temporizzazione di precisione del generatore di temporizzazione consente di regolare i clock e l'uscita LD con una risoluzione di circa 174 ps a una frequenza di clock di 45 MHz.
Figura 3: Schema a blocchi del sistema ToF ADI
Il sistema ToF di ADI utilizza un CCD ToF sensibile alla luce di 940 nm, che consente di acquisire un maggior numero di dati in ambienti esterni o in aree con luce ambientale intensa. Il sistema ToF di ADI si differenzia dalle altre soluzioni per l'utilizzo di un sensore ToF con risoluzione 640 × 480, 4 volte superiore rispetto alla maggior parte delle altre soluzioni ToF disponibili sul mercato, e per l'utilizzo di un sensore con una maggiore sensibilità alla luce alla lunghezza d'onda di 940 nm. La luce ambientale riduce significativamente l'SNR di un segnale riflesso, soprattutto se molto elevata.
Un algoritmo pseudo-randomizzazione combinato con una speciale elaborazione delle immagini integrata nel processore di profondità consente di annullare le interferenze. Questo algoritmo consente a più sistemi ToF di operare nello stesso ambiente.
Piattaforma di sviluppo
L’AD-FXTOF1-EBZ è una soluzione di - rilevamento della profondità, adatto per sviluppare i sistemi di computer vision in 3D. Utilizza un VGA CCD (Figura 4) che permette la cattura di una mappa di profondità 640×480 di una scena a 30 fotogrammi al secondo, fornendo una risoluzione di 4 volte superiore alla maggior parte degli altri sistemi TOF. È possibile collegare il kit di sviluppo AD-FXTOF1-EBZ a numerose schede processore per lo sviluppo di applicazioni di visione artificiale e la valutazione del sistema. Può essere utilizzato per lo sviluppo di software e algoritmi 3D se abbinato a schede processore della famiglia Nvidia o Raspberry. La risoluzione VGA del kit consente il rilevamento di oggetti con un livello di granularità superiore rispetto ad altre soluzioni ToF 3D, molteplici modalità di rilevamento della distanza per una maggiore precisione e la capacità di rilevare la profondità in condizioni di forte luce ambientale.
Figura 4: Piattaforma di sviluppo ToF AD-FXTOF1-EBZ3D
L'SDK fornito supporta i wrapper OpenCV, Python®, MATLAB®, Open3D e RoS, in modo che gli sviluppatori possano utilizzarli per semplificare lo sviluppo delle applicazioni.
Applicazioni emergenti del ToF
La logistica, l'ispezione della qualità, la navigazione, la robotica, il riconoscimento facciale, la sicurezza, la sanità e il monitoraggio dei conducenti sono tutti casi d'uso che possono sfruttare la tecnologia ToF di rilevamento della profondità 3D. La combinazione di dati di profondità ad alta risoluzione con potenti algoritmi di classificazione e IA permetterà di scoprire nuove applicazioni. Un'applicazione essenziale del rilevamento della profondità sarà il processo industriale, manifatturiero e di costruzione. La capacità di dimensionare e classificare accuratamente gli oggetti in tempo reale attraverso un processo di produzione non è banale. Il rilevamento preciso della profondità può determinare l'utilizzo dello spazio nelle baie del magazzino.
I prodotti che escono da una linea di produzione devono essere dimensionati rapidamente per essere trasferiti. Il rilevamento della profondità ad alta risoluzione consentirà di determinare i bordi e le linee degli oggetti target in tempo reale e di calcolare rapidamente i volumi. L'uso di sensori intelligenti, in particolare di sensori di profondità, sta diventando sempre più onnipresente nella produzione, nei trasporti e nella logistica. Dalla visione industriale per l'ispezione della qualità al rilevamento volumetrico per la gestione degli asset, fino alla navigazione per la produzione autonoma, l'industria manifatturiera sta adottando queste tecnologie di rilevamento e si sta orientando verso sistemi ad altissima risoluzione progettati per ambienti industriali difficili.
Applicazione industriale - Veicolo a guida autonoma (AGV) che utilizza il modulo ToF (Time of Flight) di ADI
Il modulo ToF consente al robot di prelevare e posizionare oggetti su un tavolo, navigare attraverso gli ostacoli e posizionare gli oggetti in un'altra posizione. Le telecamere ToF aiutano gli AGV ad acquisire dati di profondità e a percepire l'ambiente in cui operano. Gli AGV possono eseguire compiti critici con precisione, velocità e comodità. Le telecamere aiutano i robot a eseguire localizzazione, navigazione, rilevamento di oggetti, mappatura, navigazione e odometria.
La Figura 5 mostra la suddivisione del sistema robotico (AGV) in ambienti industriali in diverse classi come gli attuatori, che consistono nella piattaforma e nel braccio, i sensori, i computer e le interfacce con l'operatore umano. Per le operazioni di inserimento dei chiodi nel foro e per superare le incertezze di percezione è necessario un manipolatore a controllo di coppia . La piattaforma mobile consente una navigazione sicura e la telecamera ToF è un dispositivo sensoriale fondamentale per percepire l'ambiente operativo. Le differenze di prestazioni delle diverse telecamere influenzano l'angolo di montaggio ottimale della telecamera.
Figura 5: Diagramma a blocchi del ToF interfacciato con il processore
Il robot comunica attraverso il Transmission Control Protocol (TCP), che integra le informazioni sulle coordinate di pick provenienti dalla visione artificiale. La telecamera ToF fornisce informazioni 3D sugli ostacoli. Dopo i test e la calibrazione a terra, queste telecamere vengono montate e integrate in un robot mobile. Dopo averle convertite in coordinate cartesiane, una mappa dello spazio di lavoro include i dati delle telecamere. Lo spazio di lavoro è una mappa del mondo bidimensionale (2D) suddivisa in una griglia o in celle, dove un algoritmo di ricerca a grafico definisce un percorso privo di collisioni. Questo percorso è una sequenza di celle che l'AGV può percorrere per raggiungere l'obiettivo.
Le telecamere stereo offrono una qualità di livello industriale per le applicazioni di robotica a guida visiva nell'automazione di fabbrica e nella logistica. Queste telecamere contribuiscono all'adozione della tecnologia di visione 3D per applicazioni robotiche che vanno dal prelievo dei rifiuti alla navigazione.
Applicazione per il settore automobilistico
Le tecnologie ToF sono onnipresenti nelle applicazioni automobilistiche per il rilevamento esterno e interno. Per quanto riguarda il rilevamento esterno, la crescente diffusione della guida autonoma rende evidente la necessità di integrare le telecamere ToF, i RADAR, le telecamere termiche, i LiDAR e le telecamere stereo con le telecamere 2D. La falange di sensori coprirà tutti i "punti ciechi" che possono presentarsi in un ambiente automobilistico. La tecnologia ToF include l'assistenza al parcheggio avanzata e il cocooning esterno ADAS.
Figura 6: Posizioni dei sensori in cabina
Le attuali esigenze di comfort e sicurezza guidano i casi d'uso del ToF per il rilevamento all’interno del veicolo. Le tecnologie più recenti si rivolgono sia al conducente che al passeggero, ai loro stati cognitivi e biomeccanici e al monitoraggio nell’abitacolo. Le funzioni di comfort ToF includono l'interazione con la posizione delle mani (HMI) per il funzionamento del tetto apribile, dell'aria condizionata e della radio; il rilevamento di oggetti lasciati nel veicolo, la personalizzazione tramite il monitoraggio del corpo, del viso e della testa; il riconoscimento e la classificazione dei pacchi. Le funzioni di sicurezza in auto si concentrano sul rilevamento del volto anti-spoofing per l'identificazione del conducente.
