Důkladné porozumění principům 3D vizuálního zobrazování

3D vidění je jednou z nejdůležitějších metod pro vnímání informací průmyslových robotů, kterou lze rozdělit na optické a neoptické zobrazovací metody. V současnosti jsou nejpoužívanější optické metody, mezi které patří: metoda času letu, metoda strukturovaného světla, metoda laserového skenování, metoda Moire proužků, metoda laserových skvrn, interferometrie, fotogrammetrie, metoda laserového sledování, tvar z pohybu, tvar ze stínu, a další ShapefromX. Tento článek představuje několik typických schémat.

1. Doba letu 3D zobrazování

Každý pixel kamery typu time-of-flight (TOF) využívá časový rozdíl v letu světla k získání hloubky objektu.

Při klasické metodě měření TOF systém detektoru spouští detekční a přijímací jednotku v čase, kdy je emitován optický impuls. Když detektor přijme optickou ozvěnu od cíle, detektor přímo ukládá dobu zpáteční cesty.

D-TOF, známý také jako Direct TOF (DTOF), se běžně používá v systémech jednobodového zaměřování, kde je často vyžadována technologie skenování k dosažení celoplošného 3D zobrazení.

Technologie 3D zobrazování TOF bez skenování byla realizována až v posledních letech, protože je velmi obtížné implementovat subnanosekundové elektronické časování na úrovni pixelů.

Alternativou k přímo časovanému D-TOF je nepřímý TOF (I-TOF), ve kterém je časová cesta nepřímo extrapolována z časově řízených měření intenzity světla. I-TOF nevyžaduje přesné časování, ale místo toho využívá časově řízené čítače fotonů nebo integrátory náboje, které lze implementovat na úrovni pixelů. I-TOF je současné komerčně dostupné řešení pro elektronické a optické směšovače založené na kamerách TOF.

Zobrazování TOF lze použít pro velké zorné pole, velkou vzdálenost, nízkou přesnost a levné pořízení 3D obrazu. Jeho vlastnosti jsou: vysoká rychlost detekce, velké zorné pole, dlouhá pracovní vzdálenost, nízká cena, ale nízká přesnost, snadno se ruší okolním světlem.

2. Vyhledejte 3D zobrazení

Skenovací 3D zobrazovací metody lze rozdělit na skenovací rozsah, aktivní triangulaci, disperzní konfokální metodu a tak dále. Disperzní konfokální metoda je ve skutečnosti metoda skenování a měření vzdálenosti, vzhledem k tomu, že je v současné době široce používána ve zpracovatelském průmyslu, jako jsou mobilní telefony a ploché panely, je zde představena samostatně.

1. Skenování a měření rozsahu

Měření vzdálenosti skenování spočívá v použití kolimovaného paprsku ke skenování celého cílového povrchu pomocí jednorozměrného měření vzdálenosti pro dosažení 3D měření. Typické metody snímání rozsahu jsou:

1, jeden bod čas letu metody, jako je kontinuální vlnová frekvenční modulace (FM-CW) rozsah, pulzní rozsah (LiDAR), atd.;

2, laserová rozptylová interferometrie, jako jsou interferometry založené na principech multi-vlnné interference, holografické interference, interferenční interference bílého světla atd.

3, konfokální metoda, jako je disperzní konfokální, samozaostření atd.

U 3D metody skenování s jedním bodem je metoda s jedním bodem letu vhodná pro skenování na dlouhé vzdálenosti a přesnost měření je nízká, obecně v řádu milimetrů. Dalšími jednobodovými skenovacími metodami jsou: jednobodová laserová interferometrie, konfokální metoda a jednobodová laserová aktivní triangulační metoda, přesnost měření je vyšší, ale první má vysoké požadavky na životní prostředí; Přesnost řádkového skenování střední, vysoká účinnost. Pro provádění 3D měření na konci robotické paže je vhodnější metoda aktivní laserové triangulace a disperzní konfokální metoda.

2. Aktivní triangulace

Aktivní triangulační metoda je založena na principu triangulace pomocí kolimovaných paprsků, jednoho nebo více rovinných paprsků pro skenování cílového povrchu pro dokončení 3D měření.

Paprsek se obvykle získává následujícími způsoby: laserová kolimace, válcová nebo kvadrická válcová úhlová expanze paprsku, nekoherentní světlo (jako je bílé světlo, zdroj světla LED) skrz otvor, štěrbinová (mřížková) projekce nebo koherentní difrakce světla.

Aktivní triangulaci lze rozdělit do tří typů: jednobodové skenování, jednořádkové skenování a víceřádkové skenování. Většina produktů, které jsou v současnosti komercializovány pro použití na konci robotických ramen, jsou jednobodové a jednořádkové skenery.

Při metodě víceřádkového skenování je obtížné spolehlivě identifikovat počet okrajových pólů. Za účelem přesné identifikace čísel pruhů se obvykle používá vysokorychlostní střídavé zobrazování dvou sad vertikálních optických rovin, které může také realizovat skenování "FlyingTriangulation". Proces skenování a trojrozměrné rekonstrukce je znázorněn na následujícím obrázku. Řídký 3D pohled je generován stroboskopickým zobrazením s víceřádkovou projekcí a několik sekvencí 3D pohledů je generováno podélným a horizontálním projekčním skenováním. Poté je pomocí 3D obrazu vygenerován kompletní a kompaktní 3D model povrchu s vysokým rozlišením.

3. Disperzní konfokální metoda

Zdá se, že disperzní konfokální zařízení dokáže skenovat a měřit drsné a hladké neprůhledné a průhledné předměty, jako jsou reflexní zrcadla, průhledné skleněné povrchy atd., a je v současné době velmi populární v oblasti trojrozměrné detekce krycích desek mobilních telefonů.

Existují tři typy disperzního konfokálního skenování: jednobodové jednorozměrné skenování absolutního rozsahu, vícebodové skenování pole a skenování spojitých řádků. Následující obrázek uvádí dva typy příkladů absolutního určování vzdálenosti a kontinuálního snímání řádků. Mezi nimi je kontinuální řádkové skenování také skenování pole, ale pole má více a hustší mřížku.

V komerčních produktech je známějším skenovacím spektrálním konfokálním snímačem francouzský STILMPLS180, který využívá 180 bodů pole k vytvoření čáry s maximální délkou čáry 4,039 mm (měřicí bod 23,5 pm, rozteč bodů 22,5 pm). Dalším produktem je finská FOCALSPECUULA. Je převzata technika disperzního konfokálního trojúhelníku.

3. 3D zobrazování se strukturovanou světelnou projekcí

Projekce strukturovaného světla 3D zobrazování je v současné době hlavním způsobem robotického 3D vizuálního vnímání, systém strukturovaného světla se skládá z několika projektorů a kamer, běžně používané konstrukční formy jsou: jeden projektor-jedna kamera, jeden projektor-dvojitá kamera, jeden projektor-více kamera, jedna kamera - dvojitý projektor a jedna kamera - více projektorů a další typické konstrukční formy.

Základním pracovním principem 3D zobrazování projekce strukturovaného světla je, že projektory promítají specifické strukturované světelné vzory na cílové objekty a obrazy modulované cílem jsou zachyceny kamerou a poté jsou 3D informace o cílovém objektu získány prostřednictvím obrazu. zpracování a vizuální model.

Běžně používané projektory mají především následující typy: projekce z tekutých krystalů (LCD), digitální projekce s modulací světla (DLP: jako jsou digitální mikrozrcadlová zařízení (DMD)), přímá projekce laserového vzoru LED.

Podle počtu projekce strukturovaného světla lze 3D zobrazení projekce strukturovaného světla rozdělit na metody jednoduché projekce 3D a vícenásobné projekce 3D.

1. Jednoprojekční zobrazování

Strukturované světlo s jedinou projekcí je realizováno především kódováním prostorového multiplexování a kódování frekvenčního multiplexování. Běžné kódovací formy jsou barevné kódování, šedý index, kódování geometrických tvarů a náhodné skvrny.

V současné době je při aplikaci robotického systému ruka-oko pro případy, kdy přesnost 3D měření není vysoká, jako je paletizace, unpaletizace, 3D uchopování atd., populárnější promítat pseudonáhodné body pro získání 3D informace o cíli. Princip 3D zobrazování je znázorněn na následujícím obrázku.

2. Vícenásobné promítání

Víceprojekční 3D metoda je implementována především kódováním s časovým multiplexováním. Běžně používané formy vzorového kódování jsou: binární kódování, vícefrekvenční kódování s fázovým posuvem τ35 a smíšené kódování (jako jsou proužky šedého kódu s desetifázovým posuvem).

Základní princip proužkového 3D zobrazování je znázorněn na obrázku níže. Strukturované světelné obrazce jsou generovány počítačem nebo generovány speciálním optickým zařízením, které jsou promítány na povrch měřeného objektu prostřednictvím optického projekčního systému, a poté jsou ke sběru využita zařízení pro snímání obrazu (jako jsou CCD nebo CMOS kamery). deformované strukturované světelné obrazy modulované povrchem předmětu. Algoritmus zpracování obrazu se používá k výpočtu odpovídajícího vztahu mezi každým pixelem v obrázku a bodem na obrysu objektu. Nakonec se pomocí modelu struktury systému a technologie kalibrace vypočítá trojrozměrná informace o obrysu měřeného objektu.

V praktických aplikacích se často používá projekce s Grayovým kódem, sinusová proužková projekce s fázovým posunem nebo 3D technologie smíšená projekce s šedým kódem deset sinusových fází.

3. Zobrazení průhybu

U drsného povrchu může být strukturované světlo promítáno přímo na povrch předmětu pro vizuální měření. Pro 3D měření hladkých povrchů s velkou odrazivostí a zrcadlových objektů však nelze promítání strukturovaného světla přímo promítnout na měřený povrch a 3D měření navíc vyžaduje použití technologie vychylování zrcadla, jak je znázorněno na následujícím obrázku.

V tomto schématu se proužky nepromítají přímo na měřený obrys, ale promítají se na rozptylnou obrazovku nebo se místo rozptylové obrazovky použije LCD obrazovka pro přímé zobrazení proužků. Kamera sleduje dráhu světla světlým povrchem, získává informace o okrajích modulované změnou zakřivení světlého povrchu a poté řeší 3D profil.

4. Stereovizní 3D zobrazování

Stereovize doslova odkazuje na vnímání trojrozměrné struktury jedním nebo oběma očima a obecně se vztahuje k rekonstrukci 3D struktury nebo hloubkové informace cílového objektu získáním dvou nebo více obrazů z různých úhlů pohledu.

Vizuální podněty vnímání hloubky lze rozdělit na okuláry a binokulární signály (binokulární paralaxa). V současné době lze stereoskopického 3D dosáhnout pomocí monokulárního vidění, binokulárního vidění, multiokulárního vidění, 3D zobrazování ve světelném poli (elektronické složené oko nebo maticová kamera).

1. Monokulární vizuální zobrazování

Monokulární podněty pro vnímání hloubky obvykle zahrnují perspektivu, rozdíl ohniskové vzdálenosti, multi-vizuální zobrazování, pokrytí, stín, paralaxu pohybu atd. V robotickém vidění lze také použít zrcadlo 1 a další shapefromX10 a další metody k dosažení.

2. Binokulární vidění

Vizuální vodítka binokulárního vnímání hloubky jsou: konvergenční poloha očí a binokulární paralaxa. Ve strojovém vidění se používají dvě kamery k získání dvou pohledů ze dvou pohledů na stejnou cílovou scénu a pak se vypočítá paralaxa stejného bodu na dvou pohledech, aby se získaly informace o 3D hloubce cílové scény. Typický proces výpočtu binokulárního stereovize se skládá z následujících čtyř kroků: korekce zkreslení obrazu, korekce páru stereo obrazu, registrace obrazu a triangulační reprojekce výpočet paralaxové mapy