Kamery 3D i dalmierze laserowe

Transkrypt

1 Bogdan Kreczmer Katedra Cybernetyki i Robotyki Politechnika Wrocławska Kurs: Copyright c 2016 Bogdan Kreczmer Niniejszy dokument zawiera materiały do wykładu dotyczacego programowania obiektowego. Jest on udostępniony pod warunkiem wykorzystania wyłacznie do własnych prywatnych potrzeb i może on być kopiowany wyłacznie w całości, razem z niniejsza strona tytułowa.

2 Niniejsza prezentacja została wykonana przy użyciu systemu składu L A T E X oraz stylu beamer, którego autorem jest Till Tantau. Strona domowa projektu Beamer:

3 Plan prezentacji 1 Kamery 3D 2 MER Mars Exploration Rover MSL Mars Science Laboratory 3 Detekcja echa najważniejsze metody Przykładowe produkty

6 Mapa głębi Kamery 3D Mapa głębi z każdym pikselem stowarzyszona jest informacja o odległości.

7 Narzędzia do tworzenia mapy głębi Sposoby generowania mapy: Systemy stereowizyjne lub wielokamerowe Nie wymagaja aktywnego oświetlenia otoczenia. Bazuja na dopasowaniu obrazu obrazu widzianego przez jedna kamerę do obrazu widzianego przez druga kamerę. Kamery 3D Wykorzystuja aktywne oświetlenie sceny. Dzięki temu można ograniczyć się do jednego sensora wizyjnego. Niekoniecznie musi on pracować w świetle widzialnym. Zazwyczaj pracuje w podczerwieni.

8 Zalety i wady systemy wielokamerowe Systemy stereowizyjne lub wielokamerowe Zalety: nie musi używać własnego oświetlenia, może pracować przy świetle dziennym, o dokładności i rozpiętości mamy głębi decyduje rozstaw kamer. Wady: relatywnie długi czas przetwarzania (od kilku do kilkunastu klatek na sekundę), występowanie obszarów, dla których nie można określić odległości (część tego co widzi lewa kamera nie widzi prawa kamera i na odwrót).

9 Zalety i wady systemy wielokamerowe Systemy stereowizyjne lub wielokamerowe Zalety: nie musi używać własnego oświetlenia, może pracować przy świetle dziennym, o dokładności i rozpiętości mamy głębi decyduje rozstaw kamer. Wady: relatywnie długi czas przetwarzania (od kilku do kilkunastu klatek na sekundę), występowanie obszarów, dla których nie można określić odległości (część tego co widzi lewa kamera nie widzi prawa kamera i na odwrót).

10 System stereowizyjny Przykładowa mapa głębi a) b) System wizyjny i algorytm opisany jest w pracy: M. Wnuk. System stereowizyjny z magistalami VME i VIB. Pomiary Automatyka Kontrola, (11): , Maj 1997.

11 Połaczenie mapy głębi z obrazem Rafał Toboła (2009), Zuzanna Pietrowska (2010)

12 Zalety i wady kamery i sensory 3D Kamery i sensory 3D Zalety: szybsze realizacja pomiarów, możliwość generowania map głębi z prędkościa ponad 100 na sekundę, bardzo zwarta konstrukcja i relatywnie małe rozmiary. Wady: konieczność stosowania dodatkowego oświetlenia, ograniczony zasięg działania, brak możliwości pracy (lub mocno utrudniona praca) w obecności intensywnego światła słonecznego.

13 Ogólna charakterystyka Camera ToF (Time of Flight) Pomiar czasu przelotu światła Jednoczesne oświetlenie sceny (zbiór laserów lub oświetlenie wiazk a niespójna). Rozdzielczość pomiaru odległości ok. 1cm Rozdzielczość obrazu Szybkość realizacji pomiarów obrazów/sek.

14 Przykładowi producenci kamer 3D Mesa Imaging AG PMD Technologies Genex Technologies Inc. PrimeSense

15 Przykładowi producenci kamer 3D Panasonic Fotonic IEE S.A. ARTTS

16 Kamery 3D charakterystyczne elementy budowy Element oświetlajacy musi pracować z duża częstotliwościa (nawet powyżej 10MHz). Układ optyczny zawiera filtry, które ograniczaja natężenie światła spoza zakresu źródła oświetlajacego kamery. Sensor obrazowy Układ sterowania musi pracować z duża częstotliwościa rzędu 30MHz.

17 Kamery 3D metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

19 Pomiar bezpośredni idea pomiaru Oświetlenie sceny impulsem laserowym. Jednoczesna rejestracja czasu przelotu sygnału niezależnie dla każdego piksela matrycy sensora wizyjnego.

20 Przykład produktu - TigerEye 3D Flash LIDAR Zasięg do 3km Rozdzielczość sensora wizyjnego: Dokładność: 10cm Poziom szumu: 15cm (3σ) Dane lasera: 1570nm, I klasa bezpieczeństwa (lub 1064nm)

21 Misja: OSIRIS-REx OSIRIS-REx Origins Spectral Interpretation Resource Identification Security Regolith Explorer Cel misji: planetoida Bennu należaca do grupy Apolla

22 Misja: OSIRIS-REx Harmonogram: 2016 wysłanie sondy 2020 zbliżenie się do planetoidy Bennu 2021 zbliżenie się do powierzchni i pobranie próbek 2023 powrót i ladowanie na poligonie w Utah 2025 NASA planuje załogowa wyprawę do planotoidy 1999 AO 10

24 Kamery 3D SR4000 Oświetlenie światłem o długości fali 850nm (światło widzialne: 400nm 700nm), Rozdzielczość Zakres pomiaru do 5m lub 10m.

26 Pomiar bramkowany idea metody Zostaje wysłany impuls świetlny o stałej długości. Dostęp do sensora wizyjnego zostaje odcięty o upływie czasu t C od momentu rozpoczęcia sygnału. Zaabsorbowana energia przez każdy z pikseli sensora wizyjnego wyznacza czas przelotu. Zmierzona wartość odległości: D i d = 1 4 (D E Z E A i + D i ) E Z + E A długość impulsu, E A energia światła zaabsorbowana, E Z energia światła zablokowana.

27 Przykład kamery typu ZCam Zasięg: 0,5 2,5m Rozdzielczość: 1 2cm (odległość reprezentowana jest przez 8 bitów) Częstość pomiaru: 60 klatek/sek.

29 Helpmate Kamery 3D Robot Helpmate wykorzystywał oświetlenie strukturalne do lokalizacji przeszkód. Płaszczyznowe koherentne wiazki światła w podczerwieni były emitowane przez dwie poziome szczeliny w korpusie robota (widczone na zdjęciach). Ich załamania na obiektach były rejestrowane przez kamerę znajdujac a się w górnej części korpusu.

30 Kinect cechy konstrukcji oświetlenie strukturalne (projektor laserowy), dwie kamery RGB i kamera do wyznaczania mapy głębokości (CMOS, monochromatyczna), parametry video , 30 Hz, zakres pomiaru odległości: 1,2m 3,5m, tablica liniowa mikrofonów.

31 Kinect możliwości oprogramowania rozpoznawanie twarzy, rozpoznawanie głosu (kierunku?), rozróżnianie głosów, przechwytywanie ruchu ciała 3D, rozpoznawanie gestów,

32 Xtion Pro Kamery 3D

33 Xtion Pro Live

34 Xtion Pro Live cechy konstrukcji oświetlenie strukturalne (projektor laserowy), dwie kamery RGB i kamera do wyznaczania mapy głębokości zakres pomiaru odległości: 0,8m 3,5m, dwa mikrofony.

35 Xtion Pro Live oprogramowanie wspierane systemy operacyjne: Win 32/64: XP, Vista, 7 Linux 32/64: Ubuntu język programowania: C++/C# (Windows) C/C++ (Linux) oprogramowanie: OpenNI/NITE

36 Xtion Pro Live przykład użycia Guan-Feng He, Sun-Kyung Kang, Won-Chang Song, and Sung-Tae Jung. Real-time gesture recognition using 3d depth camera. In Software Engineering and Service Science (ICSESS), 2011 IEEE 2nd International Conference on, pages , July 2011.

39 Pathfinder Kamery 3D

40 Plan prezentacji MER Mars Exploration Rover MSL Mars Science Laboratory 1 Kamery 3D 2 MER Mars Exploration Rover MSL Mars Science Laboratory 3 Detekcja echa najważniejsze metody Przykładowe produkty

41 Spirit i Opportunity MER Mars Exploration Rover MSL Mars Science Laboratory

42 Plan prezentacji MER Mars Exploration Rover MSL Mars Science Laboratory 1 Kamery 3D 2 MER Mars Exploration Rover MSL Mars Science Laboratory 3 Detekcja echa najważniejsze metody Przykładowe produkty

43 Curiosity Kamery 3D MER Mars Exploration Rover MSL Mars Science Laboratory

44 Curiosity wyposażenie MER Mars Exploration Rover MSL Mars Science Laboratory Niechłodzony detektor podczerwieni (VIGO System S.A. Ożarów Mazowiecki) System wizyjny: Kamery masztowe 4 kamery czarno-białe nawigacyjne (Navcam) 1 kamera teleskopowa 2 kamery kolorowe Kamery na korpusie 4 kamery szekokatne z przodu (Hazcam) 4 kamery szekokatne z tyłu (Hazcam)

45 Plan prezentacji Detekcja echa najważniejsze metody Przykładowe produkty 1 Kamery 3D 2 MER Mars Exploration Rover MSL Mars Science Laboratory 3 Detekcja echa najważniejsze metody Przykładowe produkty

46 Metody Kamery 3D Detekcja echa najważniejsze metody Przykładowe produkty Metody wznaczania odległości: modulacja amplitudowa, modulacja częstotliwościowa, pomiar czasu przelotu.

47 Modulacja amplitudowa Detekcja echa najważniejsze metody Przykładowe produkty d = φ λ m 4π φ przesunięcie fazowe wyrażone w radianach, λ m długość fali modulujacej.

48 Modulacja częstotliwościowa Detekcja echa najważniejsze metody Przykładowe produkty Dla trójkatnego profilu modulacji częstotliwościowej: d = (N + N + ) c 4 f f różnica między największa i najmniejsza częstotliowościa N ilość modów interferencyjnych w odpowiadajacego malejacemu fragmentowi profilu modulacji, N + ilość modów interferencyjnych w odpowiadajacego rosnacemu fragmentowi profilu modulacji,

49 Plan prezentacji Detekcja echa najważniejsze metody Przykładowe produkty 1 Kamery 3D 2 MER Mars Exploration Rover MSL Mars Science Laboratory 3 Detekcja echa najważniejsze metody Przykładowe produkty

50 SICK S3000 Kamery 3D Detekcja echa najważniejsze metody Przykładowe produkty

51 SICK LMS500 Detekcja echa najważniejsze metody Przykładowe produkty Podstawowe parametry: Zastosowanie: Emitowany sygnał: Sektor skanowania: Rozdzielczość katowa: Zakres pomiarowy: Maks. zasięg przy 10% odbiciu: Częstotliwość skanowania: Wewnatrz budynku podczerwień (905 nm) 190 0, m 26 m 25 Hz 100 Hz

52 SICK TIM310 Kamery 3D Detekcja echa najważniejsze metody Przykładowe produkty Podstawowe parametry: Zastosowanie: Emitowany sygnał: Sektor skanowania: Rozdzielczość katowa: Zakres pomiarowy: Maks. zasięg przy 10% odbiciu: Częstotliwość skanowania: Wewnatrz budynku podczerwień (850 nm) 270 0, ,05 4 m 2 m 15 Hz

53 Hokuyo URG 04LX Detekcja echa najważniejsze metody Przykładowe produkty Podstawowe parametry: Zastosowanie: Emitowany sygnał: Sektor skanowania: Rozdzielczość katowa: Zakres pomiarowy: Maks. zasięg przy 10% odbiciu: Częstotliwość skanowania: Wewnatrz budynku podczerwień (785 nm) 240 ok. 0, 36 0,02 5,6 m 2 m 100 Hz

54 Koniec prezentacji Dziękuję za uwagę