Kamery 3D. Bogdan Kreczmer. Katedra Cybernetyki i Robotyki Politechnika Wrocławska

Transkrypt

1 Bogdan Kreczmer Katedra Cybernetyki i Robotyki Politechnika Wrocławska Kurs: Copyright c 2014 Bogdan Kreczmer Niniejszy dokument zawiera materiały do wykładu dotyczacego programowania obiektowego. Jest on udostępniony pod warunkiem wykorzystania wyłacznie do własnych prywatnych potrzeb i może on być kopiowany wyłacznie w całości, razem z niniejsza strona tytułowa.

2 Niniejsza prezentacja została wykonana przy użyciu systemu składu L A T E X oraz stylu beamer, którego autorem jest Till Tantau. Strona domowa projektu Beamer:

3 Plan prezentacji 1 2 MER Mars Exploration Rover MSL Mars Science Laboratory

4 Plan prezentacji 1 2 MER Mars Exploration Rover MSL Mars Science Laboratory

5 Plan prezentacji 1 2 MER Mars Exploration Rover MSL Mars Science Laboratory

6 Mapa głębi Mapa głębi z każdym pikselem stowarzyszona jest informacja o odległości.

7 Narzędzia do tworzenia mapy głębi Sposoby generowania mapy: Systemy stereowizyjne lub wielokamerowe Nie wymagaja aktywnego oświetlenia otoczenia. Bazuja na dopasowaniu obrazu obrazu widzianego przez jedna kamerę do obrazu widzianego przez druga kamerę. Wykorzystuja aktywne oświetlenie sceny. Dzięki temu można ograniczyć się do jednego sensora wizyjnego. Niekoniecznie musi on pracować w świetle widzialnym. Zazwyczaj pracuje w podczerwieni.

8 Zalety i wady systemy wielokamerowe Systemy stereowizyjne lub wielokamerowe Zalety: nie musi używać własnego oświetlenia, może pracować przy świetle dziennym, o dokładności i rozpiętości mamy głębi decyduje rozstaw kamer. Wady: relatywnie długi czas przetwarzania (od kilku do kilkunastu klatek na sekundę), występowanie obszarów, dla których nie można określić odległości (część tego co widzi lewa kamera nie widzi prawa kamera i na odwrót).

9 Zalety i wady systemy wielokamerowe Systemy stereowizyjne lub wielokamerowe Zalety: nie musi używać własnego oświetlenia, może pracować przy świetle dziennym, o dokładności i rozpiętości mamy głębi decyduje rozstaw kamer. Wady: relatywnie długi czas przetwarzania (od kilku do kilkunastu klatek na sekundę), występowanie obszarów, dla których nie można określić odległości (część tego co widzi lewa kamera nie widzi prawa kamera i na odwrót).

10 System stereowizyjny Przykładowa mapa głębi a) b) System wizyjny i algorytm opisany jest w pracy: M. Wnuk. System stereowizyjny z magistalami VME i VIB. Pomiary Automatyka Kontrola, (11): , Maj 1997.

11 Połaczenie mapy głębi z obrazem Rafał Toboła (2009), Zuzanna Pietrowska (2010)

12 Zalety i wady kamery i sensory 3D Kamery i sensory 3D Zalety: szybsze realizacja pomiarów, możliwość generowania map głębi z prędkościa ponad 100 na sekundę, bardzo zwarta konstrukcja i relatywnie małe rozmiary. Wady: konieczność stosowania dodatkowego oświetlenia, ograniczony zasięg działania, brak możliwości pracy (lub mocno utrudniona praca) w obecności intensywnego światła słonecznego.

13 Ogólna charakterystyka Camera ToF (Time of Flight) Pomiar czasu przelotu światła Jednoczesne oświetlenie sceny (zbiór laserów lub oświetlenie wiazk a niespójna). Rozdzielczość pomiaru odległości ok. 1cm Rozdzielczość obrazu Szybkość realizacji pomiarów obrazów/sek.

14 Przykładowi producenci kamer 3D Mesa Imaging AG PMD Technologies Genex Technologies Inc. PrimeSense

15 Przykładowi producenci kamer 3D Panasonic Fotonic IEE S.A. ARTTS

16 charakterystyczne elementy budowy Element oświetlajacy musi pracować z duża częstotliwościa (nawet powyżej 10MHz). Układ optyczny zawiera filtry, które ograniczaja natężenie światła spoza zakresu źródła oświetlajacego kamery. Sensor obrazowy Układ sterowania musi pracować z duża częstotliwościa rzędu 30MHz.

17 metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

18 metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

19 Pomiar bezpośredni idea pomiaru Oświetlenie sceny impulsem laserowym. Jednoczesna rejestracja czasu przelotu sygnału niezależnie dla każdego piksela matrycy sensora wizyjnego.

20 Przykład produktu - TigerEye 3D Flash LIDAR Zasięg do 3km Rozdzielczość sensora wizyjnego: Dokładność: 10cm Poziom szumu: 15cm (3σ) Dane lasera: 1570nm, I klasa bezpieczeństwa (lub 1064nm)

21 Misja: OSIRIS-REx OSIRIS-REx Origins Spectral Interpretation Resource Identification Security Regolith Explorer Cel misji: planetoida Bennu należaca do grupy Apolla

22 Misja: OSIRIS-REx Harmonogram: 2016 wysłanie sondy 2020 zbliżenie się do planetoidy Bennu 2021 zbliżenie się do powierzchni i pobranie próbek 2023 powrót i ladowanie na poligonie w Utah 2025 NASA planuje załogowa wyprawę do planotoidy 1999 AO 10

23 metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

24 SR4000 Oświetlenie światłem o długości fali 850nm (światło widzialne: 400nm 700nm), Rozdzielczość Zakres pomiaru do 5m lub 10m.

25 metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

26 Pomiar bramkowany idea metody Zostaje wysłany impuls świetlny o stałej długości. Dostęp do sensora wizyjnego zostaje odcięty o upływie czasu t C od momentu rozpoczęcia sygnału. Zaabsorbowana energia przez każdy z pikseli sensora wizyjnego wyznacza czas przelotu. Zmierzona wartość odległości: D i d = 1 4 (D E Z E A i + D i ) E Z + E A długość impulsu, E A energia światła zaabsorbowana, E Z energia światła zablokowana.

27 Przykład kamery typu ZCam Zasięg: 0,5 2,5m Rozdzielczość: 1 2cm (odległość reprezentowana jest przez 8 bitów) Częstość pomiaru: 60 klatek/sek.

28 metody pomiaru Pomiar bezpośredni rejestracja impulsu laserowego przez każdy piksel matrycy obrazu. Z każdym z nich stowarzyszony jest oddzielnym licznikiem. Pomiar przesunięcia fazowego emitowany sygnał jest modulowany. (odległość do mierzonego obiektu nie może przekraczać długości fali modulacji emitowanego sygnału). (SR4000) Pomiar bramkowany (ang. range gated imagers) ekspozycja elementu fotoelektrycznego jest ograniczona w czasie. (ZCam) Oświetlenie strukturalne

29 Helpmate Robot Helpmate wykorzystywał oświetlenie strukturalne do lokalizacji przeszkód. Płaszczyznowe koherentne wiazki światła w podczerwieni były emitowane przez dwie poziome szczeliny w korpusie robota (widczone na zdjęciach). Ich załamania na obiektach były rejestrowane przez kamerę znajdujac a się w górnej części korpusu.

30 Kinect cechy konstrukcji oświetlenie strukturalne (projektor laserowy), dwie kamery RGB i kamera do wyznaczania mapy głębokości (CMOS, monochromatyczna), parametry video , 30 Hz, zakres pomiaru odległości: 1,2m 3,5m, tablica liniowa mikrofonów.

31 Kinect możliwości oprogramowania rozpoznawanie twarzy, rozpoznawanie głosu (kierunku?), rozróżnianie głosów, przechwytywanie ruchu ciała 3D, rozpoznawanie gestów,

32 Xtion Pro

33 Xtion Pro Live

34 Xtion Pro Live cechy konstrukcji oświetlenie strukturalne (projektor laserowy), dwie kamery RGB i kamera do wyznaczania mapy głębokości zakres pomiaru odległości: 0,8m 3,5m, dwa mikrofony.

35 Xtion Pro Live oprogramowanie wspierane systemy operacyjne: Win 32/64: XP, Vista, 7 Linux 32/64: Ubuntu język programowania: C++/C# (Windows) C/C++ (Linux) oprogramowanie: OpenNI/NITE

36 Xtion Pro Live przykład użycia Guan-Feng He, Sun-Kyung Kang, Won-Chang Song, and Sung-Tae Jung. Real-time gesture recognition using 3d depth camera. In Software Engineering and Service Science (ICSESS), 2011 IEEE 2nd International Conference on, pages , July 2011.

37 Xtion Pro Live przykład użycia Guan-Feng He, Sun-Kyung Kang, Won-Chang Song, and Sung-Tae Jung. Real-time gesture recognition using 3d depth camera. In Software Engineering and Service Science (ICSESS), 2011 IEEE 2nd International Conference on, pages , July 2011.

38 Xtion Pro Live przykład użycia Guan-Feng He, Sun-Kyung Kang, Won-Chang Song, and Sung-Tae Jung. Real-time gesture recognition using 3d depth camera. In Software Engineering and Service Science (ICSESS), 2011 IEEE 2nd International Conference on, pages , July 2011.

39 Pathfinder

40 Plan prezentacji MER Mars Exploration Rover MSL Mars Science Laboratory 1 2 MER Mars Exploration Rover MSL Mars Science Laboratory

41 Spirit i Opportunity MER Mars Exploration Rover MSL Mars Science Laboratory

42 Plan prezentacji MER Mars Exploration Rover MSL Mars Science Laboratory 1 2 MER Mars Exploration Rover MSL Mars Science Laboratory

43 Curiosity MER Mars Exploration Rover MSL Mars Science Laboratory

44 Curiosity wyposażenie MER Mars Exploration Rover MSL Mars Science Laboratory Niechłodzony detektor podczerwieni (VIGO System S.A. Ożarów Mazowiecki) System wizyjny: Kamery masztowe 4 kamery czarno-białe nawigacyjne (Navcam) 1 kamera teleskopowa 2 kamery kolorowe Kamery na korpusie 4 kamery szekokatne z przodu (Hazcam) 4 kamery szekokatne z tyłu (Hazcam)

45 Koniec prezentacji Dziękuję za uwagę