Rzeczywistość rozszerzona: czujniki do akwizycji obrazów RGB-D. Autor: Olga Głogowska AiR II

Transkrypt

1 Rzeczywistość rozszerzona: czujniki do akwizycji obrazów RGB-D Autor: Olga Głogowska AiR II

2 Czujniki w robotyce coraz większego znaczenia nabierają systemy pomiarowe umożliwiające interakcję robota z otoczeniem sensory zastępują szereg zmysłów, dzięki czemu tzw. roboty autonomiczne są zdolne do samodzielnego reagowania na bodźce dochodzące z otoczenia

3 Systemy wizyjne Rozwój technologii 3D pozwolił na wyposażenie robotów w systemy wizyjne oparte o akwizycję obrazu trójwymiarowego RGB-D. Jednym z pionierów w dziedzinie rozwoju czujników umożliwiających pozyskiwanie obrazów kolorowych RGB wraz z mapami głębii D była firma Microsoft.

4 Sensor Microsoft Kinect Pod koniec 2010 roku firma Microsoft wprowadziła do sprzedaży kontroler Kinect - dedykowany do współpracy z konsolą gier Xbox czujnik ruchu. Sensor wykorzystujący rozwiązanie opracowane przez izraelską spółkę PrimeSense, pozwalał na sterowanie konsolą za pomocą gestów i poleceń słownych.

5 Niska cena + duże możliwości = Kinect jako odpowiednik skanerów laserowych 3D bliskiego zasięgu koncepcją wykorzystania Kinecta w innych aplikacjach w związku z tym firma Microsoft wprowadziła w 2012 roku nową odmianę sprzętową czujnika Kinect for Windows i udostępniła środowisko Software Development Kit, pozwalające na oprogramowanie i swobodniejszy odczyt danych z urządzenia.

6 Budowa Podstawowymi jednostkami wchodzącymi w skład systemu pomiarowego sensora Kinect, które umożliwiają akwizycję obrazu RGB-D są: Kamera RGB Kamera IR Projektor IR

7 Kamera RGB Kamera RGB umożliwia akwizycję kolorowego obrazu 2D Jest to standardowa kamera kodująca 24 bitową mapę koloru (8 bitów na każdy kanał), która generowana jest z maksymalną częstotliwością 30Hz. Rozdzielczość kamery wynosi 640x480 pikseli

8 Kamera i projektor IR układ czujnika głębii oraz projektora promieniowania podczerwonego umożliwia uzyskanie informacji o odległości przedmiotu od sensora Kamera i projektor IR stanowią system pomiarowy umożliwiający uzyskanie mapy głębii. Zakres czujnika głębii wynosi 0.7-6m, jednak zakres największej poprawności to m. Kamera koduje 12 bitową mapę głębii z częstotliwością 30Hz. Rozdzielczość kamery wynosi 320x240 pikseli.

9 Światło strukturalne Projektor emituje promieniowanie IR w postaci znanego wzorca strukturalnego. Promienie odbijane są od otoczenia i powracają do czujnika w zdeformowanej postaci. Zniekształcona siatka jest rejestrowana za pomocą kamery działającej w tym samym paśmie. Na podstawie zaobserwowanego zniekształcenia wyliczane są rzeczywiste współrzędne punktów w obrazie.

10 Procesor PrimeSense PS1080 Procesor pobiera dane z kamery IR i wychwytuje różnice pomiędzy obrazem uzyskanym z kamery a wzorcem strukturalnym wyemitiwanym przez projektor IR w efekcie generuje mapę głębii. Mapa głębii oraz kolorowy obraz z kamery RGB pozwalają na uzysanie informacji przestrzennej o otoczeniu. Obraz 3D jest generowany z częstotliwością 30fps. Informacje video można poprzez kabel USB2.0 przesłać bezpośrednio do komputera.

11 ZASTOSOWANIA Dzięki udostępnieniu przez firmę Microsoft pakietu narzędzi programistycznych SDK umożliwiających komputerowe programowanie Kinecta znalazł on szereg ciekawych zastosowań i stał się przedmiotem wykorzystywanym do badań naukowych szczególnie w aplikacjach z dziedziny robotyki.

12 Podsumowanie Podsumowując można uznać że sensor Kinect zrewolucjonizował sposób, w jaki roboty postrzegają otoczenie dając im możliwość mapowania 3D za pomocą jednego adaptowalnego modułu. Zalety Niska cena w porównaniu do możliwości Programowalny Adaptowalny Wady Ograniczony zakres działania - odległość Podatny na uszkodzenia mechaniczne Można go programować w ograniczonym zakresie

13 ŹRÓDŁA: