Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych

Podobne dokumenty
Zastosowanie stereowizji do śledzenia trajektorii obiektów w przestrzeni 3D

Akademia Górniczo-Hutnicza

Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III

Akademia Górniczo-Hutnicza

Rozpoznawanie obrazów na przykładzie rozpoznawania twarzy

Animowana grafika 3D. Opracowanie: J. Kęsik.

Implementacja filtru Canny ego

Problematyka budowy skanera 3D doświadczenia własne

Przekształcenia punktowe

Co należy zauważyć Rzuty punktu leżą na jednej prostej do osi rzutów x 12, którą nazywamy prostą odnoszącą Wysokość punktu jest odległością rzutu

Oprogramowanie wspierające kalibrację kamer 3D oraz analizę głębi obrazu stereoskopowego. Piotr Perek. Łódź, 7 grudnia Politechnika Łódzka

PRZEKROJE RYSUNKOWE CZ.1 PRZEKROJE PROSTE. Opracował : Robert Urbanik Zespół Szkół Mechanicznych w Opolu

Algorytm SAT. Marek Zając Zabrania się rozpowszechniania całości lub fragmentów niniejszego tekstu bez podania nazwiska jego autora.

Laboratorium Optyki Falowej

Modele symulacyjne PyroSim/FDS z wykorzystaniem rysunków CAD

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

AUTOMATYCZNE ROZPOZNAWANIE PUNKTÓW KONTROLNYCH GŁOWY SŁUŻĄCYCH DO 3D MODELOWANIA JEJ ANATOMII I DYNAMIKI

SINGLE-IMAGE HIGH-RESOLUTION SATELLITE DATA FOR 3D INFORMATIONEXTRACTION

1. Tilt-shift. TEMAT PROJEKTU Tilt-shift - aplikacja na system mobilny ios

Definicja obrotu: Definicja elementów obrotu:

WYKŁAD 12. Analiza obrazu Wyznaczanie parametrów ruchu obiektów

TWORZENIE TORU KOLEJOWEGO DLA LOKOMOTYWY - ZABAWKI. W tym przewodniku stworzymy tor kolejowy pasujący do zabawki.

Matematyka z plusem Klasa IV

Antyaliasing w 1 milisekundę. Krzysztof Kluczek

Politechnika Warszawska Wydział Mechatroniki Instytut Automatyki i Robotyki

WYMAGANIA EDUKACYJNE NA POSZCZEGÓLNE OCENY Z MATEMATYKI W KLASIE IV

Księgarnia internetowa Lubię to!» Nasza społeczność

Grafika Komputerowa Wykład 5. Potok Renderowania Oświetlenie. mgr inż. Michał Chwesiuk 1/38

Temat: Zaprojektowanie procesu kontroli jakości wymiarów geometrycznych na przykładzie obudowy.

Analiza obrazów - sprawozdanie nr 3

Grafika 2D. Animacja Zmiany Kształtu. opracowanie: Jacek Kęsik

Automatyczna klasyfikacja zespołów QRS

Łożysko z pochyleniami

3. WYNIKI POMIARÓW Z WYKORZYSTANIEM ULTRADŹWIĘKÓW.

Metody kodowania wybranych cech biometrycznych na przykładzie wzoru naczyń krwionośnych dłoni i przedramienia. Mgr inż.

Julia 4D - raytracing

SPOSOBY POMIARU KĄTÓW W PROGRAMIE AutoCAD

Grafika Komputerowa Wykład 4. Synteza grafiki 3D. mgr inż. Michał Chwesiuk 1/30

Trójwymiarowa grafika komputerowa rzutowanie

10.3. Typowe zadania NMT W niniejszym rozdziale przedstawimy podstawowe zadania do jakich może być wykorzystany numerycznego modelu terenu.

Wyższa Szkoła Informatyki Stosowanej i Zarządzania

Zygmunt Wróbel i Robert Koprowski. Praktyka przetwarzania obrazów w programie Matlab

WYDZIAŁ ELEKTROTECHNIKI I AUTOMATYKI KATEDRA AUTOMATYKI. Robot do pokrycia powierzchni terenu

Spośród licznych filtrów nieliniowych najlepszymi właściwościami odznacza się filtr medianowy prosty i skuteczny.

KOREKTA ROZKŁADU JASNOŚCI (obrazy monochromatyczne i barwne)

Przekształcanie wykresów.

Agnieszka Nowak Brzezińska Wykład III

Tworzenie i modyfikacja modelu geologicznego

LABORATORIUM FIZYKI PAŃSTWOWEJ WYŻSZEJ SZKOŁY ZAWODOWEJ W NYSIE. Ćwiczenie nr 3 Temat: Wyznaczenie ogniskowej soczewek za pomocą ławy optycznej.

TELEDETEKCJA Z ELEMENTAMI FOTOGRAMETRII WYKŁAD 10

System automatycznego odwzorowania kształtu obiektów przestrzennych 3DMADMAC

(12) OPI S OCHRONN Y WZORU PRZEMYSŁOWEGO


Opis postępowania przy eksportowaniu geometrii z systemu Unigraphics NX do pakietu PANUKL (ver. A)

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

V Konkurs Matematyczny Politechniki Białostockiej

Metody numeryczne w przykładach

Skanowanie trójwymiarowej przestrzeni pomieszczeñ

( W.Ogłoza, Uniwersytet Pedagogiczny w Krakowie, Pracownia Astronomiczna)

Techniki animacji komputerowej

WYDZIAŁ ELEKTRYCZNY. Optoelektroniczne pomiary aksjograficzne stawu skroniowo-żuchwowego człowieka

Synteza i obróbka obrazu. Tekstury. Opracowanie: dr inż. Grzegorz Szwoch Politechnika Gdańska Katedra Systemów Multimedialnych

Aerotriangulacja. 1. Aerotriangulacja z niezależnych wiązek. 2. Aerotriangulacja z niezależnych modeli

Dodatek B - Histogram

REPREZENTACJA LICZBY, BŁĘDY, ALGORYTMY W OBLICZENIACH

Podstawy Przetwarzania Sygnałów

GSMONLINE.PL dla zainteresowanych nowymi technologiami

EGZAMIN W KLASIE TRZECIEJ GIMNAZJUM W ROKU SZKOLNYM 2017/2018 CZĘŚĆ 2. ZASADY OCENIANIA ROZWIĄZAŃ ZADAŃ

Filtracja obrazu operacje kontekstowe

Wymagania edukacyjne z matematyki w klasie III gimnazjum

FUNKCJA LINIOWA, RÓWNANIA I UKŁADY RÓWNAŃ LINIOWYCH

Krój czcionki można wybrać na wstążce w zakładce Narzędzia główne w grupie przycisków Cz cionka.

Czym jest wykrywanie kolizji. Elementarne metody detekcji kolizji. Trochę praktyki: Jak przygotować Visual Studio 2010 do pracy z XNA pod Windows

Rzeczywistość rozszerzona: czujniki do akwizycji obrazów RGB-D. Autor: Olga Głogowska AiR II

Animowana grafika 3D Laboratorium 3

Wprowadzenie do rysowania w 3D. Praca w środowisku 3D

Kalibracja kamery. Kalibracja kamery

PRÓBNY EGZAMIN MATURALNY

Jazda autonomiczna Delphi zgodna z zasadami sztucznej inteligencji

IRONCAD. TriBall IRONCAD Narzędzie pozycjonujące

Prawdopodobieństwo czerwonych = = 0.33

ScrappiX. Urządzenie do wizyjnej kontroli wymiarów oraz kontroli defektów powierzchni

Wynagrodzenia w sektorze publicznym w 2011 roku

Manipulator OOO z systemem wizyjnym

II WOJEWÓDZKI KONKURS Z MATEMATYKI

REPREZENTACJA LICZBY, BŁĘDY, ALGORYTMY W OBLICZENIACH

0. OpenGL ma układ współrzędnych taki, że oś y jest skierowana (względem monitora) a) w dół b) w górę c) w lewo d) w prawo e) w kierunku do

Metody numeryczne I Równania nieliniowe

IRONCAD. Przykład I IRONCAD Konstrukcja obudowy z blachy

Zastosowanie zobrazowań SAR w ochronie środowiska. wykład IV

METODA RZUTÓW MONGE A (II CZ.)

Pakiet programów komputerowych do prognozowania deformacji terenu górniczego - EDBJ-OPN1W

Laboratorium. Cyfrowe przetwarzanie sygnałów. Ćwiczenie 9. Przetwarzanie sygnałów wizyjnych. Politechnika Świętokrzyska.

OSTASZEWSKI Paweł (55566) PAWLICKI Piotr (55567) Algorytmy i Struktury Danych PIŁA

(12) OPIS PATENTOWY (19) PL (11)

Przetwarzanie obrazu stereo. Zuzanna Pietrowska 9 czerwca 2010

WideoSondy - Pomiary. Trzy Metody Pomiarowe w jednym urządzeniu XL G3 lub XL Go. Metoda Porównawcza. Metoda projekcji Cienia (ShadowProbe)

Agnieszka Nowak Brzezińska Wykład III

SZCZEGÓŁOWE WYMAGANIA EDUKACYJNE DLA KLAS 4-6 SP ROK SZKOLNY 2015/2016

Obliczenia polowe silnika przełączalnego reluktancyjnego (SRM) w celu jego optymalizacji

Transkrypt:

Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych autor: Robert Drab opiekun naukowy: dr inż. Paweł Rotter

1. Wstęp Zagadnienie generowania trójwymiarowego planu pomieszczenia z wykorzystaniem metod stereowizyjnych jest interesujące ze względu na możliwości wykorzystania tego typu informacji tak w sterowaniu robotów jak i innych obszarach, nie koniecznie związanych z automatyką. Główny nacisk został położony na same algorytmy stereowizyjne, w szczególności na zastosowanie większej liczby kamer w celu poprawienia dokładności odtwarzania przestrzeni 3D. Do realizacji projektu zostało wykorzystane środowisko Matlab oferujące szeroką gamę narzędzi oraz algorytmów wspomagających jak obsługa akwizycji danych, filtracja, itp. 2. Przetwarzanie informacji w systemie stereowizyjnym Stereowizja bazuje na dysparycji, czyli odległości między obrazami tego samego punktu na płaszczyznach dwu kamer. d1 Rysunek 1: Dysparycja d2 Mniejsza dysparycja oznacza w rzeczywistości większą odległość danego obiektu od układu kamer. W powyższym przypadku widać, iż górny sześcian jest dużo dalej niż dolny. W procesie tworzenia rzadkiej mapy dysparycji każda stereopara musi przejść przez trzy etapy przetwarzania: detekcja punktów charakterystycznych dla których obliczana będzie wartość głębi, np. krawędzi dopasowywanie odpowiedników rekonstrukcja współrzędnych w przestrzeni 3D W celu wyznaczenia punktów do dalszego przetwarzania należy przeprowadzić detekcję krawędzi. Poniżej znajduje się przykładowy obraz wejściowy oraz efekt filtracji:

Rysunek 2: Obraz przed i po detekcji krawędzi Na tak przygotowanych obrazach możemy przeprowadzić operację dopasowywania odpowiedników. Generalnie nie jest to zagadnienie proste, ze względu na możliwość występowania fałszywych dopasowań. W celu wyeliminowania tego zjawiska stosuje się miary dopasowania, w tym wypadku wykorzystywana była miara SSD (sum of squared difference). W ten sposób badany jest piksel wraz z sąsiedztwem, co pozwala stwierdzić, czy znaleziony piksel na drugim obrazie odpowiada poszukiwanemu. Kolejnym zabezpieczeniem jest wykorzystanie dopasowania zwrotnego, które polega na tym, iż najpierw np. lewy obraz jest dopasowywany do prawego, a następnie odwrotnie. Do wynikowej mapy dysparycji przechodzą tylko te dopasowania, które dla każdego z dwu dopasowań były zgodne. Rysunek 3: Przykładowa mapa dysparycji Ostatnim etapem przetwarzania jest rekonstrukcja przestrzeni 3D. W tym przypadku jest do tego wykorzystana transformacja płaska, bardzo efektywna i elegancka metoda odzyskiwania informacji trójwymiarowej, niemniej jednak nie pozbawiona wad efekt przetwarzania uzależniony od numerycznego wyznaczania prostej między dwoma punktami, na czym bazuje cała metoda. W przypadku niewielkiej odległości między punktami, błędy numeryczne mogą prowadzić do nieprzewidywalnych wyników ze względu na złe uwarunkowanie zadania. Jest to istotne w bliskim otoczeniu płaszczyzny łączącej oś poziomą (YG) z osią optyczną kamery rysunek poniżej.

Rysunek 4: Obszar silnej wrażliwości transformacji płaskiej na obliczenia numeryczne Najciekawszą częścią są oczywiście rezultaty. Poniżej znajdują się przykładowe stereopary oraz wyniki przetwarzania.

Jak widać na powyższym przykładzie nie wszystkie krawędzie zostały poprawnie odnalezione. Wynika to głównie z dużego wpływu oświetlenia sceny na jakość końcowego wyniku. 3. Stereowizja wielokamerowa Stereowizja wielokamerowa jest wciąż mało popularna pomimo sporego potencjału tej metody. Jak wiadomo ilość poziomów głębi oraz precyzja ich wydobycia ze stereopary jest funkcją rozdzielczości kamer oraz odległości między osiami optycznymi kamer. Wyższa rozdzielczość oznacza większą ilość poziomów głębi, lecz również wyższą cena zestawu stereowizyjnego. Z kolei większa odległość między kamerami skutkuje większą ilością poziomów głębi, jak i precyzją umiejscowienia w przestrzeni, jednak w przypadku zbyt szerokiego rozstawienia kamer bliski plan staje się niemożliwy do odtworzenia z powodu dysparycji przekraczającej rozdzielczość kamery. Pomysł jest więc następujący: zamiast dwu drogich kamer wysokiej klasy, które i tak nie gwarantują dobrej jakości przetwarzania, wykorzystana zostanie większa liczba zwykłych kamer. W tym wypadku badania były prowadzone na trzech kamerach rozstawionych w odległościach zgodnych z zasadą złotego podziału rysunek poniżej.

Kamery W ten sposób, korzystając niejako z trzech oddzielnych zestawów stereowizyjnych, jesteśmy w stanie, korzystając z najbardziej skrajnie rozstawionych kamer uzyskać dokładne informacje na temat najdalszej (najgłębszej) części sceny, następnie korzystając z dwu bliżej rozstawionych kamer przetwarzamy środkową część sceny, a najbliższy plan analizujemy wykorzystując dwie najbliżej położone kamery. W porównaniu do standardowego zestawu stereowizyjnego, który albo nie był w stanie przetworzyć bliskiej części sceny, albo dawał nieprawidłowe informacje na temat części odległej, tego typu zestaw daje bardzo dobre efekty, obejmując całą scenę oraz dostarczając dokładne dane na temat położenia obiektów w przestrzeni. Poniżej znajdują się przykładowe trzy zdjęcia z poszczególnych kamer oraz efekt przetwarzania.

Kolorem niebieskim zaznaczony został zaznaczony sześcian odtworzony z najbardziej skrajnej pary kamer, natomiast czerwony z pary najbardziej zbliżonych kamer. Jest to przykład z powyższego rysunku z zaznaczonymi kamerami. Sześciany zostały poprawnie odwzorowane, zarówno ich kształt, jak i umiejscowienie w przestrzeni dokładnie zgadza się ze współrzędnymi z programu do tworzenia grafiki 3D, w którym scena została przygotowana. Jak widać metoda ta daje bardzo dobre rezultaty w przypadku przetwarzania rozległych, skomplikowanych scen. Daje również możliwość ograniczenia wpływu przesłonięć obiektów. 4. Podsumowanie Projekt jest ciągle rozwijany, gdyż do tej pory testy prowadzone były wyłącznie na obrazach syntetycznych. Kolejnym etapem będzie przetwarzanie obrazów rzeczywistych, które są dużo bardziej wymagające, przede wszystkim ze względu na filtrację i detekcję krawędzi. Docelowo projekt miałby działać w czasie zbliżonym do rzeczywistego, co umożliwiłoby tworzenie trójwymiarowego planu całych budynków, np. przez robota mobilnego. Na obecnym etapie projekt daje bardzo zadowalające efekty oraz przejawia duże możliwości dalszego rozwoju.