Zastosowanie stereowizji do śledzenia trajektorii obiektów w przestrzeni 3D

Podobne dokumenty
Automatyczne tworzenie trójwymiarowego planu pomieszczenia z zastosowaniem metod stereowizyjnych

P r a c a d y p l o m o w a m a g i s t e r s k a

Akademia Górniczo-Hutnicza

WYDZIAŁ ELEKTRYCZNY. Optoelektroniczne pomiary aksjograficzne stawu skroniowo-żuchwowego człowieka

PRACA MAGISTERSKA STEREOWIZJA W UKŁADZIE KATADIOPTRYCZNYM. Marcin Zwierz. Kierunek studiów: Automatyka i Robotyka

Co należy zauważyć Rzuty punktu leżą na jednej prostej do osi rzutów x 12, którą nazywamy prostą odnoszącą Wysokość punktu jest odległością rzutu

Aerotriangulacja. 1. Aerotriangulacja z niezależnych wiązek. 2. Aerotriangulacja z niezależnych modeli

NUMERYCZNY MODEL TERENU

Animowana grafika 3D. Opracowanie: J. Kęsik.

METODY INŻYNIERII WIEDZY

Ćwiczenia nr 4. TEMATYKA: Rzutowanie

Akademia Górniczo-Hutnicza

METODY INŻYNIERII WIEDZY

Proste pomiary na pojedynczym zdjęciu lotniczym

TRANFORMACJA GALILEUSZA I LORENTZA

9. Podstawowe narzędzia matematyczne analiz przestrzennych

Prosta i płaszczyzna w przestrzeni

Aby opisać strukturę krystaliczną, konieczne jest określenie jej części składowych: sieci przestrzennej oraz bazy atomowej.

Kalibracja kamery. Kalibracja kamery

Tematy prac dyplomowych w Katedrze Awioniki i Sterowania. Studia: II stopnia (magisterskie)

Fizyka 1 Wróbel Wojciech. w poprzednim odcinku

Programowanie celowe #1

Elementy modelowania matematycznego

METODY MATEMATYCZNE I STATYSTYCZNE W INŻYNIERII CHEMICZNEJ

Definicje i przykłady

LABORATORIUM FIZYKI PAŃSTWOWEJ WYŻSZEJ SZKOŁY ZAWODOWEJ W NYSIE. Ćwiczenie nr 3 Temat: Wyznaczenie ogniskowej soczewek za pomocą ławy optycznej.

Klasyfikatory: k-nn oraz naiwny Bayesa. Agnieszka Nowak Brzezińska Wykład IV

Tomasz Skowron XIII LO w Szczecinie. Wyznaczanie przyspieszenia ziemskiego za pomocą spadku swobodnego

Funkcja liniowa - podsumowanie

Wprowadzenie do rysowania w 3D. Praca w środowisku 3D

Zaawansowana Grafika Komputerowa

Wykorzystanie cienia do odtworzenia pozycji obiektu w przestrzeni. Praca magisterska. Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie

Pojazdy przeciążone zagrożeniem dla trwałości nawierzchni drogowych: metody przeciwdziałania

Agnieszka Nowak Brzezińska

Kolorowanie płaszczyzny, prostych i okręgów

Wymagania edukacyjne z matematyki Klasa III zakres podstawowy

Agnieszka Nowak Brzezińska Wykład III

Samochodowy system detekcji i rozpoznawania znaków drogowych. Sensory w budowie maszyn i pojazdów Maciej Śmigielski

Grafika Komputerowa Wykład 4. Synteza grafiki 3D. mgr inż. Michał Chwesiuk 1/30

Kryteria oceniania z matematyki Klasa III poziom podstawowy

Pattern Classification

Wektory, układ współrzędnych

METODY OBLICZENIOWE. Projekt nr 3.4. Dariusz Ostrowski, Wojciech Muła 2FD/L03

Wizualizacja płomienia

Numeryczne rozwiązywanie równań i układów równań

Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III

Pomiar ogniskowych soczewek metodą Bessela

Rysunek 1: Okno timeline wykorzystywane do tworzenia animacji.

Układ współrzędnych dwu trój Wykład 2 "Układ współrzędnych, system i układ odniesienia"

Metody kodowania wybranych cech biometrycznych na przykładzie wzoru naczyń krwionośnych dłoni i przedramienia. Mgr inż.

10.3. Typowe zadania NMT W niniejszym rozdziale przedstawimy podstawowe zadania do jakich może być wykorzystany numerycznego modelu terenu.

Temat ćwiczenia: Zasady stereoskopowego widzenia.

Analiza i projektowanie oprogramowania. Analiza i projektowanie oprogramowania 1/32

Plan wykładu. Akcelerator 3D Potok graficzny

System wykrywania obiektów (pieszych, rowerzystów, zwierząt oraz innych pojazdów) na drodze pojazdu. Wykonał: Michał Zawiślak

Tematy prac dyplomowych w Katedrze Awioniki i Sterowania Studia II stopnia (magisterskie)

OPTYKA GEOMETRYCZNA I INSTRUMENTALNA

MatliX + MatliX MS. Urządzenie do wizyjnej kontroli wymiarów oraz kontroli defektów powierzchni

TELEDETEKCJA Z ELEMENTAMI FOTOGRAMETRII WYKŁAD 10

Matura próbna 2014 z matematyki-poziom podstawowy

Algorytmy decyzyjne będące alternatywą dla sieci neuronowych

Praca domowa nr 2. Kinematyka. Dynamika. Nieinercjalne układy odniesienia.

Instrukcja do ćwiczenia jednopłaszczyznowe wyważanie wirników

Laboratorium Optyki Falowej

Konrad Słodowicz sk30792 AR22 Zadanie domowe satelita

FUNKCJA LINIOWA, RÓWNANIA I UKŁADY RÓWNAŃ LINIOWYCH

Skanery 3D firmy Z Corporation Z Corporation

METODA RZUTÓW MONGE A (II CZ.)

Zasady dynamiki Newtona. Pęd i popęd. Siły bezwładności

Agnieszka Nowak Brzezińska Wykład III

Temat: Zaprojektowanie procesu kontroli jakości wymiarów geometrycznych na przykładzie obudowy.

Zadanie Cyfryzacja grida i analiza geometrii stropu pułapki w kontekście geologicznym

Powtórzenie wiadomości z klasy I. Temat: Ruchy prostoliniowe. Obliczenia

Sieci obliczeniowe poprawny dobór i modelowanie

AUTORKA: ELŻBIETA SZUMIŃSKA NAUCZYCIELKA ZESPOŁU SZKÓŁ OGÓLNOKSZTAŁCĄCYCH SCHOLASTICUS W ŁODZI ZNANE RÓWNANIA PROSTEJ NA PŁASZCZYŹNIE I W PRZESTRZENI

Układ równań liniowych

Spacery losowe generowanie realizacji procesu losowego

Manipulator OOO z systemem wizyjnym

TELEDETEKCJA Z ELEMENTAMI FOTOGRAMETRII WYKŁAD IX

W NACZYNIU WIRUJĄCYM WOKÓŁ OSI PIONOWEJ

Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych

Problematyka budowy skanera 3D doświadczenia własne

Mechanika. Wykład 2. Paweł Staszel

Oprócz funkcjonalności wymaganych przez zamawiających, urządzenia Hikvision oferują dodatkowo następujące funkcjonalności:

Wykrywanie twarzy na zdjęciach przy pomocy kaskad

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

4/4/2012. CATT-Acoustic v8.0

PRZEWODNIK PO PRZEDMIOCIE

Temat: WYZNACZANIE OBROTOWO-SYMETRYCZNEJ BRYŁY FOTOMETRYCZNEJ

Obliczenia polowe silnika przełączalnego reluktancyjnego (SRM) w celu jego optymalizacji

Pojęcie funkcji. Funkcja liniowa

Przemysław Kowalski Instytut Informatyki Teoretycznej i Stosowanej PAN

Raport z przeprowadzonych badań. Temat: Zaprojektowanie sposobu pomiaru wywroczyny oraz kontroli procesu gojenia.

Kolejne zadanie polega na narysowaniu linii k leżącej na płaszczyźnie danej za pomocą prostej i punktu α(l,c).

Czy średnia średnich jest średnią?

GPS jako narzędzie monitorowania podróży w miastach. Błażej Kmieć Michał Mokrzański

Państwowa Wyższa Szkoła Zawodowa w Kaliszu

Projekt Zobaczę-dotknę-wiem i umiem, dofinansowany przez Fundację mbanku w partnerstwie z Fundacją Dobra Sieć

Tomasz M. Gwizdałła 2012/13

Arkadiusz Łapiński ETI V gr.9.4. Sieć neuronowa w inteligentnym pojeździe, Tribolite

Transkrypt:

Zastosowanie stereowizji do śledzenia trajektorii obiektów w przestrzeni 3D autorzy: Michał Dajda, Łojek Grzegorz opiekun naukowy: dr inż. Paweł Rotter

I. O projekcie. 1. Celem projektu było stworzenie systemu stereowizyjnego umożliwiającego odtworzenie trajektorii obiektów poruszających się w przestrzeni trójwymiarowej. Jako praktyczną realizację przyjęliśmy śledzenie piłeczki pingpongowej. Oficjalny rekord prędkości piłeczki pingpongowej wynosi 96km/h*. W praktyce, przy szybkiej wymianie piłek, prędkość piłeczki wynosi średnio 28km/h* czyli 7,78m/s. Aby uzyskać dokładność rzędu mm potrzebujemy nagrania 78fps (klatek na sekundę). (* -źródło Fizyka Ping-Ponga K. Ernst J. Kołodziejczyk) 2. W ramach realizacji projektu założone zostało laboratoryjnego umożliwiającego przetestowanie systemu. powstanie stanowiska 3. Za podstawę matematyczną części stereowizyjnej przyjęliśmy transformację stereo bazującą na złożeniu transformacji płaskich. (źródło: Czteropunktowa metoda identyfikacji transformacji stereowizyjnej S. Fuksa W. Byrski) 4. Identyfikację obiektu na obrazie opierać będziemy o kolor piłeczki (jednoznacznie wyróżniający się z tła). 5. Z powodu dużej ilości obliczeń system będzie działał w trybie offline. Część danych będzie musiała być wprowadzana ręcznie, będziemy jednak dążyć do zminimalizowania roli operatora. 6. Podsumowanie przyjętych założeń: - wykorzystanie transformacji płaskich - proste rozpoznawanie obiektu (po kolorze) - ograniczona przestrzeń robocza (domyślnie stół pingpongowy) - obiekt może poruszać się z dużymi prędkościami (do 2 m/s) - działanie w trybie off-line (środowisko Matlab) II. Stanowisko laboratoryjne. 1. Po zbadaniu rynku szybkich kamer przemysłowych (high-speed camera) okazało się, że finansowo przekraczają one dostępny budżet. Rozważony został układ, w którym skorzystalibyśmy tylko z jednej kamery oraz układu luster w celu uzyskania dwóch obrazów do stereowizji. Pomysł ten został odrzucony z powodu obniżenia dostępnej rozdzielczości o połowę oraz dodatkowych komplikacji związanych z lustrami. 2. Zakupione zostały dwie szybkie kamery Casio Exilim EX-F1 umożliwiające nagrywanie filmów do 12fps. Dla naszych potrzeb będziemy wykorzystywać tryb 6fps przy rozdzielczości 432 x 192 pixels lub 3fps przy rozdzielczości 512 x 384 pixels. W zależności od testów okaże się, jaką dokładność uzyskujemy przy danej rozdzielczości. W efekcie otrzymamy dokładność którą jesteśmy w stanie uzyskać, przy ograniczeniu prędkości maksymalnej obiektu. 3. W ramach stanowiska laboratoryjnego wykonany zostanie wzorzec kalibracyjny niezbędny dla przyjętego rozwiązania technicznego.

III. Realizacja. 1. Na podstawie opracowania matematycznego zrealizowany został algorytm numeryczny w środowisku matlab. Algorytm realizuje podstawowe założenia, ale działa dla pojedynczych zdjęć i znajduje się aktualnie w fazie testów. 2. W trakcie realizacji projektu odkryliśmy wadę transformacji płaskiej. Położenie punktu w przestrzeni trójwymiarowej wyznaczane jest, jako punkt przecięcia dwóch prostych odpowiadających obrazom z dwóch kamer. Prosta określana jest przez dwa punkty rzuty punktu obrazu na płaszczyzny definiowane poprzez wzorzec kalibracyjny. W sytuacji, gdy na obrazie z kamery badany punkt położony jest w pobliżu miejsca przecięcia się płaszczyzn wzorca kalibracyjnego, rzuty punktu na płaszczyzny będą położone blisko siebie w związku z czym dokładność z jaka określona jest prosta jest niska. W skrajnym przypadku jeżeli badany punkt znajduje się na obrazie dokładnie w miejscu gdzie przecinają się płaszczyzny rzuty punktu na płaszczyzny pokrywają się w związku z czym zamiast prostej otrzymywany jest pęk prostych. Problem ten został rozwiązany poprzez zdefiniowanie trzeciej płaszczyzny (pomocniczej) na podstawie punktów wzorca kalibracyjnego. Dzięki temu, w obszarach gdzie może występować wspomniany problem, położenie punktu określane jest jako średnia ważona położenia uzyskanego przy wykorzystaniu dwóch płaszczyzn podstawowych wzorca oraz położenia uzyskanego przy wykorzystaniu jednej płaszczyzny podstawowej i płaszczyzny pomocniczej. Waga obu składników jest zależna od położenia punktu względem przecięcia się płaszczyzn na obrazie. 3. Wykaz funkcji: f_main identyfikuje wzorzec kalibracyjny na obrazach z kamer (definiujący zewnętrzny trójwymiarowy układ współrzędnych), identyfikuje transformacje płaskie, określa położenie obiektu w zdefiniowanym układzie trójwymiarowym na podstawie obrazów z kamer f_p_search2 odnajduje na obrazie obszary o odpowiednich kolorach i zwraca współrzędne ich środków ciężkości, wykorzystuje... f_make_ptransform na postawie współrzędnych punktów charakterystycznych wzorca na obrazie z kamery oraz na definiowanej płaszczyźnie wyznacza transformacje płaską (8 współczynników transformacji) f_ptransform na podstawie współrzędnych punktu na obrazie oraz współczynników transformacji płaskiej wyznacza położenie punktu na zdefiniowanej płaszczyźnie f_l_intersection funkcja wykorzystywana do szukania punktu przecięcia dwóch prostych lub jego przybliżenia w przestrzenie trójwymiarowej, każda prosta zdefiniowana jest w postaci dwóch punktów, przez które przechodzi f_p_l_distance funkcja obliczająca odległość punktu od prostej w przestrzeni trójwymiarowej, prosta zdefiniowana jest w postaci dwóch punktów, przez które przechodzi

IV. Przykładowy test. 1. Obraz wejściowy z jednego aparatu. 2. Algorytm wyszukuje wzorzec.

3. Algorytm wyszukuje punkty. 4. Wynik: Żółte punkty reprezentują wzorzec. Żółta linia poprawne współrzędne. Pozostałe kolory to obliczone współrzędne przy użyciu różnych par płaszczyzn. 6 5 4 3 2-1 2 2 3-1 -2 4 5-3 XYZ

6 5 4 3 2-3 -2-1 2 YZ 6 5 4 3 2-1 2 3 4 5 XZ

-1 2 3 4 5-3 -2-1 2 XY Widać wpływ złego uwarunkowania zadania w miejscach, gdzie analizowany punkt znajduje się na płaszczyźnie określanej przez: oś optyczną kamery oraz przecięcie płaszczyzn wzorca. Obecnie pracujemy nad zminimalizowaniem wpływu lub wyeliminowaniem tego problemu.