Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III

Transkrypt

1 1 Niniejszy dokument zawiera materiały do wykładu z przedmiotu Cyfrowe Przetwarzanie Obrazów i Sygnałów. Jest on udostępniony pod warunkiem wykorzystania wyłącznie do własnych, prywatnych potrzeb i może być kopiowany wyłącznie w całości, razem ze stroną tytułową. Cyfrowe przetwarzanie obrazów i sygnałów Wykład 12 AiR III Joanna Ratajczak KCiR (W4/K7) Copyright c 2015 Joanna Ratajczak 1

2 Problem trzech wymiarów Podstawowe zadania: 1 lokalizacja obiektów, 2 odtworzenie kształtu, 3 pomiar parametrów trójwymiarowych. Przykładowe rozwiązania: 1 sereowizja wielokamerowa, 2 oświetlenie strukturalne, 3 tomografia komputerowa. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 1 / 31

3 Źródła informacji o głębi: dysparycja siatkówkowa, perspektywa, wzajemne przysłanianie, cienie, paralaksa ruchu, ruch gałek ocznych. Układ wzrokowy J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 2 / 31

4 Widzenie komputerowe Głównym problemem jest mapowanie 3D na 2D i związana z nim utrata informacji. Celem jest uzyskanie mapy głębi. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 3 / 31

5 Model kamery perspektywicznej x k o P x c y z x y p z y c ognisko kamery k ogniskowa kamery J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 4 / 31

6 Rzutowanie punktu Mając dany punkt P = (X, Y, X ) w układzie współrzędnych kamery, współrzędne jego obrazu p = (x, y, z) w detektorze kamery można wywieść z podobieństwa trójkątów x = k X Z y = k Y Z z = k Wniosek: Głębia wpływa na współrzędne x, y. Widzenie stereoskopowe wystarczy do widzenia głębi, nie musimy interpretować obrazu. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 5 / 31

7 Stereowizja dwukamerowa P 1 P 2 p 1 p 2 c l J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 6 / 31

8 Stereowizja dwukamerowa P 1 P 2 p 1 p 2 p 2 p 1 c l c r Poprzez wykorzystanie dwóch kamer możemy wnioskować o głębi na mocy triangulacji. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 6 / 31

9 System stereowizyjny Układ stereo kamer Układ wstępnego przetwarzania Dopasowanie obrazów stereo On line Korekcja zniekształceń geometrycznych Rektyfikacja pary obrazów Interpretacja map dysparycji, triangulacja Off line Parametry wewnętrzne Parametry zewnętrzne Kalibracja J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 7 / 31

10 System stereowizyjny Fazy działania systemu stereowizyjnego 1 Off line 1 Kalibracja 2 On line 1 Akwizycja pary obrazów 2 Korekcja zniekształceń geometrycznych 3 Rektyfikacja pary obrazów 4 Dopasowanie pary obrazów 5 Rekonstrukcja (analiza map dysparycji,triangulacja, uzyskanie głębi) J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 8 / 31

11 Kalibracja Procedura (offline) mająca na celu znalezienie parametrów wewnętrznych kamery ogniskowa, środek matrycy, itd., parametrów zewnętrznych kamery określają usytuowanie kamer względem siebie. Kalibrację dokonuje się przy użyciu obrazów o znanym wzorze (zazwyczaj szachownicy). J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład 12 9 / 31

12 Parametry zewnętrzne kamery Opisują względną pozycję i orientację dwóch kamer wykorzystanych w systemie. Przejście od zewnętrznego układu współrzędnych do układu współrzędnych kamery, złożenie translacji T i rotacji R p c = R(p g T ), gdzie p c jest położeniem punktu P w układzie kamery, p g położeniem punktu w układzie zewnętrznym. Dodatkowo parametrem zewnętrznym jest także b odległość między środkami rzutowania. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

13 Parametry wewnętrzne kamery Charakteryzują optyczne, geometryczne i cyfrowe cechy kamery. Konieczne do korekcji zniekształceń geometrycznych wprowadzanych przez układy optyczne. ogniskowa kamery k, (o x, o y ) współrzędne punktu głównego (środka obrazu) punktu przecięcia płaszczyzny obrazu z prostą prostopadłą przechodzącą przez ognisko kamery, (s x, s y ) rozmiar piksela matrycy kamery. Zależność pomiędzy współrzędnymi punktu obrazu P w układzie obrazu (x p, y p ) i w układzie odniesienia kamery x = (x p o x )s x y = (y p o y )s y J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

14 Kalibracja odległości obrazowej l l g g 1 g 2 x 1 x 2 k g = g 1 g 2 = kl( 1 x 1 1 x 2 ) k = gx 1x 2 l(x 2 x 1 ) J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

15 Rektyfikacja Korzystając z danych wyznaczonych podczas kalibracji usuwane są zniekształcenia geometryczne, przekształca obrazy tak jakby zostały pobrane w kanonicznym układzie kamer. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

16 Rektyfikacja Usuwanie zniekształceń geometrycznych J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

17 Rektyfikacja Przekształcenie do układu kanonicznego J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

18 Geometria epipolarna płaszczyzna epipolarna x l x r c l e l e r c r linie epipolarne J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

19 Kanoniczny układ kamer x z Osie optyczne kamer y xl cl y k b cr xr Linie epipolarne y k J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

20 Dopasowanie Korzystając z obrazów po rektyfikacji wyszukiwane są odpowiadające sobie piksele w obrazie lewym i prawym, wyznaczana jest wartość dysparycji dla danej pary pikseli. Celem jest uzyskanie mapy dysparycji. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

21 Problem dopasowania Polega na wyznaczeniu współrzędnych punktów (x l, y l ) i (x r, y r ) dla zadanego punktu w przestrzeni. Dla kanonicznego układu kamer problem ulega uproszczeniu. Rozwiązaniem tego zadania jest wyznaczenie różnicy współrzędnych związanych z wzajemnym przesunięciem obrazów punktu w przestrzeni w obu kamerach. Przy obliczaniu dysparycji przyjmuje się, jeden z obrazów za obraz odniesienia (np. prawy). Kluczowy problem rekonstrukcji trójwymiarowej. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

22 Dysparycja a głębia (X, Y, Z) (X, Y, Z) (X, Y, Z) x l x r x l x r x l x r k c l b c r X k c l b c r X k c l b c r X d = x l x r J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

23 Cechy obrazu do dopasowywania: 1 jasność punktów obrazu (metody korelacyjne), 2 kierunek i wartość gradientu na krawędziach, 3 parametry krawędzi (krzywizna, długość, orientacja), 4 parametry sylwetek. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

24 Prosty algorytmu dopasowywania x W x + dmax x W H H Linia epipolarna J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

25 (1): pixel-based absolute difference between pixel intensities Prosty algorytmu dopasowywania utation (3): Winner Takes d All (WTA) = min f r (x, y) f l (x + d, y) d, y) fr(x, y) fl(x + d, y) 0 dmax d Winner d* 0 d dmax d Groundtruth Result J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

26 Problemy przy dopasowywaniu Niedoskonałość pomiaru światła Szum Powierzchnie odblaskowe Skrócenia przestrzenne Zniekształcenia perspektywiczne Jednolite powierzchnie Powtarzalne wzory Obiekty przeźroczyste Przesłanianie/nieciągłość Przykłady J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

27 Założenia związane z geometrią: Założenia upraszczające Korespondujący piksel leży na linii epipolarnej w drugim obrazie. Przestrzeń poszukiwania redukuje się z 2D do 1D. Pikselowi z pierwszego obrazu można przyporządkować tylko jeden piksel drugiego obrazu (jednoznaczność). Zamiana obrazu lewego z prawym nie powinna wpływać na przyporządkowanie pikseli (symetryczność). Jasność piksela w jednym obrazie jest taka sama lub bliska jasności odpowiadającego piksela w drugim obrazie. Cechy geometryczne obiektów na obu obrazach różnią się nieznacznie (długość, orientacja, itp.) J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

28 Założenia do własności obiektów: Założenia upraszczające Dysparycja zmienia się wolno na prawie całym obszarze obrazu. Wybór kluczowych punktów do dopasowania powinien być oparty o fizyczne właściwości obiektu. Należy wystrzegać się odbić itp. Zakres zmian dysparycji (d max ) dopasowany do konkretnego przypadku. Dla powierzchni o podobnej głębi kolejność kluczowych punktów jest zachowana dla obu obrazów. Kolejność może zostać zmieniona tylko dla dwóch punktów bardzo odległych od siebie wzdłuż osi Z. J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

29 tion Wstęp K. perspektywiczna Układ stereowizyjny Kalibracja Rektyfikacja Dopasowanie Rekonstrukcja ence Mapa dysparycji Z = tion X = disparity map Y = J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

30 Rekonstrukcja Korzystając z mapy dysparycji i parametrów uzyskanych z kalibracji wyznacza się mapę głębi. x Z d(x, y) (X, Y, Z) Y y X J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

31 Dysparycja a głębia Z (X, Y, Z) k c l (x l, y l ) (x r, y r ) b c r X Analizując trójkąty podobne otrzymujemy b Z = (b + x r ) x l Z k Z = bk = bk x l x r d J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

32 Triangulacja trójwymiarowa Z (X, Y, Z) k c l (x l, y l ) (x r, y r ) b c r X X = Z x r k Y = Z y r k Z = 1 d kb J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31

33 (X,Y,Z) Wstęp K. perspektywiczna Układ stereowizyjny Kalibracja Rektyfikacja Dopasowanie Rekonstrukcja b f d x Z f y Z f R R Mapa głębi depth map Stefano Mattoccia J. Ratajczak Cyfrowe przetwarzanie obrazów i sygnałów wykład / 31