SYSTEM OBRAZOWANIA STEREOSKOPOWEGO SEKWENCJI SCEN TRÓJWYMIAROWYCH

Transkrypt

1 DAIUSZ ZESZOTASKI PAWEŁ STUMIŁŁO PAWEŁ PEŁCZYŃSKI BOGUSŁAW WIĘCEK ANDZEJ OENC SYSTEM OBAZOWANIA STEEOSKOPOWEGO SEKWENCJI SCEN TÓJWYMIAOWYCH Streszczenie: W prac opisano podstaw stereowizjnch metod rekonstrukcji scen trójwmiarowej. Przedskutowano podstawowe algortm wznaczania głębi obrazu oraz zagadnienia korekcji zniekształceń geometrcznch układów optcznch oraz kalibracji kamer. Opisano orginalną konstrukcję sstemu stereowizjnego, któr umożliwia wznaczanie map głębi z prędkością 5 ramek/sek. dla obrazów o rozdzielczości 56 9 punkt. Scharakterzowano też podstawowe parametr metrologiczne sstemu oraz zamieszczono przkładowe wniki obliczeń.. WSTĘP Stereowizja jest techniką obrazową umożliwiającą wznaczanie współrzędnch punktów scen trójwmiarowej na podstawie ich obrazów uzskiwanch w co najmniej dwóch urządzeniach rejestrującch zwanch dalej kamerami. Zakres zastosowań stereowizji jest obecnie bardzo szeroki. obotka, diagnostka medczna i techniczna, sstem komunikacji człowiek-komputer, sstem rzeczwistości wirtualnej oraz przemsł zbrojeniow to tlko niektóre z obszarów zastosowań stereowizji []. Dzięki metodom szbkiej rekonstrukcji scen trójwmiarowej realizowanm za pomocą komputerów i procesorów sgnałowch od kilku lat istnieją opracowania sstemów stereowizjnch pracującch z szbkością do 30 ramek na sekundę dla rozdzielczości zbliżonch do obrazów CIF (ang. Common Intermediate Format), tj punktów obrazu []. W niniejszej prac opisano sstem stereoskopow, stanowiąc bazę badawczą dla prac poświęconch konstrukcji prototpowego urządzenia wspomagającego osobę niewidomą w percepcji otoczenia. Praca dofinansowana ze środków projektu badawczego Ministerstwa Nauki i Informatzacji nr TB 038 7

2 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc. PODSTAWY STEEOSKOPOWEJ EKONSTUKCJI SCENY TÓJWYMIAOWEJ Na rs. pokazano odwzorowania geometrczne punktów przestrzeni trójwmiarowej (X,Y,Z) na płaszczzn przetworników obrazowch kamer ustuowanch w tzw. układzie kanonicznm [3], tj. spełniającm następujące warunki: osie kamer są równoległe, współrzędne Z ognisk kamer są takie same. Na rs. zaznaczono trz punkt: P, P, P 3 oraz punkt ich odwzorowań w obrazie kamer lewej: p, p, p 3 i kamer prawej: p, p, p 3. Obraz punktów P i P 3 są rzutowane na jeden punkt w obrazie prawm (dotcz to wszstkich punktów leżącch na prostej wznaczonej przez punkt P, P 3 ). Ab uzskać wzajemnie jednoznaczne odwzorowanie współrzędnch przestrzeni (X,Y,Z) konieczna jest informacja o rzucie punktów przestrzeni na więcej niż jeden obraz (w pokazanm na rs. przpadku, położenia P i P 3 można wznaczć korzstając dodatkowo z ich rzutów p, p 3 uzskanch w obrazie lewm). X P 3 Y Z P Osie optczne kamer (0,0) p 3 p P (0,0) c p p 3 c inie epipolarne p p s.. Układ kanoniczn sstemu sterowizjnego z zaznaczonmi trzema punktami P, P, P 3 w przestrzeni X,Y,Z oraz odpowiadającmi im obrazami p, p, p 3, p, p, p 3 ; linie epipolarne są równoloegłe do wiersz obrazów. Istotnm pojęciem w stereowizji jest tzw. linia epipolarna. inią epipolarną dla danego punktu p (p ) z obrazu kamer prawej (lewej) jest linia będąca obrazem w

3 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch kamerze lewej (prawej) prostej wchodzącej z ogniska c (c ) kamer prawej (lewej) i przechodzącej przez p (p ). Zgodnie z tą definicją na rs. punktowi p z obrazu prawego można przporządkować linię epipolarną z obrazu lewego, na której leżą punkt będące obrazami wszstkich punktów z przestrzeni leżącch na prostej przecinającej ognisko c i punkt p. Dla szczególnego układu kamer, jakim jest układ kanoniczn liniami epipolarnmi są proste równoległe do wiersz obrazu (rs. ). Dla każdego niekanonicznego układu kamer wszstkie linie epipolarne nie są wzajemnie równoległe i przecinają się w jednm punkcie zwanm punktem epipolarnm (jest to punkt E dla obrazu lewego z rs. ). P Oś optczna kamer lewej Oś optczna kamer prawej inie epipolarne P p p E p c p c s.. Układ niekanoniczn dwóch kamer z zaznaczonmi dwoma punktami przestrzeni P, P oraz odpowiadającmi im obrazami p, p, p, p ; linie epipolarne nie pokrwają się z wierszami obrazów i zbiegają się w jednm punkcie E (E ) będącm obrazem ogniska c (c ) kamer lewej (prawej) [5][6]. Podstawowm etapem rekonstrukcji scen trójwmiarowej na podstawie obrazów stereowizjnch jest rozwiązanie tzw. problemu odpowiedniości (ang. correspondence problem), polegającego na wznaczeniu współrzędnch punktów p, p, tj. rzutów zadanego punktu przestrzeni P(X,Y,Z) odpowiednio w obrazach lewej i prawej kamer. Dla kanonicznego układu kamer problem ten ulega znacznemu uproszczeniu, gdż współrzędne obrazów dowolnego punktu przestrzeni są sobie równe, tj. =. Zatem zadanie poszukiwania punktu p odpowiadającego punktowi p można ograniczć do linii wzdłuż jednego wiersza o znanej współrzędnej. ozwiązaniem zadania odpowiedniości jest wznaczenie tzw. obrazu dsparcji (ang. disparit), tj. różnic współrzędnch związanch z wzajemnm przesunięciem

4 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc obrazów każdego punktu przestrzeni (X,Y,Z) w obu kamerach (zob. rs. 3). Prz obliczaniu dsparcji przjmuje się, że jeden z obrazów (na rs. 3 obraz praw) jest obrazem odniesienia. Jeżeli danemu punktowi p z obrazu odniesienia o współrzędnch (, ) odpowiada punkt p z drugiego obrazu o współrzędnch (, ) gdzie =, to przesunięcie (dsparcja) międz prawm a lewm punktem jest równa: d = () f 0 0 = w / c = + d, > Y 0 0 P(X,Y,Z) Z B c 0 = w / X s. 3. Widok z gór na kanoniczn układ kamer z zaznaczonm przesunięciem (dsparcją) d międz punktami p (,) i p (,) będącmi odwzorowaniem punktu P(X,Y,Z) odpowiednio w obrazie kamer prawej i lewej. Dla wbranego układu kamer dsparcja d jest zawsze nieujemna (dla < promienie wchodzące z odpowiednich ognisk i przecinające, nie przetną się w przestrzeni). Dla punktu przestrzeni leżącego w nieskończenie dużej odległości od kamer =. Zachodzi wzajemnie jednoznaczna zależność pomiędz parą punktów p, p (rs. 3) i punktem P(X,Y,Z) przestrzeni. Współrzędne każdego punktu P(X,Y,Z), któr jest widzian w obrazach obu kamer dla układu kanonicznego można wznaczć ze wzorów (rs. 3):

5 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch B ( + ) X = 0 () (d ) B Y = (3) d B f p Z = (4) d gdzie: B odległość międz osiami optcznmi kamer, tzw. baza układu kamer, = =, d dsparcja dana wzorem (), f p ogniskowa kamer podana w liczbie pikseli, 0 współrzędna środka obrazu, przez którą przechodzi oś kamer. Współrzędne X, Y, Z są podane dla układu współrzędnch o początku umieszczonm w środku odcinka łączącego ogniska kamer. Ze wzoru (4) wnika, że dsparcja jest kluczowm parametrem w rekonstrukcji scen trójwmiarowej. Znając przesuniecie obrazów punktu przestrzeni w obu kamerach prz danch ogniskowej i bazie układu stereowizjnego kamer można wznaczć odległość (tzw. głębię) punktu scen trójwmiarowej. Gd dsparcja jest wznaczana dla każdego punktu scen widzianego przez obie kamer, tworzona jest tzw. gęsta mapa dsparcji... Korekcja zniekształceń geometrcznch oraz rektfikacja obrazów W praktcznch konstrukcjach układów stereowizjnch jest bardzo trudno uzskać kanoniczn układ kamer. Stosując jednak odpowiednie rzutowanie można przekształcić współrzędne par obrazów z układu niekanonicznego do współrzędnch układu kanonicznego [5]. Przekształcenie takie określa się mianem rektfikacji obrazów stereo [5-9]. W celu znalezienia par odpowiednich macierz przekształcającch konieczne jest przeprowadzenie kalibracji układu stereowizjnego ze względu na zewnętrzne oraz wewnętrzne parametr kamer. Parametr zewnętrzne (rs. 4) określają ustuowanie kamer względem siebie, lub względem arbitralnie wbranego zewnętrznego układu współrzędnch [5], [7]. Parametr zewnętrzne pojednczej kamer definiuje trójelementow wektor T określając przesunięcie międz układem współrzędnch związanm z kamerą (X c,y c,z c ), a arbitralnie wbranm zewnętrznm układem współrzędnch (X,Y,Z) oraz macierz obrotu określająca obrót międz osiami tch układów współrzędnch. Jeżeli punkt P jest dan w zewnętrznm układzie współrzędnch P=[X,Y,Z] T oraz w układzie współrzędnm związanm z kamerą P C =[X c,y c,z c ] T, to parametr zewnętrzne kamer określają związek pomiędz współrzędnmi P i P c wg zależności:

6 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc P c = P + T (5) gdzie: jest macierzą rotacji układu współrzędnch, a T jest macierzą translacji. Z P( X,Y,Z ) X P c ( X c,y c,z c ) Y c T Y p p 0 0 Z c c( 0,0,0 ) X c f s. 4. Pojedncza kamera z zaznaczonmi ukadami wspórzędnch oraz niektórmi parametrami wewnętrznmi. Przjmuje się, że układ współrzędnch związan z pojednczą kamerą ma początek w ognisku c kamer (rs. 4). Znajomość parametrów wewnętrznch każdej kamer z osobna jest konieczne do korekcji zniekształceń geometrcznch wprowadzanch przez układ optczne kamer. Parametr wewnętrzne kamer można podzielić na dwie grup. Pierwsza to parametr metrczne, które są dane w tzw. macierz kamer [5], [7]: f γ 0 A = 0 f (6) gdzie: f, f ogniskowa kamer wrażona w liczbie pikseli, tzn. f =fk oraz f =fk, gdzie k jest liczbą pikseli na milimetr w kierunku poziomm, k jest liczbą pikseli na milimetr w kierunku pionowm, 0, 0 współrzędne punktu głównego (definiowanego jako punkt przecięcia z płaszczzną obrazu prostej prostopadłej do płaszczzn obrazu przechodzącej przez ognisko kamer c), γ współcznnik określając kąt międz osiami i czujnika kamer (dla prostopadłch osi i γ=0 ).

7 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch Do drugiej grup parametrów wewnętrznch kamer zalicza się parametr określające zniekształcenia geometrczne wprowadzone przez układ optczne kamer. Wróżnia się współcznniki związane ze zniekształceniami radialnmi i tangencjalnmi [4], [7]. Macierz A określa związek międz tzw. znormalizowanmi współrzędnmi punktu w przestrzeni, danch wzorem: n = X c /Z c, n = Y c /Z c, a odpowiadającmi im współrzędnmi punktów obrazu [7] (rs. 4): = n n p p A (7) Po uwzględnieniu zniekształceń geometrcznch współrzędne znormalizowane są dane wzorami [7]: ( ) = n n d d r k r k 4 (8) gdzie: n n r + =, ( ) ( ) = n n n n n n r p p r p p, oraz k, k są współcznnikami zniekształceń radialnch, p, p są współcznnikami zniekształceń tangencjalnch; jest wektorem zniekształceń tangencjalnch. Dla modelu kamer uwzględniającego zniekształcenia geometrczne wzór (7) określając współrzędne obrazu kamer przjmie postać: = d d p p A (9) W układzie stereowizjnm na podstawie parametrów zewnętrznch kamer prawej, T, oraz kamer lewej, T określającch położenie odpowiednich ukła-

8 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc dów współrzędnch względem tego samego zewnętrznego układu, można określić macierz obrotu oraz wektor transpozcji T określającch wzajemne położenie kamer: = T, T T = T T (0) Macierz oraz wektor T określane są mianem zewnętrznch parametrów stereowizjnego układu kamer [5]. Dla danego punktu P w przestrzeni, związek międz współrzędnmi tego punktu w układach kamer lewej oraz kamer prawej jest następując: ( P T ) P = () Na podstawie znajomości parametrów zewnętrznch niekanonicznego układu stereowizjnego, T oraz parametrów wewnętrznch kamer lewej oraz prawej, można wznaczć parę macierz translacjnch M, M za pomocą, którch można dokonać rektfikacji obrazów z kamer będącch w układzie niekanonicznm; współrzędne obrazów wprostowanch dla kamer lewej ( rect, rect ) oraz prawej ( rect, rect ) określone są następującmi wzorami [4]: a b = M c p p a b = M c p p () rect rect = a = b / c / c rect rect = a / c = b / c 3. SYSTEM OBAZOWANIA STEEOSKOPOWEGO W skonstruowanm w sstemie obrazowania stereoskopowego można wróżnić dwie części: sprzętową (mechaniczną i elektroniczną) oraz programową. Podstawowm elementem części sprzętowej jest układ dwóch kamer umieszczonch w specjalnie zaprojektowanej i wkonanej we współprac z Insttutem Obrabiarek Wdziału Mechanicznego PŁ głowic stereowizjnej pokazanej na rs. 5. Każda z kamer jest umieszczona w obudowach wkonanch z duraluminium. Konstrukcja mechaniczna głowic umożliwia obrot kamer w trzech osiach oraz ich liniowe przemieszczanie w płaszczźnie osi optcznch kamer. Obrót wokół osi Z (równoległej do osi optcznch kamer) w zakresie ±0 stopni zapewnia śruba M8 o skoku

9 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch 0.75mm zamontowana w specjalnej obudowie na promieniu 58mm. Do obrotu kamer wokół osi X w zakresie ±5 stopni zastosowano przekładnię ślimakową o module 0.5 mm i przełożeniu 0, zaś do obrotu kamer wokół osi Y (w zakresie ±0 stopni) służ przekładnia ślimakowa o module 0.5mm i przełożeniu 48. egulację baz układu kamer w zakresie 8 5cm zapewnia śruba rzmska M8 o skoku mm. W układzie stereowizjnm zastosowano cfrowe kamer kolorowe firm Point Gre tpu Flea o rozdzielczości punktów obrazu, wposażonch w interfejs IEEE 394 (Fire-Wire) []. z s. 5. Widok konstrukcji mechanicznej głowic sstemu sterowizjnego z umieszczonmi w niej kamerami cfrowmi. Opracowan program komputerow składa się z procedur umożliwiającch realizację następującch funkcji sstemu (rs. 6): snchroniczna akwizcja par obrazów stereo, korekcja zniekształceń geometrcznch wprowadzanch przez układ optczne kamer, rektfikacja par obrazów do układu kanonicznego kamer, obliczanie gęstej map dsparcji. Na rs. 6 zaznaczono podział na procedur programowe, które są wkonwane na etapie wstępnej kalibracji sstemu (off-line) oraz procedur przeznaczone do wkonania w czasie działania sstemu stereowizjnego (on-line).

10 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc Układ stereo kamer wstępne przetwarzanie Dopasowanie obrazów stereo Korekcja zniekształceń geometrcznch ektfikacja par obrazów Interpretacja map dsparcji Online Offline Parametr wewnętrzne Kalibracja Parametr zewnętrzne s. 6. Schemat blokow aplikacji programowej sstemu stereowizjnego 3.. Akwizcja, korekcja zniekształceń geometrcznch i kalibracja Akwizcja obrazów stereo jest ważnm etapem działania sstemu. Para obrazów powinna bć rejestrowana snchronicznie w tej samej chwili czasowej. Ma to szczególne znaczenie w warunkach szbko zmieniającego się oświetlenia, np. w pomieszczeniach oświetlanch świetlówkami jarzeniowmi. Do snchronizacji kamer Point Gre Flea wkorzstano dostarczon przez producenta zestaw funkcji API (ang. application program interface). Wstępne przetwarzanie obrazów polega przede wszstkim na korekcji zniekształceń układów optcznch kamer oraz na rektfikacji par obrazów [3],[5]. Parametr niezbędne do przeprowadzenia korekcji i rektfikacji obrazów w czasie rzeczwistm są uprzednio wznaczane za pomocą procedur kalibracji układu kamer. Kalibracja kamer została przeprowadzona za pomocą programu wkorzstującego funkcje i klas kompilatora C++ dostępnch w bibliotece OpenCV (Intel Open Source Computer Vision ibrar [8]). Macierze przekształceń perspektwicznch niezbędnch do przeprowadzenia rektfikacji został wznaczone zgodnie z metodą podaną w prac [9]. 3.. Algortm wznaczania gęstej map dsparcji Algortm wznaczania gęstej map dsparcji dla par obrazów wiąże się z dużm kosztem obliczeniowm gdż dla każdego punktu obrazu odniesienia należ znaleźć (dopasować) odpowiadając mu punkt w obrazie drugim. Z uwagi na waru-

11 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch nek prac sstemu w czasie rzeczwistm (tj. dla szbkości kilkunastu obliczeń obrazów dsparcji na sekundę) w opracowanm programie zastosowano tzw. algortm dopasowujące obszarami [- 4], []. W algortmach tego rodzaju zakłada się, że dopasowaniu podlegają nie pojedncze punkt obrazu, a obszar w kształcie prostokątnch okien o zadanch wmiarach win win definiowanch jako otoczenie porównwanch punktów obrazu, dla którch jest wznaczane dopasowanie. Najczęściej stosowaną [-5] miarą podobieństwa pomiędz punktem z obrazu odniesienia p, a punktem drugiego obrazu p jest suma bezwzględnch różnic (SAD ang. Sum of Absolute Differences) obliczona w odpowiadającch im oknach. Dla obrazów kolorowch miara SAD jest dana równaniem [4]: SAD(,,d ) = = ( win ) i= ( win ) ( win ) j= ( win ) [ ( + i, + j) ( + i + d, + j) G B ( + i, + j) G( + i + d, + j) ( + i, + j) B( + i + d, + j) ] + + (3) Miara SAD jest obliczana dla każdego punktu obrazu odniesienia w zadanm zakresie dsparcji (przesunięcia) d, tj. d min d ma. Obliczone miar SAD(,, d) są przechowwane w trójwmiarowej tablic o wmiarach (w+win+) (d min d min +) (h+), gdzie w i h są odpowiednio liczbą kolumn i wiersz obrazu (rs. 7). Tak zdefiniowana tablica jest nazwana w literaturze przestrzenią dsparcji (ang. disparit space volume). = 0 d = dma dmin = h = 0 d = 0 = w+win d s. 7. Trójwmiarowa tablica zawierająca miar SAD

12 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc W następnm kroku obliczeń jest wznaczane przesunięcie d dla każdego punktu obrazu odniesienia (, ), dla którego miara SAD jest najmniejsza, tj. zachodzi najlepsze dopasowanie okien w obu obrazach. Praktczne krterium wboru minimalnej wartości miar SAD jest bardziej skomplikowane. Z przkładowch obliczeń wnika, że jest konieczna werfikacja znajdowanch minimów SAD min (d ). Jednm z zastosowanch w niniejszm programie sposobów werfikacji minimów SAD jest podział algortmu dopasowującego na dwa etap [4]. W pierwszm etapie obrazem odniesienia jest obraz praw; jeżeli dla punktu w obrazie odniesienia (, ) zostanie znaleziona wartość minimalna SAD dla określonego d =d to w drugim etapie dla punktu obrazu lewego =d + jest szukana wartość minimalna SAD wśród punktów obrazu prawego w zakresie ( d min, d ma ). Jeżeli dla znalezionego w drugim etapie minimum SAD, wartość przesunięcia będzie taka sama jak w pierwszm etapie, tzn.: d =d, to znaleziona dsparcja jest uznana za wbraną właściwie. Innm zastosowanm sposobem poszukiwania wiargodnch minimów miar SAD jest zapamiętwanie oprócz znalezionego minimum globalnego SAD min, także trzech pozostałch najmniejszch wartości SAD < SAD < SAD 3 []. Odpowiadająca znalezionemu minimum SAD min wartość d uznawana jest za prawidłowo wznaczoną dsparcję, jeżeli trzecia najmniejsza wartość SAD 3 jest większa od zadanej wartości progowej Th wznaczonej na podstawie SAD min : Th = SAD min +p SAD min, gdzie zalecaną wartością parametru p jest [4]. Przebieg algortmu dopasowującego obszarami można streścić w następującch punktach:. Dla danego punktu obrazu prawego p (, ) i dla danego punktu obrazu lewego p (, ) przesuniętego o d wznacz SAD(,,d).. Powtórz pkt. dla wszstkich wartości d dla zadanego zakresu d min, d ma, 3. Z uzskanego zbioru miar SAD dla różnch przesunięć d, tj. SAD(d=d min ), SAD(d=d min +),,SAD(d=d ma ) wbierz najmniejszą wartość SAD min ; wartość d, dla której została wznaczona minimalna wartość SAD min jest poszukiwaną dsparcją pomiędz punktem obrazu odniesienia, a punktem obrazu lewego: d = d(sad min ), = +d. 4. Werfikuj wbór przesunięcia d, dla którego SAD min osiąga minimum za pomocą jednej z opisanch wcześniej metod: poprzez drugi etap obliczeń, w którm role punktów p i p są zamienione i poszukiwana jest wartość d zamiast d, przez badanie kolejnch dwóch najmniejszch wartości i odpowiadającch im wartości przesunięć.

13 4. WYNIKI Sstem obrazowania stereoskopowego sekwencji trójwmiarowch W niniejszej części prac zamieszczono wniki obliczeń parametrów kamer dla zbudowanego układu stereowizjnego oraz pokazano przkład wznaczonch map dsparcji dla sekwencji obrazów. Osie kamer ustawiono w przbliżeniu równolegle w odległości ok. 8cm w celu zapewnienia układu kamer bliskiego kanonicznemu. Par obrazów z kamer o rozdzielczości poddano korekcji zniekształceń geometrcznch oraz rektfikacji na podstawie parametrów obliczonch za pomocą programu kalibracjnego wkorzstującego funkcje udostępnione w bibliotece OpenCV [8]. Wznaczone wartości parametrów wewnętrznch par kamer dla obiektwów o stałch ogniskowch 3.5mm zamieszczono w tabeli. Parametr zewnętrzne każdej z kamer względem tego samego układu odniesienia oraz parametr zewnętrzne układu stereowizjnego podano w tabeli. We worze (4)podano macierze rektfikacji. Macierz A Tabela. Parametr wewnętrzne kamer. Kamera ewa k = k = p = p = Kamera Prawa k = k = p = p = Parametr zniekształceń geometrcznch Macierz obrotu Wektor translacji Tabela. Parametr zewnętrzne kamer, T,, T oraz ukladu stereo, T obliczone na podstawie wzoru (0). Kamera ewa T = = = Kamera Prawa T = = Parametr zewnętrzne układu stereowizjnego: T =

14 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc M = , e.7 e M = (4) e e.000 Przkładowe obraz przed korekcją oraz po korekcji zniekształceń układów optcznch oraz po rektfikacji układu kamer pokazano na rs. 8. Ponieważ osie kamer bł w opiswanm przkładzie w przbliżeniu równoległe, można przjąć, że bazę badanego układu stereowizjnego o parametrach zewnętrznch podanch w tabeli można obliczć ze wzoru: B= T 54mm. Zgodnie ze wzorem (4) wartość wznaczonej dsparcji d jest odwrotnie proporcjonalna do odpowiadającej jej odległości Z. Na rs. 9 wkreślono zależność d=f(z) dla baz B=54mm i ogniskowej wrażonej w liczbie pikseli f p =395. Należ podkreślić, że wartości dsparcji d wznaczane za pomocą algortmu dopasowującego są całkowite, prz czm zmiana odległości Z odpowiadająca jednostkowej zmianie dsparcji d również zależ od odległości Z zgodnie z zależnością [3]: Z = d Z fb d Z (5) gdzie d jest jednostkową zmianą dsparcji wrażoną w milimetrach; w przedstawionm przkładzie d = f/f p = 3.5mm/395 = mm. Zgodnie z powższą zależnością można uznać, że Z jest błędem, z jakim wznaczana jest odległość Z na podstawie dsparcji d. Ze wzoru (5) wnika, że błąd ten rośnie wraz z odległością Z. Na rs. 9 pokazano wkres ilustrujące przkładowe zależności błędu Z(d) oraz Z(Z). Analizując te wkres można wnioskować, że dla zadanch parametrów układu stereowizjnego szukanie dsparcji od wartości zerowej nie jest uzasadnione, gdż dla d= błąd Z wznaczania odległości jest ok. 0m. Dopiero dla d>5 (co odpowiada Z<3.95m) błąd wznaczania odległości jest mniejsz od m. Na rs. 0 zestawiono przkład map dsparcji wznaczonch za pomocą dwóch metod opisanch w sekcji 3.. Dla pokazanch obrazów o rozdzielczości minimum miar SAD poszukiwano dla dsparcji z zakresu Zilustrowano również poprawę jakości wznaczanch map dsparcji po wstępnm przetworzeniu (normalizacji) obrazów. W procedurze normalizacji jasność każdego punktu obrazu z rs. 0 a i 0 b została pomniejszona o średnią jasność obrazu wznaczoną dla okna win win=3 3. Jakość map dsparcji na rs. 0e i 0f należ uznać za najlepszą gdż procentow udział obszarów nierozpoznanch (zaznaczonch kolorem czarnm), tj. dla którch nie znaleziono minimum miar SAD spełniającej krteria algortmu (sekcja 3.), jest najmniejsz.

15 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch a) b) c) s. 8. Korekcja obrazów wejściowch: a) obraz przed korekcją; b) obraz po korekcji zniekształceń geometrcznch; c) obraz po rektfikacji Z, Z [m] d [piel] Z Z Z [m] s. 9. Wkres odległości Z w funkcji dsparcji d, błędu Z w funkcji dsparcji d oraz błędu Z w funkcji odległości Z dla B=54mm, f=3.5mm, f p = d=3 d=4 d= Z [m]

16 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc a) b) c) d) e) f) s. 0. Obraz zarejestrowane przez kamerę lewą a), prawą b), oraz obraz dsparcji wznaczone dla par obrazów wg algortmu dwuetapowego c), wg algortmu trzech minimów d), oraz odpowiednio dla tch algortmów po uprzednim zastosowaniu normalizacji obrazów e) i f). Głębia w ilustrowanch w prac mapach dsparcji jest kodowana za pomoca skali szarości. Wzrostowi jasności punktu odpowia zmniejszanie głębi, prz czm obszar map, dla którch dsparcja nie mogła bć wznaczona poprawnie (nie spełniała krterium werfikacji minimum) oznaczone są kolorem czarnm. Algortm wznaczające gęste map dsparcji prz zastosowaniu miar SAD można efektwnie realizować za pomocą tzw. metod przesuwanch okien (ang. sliding window) []. Algortm dopasowania wg miar SAD napisano w jęzku kompilatora C++ firm Borland v. 5.6 bez stosowania instrukcji asemblerowch. Dla rozdzielczości ramek obrazu 56 9 i zakresie poszukiwanej dsparcji równm 0 punktom obrazu uzskano prędkość obliczania gęstch map dsparcji ok. 9 ramek/sek. (procesor Pentium IV GHz). Po włączeniu procedur korekcji i rektfikacji obrazów uzskano prędkość przetwarzania 6.7 ramek/sek. 5. PODSUMOWANIE W niniejszej prac omówiono konstrukcję autorskiego stemu stereowizjnego

17 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch oraz zamieszczono przegląd zagadnień związanch z projektowaniem tego rodzaju sstemów. Przeprowadzono dskusję algortmów wznaczania dsparcji przez dopasowanie obszarów w obrazach stereo, dla miar SAD. Z porównań algortmów stosującch inne miar dopasowania [] wnika, że dobór samej miar nie jest tak istotn jak sposób wznaczania i werfikacji minimów wartości funkcji dopasowania oraz wstępne przetworzenie obrazów. Opracowan sstem stereowizjn stanowi bazę doświadczalną do testów różnch algortmów obliczania map dsparcji, dla którch będzie możliwa ich skuteczna realizacja w środowisku obliczeniowm procesora sgnałowego. Omówione prace stanowią badania przgotowawcze dla konstrukcji prototpowego sstemu wspomagającego osobę niewidoma w percepcji otoczenia. 6. ITEATUA [] Y. Mao, S. Soatto, J. Kosecka, S.S. Sastr, An invitation to 3-D vision: from images to geometric transformations, Springer-Verlag, New York, Inc., 004. [] M.Z. Brown, D. Burschka, G.D. Hager, Advances in computational stereo, IEEE Trans. on Pattern Analsis and Machine Intelligence, vol.5, no. 8, 003, pp [3]. Di Stefano, M Marchionni, S. Mattoccia, A PC-based eal-time Stereo Vision Sstem, Machine Graphics & Vision, vol. 3, no. 3, 004, pp [4] K. Muhlmann, D. Maier, J. Hesser,. Manner, Calculating dense disparit maps from color stereo images, an efficient implementation, International Journal on Computer Vision, vol. 47, no. 3, April 00, pp [5] B. Cganek, Komputerowe przetwarzanie obrazów trójwmiarowch, Akademicka Oficna Wdawnicza EXIT, Warszawa 00. [6] A. Fusiello, E. Trucco, A. Verri, A compact algorithm for rectification of stereo pairs, Machine Vision and Applications, vol., 000, pp. 6. [7] J.-Y. Bouguet, Camera Calibration Toolbo for Matlab [8] Open Source Computer Vision ibrar [9] A. Fusiello, E. Trucco, A. Verri, ectification of Stereo Pairs [0] Middlebur Stereo Vision Page [] D. Scharstein,. Szeliski, A taonom and evaluation of dense two-frame stereo correspondence algorithms, International Journal on Computer Vision vol. 47, no. 3, April-June 00, pp.7 4. [] Point Gre esearch Inc.

18 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc Dariusz zeszotarski urodził się w 977 roku. W roku 00 ukończł studia magisterskie na Wdziale Elektroniki i Elektrotechniki, kierunek Elektronika i Telekomunikacja. W roku 004 podjął prace w Insttucie Elektroniki i Termografii na stanowisku naukowo-technicznm. Jego obecne prace naukowe koncentrują się na opracowwaniu programów komputerowch do rekonstrukcji scen trójwmiarowch na podstawie obrazów stereowizjnch. Paweł Strumiłło ukończł studia na Wdziale Elektroniki Politechniki Łódzkiej w roku 983, uzskując dplom magistra inżniera o specjalności Aparatura Elektroniczna. Stopień doktora nauk technicznch uzskał w 993, a stopień doktora habilitowanego w roku 003. Pracę w Insttucie Elektroniki PŁ podjął od roku 983 w nowo utworzonm Zespole Elektroniki Medcznej. W latach przebwał na stpendium doktoranckim w Uniwerstecie Strathclde w Glasgow (Szkocja), gdzie w roku 993 obronił pracę doktorską z zakresu inżnierii biomedcznej. Jego zainteresowania naukowe koncentrują się na analizie sgnałów biomedcznch, metodach obliczeń inteligentnch oraz sstemach przetwarzania obrazów. Jest autorem i współautorem ponad 70 prac naukowch. Prof. Strumiłło jest członkiem założcielem Polskiego Towarzstwa Sztucznch Sieci Neuronowch. Paweł Pełczński ukończł studia na Wdziale Elektroniki Politechniki Łódzkiej w roku 993 uzskując dplom magistra inżniera o specjalności Aparatura Elektroniczna. W roku 003 uzskał stopień doktora nauk technicznch. Od 994 roku został zatrudnion w Insttucie Elektroniki PŁ w Zakładzie Elektroniki Medcznej, na stanowisku asstenta, a od roku 003 jest adiunktem w tm Zakładzie. Jego zainteresowania naukowe koncentrują się na zagadnieniach identfikacji parametrów elektrcznch modeli ciał stałch i ciecz w zakresie mikrofal (staż w Uniwerstecie Katolickim ouvain w 996 roku w ramach programu Tempus), realizacjach sprzętowch sztucznch sieci neuronowch (realizator grantu KBN w latach ), oraz na sstemach przetwarzania i analiz obrazów (obecnie główn wkonawca grantu KBN). Jest autorem i współautorem szeregu publikacji i referatów z zakresu ww tematki badawczej.

19 Sstem obrazowania stereoskopowego sekwencji trójwmiarowch Bogusław Więcek ukończł studia na Wdziale Elektrcznm Politechniki Łódzkiej w 98 r. i podjął pracę w Insttucie Elektroniki PŁ. W 989 r. obronił pracę doktorską a w 000 r. rozprawę habilitacjną pt. Odprowadzanie ciepła w układach elektronicznch ze szczególnm uwzględnieniem konwekcji naturalnej i promieniowania. Specjalizuje się w termografii i modelowaniu zjawisk złożonej wmian ciepła w elektronice. Zajmuje się także projektowaniem układów elektronicznch i sstemów mikroprocesorowch do zastosowań w różnch dziedzinach, głównie w medcnie. Jest autorem i współautorem ponad 50 prac naukowch. Prof. Więcek jest m.in. członkiem komitetów naukowch dwóch największch europejskich konferencji dotczącch termografii: QIT i THEMO oraz organizatorem cklicznej krajowej konferencji TTP. Andrzej orenc ukończł studia na Wdziale Mechanicznm Politechniki Łódzkiej w roku 975. W tm samm roku rozpoczął pracę w Insttucie Obrabiarek i Technologii Budow Maszn PŁ na stanowisku asstenta. W roku 99 obronił pracę doktorską z zakresu konstrukcji maszn. Dr orenc jest autorem orginalnch konstrukcji maszn, wdrożonch w przemśle i wkorzstwanch w badaniach naukowch, m.in. w 99 roku zaprojektował i wkonał na zlecenie Uniwerstetu Łódzkiego część mechaniczną do skaningowch mikroskopów tunelowch - tp: STM i MSA. Od 996 r. specjalizuje się w konstrukcjach maszn dla przemsłu poligraficznego, jest autorem ok. 300 orginalnch konstrukcji kół zębatch. Opublikował 5 prac naukowch, uczestniczł w opracowaniu szeregu przedmiotów i laboratoriów studenckich, m.in. przedmiotu Narzędzia Medczne. Dr orenc jest członkiem i rzeczoznawcą SIMP. Od 989 r. jest vice-prezesem Federacji Konsumentów w Łodzi. Za swoją działalność został odznaczon w 003 roku srebrną odznaką przznaną przez adę Krajową tej federacji.

20 D. zeszotarski, P. Strumiłło, P. Pełczński, B. Więcek, A. orenc STEEOVISION SYSTEM FO 3D ECONSTUCTION OF IMAGE SEQUNECES Abstract: A stereo-vision sstem for 3D reconstruction of image sequences is presented. First fundamentals of stereo matching algorithms and basic definitions of stereo projection equations, epipolar geometr, intrinsic and etrinsic geometric camera parameters are given. Then the algorithms for correction of geometric distortions and camera rectification techniques are eplained. Mechanical construction of the stereovision head for precise positioning of stereo camera sstem is also described. A more detailed discussion is devoted to block stereomatching algorithms based on the Sum of Absolute Differences (SAD) criterion for calculation of dense disparit maps. esults for 3D reconstruction of image sequences are given that illustrate the need for image preprocessing before running the stereo block matching algorithm. The worked out software that was written in C++ compiler enables close to real time computation of the disparit map sequences. The rate of 5 frames/sec for 56 9 digital images were achieved on a Pentium IV GHz PC. The developed stereovision sstem serves as a testing bench for the project aimed at designing a prototpe travel aid device for the blind. DAIUSZ ZESZOTASKI Institute of Electronics, Technical Universit of odz Wolczanska 3, odz, POAND, darrzesz@p.lodz.pl PAWEŁ STUMIŁŁO Institute of Electronics, Technical Universit of odz Wolczanska 3, odz, POAND, pstrumil@p.lodz.pl PAWEŁ PEŁCZYŃSKI Institute of Electronics, Technical Universit of odz Wolczanska 3, odz, POAND, pawelpel@p.lodz.pl BOGUSŁAW WIĘCEK Institute of Electronics, Technical Universit of odz Wolczanska 3, odz, POAND, wiecek@p.lodz.pl ANDZEJ OENC Institute of Machine Tools & Production Engineering, Technical Universit of odz Stefanowskiego /5, odz, POAND, ioitbm@p.lodz.pl