ROS3D Z1.ALG Algorytmy analizy i przetwarzania obrazu stereoskopowego

Transkrypt

1 ROS3D Z1.ALG Algorytmy analiy i pretwarania obrau stereoskopowego 2015 FINN Sp. o.o. Wselkie prawa astreżone Historia mian dokumentu: Data Wersja Osoba Opis Premysław Stoch Utworenie struktury dokumentu. Adam Wojciechowski Jakub Wawryniak Agnieska Rytel Aktualiacja dokumentu wiąana preprowadoną weryfikacją całości dokumentacji ora analią wymagań Premysław Stoch Rysard Stoch Jakub Wawryniak Aktualiacja i weryfikacja wynikająca preprowadonego preglądu jakości Rysard Stoch Weryfikacja formalna dokumentu nagłówki i stopki Adam Wojciechowski Aktualiacja i weryfikacja wynikająca preprowadonych badań i prac rowojowych Adam Wojciechowski Aktualiacja i weryfikacja wynikająca preprowadonych badań i prac rowojowych

2 1 Wewnętrne i ewnętrne parametry rigu stereoskopowego Algorytmy określające ależności pomiędy parametrami modelu ROS Algorytmy kalibracji układu kamer stereoskopowych Kalibracja torów optycnych Dysparycja pionowa Dysparycja poioma (paralaksa poioma) Robieżność pomiędy akomodacją wroku a konwergencją obraów Robieżności pomiędy konwergencją a głębią ostrości kamer Błędy w jasności/kontraście Błędy w ostrości Błędy w budżecie paralaksy Korekta trapeowatości obrau (ang. keystone effect) Sereg bewględnych miar jakości obrau Prędkość mian obrau pomiędy klatkami Obecność obiektów wystających kadru (scególnie pierwsoplanowych) Kalibracja chromatycna Błędy w akresie tonalnym obrau Algorytmy budowania mapy głębi (dysparycji) Aktywne metody budowania mapy dysparycji Pasywne metody budowania mapy dysparycji Bibliografia

3 Wstęp Rejestracja obrau stereoskopowego realiowana jest popre równocesną rejestrację dwóch obraów pochodących dwóch kamer umocowanych na rigu. Rig może powalać na umocowanie kamer prostopadle (rys. 1a) lub równolegle (rys. 1.1b). a) b) Rys a) rig prostpadły; b) rig równoległy Główną różnicą pomiędy dwoma rigami jest to, że rig prostopadły stosowany jest głównie w sytuacjach, gdy niebędne jest ustawienie niewielkiej odległości pomiędy osiami patrenia kamer (tw. baa (B)), aś rig równoległy, gdy minimalna odległość pomiędy osiami patrenia kamer jest więksa niż serokość jednej kamery. Tak też rig prostopadły stosuje się głownie dla rejestracji scen niewielkiej odległości (np. plan filmowy w studio nagrań), aś rig równoległy dla rejestracji scen planów odległych (np. plenery). Rejestracja obrau dla rigu równoległego jest ocywista (dwie kamery umocowane obok siebie), aś w prypadku rigu prostopadłego obra rejestrowany jest dla kamery patrącej na wprost popre półprepuscalne lustro, aś w prypadku kamery patrącej do góry (bądź do dołu) rejestrowany jest obra odbijający się w lustre. Półprepuscalne lustro powinno być ustawione pod kątem 45 stopni do osi patrenia obydwu kamer. Kolejnym parametrem, który odpowiada naturalnej sytuacji postregania otocenia pre cłowieka jest konwergencja, cyli bieżność kierunków patrenia obojga ocu. W naturalnej sytuacji cłowiek, obserwując otocenie, koncentruje się, co pewien cas na różnych jego elementach. Wtedy kierunki patrenia obu ocu precinają się właśnie w punkcie, w którym obserwator awiesił wrok (ang. fixation point). Ponieważ nase recywiste otocenie jest dynamicne awycaj każdy cłowiek koncentruje się, co kilka sekund na innym jego elemencie. W skrajnych sytuacjach możemy mieniać punkt koncentracji wroku nawet kilka ray na sekundę. Wra e mianą punktu koncentracji wroku gałka ocna a pomocą modyfikacji napięcia mięśniowego mienia swoją geometrię (miana ogniskowej - f) i wielkość otworu źrenicy (miana prysłony - A), co skutkuje mianą głębi ostrości (DoF). Dla obiektów najdujących się blisko obserwatora głębia ostrości jest mniejsa niż w prypadku obiektów odległych od obserwatora. Ten fijologicno-anatomicny proces wykonywany jest pre cłowieka podświadomie, do tego stopnia, że niektóry nawet nie uświadamiają sobie mechaniki tego procesu. Co więcej, różni obserwatory tej samej sceny mogą jednoceśnie koncentrować się na innych recach i najdować się w różnej odległości wględem obserwowanych obiektów. Predstawiony stan recy stawia pred operatorami i reżyserami filmów 3D wywanie aproponowania w casie rejestracji obrau konwergencji kamer i głębi ostrości obrau, która odpowiadałaby wsystkim widom oglądającym film. Jest to adanie na tyle trudne i wkracające w sferę psychologii widenia, że proces dodawania konwergencji jest bardo cęsto dokonywany na etapie post-produkcji. Zdjęcia na planie filmowym wykonywane są dla równolegle 3

4 ustawionych kamer (brak konwergencji) pry ałożonym jedynie (domniemanym) punkcie koncentracji kamer. Parametr ten można mienić bowiem w post-produkcji. Parametrami, które ustawia się cęsto na planie filmowym są ogniskowa (f) i presłona (A). Na uwagę asługuje fakt, że najcęściej profesjonalne obiektywy mają stała ogniskową, pre co miana ogniskowej wiąże się e mianą obiektywu. Prysłona aś jest dużo łatwiej modyfikowalnym parametrem i można ją dużo prościej modyfikować wpływając na głębię ostrości. Osobną kwestią w pracy rigiem stereoskopowym jest jego kalibracja. Problemem jest, bowiem precyyjne ustawienie kamer tak, aby ich parametry miały dokładnie takie wartości, jakie wynikają obliceń/amiereń. Niestety brak onaceń na kamerach (brak onaconej głównej osi patrenia kamery) ora brak precyji mechanicnego układu nastawnego (luy na skoku śruby, brak podiałek na więksości potencjometrów i suwaków) powoduje, że teoretycne ustawienia kamery nie odpowiadają praktycnym. Proces kalibracji acyna się awycaj od próby ustawienia układu kanonicnego kamer. Polega on na wyeliminowaniu konwergencji pionowej i poiomej ora w prypadku rigu prostopadłego na spowodowaniu, aby osie patrenia dwóch kamer pokrywały się (dla rigu równoległego osie te powinny być jedynie idealnie równoległe). Dla rigu prostopadłego korektę ustawień dokonuje się na podstawie tablicy kalibracyjnej, która powala weryfikować ustawienia kamer w płascyźnie widoku. Dopiero po ustawieniu kamer w układie ortogonalnym (pot. wyerowanie kamer ) asystent operatora kamery ustawia adane pre reżysera/operatora nastawy rigu. Należy podkreślić, że dla rigu prostopadłego możliwe jest takie ustawienie kamer, w którym widą one dokładnie ten sam obra. Dotychcasowa kalibracja nie powala natomiast na skalibrowanie osi patrenia kamer w 3 wymiarach. Pomijany jest także usuwanie aberracji geometrycnych i chromatycnych obiektywu, które dopiero korygowane są, jeśli w ogóle, na etapie post-produkcji. Celem dalsej cęści dokumentu jest wprowadenie wspólnych onaceń i pojęć dla dalsych roważań, jak również określenie ależności, jakie międy tymi parametrami występują. W kolejnych rodiałach prewidiane jest również wprowadenie kryteriów poprawności obrau stereoskopowego ora metod ich mierenia 1 Wewnętrne i ewnętrne parametry rigu stereoskopowego Wśród bioru parametrów, które można ustawić dla układu kamer amocowanych w rigu stereoskopowym można wyróżnić wiele parametrów, jednak najważniejsymi dają się być grupy parametrów wiąane samą kamerą, rigiem ora grupa parametrów opisująca arejestrowany materiał filmowy. W tabeli 1 ebrane są te parametry wra ich onaceniami i krótkim opisem. Parametry te niebędne są do jednonacnego definiowania algorytmów i metod określających relacje pomiędy parametrami. Tab. 1 Zbiór parametrów układu dwóch kamer amocowanych na rigu stereoskopowym Nawa Symbol Opis Uwagi Prykładowe wartości dla parametru konkretnych rowiąań Zbiór parametrów wiąanych kamerą Identyfikator ID Identyfikator kamery, której kamery było kręcone ujęcie - - 4

5 (camera id) Typ kamer Body type Producent i model - Pracujemy na kamerach Red Epic-X Serokość matrycy (mm) (sensor physical width) Wysokość matrycy (mm) (sensor physical hight) Współcynnik prycięcia sensora kamery (sensor crop) Współcynnik prycięcia obrau (image crop) S W S H Fiycna serokość matrycy w mm Fiycna wysokość matrycy w mm S CROP Współcynnik prycięcia matrycy kamery oblica się najcęściej w odniesieniu do fiycnego romiaru klatki obrau 35 mm (jej fiycny romiar to 24 mm x 36 mm). Współcynnik ten stosuje się również do oblicania ekwiwalentu ogniskowej. I CROP Współcynnik prycięcia kadru biorący pod uwagę romiar matrycy w pikselach i romiar kadru w pikselach, który wynika ustawionego formatu apisu obrau. Romiar matrycy w pikselach (pix.) (image sie in pixels) Współcynnik ASPECT Proporcje wysokości do proporcji serokości w ramach obrau (aspect) dostępnych romiarów matrycy Zbiór parametrów wiąanych obiektywem Ogniskowa f Odległość w milimetrach obiektywu socewki od matrycy (focal length) - Red Epic 5K (25,9 mm) Red One 4K (22,1 mm) Red One 3K (16,75 mm) Red One 2K (11,05 mm) Phantom HD Gold 720 (16 mm) Phantom HD Gold 1080 (16 mm) Phantom HD Gold 1152 (25,6 mm) Phantom Flex 720 (12,8 mm) Phantom Flex 1080 (19,2 mm) Phantom Flex 1140 (25,6 mm) W niektórych aparatach cyfrowych amiast posługiwać się współcynnikiem prycięcia wylica się odpowiednio preskalowany ekwiwalent ogniskowej, który jest równy f_35mm x wsp. S CROP Red Scarlet Mysterium-X (36/27.7 = 1,299 CROP) Red Scarlet Dragon (36/25.6 = 1,406 CROP) Red Epic Mysterium-X (36/27.7 = 1,299 CROP) Red Epic 5K (36/25,9=1,3899 CROP) S w x S h Wymiar matrycy w pikselach Red Epic (5120(w)x2700(h)) ASPECT (1.896:1) Ogniskowa na obiektywie jest modyfikowana pre współcynnik CROP aby oblicyć recywistą wartość ogniskowej, którą 2:1 (5120w x 2560h) 2.4:1 (5120w x 2133h) HD16:9 (4800w x 2700h) Najcęściej posługujemy się obiektywami stałoogniskowymi: 18 mm 25 mm 5

6 Presłona (lens aperture) Krążek roprosenia (mm) - (ang. circle of confusion) Głębia ostrości (m) (ang. depth of field) A Współcynnik określający ogranicenie dopływu światła do matrycy występujący najcęściej jako dielnik ogniskowej Circle of Confusion CoC Wielkość plamki romycia na matrycy do oblicania głębi ostrości DoF Głębia ostrości to akres odległości, w którym obiekty, na djęciu sprawiają wrażenie ostrych (romaanie punktu nie prekrocy adanej wartości K (0,001 mm)), cyli tw. progu ostrego widenia obrau. Jeśli K jest więkse od adanego progu obra unawany jest jako nieostry Poiomy kąt α hor Zakres poiomego kąta widenia widenia (º) wyrażony w stopniach (ang. horiontal view angle) Zbiór parametrów wiąanych rigiem Baa (mm) B Odległość pomiędy osiami (stereoscopic patrenia kamer mierona w base) milimetrach w punkcie środka matrycy. realiowane jest ujęcie. W klasycnej fotografii kolejne wartość presłony mniejsały dopływ światła dwukrotnie. Obecnie progów presłony jest więcej Pryjmuje się 0,001 cala lub 0,03 mm dla pełnej klatki obrau 35 mm, dla matryc cyfrowych o innym (najcęściej mniejsym) fiycnym romiare treba uwględnić mniejsenie tego parametru. Odpowiada on dolności ludkiego oka do roponawania scegółów na poiomie 20 sekund kątowych (pry łym oświetleniu sekund kątowych) Głębia ostrości ależy od odległości, na której koncentruje się obiektyw (X), ogniskowej obiektywu (f), presłony (D), wielkości matrycy (WxH) Cym więksa ogniskowa tym mniejsy kąt widenia 35 mm 50 mm 85 mm 300 mm f/1.4, f/2, f/2.8, f/4, f/5.6, f/8, f/11, f/16, f/22, f/32, f/45, f/64 Dla małej prysłony (duży otwór) rokład głębi ostrości jest niesymetrycny i mniejsy, lec dla więksych presłon akres acyna się równoważyć i ogólnie rosnąć. Wra e wrostem odległości fotografowanego obiektu głębia ostrości rośnie to wra wydłużeniem ogniskowej maleje (wielkości preciwstawne). 6

7 Konwergencja (º) (ang. convergence) Paralaksa (%) (ang. paralax) C P() P( ) dla punktów odległych o _ od kamery P( ) dla punktów odległych o _ od kamery P( screen )= 0 Paralaksa fijologic na Kąt bieżności kamer kąt mierony w stopniach, jaki tworą dwie osie kamer w punkcie precięcia ich osi patrenia Odległość kątowa lub liniowa pomiędy odpowiadającymi sobie punktami na dwóch stereo receptorach wyrażona odpowiednio w stopniach lub w milimetrach. Robieżność w procentach pomiędy wybranymi elementami kadru w nałożonych na siebie obraach lewego i prawego oka. Najistotniejse punktu widenia obrau stereoskopowego jest paralaksa dodania (P( )) dla obraów widocnych w najdalsym planie kadru ora paralaksa ujemna (P( )) dla obiektów pierwsoplanowych. Paralaksa jest erowa w płascyźnie, gdie obray dla obu ocu się pokrywają (płascyna erowej paralaksy) P( screen )=0; Zawycaj film kręcony jest be konwergencji a ona dokładana jest na etapie postprodukcji Wartość paralaksy mierona w milimetrach dla docelowego ekranu projekcyjnego nie powinna prekracać odległości ocu wida (standardowo pryjmuje się 65 mm). Ponieważ możemy nie nać dokładnie fiycnej serokości ekranu projekcyjnego to paralaksę podaje się w procentach, a wtedy paralaksę dla danego ekranu projekcyjnego można policyć: SZER_EKR(cm) * P budget(%) = P budget (cm) Operatory na planie operują sumarycną paralaksą P( ) + P( ) = P budget Budżet Paralaksy (taką paralaksę widać na ekranie podglądu na planie filmowym), a ich wajemny udiał/podiał uyskuje się w postprodukcji, presuwając obray dwóch kamer wględem siebie. Dla ekranów kinowych pryjmuje się P( )=2% i P( )=0.7% 0.7% (P( ) w %) * 1000 cm (SZER_EKR 10 m) = 7 cm (P( ) w cm) Usytuowanie gałek ocnych pry obserwacji punktu. Miara dolności rodielcej widenia stereoskopowego 7

8 Odległość od obiekt-u/-ów pierwsoplanow ego (m) (ang. plane distance) Odległość od obiekt-u/-ów dalekiego planu (m) (ang. plane dostance) Odległość od płascyny erowej paralaksy (m) (ang. screen plane distance) Punkt koncentracji ostrości obiektywu (m) (ang. focus distance) Z_ Z_ Z_screen P( screen )=0 Z_focus ( f ) Odległość najcęściej podawana w metrach Odległość najcęściej podawana w metrach Odległość od kamery, w której obray lewego oka i prawego oka pokrywają się. Parametr niebędny do ustawień kamer i kalkulatorów najcęściej rejestrowany a pomocą laserowego dalmiera pre asystenta kamerysty. Parametr niebędny (najcęściej służebny, gdyż łatwo go mienić) do weryfikacji ustawień kamer (np.: ogniskowa, głębia ostrości, itp.). Parametr niebędny do ustawień kamer i kalkulatorów najcęściej rejestrowany a pomocą laserowego dalmiera pre asystenta kamerysty, lub nany na podstawie wielkości planu filmowego. W prypadku układu kamer bieżnych wielkość ta wynika poiomej konwergencji kamer. Dla rejestracji obrau układu kamer równoległych wielkość ta jest jedynie wstępnie akładana gdyż pry rejestracji oba obray pokrywają się jedynie w nieskońconości. Na etapie post-produkcji uyskuje się pokrycie obraów lewej i prawej kamery (efekt stucnie stworonej konwergencji) presuwając klatki obrau lewej i prawej kamery wględem siebie (w poiomie). Presunięcie pionowe jest niedopuscalne. Odległość od kamery, której skoncentrowana jest ostrość widenia obiektywu. Od tego dystansu do produ i do tyłu awiera się prestreń głębi ostrości widenia Istnieje reguła, że pierwsy plan (obiekt) nie powinien być bliżej niż 30 krotność Bay (B), lub nawet niektóry podają, że 50 krotność Bay. Planowana konwergencja pry równoległej rejestracji obraów wynika pośrednio budżetu paralaksy, który powinien być podielony w takich proporcjach na paralaksę ujemną i dodatnią, aby nie prekrocyć niedowolonych poiomów. 8

9 Postprodukcyjna konwergencja poioma (%) (ang. postproduction horiontal convergence) Postprodukcyjna konwergencja pionowa ( ) (ang. postproduction horiontal convergence) Δx = P(_) Δy Presunięcie obraów lewej i prawej kamery wględem siebie powodujące post-produkcyjną konwergencję, cyli ustawienie w planie ostrym obiektów odległych o _screen od kamer. Presunięcie obraów lewej i prawej kamery wględem siebie w pionie, powodujące postprodukcyjną konwergencję pionową, jest efektem niepożądanym. Zbiór parametrów wiąanych klipem filmowego Na etapie post-produkcji obray lewej i prawej kamery należy presunąć o Δx pikseli (wyrażone w licbie pikseli lub procentowo w funkcji serokości kadru), aby obray dwóch kamer pokryły się w planie odległym o _screen (odległość płascyny erowej paralaksy) od kamer. Pionowa konwergencja jest efektem niepożądanym i jeśli występuje to jest mierona w promilach ( ). Może pojawić się arówno podcas rejestracji pry pomocy rigu, na stole montażowym jak i podcas projekcji, gdy dwa obray (rutniki) nie ostaną e sobą odpowiednio spasowane. Parametr ten stanowi jedno kryteriów poprawności obrau stereoskopowego. Pionowa konwergencja może być źródłem łego samopocucia widów oglądających obra 3D. Presunięcie obraów wględem siebie powoduje obcięcie kadru lewej i prawej strony, które powinno być sygnaliowane operatorowi na podstawie Δx. Identyfikator camera id kamery Identyfikator reel id karty Identyfikator clip id klipu Data nagrania date Cas nagrania Abs TC Recywisty End Abs cas nagrania TC Długość nagrania Całkowita licba klatek Rodielcość nagrania w pikselach Aspekt nagrania 9

10 Baowy klatkar Klatkar nagrania ISO nagrania Tryb HDR Współcynnik kompresji obrau Głębia bitowa pikseli obrau Rokład jasności w scenie Base framerate Współcynnik powalający określić jaki długi materiał filmowy mieści się na dysku. Parametry te ustawiane są awycaj na dwóch etapach obsługi rigu i niektóre na etapie post-produkcji. Pierwsy etap dotycy kalibracji kamer, cyli wyerowania ustawień układu kamer w taki sposób, aby dwie kamery rejestrowały dokładnie ten sam obra (ten sam kadr, ta sama kolorystyka, jasność, ostrość, te same aberracje geometrycne, winietowanie i in.). Drugi etap to modyfikacja tych parametrów (np.: baa, ogniskowa, presłona), które powalają uyskać amierony efekt artystycny (głębię ostrości, głębię stereoskopową, kadr, itp.). Treci etap post-produkcji powala modyfikować te parametry, które wskaują na nieamierone różnice ustawień pomiędy dwoma kamerami w rigu (np.: różnica jasności, ostrości) ora te, które wynikają amiereń artystycnych operatora cy reżysera (np.: konwergencja, paralaksa). Drugi etap ustawień estawu kamer w rigu stereoskopowym odbywa się głównie na planie djęciowym i polega w głównej miere na modyfikacji następujących parametrów: - baa (B) - ogniskowa obiektywu (f) - presłona (A) - ewentualnie konwergencja (C), jeśli jest ustawiana - poycja kamery wględem obiektów planu (_, _) Etap post-produkcyjny polega awycaj na wykonaniu korekt barwnych obrau, korektach jasności ora prede wsystkim na wprowadeniu post-produkcyjnie konwergencji popre wajemne presunięcie w poiomie obraów wględem siebie (Δx). Presunięcie to definicji powinno być równe ałożonej paralaksie ujemnej wyrażonej w procentach (P(_)), jednak decyją operatora może ostać mienione dla uyskania lepsych efektów stereoskopowych. Post-produkcyjna konwergencja pionowa (Δy wajemne presunięcie obraów w pionie) jest mierona w promilach i jest efektem niepożądanym lub wręc jest błędem pogarsającym odbiór obrau stereoskopowego. 2 Algorytmy określające ależności pomiędy parametrami modelu ROS Jedną pierwsych asad podcas rejestrowania obrau 3D jest reguła określania odległości kamery od pierwsego planu. Zasada uależniająca odległość pierwsego planu (_) w ależności od pryjętej 10

11 Bay rigu (B) dana jest worem 3.1. Wynika niego, że odległość do pierwsego planu (_) powinna być, co najmniej 30-krotnością Bay (B). B = 30 (3.1) gdie B- baa kamer, _- odległość od najbliżsego obiektu. Niektóry podają, że dla bardiej odległych obiektów (rędu 10 metrów) baę należy licyć według woru 3.2, gdie minimalna odległość jest 50-krotnością Bay (B), a niektóry unają a dobrą praktykę ustawianie pierwsego planu na dystansie 100-krotności Bay (B). B = 50 (3.2) Jest to bieżne teorią, która mówi, że idealny odbiór efektu stereoskopowego następuje pry bieżności osi patrenia rędu 1º-2º. Kolejną operacją wykonywaną dość cęsto podcas realiacji obrau stereoskopowego jest oblicanie Bay (B) dla pryjętej wielkości budżetu Paralaksy (P budget ) wyrażonej w procentach (%) i dla układu równoległych kamer nieskońconością na obraie. Wielkość paralaksy w mm oblica się na podstawie pryjętego budżetu paralaksy w procentach i wielkości (serokości) ekranu, na którym wyświetlany będie docelowo obra. Wór 3.3 powala na prelicenie wielkości procentowych paralaksy P na wielkości wyrażone w mm. P budget( mm) ( screen budget(%) ) = W P ( ) (3.3) gdie P budget(mm) paralaksa w mm, W screen fiycna serokość ekranu w mm, P budget(%) - paralaksa wyrażona w %. Wartość paralaksy ujemnej nie powinna prekrocyć 65 mm, ile wynosi średni odstęp pomiędy ocami wida. Scególnie paralaksa dodatnia dla planu dalekiego nie powinna powodować, że ocy obserwatora będą robieżne. Uproscony wór oblicenia bay (B) dla pryjętej paralaksy (P), ogniskowej (f) i odległości od planu, dla którego paralaksę licymy, wyrażony jest worem 3.4. B P f = gdie (3.4) W uprosconym podejściu pryjmuje się dla pełnej klatki 35 mm wielkość paralaksy wynosącą 1.2 mm i wtedy wór 3.4 pryjmuje uprosconą postać 3.5 dla naturalnych jednostek ( w metrach, f w milimetrach) B = 1200 gdie (3.5) f Dużo wygodniejse i bardiej bieżne e spotykanymi w recywistości kalkulatorami jest posługiwanie się worem 3.6, który będie łącył Baę i Paralaksę dla układu kamer równoległych głębią ostrości w akresie od _ (najbliżsy obiekt) do _ (najdalsy obiekt) dla camera obscura. 11

12 [ P( B = = [ P( f ( ) + P( 1 ) + P( 1 )] W [ P( = ) )] W ( ) + P( f ( 1 ) f )] W ) = (3.6) gdie B- baa układu kamer, f - ogniskowa obiektywu, _ odległość od najbliżsego obiektu planu, _ odległość od najdalsego obiektu planu, P() paralaksa dana worem 3.3, pry cym Paralaksa wyrażona w procentach jest budżetem paralaksy (P budget(%) ), cyli sumą paralaksy ujemnej i dodatniej. Dodatkowo chcąc ustawić na planie konwergencję kamer możemy ją oblicyć na podstawie procentowego udiału Paralaksy dodatniej i ujemnej w akresie pryjętego budżetu paralaksy. Odległość (_screen) do punktu bieżności kamer można policyć na podstawie woru 3.7 screen = f B f B P ) W ( (3.7) aś konwergencję kamer (C) wyrażoną w stopniach można policyć e woru 3.8. B 2 C = arctg screen 2 (3.8) W literature można spotkać modyfikację woru 3.6. Dla kamer obiektywem wór 3.6 może prybrać kstałt reguły Berkovit a (wór 3.9). 1 + B = P ( ) f 2 (2 f ( + )) = P 2 f ( ) = P ( 2 f ( + ) 2 f 2 f ) = (3.9) gdie P = [ P( ) + P( )] W Dla ogniskowej hiperfokalnej (głębia ostrości w nieskońconości) reguła Berkovit a pryjmuje uproscona postać (wór 3.10) P B = f 1 ( ) 2 (3.10) Davis aproponował modyfikację formuły Berkovit a jeśli _ < 2*_ to wtedy pryjął, e _ = 2*_. Jednakże więksość kalkulatorów bauje na wore 3.6. Kolejnym parametrem, który może interesować operatora jest kąt widenia obiektywu dla pryjętej ogniskowej (f) i wielkości matrycy (S W xs H ). Wartość poiomego kąta widenia obiektywu (α hor ) pry ustalonej fiycnej serokości matrycy (S W ) dana jest worem

13 SW α hor ) (3.11) = 2 arctg( f gdie S W to fiycna serokość matrycy, f ogniskowa obiektywu. Innym aspektem, który jest analiowany na planie filmowym jest głębia ostrości poscególnych kamer. Empirycnie obra unawany jest a ostry (wyraźny), jeśli tw. krążek romycia obrau (CoC) nie prekraca 0.03 mm lub 0,001 cala dla pełnej klatki obrau (35 mm). Jeśli matryca rejestracji obrau jest fiycnie mniejsa od pełnej ramki obrau to odpowiednio należy te mniejsyć krążek romycia obrau, gdyż ważne jest prede wsystkim ostrość obrau na wyświetlacu (ekran, monitor). Dla pryjętego punktu koncentracji ostrości (ang. focus distance) (_focus), ogniskowej obiektywu (f) i prysłony (A) ogólny wór określający maksymalną i minimalna odległość, pry której obra jest wyraźny określa wór 3.12 i focus focus f 2 focus = 2 (3.12) f CoC A ( a focus f ) f 2 focus = 2 f + CoC A ( a focus f ) (3.13) gdie a jest współcynnikiem proporcji wielkości matrycy w odniesieniu do pełnej ramki obrau (awycaj <1). Głębia ostrości jest wtedy dana worem DoF = focus focus (3.14) 3 Algorytmy kalibracji układu kamer stereoskopowych 3.1 Kalibracja torów optycnych Tworenie poprawnego obrau stereoskopowego jest agadnieniem, które wymaga uwględnienia seregu cynności arówno na etapie prygotowania (preprodukcja), jak również na etapie realiacji (produkcja) i postprodukcji. Problemy w jakości obrau mogą leżeć arówno w dopasowaniu parametrów kamer jak i w samej jakości obrau (kadr, sybkość prowadenia kamer). Dopasowanie parametrów kamer realiowane jest arówno na etapie wstępnym (kalibracja) jak i podcas realiacji filmowej. O ile na etapie prygotowania obsługa ma stosunkowo dużo casu na skalibrowanie układu kamer, to na etapie realiacji tego casu jest relatywnie mało. Istotnym elementem na etapie prygotowania jest kalibracja ustawień riga. 13

14 Rys a) rig prostpadły; b) rig równoległy Robieżności niektórych parametrów dla obraów lewego i prawego oka jest bardo trudno wyeliminować lub jest to niemożliwe. Dotycy to w scególności riga lustranego, w którym kamery awycaj są ustawione prostopadle. Wynika to tego, że jeden obra (awycaj oka lewego) jest rejestrowany jako światło prepuscone pre półprepuscalne lustro (awycaj pre kamerę poiomą). Drugi obra (oko prawe) jest rejestrowany jako światło odbite od półprepuscalnego lustra (awycaj pre kamerę pionową). Wpływa to na różnice jasności, różnice w akresie tonalnym ora różne abarwienie obu obraów. W prypadku rigu równoległego różnice mogą wynikać różnego ustawienia kamer wględem obecnych w scenie źródeł światła. Ponieważ rig równoległy jest awycaj używany na otwartych prestreniach słońce jest bepośrednią prycyną powstawania refleksów i robieżności. W trakcie wykonywania djęć na planie filmowym cały cas istnieje potreba korygowania nastaw kamer i riga, aby odpowiadały one aktualnie nagrywanym ujęciom. Wykonywane na bieżąco miany nastaw (np. baa stereoskopowa, konwergencja, ogniskowa, prysłona, ostrość, klatkar nagrywania, cas ekspoycji) powinny e sobą współgrać i spełniać odpowiednią korelację. Nieodpowiednie ustawienie bay stereoskopowej wględem planu djęciowego może skutkować niewłaściwą dysparycją obraów (paralaksą) podcas projekcji, co będie powodowało nacące obniżenie komfortu odbioru obrau stereoskopowego. Podobnie cęste prestawianie parametrów riga ora jego prenosenie może powodować utratę kalibracji wertykalnej skutkującej dysparycją pionową, która również nie jest pożądana. Niewłaściwe robieżności mogą pojawić się na polu dopasowania głębi ostrości obiektywów, która powinna awierać się w głębi obrau stereoskopowego. Ewentualne błędy mogą pojawić się w obsare robieżności akcji na planie filmowym, a obsarem koncentracji układu kamer. W tym aspekcie mamy, bowiem do cynienia sytuacją, kiedy to reżyser/operator planuje i realiuje określony scenarius chcąc pokaać widowi pewną scenę. Nie powinna pojawić się wtedy robieżność pomiędy punktem kadru, w którym rogrywa się akcja a punktem kadru, w którym koncentrują się kamery (mają ustawioną: linię optycną, głębię ostrości, głębię obrau). Błędy w percepcji obrau stereoskopowego mogą pojawić się również, gdy sybkość mian na ekranie będie ponadnaturalna, tak więc prędkość mian położenia/orientacji rigu w rejestracji obrau stereoskopowego powinna być niżsa niż pry rejestracji obrau 2D. Ceść błędów w obraie stereoskopowym może powstać również na etapie postprodukcji. Należą do nich głównie nieskoordynowane miany jasności, kontrastu, akresu tonalnego, dysparycji poiomej, pionowej itp. Jednakże więksość tych błędów jest odwracalna, w ramach historii projektu, pod warunkiem świadomości ich popełnienia Dysparycja pionowa Pionowa dysparycja (presunięcie) obraów powinna być całkowicie likwidowana. W recywistości odpowiada to sytuacji, w której wid ma jedno oko wyżej, a drugie niżej. Błąd ten może ostać usunięty w postprodukcji i może prykładowo wynikać e łego skalibrowania kamer, niewłaściwego nałożenia obraów w postprodukcji lub nawet niestarannego spasowania dwóch rutników podcas projekcji w kinie. Błąd ten dość prosto daje się skorygować w postprodukcji. Niemniej powinniśmy dołożyć niebędnej 14

15 staranności aby wyeliminować ten błąd już w trakcie samej rejestracji (na etapie produkcji) pewnością będie to tańse i sybse Dysparycja poioma (paralaksa poioma) Zbyt duża poioma dysparycja (presunięcie więkse niż ok. +6,5 cm) powoduje, że ocy wida (kierunek patrenia każdego oka) oglądającego materiał ustawiają się robieżnie. Wpływa to na łe samopocucie, nudności i awroty głowy. Aby apewnić prawidłową bieżność ocu podcas oglądania należy podcas rejestracji obrau apewniać odpowiedni budżet paralaksy obrau i na etapie postprodukcji odpowiedni podiał pomiędy paralaksę ujemną (bliską) i dodatnią (daleką) Robieżność pomiędy akomodacją wroku a konwergencją obraów Podcas oglądania filmu wid kieruje się emocjami i koncentruje wrok na elementach, które jego punktu widenia (wynikającym fabuły) są najistotniejse. Najcęściej jest to godne wiją reżysera/operatora, który koncentruje kadr na najistotniejsych, punktu widenia fabuły, elementach. W prypadku obrau 3D należy dodatkowo adbać, aby obiekty istotne punktu widenia fabuły (jak również prypuscalnie wida) najdowały się na płascyźnie erowej paralaksy, gdie dięki konwergencji kryżują się osie patrenia kamer (w centrum ostrości obrau). W skrajnym prykładie pry robieżności akomodacji i konwergencji wid koncentruje się na nieostrym fragmencie obrau, aś ostrość jest ustawiona na mniej istotnych, punktu widenia fabuły, elementach Robieżności pomiędy konwergencją a głębią ostrości kamer Ustawiając lub planując konwergencję kamer w Rigu 3D niejako akładamy, w jakim akresie odległości od kamer obiekty planu będą mieściły się w budżecie paralaksy będą widiane maksymalnie ałożonym stopniem romycia. Wartość ta nakłada się na ustawienia samej kamery (ogniskowa, prysłona itp.), które skutkują określoną głębią ostrości każdego obrau osobna. Nie dość, że głębia ostrości każdej kamer powinna być taka sama to jesce powinna ona pokrywać się ostrością stereoskopową wynikającą konwergencji obraów Błędy w jasności/kontraście Obray pochodące dwóch kamer powinny mieć odpowiednio identycną ( pewną tolerancją) ogólną jasność ora kontrast obrau. Różnica w jasności lub kontraście może wynikać prykładowo ustawienia źródeł światła na planie lub samej konstrukcji riga (np. jeden obra jest rejestrowany pre półprepuscalne lustro, a drugi jako obra odbity od tego lustra) Błędy w ostrości Jednym błędów ostrości, poa różnymi ustawieniami kamer może być koncentracja ostrości symetrycna bądź asymetrycna, jak również sama ostrość i jej głębia. Ten błąd w niewielkim akresie daje się skorygować w postprodukcji Błędy w budżecie paralaksy Jeśli budżet paralaksy jest byt duży to bardo trudno jest wyeliminować błędy paralaksy a pomocą samej miany proporcji pomiędy paralaksą ujemną a paralaksą dodatnią Korekta trapeowatości obrau (ang. keystone effect) Obray stereoskopowe rejestrowane pry ustawionej konwergencji kamer uwidacniają nagrywaną scenę nieco innej perspektywy. Technicnie skutkuje to jawiskiem, w którym pierwsoplanowe obiekty umiescone na skraju kadru mogą na dwóch obraach mieć nienacnie różną wielkość. Zjawisko to 15

16 można eliminować na etapie postprodukcji stosując wyprostowanie obraów (tw. rektyfikacja), a następnie kadrując dodatkowo ramki obrau (cęść wspólna dwóch kadrów) Sereg bewględnych miar jakości obrau Istnieje sereg miar jakości obrau 2D, których niektóre okaują się jako mające wysoką korelację subiektywnymi odcuciami wida. Należą do nich VQM (Video Quality Metric) [1], SSIM, UQI, C4, RRIQA [2], binocular distortions [3,4,5,6] Prędkość mian obrau pomiędy klatkami Parametr ten ma nacenie punktu widenia percepcji wida. Punktem odniesienia jest sybkość obserwowalnych pre cłowieka mian achodących w nature, która pomimo teoretycnie ograniconych prędkością światła wartości jest nacnie niżsa. Istnieje dla każdej osoby pewien subiektywny próg, powyżej którego miany achodą a sybko i percepcja (roumienie) achodących mian jest ogranicone. Baując na opinii ekspertów/badaniach na osobach można pokusić się o wskaanie granicnych wartości progów mian achodących dla poscególnych planów, powyżej których obra acyna być drażniący Obecność obiektów wystających kadru (scególnie pierwsoplanowych) W sytuacji, gdy pierwsoplanowy obiekt wystaje kadru (jest cęściowo widocny) obserwator ma problem pełnym określeniem głębi danego obiektu. Najcęściej głębia obiektu w scenie kłóci się głębią fiycną ekranu, na którym oglądany jest film. Poa tym, jeśli obiekt wchodi w kadr tylko jednej kamery, to nacy, że będie widocny tylko pre jedno oko obserwatora i wtedy będie mu się on wydawał prerocysty. Jeżeli obra rejestrujemy kamerami ustawionymi równolegle (brak konwergencji) to musimy być świadomi o koniecności skorygowania konwergencji w postprodukcji. Będie to wiąało się koniecnością dodatkowego prycięcia obraów, co więksa ryyko, że obiekty bliskiego planu będą widiane tylko jednym okiem. 3.2 Kalibracja chromatycna Błędy w akresie tonalnym obrau Jeśli niewyjaśnionych prycyn akres tonalny obraów pochodących dwóch kamer się różni to ciężko jest skorygować te błędy, chyba że namy/najdiemy korekcję barwną ujednolicającą obray. 4 Algorytmy budowania mapy głębi (dysparycji) Budowanie mapy dysparycji jest swego rodaju sacowaniem głębokości poscególnych elementów obrau na podstawie najcęściej dwóch obraów pochodących dwóch osobnych kamer ustawionych w nanej wględem siebie relacji. Można również rekonstruować głębię na podstawie światła strukturalnego [Sch03]. Obray poscególnych kamer są dwuwymiarową repreentacją scen trójwymiarowych (projekcją perspektywicną na płascynę rutni). Każdy obra jest definicji pobawiony 3 wymiaru (głębokości). Chociaż istnieją algorytmy, które próbują na podstawie 2-wymiarowego obrau osacować głębokość poscególnych punktów obrau (rekonstrukcja utraconej informacji o głębokości) to dużo dokładniejse osacowanie baujące na dwóch obraach, na wór systemu wrokowego cłowieka, który sacuje odległość na baie obraów arejestrowanych pre parę ocu o stałej odległości. 16

17 Problemami pry rekonstrukcji głębi jest m.in. biór punktów najdujących się w nieskońconości (dalekie tło), których głębokość treba osacować ora w prypadku rekonstrukcji geometrycnej obiektów problem może stanowić biór punktów asłoniętych, których nie widać na obraie/-ach (rys. 5.1) Rys. 5.1 biór punktów niewidocnych onacony jest kwadratami Kodowanie głębi najcęściej obraowane jest a pomocą obrau w skali sarości, gdie jasność poscególnych pikseli repreentuje odległość cym jaśniejsy piksel tym bliżej kamery (rys. 5.2b). Można również spotkać kodowanie głębi a pomocą koloru [Kos03, Sax08]. Wtedy prykładowo kolor ciemno cerwony repreentuje obiekty najbliżse, aś ciemno fioletowy obiekty najdalse (rys. 5.2c). a) b) c) Rys. 5.2 Prykłady kodowania głębokości a) rysunek oryginalny, b) skalą sarości, c) kolorem Wspomniane powyżej sposoby kodowania głębi powalają nie tylko wiualiować w sposób charakterystycny mapę głębi, ale również powalają porównywać wyniki diałania różnych algorytmów. Takie podejście ma miejsce w unawanej w wiji stereoskopowej baie danych Middlebury [Sch10]. Baa Middlebury awiera obray stereo pary i odpowiadającą im mapę głębi (rys. 5.3). Rys lewy obra (po lewej) i prawy obra (w środku) ora odpowiadająca im mapa głębi (po prawej) O ile wynik demonstrujący mapę głębi może być predstawiony w skali sarości o tyle same obray źródłowe, które służyły do jej oblicania powinny być racej kolorowe niż w skali sarości, gdyż obra 17

18 kolorowy niesie w sobie dużo więcej informacji niż obra jedynie poiomami jasności. Z drugiej strony obra kolorowy jest dużo trudniejsy do pretwarania e wględu na romiar plików i pry algorytmach, w których istotna jest wydajność pretwarania może to stanowić problem. Zagadnienie budowania mapy głębi najprościej realiować w kanonicnym układie kamer, w którym kamery patrą dokładnie równolegle, obray dwóch kamer są współpłascynowe i nie są wględem siebie obrócone. Rys. 5.4 Epipolarna geometria w układie frontowo równoległym (kanonicnym) Tak orientowany estaw kamer twory frontowo-równoległy epipolarny układ kamer (rys. 5.4), w którym ten sam recywisty punkt sceny (P) rejestrowany dwóch punktów o ogniskowych w punktach C l i C r, różni się tylko współrędną poiomą (p l i p r ), aś współrędna pionowa jest taka sama. Frontoworównoległy układ kamer można apewnić odpowiednią kalibracją kamer lub popre odpowiednią korektę obraów uwględniającą ich wajemne presunięcie i obrót. Na baie frontowo-równoległego układu kamer budowanie mapy głębi uyskujemy popre dopasowanie (ang. matching) poscególnych punktów obrau arejestrowanych pre dwa punkty widenia (kamery). Porównanie różnić położenia odpowiadających sobie punktów powala osacować odległość od układu kamer. Najcęściej porównuje się wajemne położenie na dwóch obraach punktów, krawędi, regionów lub innych cech scególnych obrau. Podejście do sacowania głębokości na podstawie układu frontowo-równoległego ma również swoje ogranicenia. Nie da się w ten sposób osacować odległości obiektów najdujących się byt blisko kamer, które nie awierają się w obsare widenia (rys. 5.5). Rys. 5.5 Minimalna odległość d min, poniżej której nie można sacować odległości obiektów sceny, będący funkcją kąta widenia α i odległości pomiędy kamerami d cam. Analogicnie można wprowadić maksymalną odległość sacowania dysparycji, powyżej której punkty charakterystycne nie są roponawane jako sobie odpowiadające. Jednym podejść do sacowania głębi obrau jest oparty o segmentację rejonów. Rejon to obsar, który awiera biór podobnych pikseli. Obra jest wtedy dielony na biór rołącnych, jednorodnych regionów, które konstruowane są na baie określonej charakterystyki [Pha00, Gao06, Esp06, Wan08]. 18

19 Kolejnym podejściem jest wajemne lokaliowanie w obraach charakterystycnych punktów i krawędi. Najcęściej punkty i krawędie charakterystycne są najdowane a pomocą operatorów prestrennych. Prykładami takich operatorów są dyskretne filtry Sobela, Laplace a cy Prewitt a (rys. 5.6). a) b) c) Rys a) detektor poiomych krawędi Sobela; b) dyskretny operator Laplace a; c) poiomy operator Prewitt a Na rysunku 5.7 obraowano wynik diałania powyżsych operatorów wykrywających krawędie. a) b) c) d) Rys. 5.7 a) rysunek oryginalny; b) dwukierunkowe filtrowanie Sobela; c) dwukierunkowe filtrowanie Prewitt a; d) filtrowanie Laplasjanem [Ran05] Podobnie roponaje się punkty charakterystycne w obraach (rys. 5.8) a) b) Rys. 5.8 Roponawanie punktów charakterystycnych [Yu08] a) narożników na linii epipolarnej; b) ielono anacone charakterystycne punkty naleione na całym obraie Algorytmy efektywnie oblicające mapę głębi na podstawie pary obraów pochodących dwóch kamer ostały predstawione w [Sa11]. Autory wykorystują sybkie oblicanie rektyfikacji kamer, usuwanie niekstałceń obrau i finalne oblicanie mapy dysparycji obraów, której wynik koduje głębie obserwowanego obrau. Andrysiak i Choraś [And06] proponują klasycne podejście do budowanie mapy dysparycji na podstawie budowania relacji pomiędy momentami obraów, obliconych dla dwóch punktów widenia. Bogate opracowanie odnośnie technik i algorytmów najdowania punktów charakterystycnych w obraach i ich dopasowywania można naleźć w pracy Cyganka [Cyg09]. 19

20 Problem pry konstruowaniu mapy głębokości na baie obrau pojawia się e wględu na głębię ostrości. Systemy optycne kamer podobnie jak system wrokowy cłowieka charakteryują się określoną głębia ostrości ustawioną awse wględem punktu (obiektu), który najduje się w obsare koncentracji kamery/cłowieka. Niestety poa obsarem głębi ostrości pojawia się nieostry obra, którego stopień romycia może wskaywać arówno na najdowanie się pred jak i a strefą głębi ostrości. Brak możliwości określenia głębi bepośrednio w każdym pikselu obrau wymusa koniecność interpolacji. Uyskujemy wtedy interpolowaną mapę głębokości amiast gęstej mapy głębokości. Innym pojęciem wiąanym niedoskonałością konstruowania mapy głębokości jest jej wględność albo bewględność. Najcęściej mamy do cynienia wględnymi mapami głębokości, w których jesteśmy w stanie jedynie określić który pikseli najduje się bliżej, a który dalej. Możliwość osacowania bewględnej odległości od kamery do fragmentu sceny repreentowanego pre konkretny piksel powala budować bewględną mapę głębokości. Podcas konstruowania mapy głębokości można worować się na systemie wrokowym cłowieka, który w sposób naturalny radi sobie sacowaniem głębokości obiektów najdujących się w polu widenia. Wśród mechanimów wykorystywanych pre ludi do sacowania głębokości należą: - para obraów pochodących pary ocu. Niestety mechanim frontowo-równoległego ustawienia kierunków patrenia mamy do cynienia tylko, jeśli obiekty najdują się w nieskońconości. Dla obiektów bliżsych kierunki patrenia ocu są bieżne a ludki móg wnioskuje o odległości punktu koncentracji m.in. na baie kąta bieżności i ewentualnej paralaksy obraów; - punkt koncentracji wroku i odpowiadająca mu głębia ostrości to kolejny mechanim, który cłowiek może cęsto mieniać i na podstawie wyciągniętych wniosków móg próbuje osacować głębokość punktu/płascyny koncentracji; - dodatkowe cechy obrau i jego elementów tj.: kstałty obiektów [Kur04], ich powierchnie [Mes09], kolory [Jac07], ruch [Str84], worce [Geo76], lub ich połącenie [Gut07] wspomagają proces sacowania odległości obiektów od obserwatora; - różnice w jasności, które obserwowane są pry jednorodnym oświetleniu (np. ewnętrnym rys. 5.9) również mogą być wskaówką pry sacowaniu odległości od obserwatora Rys. 5.9 sacowanie głębokości sceny mgłą. - struktura obserwowanej sceny wskauje na pewne informacje o głębokości poscególnych obiektów, chociaż móg może popełniać pry okaji błędy (rys. 5.10); Rys Wiualna deformacja obiektów A i B wględem postreganej struktury głębi sceny. 20

21 4.1 Aktywne metody budowania mapy dysparycji Aktywne metody sacowania głębokości polegają w głównej miere na wysłaniu w głąb sceny pewnej dodatkowej energii, którą jest oświetlona scena, a następnie pasywnie analiuje się energię odbitą od obiektów. Koniecność wysłanie dodatkowej energii jest jednej strony wadą tej grupy metod, ale charakteryują się one dużo więksą precyją pomiarów. Najcęściej dodatkowe wysłanie energii w głąb sceny jest realiowane popre dodatkowe oświetlenie sceny. O ile wykłe lampy żarowe nie dają adowalającej precyji, o tyle światło strukturyowane, o nanym układie worca, którym oświetlana jest scena, a następnie kamera innej perspektywy ocenia niekstałcenia worca powala bardo skutecnie ocenić głębokość poscególnych elementów sceny. Rys Schemat projekcji worca i oceny niekstałceń (potencjalnej głębokości) perspektywy odpowiednio ustawionej kamery [Alb98]. Można również mieryć cas, w jakim impuls światła prebył drogę od źródła do sensora, po drode odbijając się od obiektu. Najcęściej w tego typu podejściu bauje się na świetle podcerowym (IR) lub na świetle laserowym. Zaletą tego podejścia jest wysoka precyja pomiaru (poniżej centymetra) ora wysoka cęstotliwość pretwarania (100 fps). Na podobnej asadie wykorystuje się ultradźwięki w popularnym badaniu USG, np. do badania płodu. 4.2 Pasywne metody budowania mapy dysparycji Metody naywamy pasywnymi, jeśli baują na naturalnym oświetleniu tła i na optycnej informacji arejestrowanej na obraach. Metody te rejestrują obray a pomocą sensorów obrau i sacują mapę głębokości pomocą obliceń komputerowych. Wśród metod pasywnych można wyróżnić jesce dwie podgrupy metod: jedno-obraowe (ang. monocular) i wielo-obraowe (ang. multiview). Metody jedno-obraowe baują na pojedyncej ramce lub sekwencji pojedyncych ramek obrau. Baują one głównie na obserwowanej strukture obrau i ałożonej strukture obserwowanych obiektów wyposażenia [Fra01], nanych elementów ludkiego ciała [Nag02] cy układu ścian i podłogi [Del05]. Można sacować również strukturę sceny na podstawie śledenia ruchu punktów obiektów w casie [Od07]. Rys Sacowanie odległości obiektów na podstawie wajemnej odległości charakterystycnych punktów [Od07] 21

22 Powyżse rowiąania powalają sacować odległość wględną, ponieważ trudno jest na baie jednego obrau bewględnie osacować odległości do obserwowanego obiektu. Jedyną metodą jedno-obraową, która próbuje sacować bewględną odległość obiektu od kamery jest podejście baujące na romaaniu (ang. defocusing level) obrau poa obsarem ostrości. Oblicenia preprowada się wykorystaniem operatora Laplace a, który oblica drugą pochodną prestrenną każdego piksela na podstawie określonego jego sąsiedtwa [Hel01]. Porównanie stopnia romycia e nanymi własnościami optycnymi kamery powala osacować odległość, na jakiej najdują się arejestrowane fragmenty obrau (rys. 5.13) Rys Sacowanie odległości na baie ostrości [Mal08]. Metoda ta jednak jest podatna na błędy scególnie, jeśli stopień romycia obrau jest nacny lub, gdy pojawia się dodatkowy sum, na prykład spowodowany materiałem fotografowanego obiektu. Drugą grupą metod pasywnych sacowania głębi sceny są metody oparte o dwa lub więcej obraów rejestrujących scenę. Stereowija jest scególnym prypadkiem tych metod, gdy obra jest rejestrowany pry pomocy dwóch kamer. Klucowym problemem pry metodach sacowania głębi opartych o dwa lub więcej obraów jest problem dopasowania (ang. matching). Istnieją ctery główne nurty próbujące rowiąać ten problem: lokalny, kooperacyjny, dynamicnego programowania i globalnej aproksymacji. Pierwsa grupa biere pod uwagę jedynie dysparycję wewnątr skońconego, ograniconego okna lub sąsiedtwa o podobnym rokładie jasności [Isl04, Wil98]. Porównuje się w tym celu wartości współcynnik dopasowania (SAD suma wartości bewględnych różnic, SSD suma kwadratów różnic lub dowolna inna charakterystyka sąsiedtwa piksela) dla każdej poycji okna jest porównywana innymi poycjami. Okna są romiaru k x k pikseli. Na dwóch obraach najduje się okna, których współcynnik dopasowania jest najbardiej podobny, a następnie dysparycja odciętych jest oblicana na podstawie poycji dwóch odpowiadających sobie okien (rys. 5.14). Rys Ruchome okno służące do odnaleienia presunięcia krawędi [Hir02] Główną wadą tego podejścia jest licba operacji, które musa być preprowadone o(n) = N 3 x k 4, gdie N jest romiarem obrau w pikselach, a k jest romiarem analiowanego okna. Rąd łożoności algorytmu powoduje, że nie są one najsybse (1 do 5 fps [Hir02]). Innym podejściem do lokalnego dopasowania polega na dopasowaniu punktów. Polega na odnaleieniu w obu obraach bioru punktów charakterystycnych, a następnie oblicenia ich dysparycji. Tego typu algorytmy też nie należą do najsybsych [Kim06, Liu06]. Dla pryjętego, bowiem rokładu punktów 22

23 charakterystycnych, tylko na baie odnaleionych na różnych obraach punktów mierona jest dysparycja. Poycję punktów nieidentyfikowanych należy interpolować, co powoduje błędy osacowania. Metoda słabo radi sobie dużymi gładkimi powierchniami, na których trudno identyfikować punkty charakterystycne. Drugą grupą jest podejście kooperacyjne, którego ałożeniem jest naśladowanie pracy ludkiego mógu. Sieć neuronowa iteruje anim osiągnie stan stabilny [May03, Zit00]. Kolejnym podejściem jest podejście worowane na programowaniu dynamicnym. W podejściu tym porównywane są całe linie pomiędy sobą. Podejście to bauje na ałożeniu, że uporądkowanie linii w obraie jest takie samo. Ewentualny problem dopasowania linii może być eliminowany popre łapanie pewnych punktów odniesienia, np.: pionowych krawędi [Oht85] lub poiomu podłogi [Bob99]. Podejście to należy do jednego sybsych (50 fps [Kam08]) Grupa metod baujących na globalnej optymaliacji posukuje dysparycji, która minimaliuje globalny kost lub funkcję energii dopasowania obsarów obraów do siebie [Kac04]. Najprościej odnieść do oblicania mapy dysparycji dla układu kanonicnego. Najcęstsym presunięciem obiektu w obraie jest presunięcie poiome, które onaca dobre skalibrowany rig stereoskopowy. Wtedy dysparycję licymy e woru: Dx ( pl, pr) = xl xr = gdie x L, x R są odpowiadającymi sobie współrędnymi tego samego punktu obiektu w obraie lewym i prawym,, b jest baą układu kamer, f ogniskową, a recywistą odległością od obiektu do płascyny baowej (płascyny matrycy). W prypadku, gdy pojawia się dysparycja pionowa D y, licona analogicnie wdłuż osi y, to wtedy sumarycna dysparycja D jest oblicana metryki euklidesowej. D = D x D y Zakres pomiaru głębokości obiektów sceny ależy dość istotnie od rodielcości matrycy i jej fiycnego romiaru. Pojedyncy piksel obrau jest bowiem najmniejsą jednostką, o jaka może różnić się położenie obserwowanego punktu na dwóch obraach. Dokładność sacowania głębokości ależy atem, od fiycnej serokości piksela (S W /S w ) i odległości, na której najduje się obserwowany punkt () bf = f S S W w b S S 2 W w Preprowadając symulacją na recywistych parametrach dla bay b rędu 5 cm ora rodielcości poiomej matrycy 1024 piksele i kącie widenia 60º akres skoku pomiaru głębokości na odległości 10 m wynosi nawet ok. 3m (dokładnie 2.91 m) W rowiąaniach mających na celu sybkie sacowanie mapy dysparycji celem określenia sacunkowej głębi poscególnych elementów planu sugeruje się astosowanie metod pasywnych opartych o analię prostych cech, które mogą być sybko oblicane w kontrolere riga dięki wsparciu sprętowemu (karty graficne GPU, układy FPGA). Prykładem takiej implementacji jest praca [Sa11], która oparta była o implementację na kartach graficnych i uyskała bardo dużą wydajność około 50 fps dla obraów o romiare 512x384 piksele. Charakterystyka układów pretwarania równoległego wskauje również, że 23

24 dla więksych romiarów obraów odpowiednie równoleglenie pretwarania obrau na wiele układów pretwarających równolegle nienacnie obniży wydajność algorytmu. Podstawowy algorytm polegał na próbkowaniu dla różnych wielkości okna NxN (od 3x3 do 17x17) i różnych hipotetycnych wartości dysparycji d (od 1 do 9) wartości sumy wartości bewględnej różnic (SAD ang. sum of absolute differences) koloru pikseli odpowiadających sobie okien w dwóch obraach. Wartość dysparcji, dla której miara SAD była minimalna wskaywana była jako właściwa wartość dysparycji piksela będącego środkiem analiowanego okna. Takie oblicenio-chłonne podejście ostało 4- krotnie optymaliowane, co dało ostatecnie bardo wydajne rowiąanie (rys. 5.15). Rys 5.15 Prykładowy estaw obraów w różnych etapach algorytmu [Sa11] a)obra prawej kamery; b) obra pretransformowany do skali sarości c) obra po filtre górnoprepustowym; d) mapa dysparycji otrymana dla bloków 15x15 pikseli; e) mapa pewności; f) podpikeslowa mapa dysparycji; 5 Bibliografia [Alb98] Albrecht, P. and Michaelis, B. (1998). Improvement of the Spatial Resolution of an Optical 3D Measurement Procedure. IEEE Transactions on Instrumentation and Measurement, Vol.47, pp [Sch03] Scharstein D., Richard Seliski. High-accuracy stereo depth maps using structured light. Computer Vision and Pattern Recognition, Proceedings IEEE Computer Society Conference on. Vol. 1. IEEE, [Kos03] Kostková, Jana, and Radim Sára. "Stratified Dense Matching for Stereopsis in Complex Scenes." BMVC. Vol