Scientific Bulletin of Che lm Section of Mathematics and Computer Science No 1/2008 WIELOPRZYSŁONOWY SENSOR OBRAZU KRZYSZTOF BEDERSKI 1,2, GRZEGORZ OLSZANOWSKI 2 1 Wydział Matematyki, Fizyki i Informatyki, Uniwersytet Marii Curie-Skłodowskiej w Lublinie 2 Instytut Matematyki i Informatyki, Państwowa Wyższa Szkoła Zawodowa w Chełmie Streszczenie Naukowcy z Uniwersytetu Stanford pod kierunkiem A El Gamal opracowali prototyp nowego wieloprzysłonowego sensora obrazu Sensor składa się z układu 166 76 przysłon, przy czym każda przysłona zaopatrzona jest w jedną mikrosoczewkę Pojedynczej przysłonie odpowiada submatryca o wymiarach 16 16 pikseli, gdzie rozmiar piksela wynosi 0,7 μm Nowy sensor pozwala nie tylko zarejestrować obraz, ale również pozwala uzyskać efekt trójwymiarowości obrazu 1 Wstęp P Wong, A El Gamal i K Fife z Uniwersytetu Stanford w Palo Alto (Kalifornia) opracowali nowy sensor do cyfrowych aparatów fotograficznych [1-5] Rysunek 1 Zdjęcie twórców nowego czujnika obrazu (od lewej stoją: P Wong, A El Gamal i K Fife) [6] Wieloprzysłonowy sensor obrazu (multi-aperture image sensor), bo taka jest jego pełna nazwa, stanowi 3-megapikselową matrycę, która rejestruje płaski dwuwymiarowy Treść artykułu była prezentowana w czasie VII Konferencji Informatyki Stosowanej (Chełm 30-31 maja 2008 r) 15
16 KRZYSZTOF BEDERSKI, GRZEGORZ OLSZANOWSKI obraz 2D [1,2] Tak wytworzony obraz jest rozkładany na mniejsze obrazy dzięki zastosowaniu wielu małych submatryc o wymiarach 16 16 pikseli Każda submatryca posiada własną soczewkę Dzięki zastosowaniu submatryc, 3-megapikselowa matryca rozkłada dwuwymiarowy obraz na mniejsze obrazy, które nieznacznie zachodzą na siebie Po wykonaniu zdjęcia obraz zarejestrowany przez wieloprzysłonowy czujnik obrazu jest analizowany przez odpowiednie oprogramowanie Program analizuje różnice w położeniu tego samego elementu obrazu zarejestrowanego przez poszczególne submatryce W ten sposób można określić odległość pomiędzy różnymi obiektami na zdjęciu Powstaje zdjęcie, z którym jest związana elektroniczna mapa głębi (depth map) Ztej mapy można uzyskać efekt trójwymiarowości zdjęcia Należy dodać, że mapa głębi opisuje również składniki RGB każdego piksela [3-5,7] 2 Budowa sensora obrazu Pojedynczy sensor obrazu ze zintegrowaną optyką jest przedstawiony na rysunku 2a Poniżej soczewki jest tu umieszczona submatryca o wymiarach 16 16 pikseli Wieloprzysłonowy czujnik obrazu składa się z wielu takich pojedynczych sensorów (rysunek 2b) [8] Rysunek 2 Sensor obrazu; (a) pojedynczy sensor obrazu, (b) wieloprzysłonowy sensor obrazu (Oznaczenia: lens - soczewka, aperture - przysłona, dielectric stack - stos z dielektryka, pixel - piksel) Porównanie konwencjonalnego sensora obrazu z wieloprzysłonowym sensorem obrazu przedstawiono na rysunku 3 Obraz dwóch punktów z fotografowanej sceny jest ogniskowany na powierzchni konwencjonalnego czujnika (rysunek 3a) W przypadku wieloprzysłonowego czujnika (rysunek 3b), obraz takich dwóch punktów jest ogniskowany w płaszczyźnie ogniskowej soczewki obiektywu powyżej płaszczyzny detektora obrazu Zastosowanie lokalnej optyki powoduje, że w płaszczyźnie wieloprzysłonowego czujnika tworzą się obrazy fotografowanej sceny, które częściowo pokrywają się [3,8]
WIELOPRZYSŁONOWY SENSOR OBRAZU 17 Rysunek 3 Powstawanie obrazu dwóch punktów fotografowanej sceny w konwencjonalnym sensorze obrazu i w sensorze wieloprzysłonowym W nieco inny sposób pokazano ogniskowanie fotografowanej sceny w płaszczyźnie detektora (układu submatryc) na rysunku 4 Soczewka obiektywu ogniskuje wybrany punkt fotografowanej sceny w płaszczyźnie ogniskowej umieszczonej powyżej detektora Dzięki zastosowaniu małej soczewki dla każdej submatrycy (rysunek 2a) wybrany punkt z fotografowanej sceny jest ponownie ogniskowany w płaszczyźnie detektora [9,10] Rysunek 4 Ogniskowanie w płaszczyźnie układu submatryc (Oznaczenia: objective lens - soczewka obiektywu, focal plane - płaszczyzna ogniskowa, multiple apertures -układ przysłon (z soczewkami,każda przysłona zawiera jedną soczewkę), array of small FPs - układ małych submatryc) Wieloprzysłonowy sensor obrazu składa się z układu m n przysłon, a każda przysłona ma swoją własną lokalną optykę i submatrycę składającą się z k k pikseli Tak najkrócej można opisać ten nowy sensor przedstawiony na rysunku 5 [3,9]
18 KRZYSZTOF BEDERSKI, GRZEGORZ OLSZANOWSKI Rysunek 5 Architektura zintegrowanego sensora obrazu Jeśli chodzi o najnowsze doniesienia dotyczące sensora wieloprzysłonowego, to w lutym 2008 roku ukazała się praca Fifa i wsp [5] Autorzy informują nas, że został zbudowany wieloprzysłonowy sensor obrazu składający się z 166 76 przysłon, a każdej przysłonie odpowiada układ 16 16 pikseli (pojedynczy piksel ma rozmiar 0,7 μm) To oznacza, że powstał nowy sensor wyposażony w 12616 mikrosoczewek Rysunek 6 Rejestracja obrazu tego samego przedmiotu przez trzy kolejne submatryce: (a) przedmiot w odległości h od płaszczyzny, w której zostały umieszczone malutkie soczewki, (b) przedmiot w odległości h 1 od tej płaszczyzny
WIELOPRZYSŁONOWY SENSOR OBRAZU 19 Jak już wspomniano wyżej, obraz rejestrowany przez wieloprzysłonowy czujnik obrazu jest analizowany przez oprogramowanie Na podstawie analizy różnic w położeniu tego samego obiektu zarejestrowanego przez poszczególne submatryce detektora, można określić odległości pomiędzy obiektami na zdjęciu, tworząc tym samym mapę głębi fotografowanej sceny [1,2] Rysunek 6 przedstawia ideę rejestracji tego samego przedmiotu (kuli) przez sąsiadujące ze sobą submatryce 1, 2i3[8] W przypadku usytuowania kuli w odległości h 1 od płaszczyzny, w której umieszczone zostały soczewki o bardzo małych rozmiarach, przesunięcie obrazu w sąsiadujących ze sobą submatrycach wynosi Δ (rysunek 6a) Zwiększając odległość kuli od tej płaszczyzny do wartości h 1, widzimy, że zmniejsza się przesunięcie obrazu do wartości Δ 1 (rysunek 6b) Wyznaczając wielkość przesunięcia obrazu w sąsiadujących ze sobą submatrycach można uzyskać mapę głębi 3D fotografowanej sceny [3,8] Spójrzmy na ten problem od strony matematycznej 3 Tworzenie obrazu 3D Chcąc obliczyć odległość do danego obiektu na podstawie odczytu przesunięcia obrazu zarejestrowanego przez wieloprzysłonowy sensor obrazu, spróbujemy przeanalizować rysunek 7 [3,9] Rysunek 7 Ogniskowanie obrazu punktu P na sensorze
20 KRZYSZTOF BEDERSKI, GRZEGORZ OLSZANOWSKI Wprowadzamy następujące oznaczenia: A - odległość fotografowanego przedmiotu od soczewki obiektywu, B - odległość obrazu przedmiotu od soczewki obiektywu, C - odległość obrazu przedmiotu od płaszczyzny mikrosoczewek, D - odległość pomiędzy płaszczyzną mikrosoczewek, a płaszczyzną submatrycy sensorów, f - długość ogniskowej obiektywu, g - długość ogniskowej mikrosoczewki, L - odległość pomiędzy parą przysłon Definiujemy współczynniki określające powiększenie obrazu [3]: (1) M = B A, (2) N = D C, oraz zakładamy, że (3) B + C = E i E = const Optymalne zogniskowanie obrazu na sensorach uzyskujemy przy odległości A 0 Dla tej nominalnej odległości A 0 wartości pozostałych parametrów wynoszą: B 0, C 0, D 0, M 0 i N 0 Parametr D 0 odpowiada grubości dielektryka Biorąc pod uwagę geometrię lokalnej optyki i położenie płaszczyzny ogniskowej obiektywu (przerywana linia na rysunek 7), możemy zapisać następującą relację: (4) (5) (6) Stąd Z równania soczewek C L 2 = D Δ 2 C L = D Δ 1 f = 1 A + 1 B otrzymujemy ( 1 (7) A = f 1 ) 1 B Z (3) mamy B = E C i dodatkowo przyjmujemy, że (8) E = B 0 + C 0
WIELOPRZYSŁONOWY SENSOR OBRAZU 21 Zatem (9) B = B 0 + C 0 C i wyrażenie na A przyjmuje postać: ( ) 1 1 (10) A = f 1 B 0 + C 0 C W pracy [3] podano wyrażenia określające B 0, C 0 (11) B 0 = f(m 0 +1), (12) C 0 = D 0 N 0 Przyjmując D = D 0 z (5) otrzymujemy (13) C = D 0L Δ Po wstawieniu wyrażeń (11-13) do formuły (10) otrzymujemy ostatecznie wzór określający odległość A: [ 1 (14) A = f 1 f(m 0 +1) + D 0 + D ] 1 0L N 0 Δ Znając wielkość przesunięcia Δ obrazu tego samego obiektu w sąsiadujących ze sobą submatrycach, możemy określić odległość A tego obiektu Dlatego po wykonaniu zdjęcia oprogramowanie, które przetwarza obraz, analizuje różnice położenia tego samego obiektu zarejestrowane przez poszczególne submatryce W ten sposób można oszacować np odległości pomiędzy różnymi obiektami na zdjęciu [7] Powstaje więc zdjęcie, któremu towarzyszy mapa głębi, co pozwala uzyskać efekt trójwymiarowości zdjęcia - efekt 3D Rysunek 8 Proces powstawania obrazu 3D
22 KRZYSZTOF BEDERSKI, GRZEGORZ OLSZANOWSKI Na rysunku 8 przedstawiono w bardzo uproszczonej formie etapy powstawania trójwymiarowego zdjęcia [8] Dwuwymiarowy obraz fotografowanej papugi zostaje utworzony w płaszczyźnie ogniskowej obiektywu (rysunek 8a) Wieloprzysłonowy sensor obrazu rejestruje fotografowaną scenę w ten sposób, że dwuwymiarowy obraz dzięki zastosowaniu bardzo małych submatryc rozkłada się na mniejsze zachodzące na siebie obrazy (rysunek 8b) Obraz zapisany przez sensor zostaje przetwarzany przez odpowiednie oprogramowanie w taki sposób, by w końcu uzyskać efekt 3-wymiarowości (rysunek 8d) 4 Podsumowanie Wynalezienie wieloprzysłonowego sensora obrazu przez naukowców z Uniwersytetu z Stanford, to nie tylko nowa technika wytwarzania obrazu 3D Z powstaniem nowego sensora wiąże się lepsze odwzorowanie kolorów zdjęcia (każda submatryca rejestruje dane o jednym wybranym kolorze podstawowym) Dzięki rejestrowaniu tego samego obrazu przez liczne submatryce redukcji ulegają szumy Zmniejszeniu ulegnie także ziarno na zdjęciach wykonanych przy wyższych czułościach Wysokie wymagania stawiane wytwarzanym obiektywom też mogą zostać zrewidowane Wadą wieloprzysłonowego sensora obrazu jest 10-krotnie większy pobór energii [7], niż to ma miejsce w przypadku dotychczas produkowanych sensorów CCD, czy CMOS To z kolei prowadzi do szybszego rozładowywania się baterii lub akumulatorków Nie ma jeszcze zbyt wielu pozycji literatury poświęconych wieloprzysłonowemu sensorowi obrazu, bo jest to bardzo nowy wynalazek, ale kilka prac na ten temat, poza wcześniej cytowanymi, można jeszcze znaleźć w literaturze [11-17] Nowy sensor obrazu jest dużym krokiem naprzód, jeśli chodzi o wprowadzanie najnowszych rozwiązań technologicznych w cyfrowych aparatach fotograficznych oraz cyfrowych kamerach Bibliografia [1] Shankland S, Stanford camera chip can see in 3D, http://wwwnewscom/8301-13580 3-9874436-39html?tag=bl [2] Fotografie w 3D, http://wwwpcworldpl/news/141214html [3] Fife K, El Gamal A and Wong H-S P, A 3D Multi-Aperture Image Sensor Architecture, Proceedings of the IEEE Custom Integrated Circuits Conference, pp 281-284, September 2006 [4] Fife K, El Gamal A and Wong H-S P, A 05um Pixel Frame-Transfer CCD Image Sensor in 110nm CMOS, IEEE International Electron Devices Meeting, pp 1003-1006, December 2007 [5] Fife K, El Gamal A and Wong H-S P, A 3MPixel Multi-Aperture Image Sensor with 07um Pixels in 011um CMOS, IEEE ISSCC Digest of Technical Papers, pp 48-49, February 2008 [6] Stober D, Stanford researchers developing 3-D camera with 12,616 lenses, http://news-servicestanfordedu/news/2008/march19/camera-031908html?view=print [7] http://wwwuprppl/media at/przeglad29 02pdf [8] Fife K, El Gamal A and Wong H-S P, A 3MPixel Multi-Aperture Image Sensor with 07um Pixels in 011um CMOS, IEEE ISSCC, February 2008 http://islstanfordedu/groups/elgamal/people/kfife/data/v02 03-Fife OOpdf [9] Fife K, El Gamal A and Wong H-S P, Multi-Aperture Imaging Devices, CMOS Emerging Technologies Workshop, July 2007 http://islstanfordedu/groups/elgamal/people/kfife/data/cmos ET 2007-Fifepdf
WIELOPRZYSŁONOWY SENSOR OBRAZU 23 [10] Fife K, El Gamal A and Wong H-S P, A 05um Pixel Frame-Transfer CCD Image Sensor in 110nm CMOS, IEEE IEDM, December 2007, http://islstanfordedu/groups/elgamal/people/kfife/data/38-1 fife 1ppt [11] Kavusi S and El Gamal A, Designing High Dynamic Range and High Speed Image Sensors, http://scienstanfordedu/cpiq/scien-i3a-kavusipdf [12] El Gamal A and Eltoukhy H, CMOS Image Sensors, IEEE Circuits and Devices Magazine, May/June 2005 [13] Saxena A, Sun M and Ng A Y, Learning 3-D Scene Structure from a Single Still Image, Computer Science Department, Stanford University, Stanford, CA 94305 [14] Saxena A, Sun M and Ng A Y, 3-D Depth Reconstruction from a Single Still Image, Computer Science Department, Stanford University, Stanford, CA 94305 [15] Scientists to develop 3D camera with 12,616 lenses, http://wwwtomshardwarecom/2008/03/21/ scientists to develop 3d camera with 12 616 lenses/ [16] Persons T M T M, Game Changing Technologies, Computational Imaging Systems, http://wwwdticmil/ndia/2007pto/wednesday/drtimothypersonspdf [17] Stanford researchers developing 3-D camera with 12,616 lenses, http://wwwphysorgcom/news125159442html MULTI-APERTURE IMAGE SENSOR KRZYSZTOF BEDERSKI, GRZEGORZ OLSZANOWSKI Abstract Scientists from Stanford University, lead by A El Gamal, have developed a multi-aperture image sensor It consists of 166 76 array apertures where 16 16 pixel array of 0,7 micron pixels The new imaging sensor can record not only images but also their physical distance from the camera The implication is that 3D images provides the creation with this image sensor