Program wykładu. 1. Systemy rejestracji obrazów technologie CCD, CMOS

Transkrypt

1

2 Program wykładu 1. Systemy rejestracji obrazów technologie CCD, CMOS 2. Cyfrowe metody obróbki obrazów ruchomych, metody cyfrowego polepszania obrazów 3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1 i MPEG2) informatyka + 2

3 Etapy przetwarzania sygnału wizyjnego Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji. we/wy cyfrowe Kompresja We analogowe A/C Próbkowanie Bufor ramek Skanowanie C/A Wy analogowe informatyka + 3

4 Procesy zachodzące w analizatorach obrazu Przetwarzanie optoelektryczne, polegające na proporcjonalnej do natężenia oświetlenia modyfikacji elektrycznych właściwości ciała stałego. Akumulacja wytworzonej informacji elektrycznej w miejscu jej powstania, do czasu jej odczytu. Adresowanie, czyli odczytanie wytworzonej informacji (modyfikacji) elektrycznej i opatrzenia jej adresem, umożliwiającym określenie kierunku (lub miejsca) padania odpowiadającego tej informacji strumienia świetlnego. informatyka + 4

5 Przetwarzanie optoelektryczne Efekt Fotoelektryczny - polega na uwalnianiu elektronów pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten elektron fotonu o określonej energii. Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle duża, że elektron po wzbudzeniu opuszcza strukturę materiału. Efekt fotoelektryczny wewnętrzny - w wyniku efektu fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury materiału. Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego, zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest zawsze półprzewodnikiem o właściwościach przewodzących bliższych izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej. informatyka + 5

6 Akumulacja i adresowanie pikseli Akumulacja ładunku ma za zadanie podwyższenie czułości analizatora obrazów. Adresowanie polega na wytwarzaniu informacji o wartości i położeniu (adresie) fotoładunku zgromadzonym w określonym pikselu. Adresowanie może być dokonywane w sposób ciągły (analogowo) lub - jeżeli na powierzchni światłoczułej wytworzono skończoną liczbę elementów przetwarzająco-akumulujących - w sposób dyskretny. informatyka + 6

7 Adresowanie pikseli Adresowanie za pomocą rejestru przesuwającego, stosowane w analizatorach typu CTD. informatyka + 7

8 Koncepcja budowy analizatora Fotoładunki są generowane i akumulowane - podczas okresu akumulacji - w umieszczonych pionowo obok siebie analizatorach linii, nazywanych analizatorami kolumn. Rejestr adresujący każdego z analizatorów kolumn nie jest zakończony przetwornikiem q/u, lecz dołączony do przypisanego mu ogniwa rejestru przesuwającego CCD, zwanego rejestrem wyjściowym. obrazów typu CTD informatyka + 8

9 Zasada budowy analizatora obrazów typu CCD FT (z przesuwem półobrazu) Bezpośrednie zastosowanie w koncepcji analizatora rejestrów przesuwających jako analizatorów kolumn nie jest możliwe, ze względu na zbyt długi czas transferu fotoładunków, równy okresowi akumulacji. Zaplamienie analizowanych obrazów osiągnęłoby w takim przypadku nieakceptowalny poziom. informatyka + 9

10 APS (Active Pixel Sensors) Przetworniki Charge Coupled Devices (CCD) opracowano we wczesnych latach 70. XX wieku z przeznaczeniem do akwizycji obrazu z niskim poziomem szumów. Przetworniki typu CMOS Active Pixel Sensors opracowano w drugiej połowie lat 90. XX wieku w celu zmniejszenia kosztów produkcji sensorów i zmniejszenia poboru mocy. informatyka + 10

11 APS korzyści Niski pobór mocy(ok. 50 mw), 3.3V cyfrowe wyjście wideo Niższe koszty komponentów (redukcja ok. 5X) Łatwość integracji przetworników w układach scalonych kamera w jednym układzie scalonym wyjścia cyfrowe zoom elektroniczny / okna w oknach kompresja obrazu Redukcja zależności od japońskich części CCDs kontrolery informatyka + 11

12 Architektura CMOS APS W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma swój przetwornik ładunku na napięcie, każdy piksel ma swój adres i jego zawartość może być odczytana w dowolnej kolejności informatyka + 12

13 Trójprzetwornikowa analiza obrazu barwnego u s i FO1, FO2, FO3 kanałowe filtry optyczne, (i= R,G,B) wyjściowe sygnały obrazu barw podstawowych. informatyka + 13

14 Zasada konstrukcji analizatora obrazów barwnych a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d) przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B), d) z segmentami subtraktywnymi ( R) i ( B) informatyka + 14

15 Filtry mozaikowe Na jeden piksel czerwony lub niebieski przypadają dwa zielone. Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na zmiany jasności w zielonej części widma. Aby uzyskać dane o kolorze danego punku musimy skorzystać z algorytmu interpolacji i danych z sąsiednich pikseli. informatyka + 15

16 System do cyfrowego przetwarzania obrazów ruchomych informatyka + 16

17 Taśmy: MiniDV, Digital 8. Kamery cyfrowe Parametry: - rozdzielczość 500 do 540 linii - dźwięk 2 kanały rozdzielczości 16 bitów z próbkowaniem 48 khz lub 4 kanały 12 bitów 32 khz - port IEEE 1394 FireWire informatyka + 17

18 Komputerowa edycja obrazu Upowszechnienie się w kamerach amatorskich cyfrowego standardu DV spowodowało znaczące zmiany w konstrukcji kart i programów edycyjnych. Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie dobrej jakości obrazu o rozdzielczości poziomej 500 linii. Karty komputerowe zostały wyposażone w interfejs IEEE 1394 umożliwiający dwukierunkową transmisję skompresowanego sygnału DV. Przy szybkich komputerach kodek DV może być realizowany programowo. Powszechne użycie DVD jako kolejnego po kasecie DV nośnika cyfrowego, spowodowało pojawienie się kart komputerowych stosujących kompresję MPEG-2. informatyka + 18

19 System 3CCD Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB informatyka + 19

20 Skanowanie Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne) Skanowanie międzyliniowe Skanowanie progresywne informatyka + 20

21 Przykład zastosowania skanowania progresywnego oraz międzyliniowego 4CIF x 596 2CIF x 288 informatyka + 21

22 Efekty specjalne Kluczowanie Chroma Key: nałożenie na zwykle niebieskie lub zielone tło nowego obrazu. informatyka

23 Standardy MPEG MPEG-1 (1992) umożliwia przesyłanie obrazu audio-video z przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub 352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu audio-video Video CD, którego jakość była porównywalna do standardu VHS. MPEG-2 (1994) umożliwia przesyłanie obrazów o znacznie większych rozdzielczościach, aż do 1920 x 1152 punktów, i przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do opracowania i wdrożenia cyfrowych standardów emisji programów telewizyjnych. MPEG-4 (1999) przystosowany został głównie do kompresji danych strumieniowych (np. wideokonferencje), oferuje najwyższy stopień kompresji z całej rodziny standardów MPEG. informatyka + 23

24 Kompresja MPEG-1 MPEG-1 Szybkość bitowa: 1,5Mb/s Rozdzielczość: SFI (Source Intermediate Format) 352p x 240l x 30FPS 352p x 288l x 25FPS nośnik magnetyczny nośnik optyczny sieć komputerowa informatyka + 24

25 Przestrzeń kolorów RGB i YC b C r Tryb YC b C r przechowuje informacje o kolorze jako luminacja (jasność - Brightness) chrominancja (barwa - Hue) Tryb YC b C r jest używany przy kompresji MPEG ponieważ umożliwia osiągnięcie lepszego współczynnika kompresji niż tryb RGB Y = 0.299(R G) + G (B G) C b = 0.564(B Y); C r = 0.713(R Y) informatyka + 25

26 Przestrzeń kolorów RGB i YC b C r Składowe luminancji Y i chrominancji C R C B obrazu kolorowego. informatyka + 26

27 MPEG-1 struktura próbek w obrazie Dla standardu MPEG-1 przyjęto strukturę próbkowania 4:2:0 (na 4 próbki luminancji przypadają dwie próbki chrominancji w jednej linii, oraz 0 próbek chrominancji w kolejnej linii). Wartość próbek chrominancji wyznacza się poprzez interpolację dla położenia pośrodku kwadratu złożonego z próbek luminancji. informatyka + 27

28 MPEG-1 struktura próbek w obrazie Makroblok to elementarna porcja obrazu kodowana przez koder MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku chrominancji C r i jednego bloku chrominancji C b. informatyka + 28

29 MPEG-1 struktura próbek w obrazie Przekrój (slice) to pośrednia struktura złożona z pewnej liczby makrobloków występujących kolejno w porządku rastrowym. Może zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać się na wiele wierszy. informatyka + 29

30 DCT Transformara kosinusowa (DCT) operuje na znormalizowanych blokach 8x8 pikseli przekształca dane do postaci umożliwiającej zastosowanie efektywnych metod kompresji IDCT DCT IDCT Przekształcenie Przekształcenie macierzy Odwracalność amplitud macierzy z(i,j) transformacji Z(k,l) w w blok DCT macierz Z(k,l) pikseli współczynników z(i,j) transformat informatyka

31 Fizyczna interpretacja współczynników macierzy DCT informatyka + 31

32 Kwantyzacja Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez podzielnie ich przez właściwy współczynnik znajdujący się w tabeli kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby całkowitej. Proces kwantyzacji można opisać równaniem: k ( x ) = round( F( Q( x, y ) x, y ) ) gdzie: F(x,y) współczynniki transformacji, Q(x,y) tablica kwantyzacji, round(x) funkcja zaokrąglająca x do najbliższej liczby całkowitej. informatyka + 32

33 Kodowanie Huffmana Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w malejącym porządku ich częstości występowania. Dopóki istnieją przynajmniej dwa drzewa: z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2 utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2, przypisz 0 każdej lewej, a 1 każdej prawej gałęzi drzewa. Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia. Przykład: Z={A,B,C,D,E,F}, P={0.35, 0.17, 0.17, 0.16, 0.10, 0.05} informatyka + 33

34 MPEG-1 obrazy typu I Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG. 1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek sygnału luminancji i 2 chrominancji). 2. II etap: niezależne przekształcanie każdego bloku przy wykorzystaniu DCT. 3. III etap: kwantowanie - podzielenie każdego współczynnika z macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacji i zaokrąglenie wyniku do liczby całkowitej (utrata części informacji). 4. IV etap: kodowanie kodem Huffmana skwantowanych współczynników macierzy DCT. O stopniu kompresji tego etapu decyduje liczba poziomów kwantyzacji współczynników macierzy DCT- im mniejsza liczba poziomów, tym większa kompresja. informatyka + 34

35 MPEG-1 Obrazy typu P Definiowanie elementów ruchomych: dla każdego makrobloku obrazu bieżącego wyszukuje się najbardziej podobny blok 16x16 pikseli w poprzednim obrazie typu I lub P. Dopasowuje się je tylko do składowej luminancji. Zakłada się jedynie liniowe przesunięcie bloku pikseli, nie uwzględnia się obrotu ani zmiany wymiaru bloku. Położenie znalezionego bloku określa się za pomocą wektora przesunięcia tego bloku w stosunku do makrobloku w obrazie typu P- tzw. wektora ruchu. informatyka + 35

36 MPEG-1 Obrazy typu B Obrazy typu B kodowane są podobnie jak obrazy typu P Kodowana jest różnica między bieżącym makroblokiem a jego predykcją. predykcja poszukiwanie najbardziej podobnych bloków w dwu obrazach odniesienia: wcześniejszym i późniejszym wyznaczenie dwóch wektorów ruchu wyznaczenie bloku prognozowanego poprzez interpolację ze znalezionych bloków: wcześniejszego i późniejszego informatyka + 36

37 MPEG 1 obrazy typu B informatyka + 37

38 MPEG-1 GOP Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy obrazów GOP (Group Of Pictures) informatyka + 38

39 MPEG1 kolejność transmisji ramek I B B B P B B B P B B B I informatyka + 39

40 MPEG-2 MPEG-2 Szybkość bitowa: 10Mb/s 40Mb/s Przeznaczony do rozpowszechniania telewizji programowej przetwarzanie obrazów z wybieraniem międzyliniowym SDTV telewizja standardowej rozdzielczości HDTV telewizja wysokiej rozdzielczości większa rozdzielczość próbkowania zmieniona i rozszerzona struktura próbkowania chrominancji skalowalność jakościowa przestrzenne kodowanie obrazu informatyka + 40

41 MPEG-2 struktura próbkowania Struktury próbkowania w standardzie MPEG-2 informatyka + 41

42 MPEG-2 struktura makrobloku Struktury makrobloków dla różnych struktur próbkowania 4:4:4 4:2:2 4:2:0 informatyka + 42

43 MPEG-2 struktura makrobloku Wybieranie międzyliniowe ramka sygnału składa się z dwóch pól Struktura makrobloku luminancji podczas kodowania DCT ramki Struktura makrobloku luminancji podczas kodowania DCT pola informatyka + 43

44 MPEG-2 profile i poziomy informatyka + 44

45

46 informatyka + 46