POBR Egzamin 1. Wszystkie kroki rozpoznawania obrazów (chyba od akwizycji do rozpoznania) a) Akwizycja : digitalizacja, czyli uzyskiwanie cyfrowej funkcji jasności na podstawie informacji analogowej uzyskanej za pomocą różnego rodzaju detektorów b) Kompresja obrazu : zapis dyskretnej funkcji np. jasności do postaci ciągu znaków, który zajmuje mniej niż oryginalna funkcja tak aby na tej podstawie dało się odtworzyć funkcję pierwotną c) Poprawa jakości obrazu: usuwanie zakłóceń ( szumów ), poprawa kontrastu ( wyostrzanie krawędzi), usuwanie zniekształceń określonego rodzaju (np. geometrycznych, prześwietleń) d) Efekty specjalne: stosowanie specjalnych algorytmów przetwarzania obrazu w celu uzyskania określonych efektów ( morphing, warping ), optymalizacja efektów ( głębia ostrości, zmiany oświetlenia ) e) Analiza i rozpoznanie obrazu: segmentacja ( redukcja nadmiarowości informacji ), analiza cech, identyfikacja 2. Różnice i podobieństwa RGB i HSV a) Podobieństwa: - złożone z 3 składowych b) Różnice: - RGB - sześcian; HSV - pojedynczy odwrócony stożek w układzie cylindrycznym - RGB - nieintuicyjny dla człowieka; HSV - intuicyjny - RGB - składowe: czerwony, niebieski, zielony; HSV - nasycenie, jasność, odcień 3. Różnice i podobieństwa srgb i AdobeRGB a) Podobieństwa: - składowe to 3 podstawowe kolory: czerwony, niebieski, zielony - nieintuicyjne dla człowieka - ustandaryzowane pod kątek urządzeń cyfrowych takich jak monitor b) Różnice: - srgb odwzorowuje 35% wszystkich znanych barw, AdobeRGB 50% 4. Podobieństwa i różnice CIE RGB i CIE XYZ a) Podobieństwa: - Oba polegają na trójchromatycznym modelu barw b) Różnice: - CIE XYZ jest rozwinięciem CIE RGB - CIE RGB dopuszcza przyjmowanie ujemnych wartości składowych widmowych, CIE XYZ nie posiada ujemnych składowych widmowych w całym zakresie długości fal - Trzy składowe RGB reprezentują rzeczywiste barwy, XYZ określa w składowych xi z barwy fikcyjne, a y określa kierunek strumienia światła 5. Balans bieli - aspekty teoretyczne i praktyczne Proces kompensacji barw obrazu zarejestrowanego przez matrycę dla temperatury barwowej oświetlenia, jakie towarzyszyło wykonaniu fotografii. Automatyczny balans bieli oznacza, iż aparat sam ustawi barwy. Znajduje on najjaśniejszy punkt na zdjęciu, i zakłada, iż powinien mieć on kolor biały. Do niego porównuje wszystkie elementy kadru, ponieważ nie wie on jak wygląda kolor biały, ale wie jak wygląda kolor czerwony i niebieski, względem koloru białego. Gdy najjaśniejszy punkt zdjęcia nie jest biały, automatyka nie pomoże. W takim układzie musimy ręcznie pokazać jak wygląda kolor biały i aparat względem tego koloru będzie reprodukował resztę barw. Im lepszy biały kolor pokażemy, tym wierniejsze barwy na zdjęciu. W praktyce wykorzystuje się np. kartkę białego papieru jako wzorzec bieli, co daje pozytywny efekt bez
względu na światło zastane. W efekcie urządzenie przyjmując za źródło biel kartki dostosuje pozostałą paletę barw do zastanego wzorca, korygując inne barwy. 6. Różnice i podobieństwa matryc z filtrem Bayera i Foveon Matryca z filtrem Foveon: Jedna matryca z 3 warstwami Działa na zasadzie różnicy w penetracji elementów krzemowych na rożna głębokość przez rożne barwy światła Słabo działa przy słabym świetle Wysoki koszt 1 składowa barwy ma cala matryce (3 składowe na każdy piksel) Matryca z filtrem Bayer: Jedna matryca (zielony 50% matrycy, czerwony i niebieski po 25%) Rozmywa krawędzie przy akwizycji Propagacja szumu Niski koszt 7. Wymień prawa Grassmanna i krótko opisz ich konsekwencje dla przetwarzania obrazów cyfrowych. a) Dowolne światło może być opisane za pomocą trzech zmiennych niezależnych, np udziału barw podstawowych b) Ciągła zmiana barwy jednego ze składników mieszaniny złożonej z dwóch świateł, powoduje ciągłą zmianę barwy mieszaniny c) Barwa mieszaniny świateł ( przy określonych wartościach strumieni składników ) zależy tylko od barw jej składników, a nie zależy od ich składu widmowego Konsekwencje: a) Tę samą barwę można opisywać za pomocą różnych mieszanin kolorów b) Nawet drobna zmiana jednej z barw powoduje proporcjonalną zmianę mieszaniny (??) c) Przy akwizycji można uzyskać różne barwy tego samego przedmiotu, przy różnych oświetleniach ( kolor może pochodzić z mieszaniny innych barw ) 8. Wymień i opisz podstawowe rozwiązania stosowane do akwizycji barwnych obrazów cyfrowych a) Kamera CCD : możliwość uzyskiwania dynamicznego obrazu, duża prędkość przetwarzania, tania, niewielkie wymiary i masa, ale niska rozdzielczość b) Cyfrowy aparat fotograficzny: wysoka rozdzielczość c) Skaner: bardzo wysoka rozdzielczość, możliwość wprowadzania przygotowanych wcześniej obrazów, długi czas przetwarzania d) Manualne tworzenie obrazu przy pomocy programu graficznego: wysoka pracochłonność, uproszczenie modelowanego świata 9. Wyjaśnij co to jest wybieranie międzyliniowe (interlace), jakie są jego konsekwencje przy akwizycji obrazów cyfrowych oraz podstawowe sposoby korekcji. Przeplot: zjawisko polegające na wyświetleniu/przesyłaniu do odbiornika tv naprzemiennie parzystych i nieparzystych linii obrazu. Miało to na celu zmniejszenie pasma przenoszenia sygnału lub zwiększeniu pozornej rozdzielczości Przeplot był stosowany, aby zredukować zjawisko migotania obrazu, ale skutkowało to pogorszeniem ostrości obrazu Korekcja: Zbieranie wszystkich linii, obliczanie przesunięcia, przesuwanie linii tak żeby obraz był spójny i wyświetlenie Algorytmiczne wyznaczenie brakujących linii
10. Opisz i wyjaśnij związek, jaki zachodzi pomiędzy algorytmami redukcji szumów i wyostrzania obrazów cyfrowych. Krawędzie i szum to wysokoczęstotliwościowe składowe widma częstotliwościowego obrazu. Aby zredukować szum stosujemy filtr dolnoprzepustowy co psuje nam krawędzie i odwrotnie filtr górnoprzepustowy wyostrza krawędzie ale również zwiększa szum => zależność antagonistyczna. 11. Opisz na czym polega i do czego stosowana jest operacja wyrównywania histogramu. W jakich sytuacjach wyrównywanie histogramu może spowodować pogorszenie jakości obrazu? Wyrównywanie histogramu polega na takiej zmianie wartości punktów obrazu aby w równych przedziałach histogramu ilość punktów obrazu była w przybliżeniu taka sama. Operacja ta pozwala na uwypuklenie mało kontrastowych szczegółów w obrazie. Pogorszyć możemy obraz, w którym dominują jakieś składowe. Z własnego doświadczenia wiem, że często kiedy prześwietlam/niedoświetlam zdjęcia, taka operacja się przydaje. Prześwietlony obraz ma więcej jasnych wartości (więcej z prawej na histogramie), niedoświetlony obraz ma więcej ciemnych wartości ( więcej z prawej na histogramie). Wyrównanie histogramu balansuje nam jasność obrazka/zdjęcia tak, że wygląda to lepiej. Jednak jest jeden warunek: Gdy na zdjęciu dominują nam jakieś kolory np. mając takie zdjęcie błękitnego nieba, po wyrównaniu histogramu, nasz błękit staje się nieco podkolorowany i przez to jest nienaturalny. Zapytałem o to prof. Rokitę na wykładzie. Podpowiedział, że przed wyrównaniem takiego histogramu, należy wykonać przejście z RGB na HSV, dzięki czemu otrzymamy możliwość wyrównania po jasności. 12. Opisz na czym polega i do czego stosowana jest operacja rozciągania histogramu. W jakich sytuacjach wyrównywanie histogramu może spowodować pogorszenie jakości obrazu? Rozciąganie histogramu wykonywane jest wtedy, gdy wartości jasności obrazu nie obejmują pełnego zakresu możliwych wartości. W przypadku reprezentacji ośmiobitowej, rozciąganie obrazu ma zastosowanie w sytuacji, gdy wszystkie wartości na obrazie mieszczą się w przedziale mniejszym niż 0 255. Aby dokonać operacji rozciągania histogramu wyznacza się minimalną oraz maksymalną wartość jaką przyjmuje obraz. Kolejną czynnością jest wyznaczenie nowych wartości obrazu zgodnie z zależnością: L ' w, k = 255 L w, k min max min 13. Na czym polega efekt mory przy akwizycji obrazów? Podaj kroki algorytmu do jego usuwania. Niepożądany efekt, pojawiający się w postaci regularnych punktów lub wzorów, będący skutkiem interferencji z rastrem drukarski przy skanowaniu dokumentów drukowanych redukcja mory: a) Filtr dolnoprzepustowy - rozmycie mory, jednak rozmyje to też krawędzie, więc wymagane jest zastosowane potem filtru górnoprzepustowego w celu wyostrzenia krawędzi b) Przy akwizycji more można zredukować domowym sposobem poprzez obrót skanowanego dokumentu 14. Elementy w systemie rozpoznawania obrazów. - wypisać i opisać. a) Segmentacja: podział pikseli na piksele tła i należące do obiektu b) Analiza cech ( indeksacja obiektów ): przypisanie do wszystkich pikseli identyfikatorów, wskazujących do którego obiektu piksel należy. Dzięki indeksacji możliwe są wszystkie inne pomiary na indywidualnych obiektach c) Identyfikacja: rozpoznawanie obiektów porównując je do szukanego wzorca 15. Operatory używane do wyostrzania obrazów w cyfrowym przetwarzaniu obrazów. Do wyostrzania używa się operatora lokalnego gradientu (I pochodna), bądź laplasjanu (II pochodna). Częściej stosowany jest algorytm z laplasjanem. Do wyostrzania używa się również operatora filtracji górnoprzepustowej oraz algorytmu UnSharp Mask (USM) (f (x,y) = f(x,y) + (f(x,y)-f_r(x,y)), gdzie f(x,y) to obraz oryginalny, a f_r(x,y) to obraz rozmyty filtracją dolnoprzepustową).
16. Wyjaśnij podobieństwa i różnice pomiędzy transformatą Fouriera, dyskretną transformatą Fouriera, szybką transformatą Fouriera. DFT i FFT są dyskretną wersją ciągłej transformaty Fouriera FFT działa w czasie n log n, DFT działa w czasie n^2 DFT i FFT mają własność rozdzielności - dwuwymiarową transformatę można policzyć za pomocą dwóch jednowymiarowych. FFT działa na obrazie, którego rozmiary są potęgą 2 - DFT działa na każdym obrazie FFT jest zoptymalizowaną wersją DFT (z ograniczeniem dot. wielkości obrazka). 17. Opisz i wyjaśnij sposób obliczenia transformaty falkowej dla obrazów cyfrowych. Transformata falkowa służy do rozdzielenia niskich i wysokich częstotliwości Wavelet transform: stosowana np. w formacie JPG2000 (.jp2). Kodowanie subpasmowe z hierarchicznym podziałem widma. Nie ma wzoru dającego dyskretną transformatę falkową. Przybliża się trasformaty falkowe do funkcji dyskretnych. Stosuje się 1-wymiarowe filtry konwolucyjne oraz decymatory: H0 - Filtr dolnoprzepustowy na wyjściu otrzymujemy uśrednioną-wygładzoną informację o sygnale wejściowym, H1 - Filtr górno przepustowy na wyjściu otrzymujemy szczegóły sygnału wejściowego. decymator wyrzuca co drugi element w kolumnie, bądź wierszu (w zależności od etapu). Mamy obraz NxN. Poddajemy go ww filtrom oraz operacjom decymacji w ten sposób otrzymujemy odpowiednio blok: a) Gałąź H0 + decymator = uśredniony/wygładzony obraz N/2 x N b) Gałąź H1 + decymator = krawędzie pionowe z obrazu o rozmiarze N/2 x N Każdą gałąź poddajemy znów w ten sam sposób rozbijając na coraz mniejsze obrazy. Przykładowo obrazy otrzymane na wyjściu filtracji dwóch bloków, będą wyglądały następująco: 2x H0 da nam ten sam obraz wejściowy, ale o rozmiarze N/2 x N/2 H0H1 da nam poziome krawędzie obrazu N/2 x N/2 H1H0 da nam pionowe krawędzie obrazu N/2 x N/2 2x H1 da nam szczegóły na przecięciu krawędzi pionowych i poziomych obrazu N/2 x N/2 Obrazy zapisuje się w postaci obrazka N X N mającego wydzielone części wg stopnia podziału widma. Dla przykładowych 2 bloków otrzymamy 4 ćwiartki: H0H0 H1H0 H0H1 H1H1 Jeśli damy 4 bloki, to proszę sobie wyobrazić, że H0H0 traktujemy jako obraz wejściowy i tam znów będą 4 ćwiartki. Z tych informacji jesteśmy w stanie odtworzyć (skomponować obraz pierwotny).
18. Kodowanie entropijne i jego zastosowanie w cyfrowym przetwarzaniu obrazów. Kodowanie entropijne polega na wprowadzeniu kodów o zmiennej długości na podstawie obliczonego prawdopodobieństwa wystąpienia w obrazie poszczególnych jasności ( lub wartości uzyskiwanych na ich podstawie ) Rodzaje: A. optymalne kodowanie binarne - algorytm Huffmana B. kodowanie arytmetyczne: model abstrakcyjny i całkowitoliczbowy C. kodowanie słownikowe LZ77, LZ78, LZW Entropia określa wartość średnią ilości informacji niezbędnej do zakodowania(zapamiętania). Entropia stanowi dolne ograniczenie efektywności kodu możliwej dla danego kodowania zbioru wartości Algorytmy entropijne są to algorytmy bazujące na entropii np. algorytm Huffmana bazuje na entropii w celu wyznaczenia słownika. Efektywność kodu określa przeciętną ilość bitów na kodowane słowo lub piksel. Efektywność kodu przydaje się do weryfikacji algorytmów, z jej pomocą można zweryfikować czy dane kodowanie jest optymalne. 19. Co ma wspólnego splot funkcji z transformatą Fourier'a, i co w praktyce z tego wynika. F f g x, y =F f x, y F g x, y F f g x, y = F f x, y F g x, y Gdzie * to splot. Mając transformatę funkcji splotu można wykonać splot w nlog 2 n zamiast n 2 operacji. Metoda: G x =FFT g x, y G ' x =G x F x Gdzie F jest widmem filtra g ' x, y =FFT 1 G ' x Przydatne przy filtrowaniu w przypadku dużych operatorów lokalnych, gdy bardziej opłaca się policzyć transformatę, raz wymnożyć i wykonać transformatę odwrotną niż robić splot z operatorem lokalnym. 20. Zniekształcenia radiometryczne i jak je naprawiać. Zniekształćenia radiometryczne obrazu polegają na nieprawidłowym odwzorowaniu jasności elementu obrazu w wartość odpowiadającego mu punktu macierzy funkcji jasności (piksela). Zniekształcenia te są najczęściej stacjonarne w czasie, natomiast zależą od lokalizacji w obrazie. Powstają w procesie produkcji, niektóre fotodiody mogą być uszkodzone itp. Związane ogólnie z popsutą matrycą. Zniekształcenia radiometryczne można podzielić na sumacyjne oraz iloczynowe i są one związane ze sposobem oddziaływania czynnika wywołującego zakłócenie na obraz. Macierz współczynników korekcji sumacyjnej Ks(x,y) stanowi obraz otrzymany przy zasłoniętym obiektywie. Korekcja polega na odjęciu wartości macierzy Ks: p'(x,y) =p(x,y) - Ks(x,y) Macierz współczynników korekcji iloczynowej Ki(x,y) otrzymuje się poprzez: Akwizycję macierzy V(x,y) dla jednorodnego, jasnego obrazu (jednak nie za jasnego, bo efekt rozlewania po matrycy uśredni wynik). ewentualna korekcja sumacyjna macierzy obrazu odniesienia. wyznaczenie maksymalnego elementu odniesienia Vmax wyznaczenie macierzy współczynników korekcji iloczynowej: Ki(x,y) = VmaxV(x,y) Korekcja: p'(x,y) = Ki(x,y) p(x,y) Korekcja sumacyjna i iloczynowa: p'(x,y) = Ki(x,y) [ p(x,y) - Ks(x,y) ]
21. Opisz metodę kompresji JPEG. a) Konwersja na YUV: Ludzie znacznie dokładniej postrzegają drobne różnice jasności od drobnych różnic barwy, a więc użyteczne jest tutaj użycie różnych parametrów kompresji b) Obliczenie DCT: Dyskretnej Transformaty Cosinusowej dla każdej barwy oddzielnie w kwadratowych blokach. Użyta transformata powoduje efekty blokowe w przypadku mocno skompresowanych obrazków c) Kwantyzacja współczynników DCT: czyli zastąpienie danych zmiennoprzecinkowych przez liczby całkowite. To właśnie tutaj występują straty danych. Zależnie od parametrów kompresora, odrzuca się mniej lub więcej danych. Zasadniczo większa dokładność jest stosowana do danych dotyczących niskich częstotliwości niż wysokich. Składowe stałe kolejnych bloków kodowane są z zastosowaniem wyrażeń różnicowych d) Zakodowanie uzyskanych współczynników w kolejności zip-zap z wykorzystaniem algorytmu RLE e) Otrzymane ciągi wartości kompresowane są entropijnie z wykorzystaniem kodu Huffmana 22. Opisz i wyjaśnij działania podstawowych algorytmów redukcji szumu stosowanych w ramach cyfrowych metod poprawy jakości obrazów. a) Filtry dolnoprzepustowe - usuwają wysokie częstotliwości (w tym szumy) b) Filtry medianowe - wybierają medianę z otoczenia danego punktu. Usuwa szum typu saltand-pepper i wszystkie elementy mniejsze od maski, jednak nie niszczą krawędzi, a nawet je wygładza. c) Operację otwarcia/zamknięcia - usuwają drobne elementy (operacja otwarcia), bądź zalepia małe dziury (operacja zamknięcia). Operacja otwarcia polega na poddaniu obrazu operacji erozji(rankfilter(0)), a następnie operacji dylacji(rankfilter(n-1)). W operacji zamknięcia najpierw wykonywana jest dylacja, a następnie erozja. 23. Podaj i opisz metody segmentacji a) Segmentacja przez progowanie - Wybieranie tych pikseli których wartość jest większa niż wartość progowa. Stosuje się też progowanie na podstawie histogramu gdzie wartość progową ustala się w minimum histogramu. b) Segmentacja krawędziowa - Wyodrębnienie krawędzi z obrazu a następnie znalezienie obiektów ograniczanych przez te krawędzie. c) Segmentacja metodą rozrostu obszarów - Wybiera się piksel a następnie sprawdza się czy jego sąsiedztwo spełnia warunek jednorodności (kryterium rozrostu), jeśli tak to odpowiednie piksele dołącza się do obszaru. Potem iteracyjnie sprawdza się sąsiedztwo coraz większych obszarów. d) Segmentacja metodą dziel i łącz - wpisanie obrazka w drzewo, gdzie w każdym liściu jest jednorodny obszar. Najczęściej dzieli się obraz na ćwiartki i sprawdza ich jednorodność z pomocą wcześniej wybranego kryterium. Każdą niejednorodną ćwiartkę ponownie dzielimy na 4, tworząc kolejny poziom drzewa. Krok powtarzamy aż do uzyskania drzewa, gdzie wszystkie liście są jednorodne. Następnie korzystając z sąsiedztwa (na obrazku) liści łączymy je w większe, jednorodne obszary. e) Segmentacja metodą klasyfikacji punktów - uogólnienie metody progowania na większą liczbę parametrów. 24. Wymień i opisz podstawowe zastosowania transformat. a) Przetwarzanie w dziedzinie częstotliwości : najczęściej Fouriera, dodatkowy narzut obliczeniowy, ale z drugiej strony ułatwiona poprawa jakości obrazu b) Kompresja: np w jpeg wykonywanie na blokach 8x8 dyskretnej transformaty cosinusowej c) Rekonstrukcja obrazów (tomografia): wykorzystanie odwrotnej transformaty Radona d) Rozpoznawanie obrazów : metody częstotliwościowe oparte na transformatach obrazu
25. Wyjaśnij na czym polega i jakie daje efekty zastosowanie wyrażeń różnicowych przy kompresji obrazu. Wyrażenie różnicowe polega na przedstawieniu obrazu za pomocą różnic pomiędzy pikselami. Powoduje znaczne zwiększenie skupienia wartości pojawiających się w obrazie a co za tym idzie lepszą skuteczność kompresji w algorytmach entropijnych. 26. Jak obliczyć dwuwymiarową FFT za pomocą algorytmu jednowymiarowej FFT Transformata Fouriera ma właściwość rozdzielności, co oznacza, że stosując transformatę jednowymiarową można obliczyć transformatę dwumiarową poprzez obliczenie transformaty wierszy ( lub kolumn ) i zastąpienie wierszy ich transformatami, a następnie dla tak otrzymanej macierzy obliczyć transformaty kolumn ( lub wierszy ) i zastąpić kolumny ich transformatami. 27. Transformata Walsha-Hadamarda (WHT) Żółtym kolorem oznaczono najniższą możliwą do uzyskania częstotliwość, czerwonym najwyższą (na 8miu bitach). Wartości funkcji-próbek zostają wymnożone wiersz, po wierszu przez wartości odpowiadających elementów tablicy wartości jądra transformaty, a następnie zsumowane. Tablica wartości jądra transformaty (Warunek dla N=2^n, gdzie n to liczba indeksów): N=8, n=3 0 1 2 3 4 5 6 7 0 + + + + + + + + 1 + + + + - - - - 2 + + - - + + - - 3 + + - - - - + + 4 + - + - + - + - 5 + - + - - + - + 6 + - - + + - - + 7 + - - + - + + - Spostrzeżenie polega na tym ze taka tabela zawiera wszystkie możliwe do uzyskania na 8miu bitach częstotliwości sygnału impulsu Dirac a. 28. Opisz podobieństwa i różnice pomiędzy LZW i LZ77 Podobieństwa: Obie metody są słownikowe Obie metody nie wymagają przesyłania słownika Słownik jest dynamicznie odbudowywany na podstawie dekodowanego tekstu Różnice: Słownik LZ77 ma stałą, ograniczoną pojemność - rozmiar słownika LZW zmienia się dynamicznie Dane w słowniku LZ77 to historia czytanych znaków - słownik w LZW jest to struktura zawierające znane sekwencje symbol