dr hab. Paweł Strumiłło pawel.strumillo@p.lodz.pl dr hab. Michał Strzelecki michal.strzelecki@p.lodz.pl (2 godz. wykład, 2 godz. laboratorium/projekt) Strumillo, Strzelecki
Jeden obraz jest wart więcej niż tysiące słów Anonimus
Forma zaliczenia I. Materiał wykładowy Dwa kolokwia w czasie semestru (cz. I i Cz. II), wyniki ważone po 50%, ale jest konieczne zaliczenie każdej z części II. Projekt Grupy ćwiczeniowe otrzymują do samodzielnego wykonania projekty z zakresu przetwarzania i analizy obrazów. Zaliczenie: raport + referat wygłoszony przez grupę ćwiczeniową.
Literatura: 1. Notatki i materiały wykładowe (pliki *.pdf) (http://www.eletel.p.lodz.pl/~pstrumil) 2. A. Materka, Elementy przetwarzania obrazów, PWN, 1991. 3. R. Tadeusiewicz, Systemy wizyjne robotów przemysłowych, WNT 1992. 4. R. Tadeusiewicz, P. Korohoda, Komputerowa analiza i przetwarzanie obrazów, Wyd. Fundacji Postępu Telekomunikacji, Kraków 1997. 5. T. Pavlidis, Grafika i przetwarzanie obrazów, WNT, 1987. 6. W. Skarbek, Metody reprezentacji obrazów cyfrowych, Akademicka Oficyna Wydawnicza, Warszawa, 1993.
Cele przetwarzania obrazów Poprawa jakości obrazu (np. w 1964, zastosowano komputerowe metody do poprawy jakości obrazu zdjęć Księżyca przesłanych przez sondę kosmiczną Ranger 7 w Jet Propulsion Laboratory (JPL), USA) JPL
Cele przetwarzania obrazów Poprawa jakości obrazu MIT
Cele przetwarzania obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. (np. czas transmisji pierwszego przesłania obrazu kablem położonym na dnie oceanu w 1920, obliczono na ok. 1 tyg., po zastosowaniu technik kompresji danych czas transmisji skrócił się do 3 godz.) IOC, Antwerp 8 bpp JPEG 0.1 bpp Wavelet 0.1 bpp Playboy Magazine JPEG-2000
Cele przetwarzania obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. Obraz RTG ziarna pszenicy
Cele analizy (rozpoznawania) obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. Baza obrazów z odciskami palców FBI 1992 Biometria
Cele przetwarzania obrazów Stereowizja analiza sceny trójwymiarowej Obraz lewy Obraz prawy Obraz głębi w pseudokolorach Wydzielone najbliższe obiekty Wytworzenie obrazu głębi
Rozumienie obrazów zieleń niebo ląd? woda
Biologiczny model systemy analizy obrazów Obraz (90% informacji) Decyzja!
Komputerowy system analizy obrazów Przetwarzanie wstępne Segmentacja Wydzielanie cech Akwizycja obrazu Komputer + program + baza wiedzy Analiza cech obrazu 9
Ramowy program przedmiotu: 1. Akwizycja i reprezentacja obrazu 2. Poprawa jakości obrazu (ang. image enhancement) 3. Restauracja obrazu (ang. image restoration) 4. Analiza obrazu (ang. image analysis) 5. Kompresja obrazów (ang. image coding) 6. Stereowizja (ang. stereovision)
Polepszanie jakości obrazu transformacja skali jasności
Praktyczny przykład restauracji obrazu Addison_Wesley Inc. Ruch kamery w czasie ekspozycji Obraz po korekcji
Przykład zadania analizy obrazów Akwizycja obrazu Wydzielanie cech Ilościowy opis cech 15 15 9 21 13 12 15 10 12 14 Rozpoznawanie obiektów
Kompresja obrazów (JPEG, MPEG, JPEG2000) czyli... jak przeciągnąć słonia przez ucho igielne Obraz źródłowy Kanał transmisyjny (pamięć komputera) Obraz zrekonstruowany
Systemy analizy obrazów - zastosowania nauka i przemysł (kontrola jakości produktów, sortowanie wyrobów,...) medycyna (diagnostyka obrazowa, RTG, tomografia komputerowa, USG, mikroskopia,...) obronność (rozpoznanie fotograficzne, wykrywanie i śledzenie celów, sterowanie pociskami,...) robotyka (sterowanie spawarek i dysz do malowania, sterowanie pojazdów,...) eksploracja Ziemi i kosmosu (interpretacja obrazów astronomicznych, satelitarnych, lotniczych, sody kosmiczne,...) biometria (rozpoznawanie odcisków palców, kształtu dłoni, tęczówki oka, twarzy)
System wykonany w Instytucie Elektroniki 1985 r TV camera + frame grabber + + programy Obraz mikroskopowy tkanki nerwowej Obraz kolonii bakteryjnych Obraz modelu lateksowego naczyń krwionośnych mózgu
Automatyczna analiza dokumentów Formularz ankiety studenckiej
Widmo fal elektromagnetycznych Częstotliwość, Hz 10 24 10 22 10 20 10 18 10 16 10 14 10 12 10 10 10 8 10 6 10 4 10 2 promieniowanie gamma prom. X mikrofale fale radiowe ultrafiolet Promieniowanie świetlne podczerwień 400 500 600 700 [nm] Obrazy wizualne
Ultrasonografia
Tomografia komputerowa
Tomografia rezonansu magnetycznego (MRI) Przekrój głowy
Tomografia rezonansu magnetycznego (MRI) COST B11 action "Quantitation of Magnetic Resonance Image Texture (1998-2002) COST B21 "Physiological modelling of MR Image formation" www.eletel.p.lodz.pl
Modelowanie obiektów 3D Grafika komputerowa Rekonstrukcja Wizualizacja 3D Modelowanie powierzchni Rzeczywistość wirtualna
The Visible Human Project Zdjęcie CT MRI
Termografia komputerowa Termogram Zdjęcie Struktura układu scalonego Medycyna Energetyka Budownictwo
Przykłady zadań rozpoznawania obrazów: diagnostyka obrazowa - mammografia Mamografia
Przykłady zadań rozpoznawania obrazów: rozpoznawanie twarzy (biometria) Juliusz Jaksa, Krzysztof Ślot, Piotr Szczypiński Face recognition using deformable models, ICSES 2001
Przykłady zadań rozpoznawania obrazów: rozpoznawanie słów H. Nowak Rozpoznawanie słów na podstawie analizy sekwencji obrazów, praca doktorska realizowana w Zakładzie Elektroniki Medycznej IE
Przykłady zadań rozpoznawania obrazów: rozpoznawanie tęczówki oka (biometria) J. Daugman
Przykłady zadań rozpoznawania obrazów: bazy obrazów Idea obrazu poszukiwanego lub kopia obrazu poszukiwanego Obraz odszukany DWT C.E. Jacobs, A. Finkelstein, D.H. Salesis, Fast multiresolution image quering,1999
Ω Obraz monochromatyczny jako nieujemna funkcja dwumymiarowa x f(x,y) y x y M : 2 Ω R R+ ( x, y) f ( x, y)
Przekroje jasności obrazu 220 200 180 160 140 120 100 80 60 0 50 100 150 200 250 300 Distance along profile
Obrazy kolorowe RGB R B G
Obrazy kolorowe RGB 300 250 200 150 100 50 0 0 50 100 150 200 250 300 350 400 450 500 Distance along profile Rozkład składowych RGB wzdłuż wybranego wiersza obrazu
Obraz cyfrowy dyskretyzacja + kwantowanie piksel (ang. picture element)
Obraz cyfrowy jako macierz liczb (0,0) X f(x,y).............. 15 17 18.... 20 31 14............ Y
Obraz cyfrowy jako macierz liczb Obraz cyfrowy f(x,y): macierz dwuwymiarowa (M,N), tj. o M wierszach i N kolumnach, której elementy są nieujemne i przyjmują skończoną liczbę wartości f ( x, y) = 0,1,..., L 1 (np. L=256) x y = = 0,1,..., N 1 0,1,..., M 1 Kolorowy obraz cyfrowy?
Kolorowy obraz cyfrowy RGB Jeżeli każda składowa koloru jest kodowana za pomocą 8 bitów, można uzyskać 2 24 kolorów! f ( x, y) = ( f, f, f ) R G B
Kolorowy obraz cyfrowy obraz indeksowany f(x,y) =25 0 1 2... R G B... 25 0.21 0.3 0.99 obraz monochromatyczny... paleta barw (ang. look-up table) Obraz kolorowy
Formaty plików graficznych Podstawowe powody stosowania formaty plików graficznych: wymienność obrazów pomiędzy aplikacjami kompresja danych Podstawowe formaty plików graficznych: JPEG (Joint Photographic Experts Group) NOWY: JPEG2000 GIF (Graphics Interchange Format) PNG (Portable Network Graphic) TIFF (Tagged Image File Format) BMP, PCX, Grafika rastrowa a wektorowa?
Grafika rastrowa a grafika wektorowa Grafika wektorowa: Obrazy są budowane z elementarnych figur geometrycznych: linii, krzywych, wielokątów Grafika rastrowa: Obrazy są budowane z siatki punktów (pikseli) Wikipedia
Porównanie podstawowych plików graficznych Format Plik Podstawowe cechy Zastosowanie JPEG.jpg Kompresja z definiowaną utratą jakości, (DCT) Bardzo dobry do kompresji zdjęć JPEG 2000.jp2 Kompresja z definiowaną utratą jakości, (DWT) Wyśmienity do kompresji zdjęć, ma zastąpić JPEG GIF.gif Format indeksowany, maks. 256 kolorów, kodowanie bezstratne Internet, animowane GIFy PNG.png Popierany przez konsorcjum www konsorcjum ma zastąpić GIF Internet, obraz statyczny (ruchome: MNG), kanał alfa, lepszy niż JPEG do obrazów zawierających tekst TIFF.tif Złożony format o rozbudowanej strukturze Głównie to skanowanych dokumentów tekstowych BMP.bmp Prosty format bez kompresji System Windows
Demonstracja - Hands on Demo