(2 godz. wykład, 2 godz. laboratorium/projekt) Strumillo, Strzelecki

Transkrypt

1 dr hab. Paweł Strumiłło dr hab. Michał Strzelecki (2 godz. wykład, 2 godz. laboratorium/projekt) Strumillo, Strzelecki

2 Jeden obraz jest wart więcej niż tysiące słów Anonimus

3 Forma zaliczenia I. Materiał wykładowy Dwa kolokwia w czasie semestru (cz. I i Cz. II), wyniki ważone po 50%, ale jest konieczne zaliczenie każdej z części II. Projekt Grupy ćwiczeniowe otrzymują do samodzielnego wykonania projekty z zakresu przetwarzania i analizy obrazów. Zaliczenie: raport + referat wygłoszony przez grupę ćwiczeniową.

4 Literatura: 1. Notatki i materiały wykładowe (pliki *.pdf) ( 2. A. Materka, Elementy przetwarzania obrazów, PWN, R. Tadeusiewicz, Systemy wizyjne robotów przemysłowych, WNT R. Tadeusiewicz, P. Korohoda, Komputerowa analiza i przetwarzanie obrazów, Wyd. Fundacji Postępu Telekomunikacji, Kraków T. Pavlidis, Grafika i przetwarzanie obrazów, WNT, W. Skarbek, Metody reprezentacji obrazów cyfrowych, Akademicka Oficyna Wydawnicza, Warszawa, 1993.

5 Cele przetwarzania obrazów Poprawa jakości obrazu (np. w 1964, zastosowano komputerowe metody do poprawy jakości obrazu zdjęć Księżyca przesłanych przez sondę kosmiczną Ranger 7 w Jet Propulsion Laboratory (JPL), USA) JPL

6 Cele przetwarzania obrazów Poprawa jakości obrazu MIT

7 Cele przetwarzania obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. (np. czas transmisji pierwszego przesłania obrazu kablem położonym na dnie oceanu w 1920, obliczono na ok. 1 tyg., po zastosowaniu technik kompresji danych czas transmisji skrócił się do 3 godz.) IOC, Antwerp 8 bpp JPEG 0.1 bpp Wavelet 0.1 bpp Playboy Magazine JPEG-2000

8 Cele przetwarzania obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. Obraz RTG ziarna pszenicy

9 Cele analizy (rozpoznawania) obrazów Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji. Baza obrazów z odciskami palców FBI 1992 Biometria

10 Cele przetwarzania obrazów Stereowizja analiza sceny trójwymiarowej Obraz lewy Obraz prawy Obraz głębi w pseudokolorach Wydzielone najbliższe obiekty Wytworzenie obrazu głębi

11 Rozumienie obrazów zieleń niebo ląd? woda

12 Biologiczny model systemy analizy obrazów Obraz (90% informacji) Decyzja!

13 Komputerowy system analizy obrazów Przetwarzanie wstępne Segmentacja Wydzielanie cech Akwizycja obrazu Komputer + program + baza wiedzy Analiza cech obrazu 9

14 Ramowy program przedmiotu: 1. Akwizycja i reprezentacja obrazu 2. Poprawa jakości obrazu (ang. image enhancement) 3. Restauracja obrazu (ang. image restoration) 4. Analiza obrazu (ang. image analysis) 5. Kompresja obrazów (ang. image coding) 6. Stereowizja (ang. stereovision)

15 Polepszanie jakości obrazu transformacja skali jasności

16 Praktyczny przykład restauracji obrazu Addison_Wesley Inc. Ruch kamery w czasie ekspozycji Obraz po korekcji

17 Przykład zadania analizy obrazów Akwizycja obrazu Wydzielanie cech Ilościowy opis cech Rozpoznawanie obiektów

18 Kompresja obrazów (JPEG, MPEG, JPEG2000) czyli... jak przeciągnąć słonia przez ucho igielne Obraz źródłowy Kanał transmisyjny (pamięć komputera) Obraz zrekonstruowany

19 Systemy analizy obrazów - zastosowania nauka i przemysł (kontrola jakości produktów, sortowanie wyrobów,...) medycyna (diagnostyka obrazowa, RTG, tomografia komputerowa, USG, mikroskopia,...) obronność (rozpoznanie fotograficzne, wykrywanie i śledzenie celów, sterowanie pociskami,...) robotyka (sterowanie spawarek i dysz do malowania, sterowanie pojazdów,...) eksploracja Ziemi i kosmosu (interpretacja obrazów astronomicznych, satelitarnych, lotniczych, sody kosmiczne,...) biometria (rozpoznawanie odcisków palców, kształtu dłoni, tęczówki oka, twarzy)

20 System wykonany w Instytucie Elektroniki 1985 r TV camera + frame grabber + + programy Obraz mikroskopowy tkanki nerwowej Obraz kolonii bakteryjnych Obraz modelu lateksowego naczyń krwionośnych mózgu

21 Automatyczna analiza dokumentów Formularz ankiety studenckiej

22 Widmo fal elektromagnetycznych Częstotliwość, Hz promieniowanie gamma prom. X mikrofale fale radiowe ultrafiolet Promieniowanie świetlne podczerwień [nm] Obrazy wizualne

23 Ultrasonografia

24 Tomografia komputerowa

25 Tomografia rezonansu magnetycznego (MRI) Przekrój głowy

26 Tomografia rezonansu magnetycznego (MRI) COST B11 action "Quantitation of Magnetic Resonance Image Texture ( ) COST B21 "Physiological modelling of MR Image formation"

27 Modelowanie obiektów 3D Grafika komputerowa Rekonstrukcja Wizualizacja 3D Modelowanie powierzchni Rzeczywistość wirtualna

28 The Visible Human Project Zdjęcie CT MRI

29 Termografia komputerowa Termogram Zdjęcie Struktura układu scalonego Medycyna Energetyka Budownictwo

30 Przykłady zadań rozpoznawania obrazów: diagnostyka obrazowa - mammografia Mamografia

31 Przykłady zadań rozpoznawania obrazów: rozpoznawanie twarzy (biometria) Juliusz Jaksa, Krzysztof Ślot, Piotr Szczypiński Face recognition using deformable models, ICSES 2001

32 Przykłady zadań rozpoznawania obrazów: rozpoznawanie słów H. Nowak Rozpoznawanie słów na podstawie analizy sekwencji obrazów, praca doktorska realizowana w Zakładzie Elektroniki Medycznej IE

33 Przykłady zadań rozpoznawania obrazów: rozpoznawanie tęczówki oka (biometria) J. Daugman

34 Przykłady zadań rozpoznawania obrazów: bazy obrazów Idea obrazu poszukiwanego lub kopia obrazu poszukiwanego Obraz odszukany DWT C.E. Jacobs, A. Finkelstein, D.H. Salesis, Fast multiresolution image quering,1999

35 Ω Obraz monochromatyczny jako nieujemna funkcja dwumymiarowa x f(x,y) y x y M : 2 Ω R R+ ( x, y) f ( x, y)

36 Przekroje jasności obrazu Distance along profile

37 Obrazy kolorowe RGB R B G

38 Obrazy kolorowe RGB Distance along profile Rozkład składowych RGB wzdłuż wybranego wiersza obrazu

39 Obraz cyfrowy dyskretyzacja + kwantowanie piksel (ang. picture element)

40 Obraz cyfrowy jako macierz liczb (0,0) X f(x,y) Y

41 Obraz cyfrowy jako macierz liczb Obraz cyfrowy f(x,y): macierz dwuwymiarowa (M,N), tj. o M wierszach i N kolumnach, której elementy są nieujemne i przyjmują skończoną liczbę wartości f ( x, y) = 0,1,..., L 1 (np. L=256) x y = = 0,1,..., N 1 0,1,..., M 1 Kolorowy obraz cyfrowy?

42 Kolorowy obraz cyfrowy RGB Jeżeli każda składowa koloru jest kodowana za pomocą 8 bitów, można uzyskać 2 24 kolorów! f ( x, y) = ( f, f, f ) R G B

43 Kolorowy obraz cyfrowy obraz indeksowany f(x,y) = R G B obraz monochromatyczny... paleta barw (ang. look-up table) Obraz kolorowy

44 Formaty plików graficznych Podstawowe powody stosowania formaty plików graficznych: wymienność obrazów pomiędzy aplikacjami kompresja danych Podstawowe formaty plików graficznych: JPEG (Joint Photographic Experts Group) NOWY: JPEG2000 GIF (Graphics Interchange Format) PNG (Portable Network Graphic) TIFF (Tagged Image File Format) BMP, PCX, Grafika rastrowa a wektorowa?

45 Grafika rastrowa a grafika wektorowa Grafika wektorowa: Obrazy są budowane z elementarnych figur geometrycznych: linii, krzywych, wielokątów Grafika rastrowa: Obrazy są budowane z siatki punktów (pikseli) Wikipedia

46 Porównanie podstawowych plików graficznych Format Plik Podstawowe cechy Zastosowanie JPEG.jpg Kompresja z definiowaną utratą jakości, (DCT) Bardzo dobry do kompresji zdjęć JPEG 2000.jp2 Kompresja z definiowaną utratą jakości, (DWT) Wyśmienity do kompresji zdjęć, ma zastąpić JPEG GIF.gif Format indeksowany, maks. 256 kolorów, kodowanie bezstratne Internet, animowane GIFy PNG.png Popierany przez konsorcjum www konsorcjum ma zastąpić GIF Internet, obraz statyczny (ruchome: MNG), kanał alfa, lepszy niż JPEG do obrazów zawierających tekst TIFF.tif Złożony format o rozbudowanej strukturze Głównie to skanowanych dokumentów tekstowych BMP.bmp Prosty format bez kompresji System Windows

47 Demonstracja - Hands on Demo