Rozpoznawanie obrazów

Transkrypt

1 Rozpoznawane obrazów Końcowym etapem analzy obrazów może być ne tylko dentyfkacja obektów analzy oraz ch loścowa charakterystyka ale równeż klasyfkacja obektów ch symbolczna nterpretacja, te ostatne często są określane termnem rozpoznana obrazu. Z powyższych względów, faza rozpoznawana obrazów zwykle ne wykorzystuje gotowych procedur analzy danych a wymaga raczej specjalzowanych, bardzej zaawansowanych metod analzy, np. bazujących na sztucznej ntelgencj.

2 Rozpoznawane obrazów Cechy zachowana ntelgentnego: możlwość wnoskowana na podstawe zboru różnych, neskojarzonych ze sobą danych, zdolność do uczena sę na przykładach generalzacj nabytej wedzy (oraz zastosowana jej w nnych zadanach analzy danych), zdolność rozpoznawana obektów (nterpretacj nformacj) na podstawe nekompletnych danych.

3 Przykład trudnego problemu rozpoznawana obrazu Wyłanane

4 Przykład trudnego zadana rozpoznawana obrazu (wymagającego znamon zachowana ntelgentnego) Nezmenność

5 Teora Gestalt (nem. postać) Weloznaczność Refkacja (luzoryczne obekty)

6 System rozpoznawana obrazów Elementy składowe kompletnego systemu rozpoznawana obrazów: przetwarzane nskego pozomu - obejmuje akwzycje obrazu, przetwarzane wstępne, poprawę jakośc obrazu, np. elmnacja zakłóceń, poprawa kontrastu, fltracja td., przetwarzane średnego pozomu - dotyczy segmentacj obrazu oraz wydzelana opsu cech obektów obrazu, np. detekcja brzegów konturów, przetwarzane morfologczne, td., przetwarzane wysokego pozomu - polega na klasyfkacj, rozpoznawanu nterpretacj analzowanej sceny.

7 Elementy systemu rozpoznawana obrazów Segmentacja Reprezentacja ops cech Analzowana scena Przetwarzane wstępne Akwzycja obrazu Wedza dotycząca celu analzy Rozpoznawane nterpretacja Wynk analzy

8 Wzorce klasy wzorców Wzorzec to zbór cech, który tworzy loścowy jakoścowy ops obektu; ścślej, wzorzec to wektor cech x=[x 1, x,, x N ]. Klasa wzorców to zbór wzorców charakteryzujących sę podobnym wektoram cech. Klasy wzorców oznaczmy ω 1, ω, ω M gdze ndeks M jest numerem klasy. Rozpoznawane wzorców (nazywane też klasyfkacją) jest zadanem polegającym na przyporządkowanu wzorców do ch klas: x ω tj. przekształcenem przestrzen wektorów cech X na przestrzeń klas wzorców Ω.

9 Klasyfkacja wzorców Przestrzeń cech Przestrzeń klas przyporządkowane wele do jednego ω 1 ω ω 3 x 3 ω 4 x ω 5 x 1 ω 6

10 Klasyfkacja wzorców Przyporzadkowane x ω pownno być bezbłędne dla jak najwększej lczby wzorców. Zagadnene znalezena najlepszego takego przyporządkowana jest zadanem optymalzacj statystycznej. Konkretne sformułowane tego zadana zależy od stopna posadanej wedzy (modelu) o rozkładze statystycznym zboru cech, jak równeż grancach klas. W przypadku, gdy rozkłady cech są trudne do zamodelowana lub wedza o ch rozkładze statystycznym jest nedostepna, klasyfkator, tj. przyporządkowane x ω, może być zbudowany przez zastosowane algorytmów uczących, samodzelne wypracowujących reguły klasyfkacj na podstawe reprezentatywnego zboru wzorców (wektorów cech).

11 Selekcja cech ch właścwośc dyskrymnacja - cechy pownny przyjmować znacząco różne wartośc dla obektów z różnych klas, np.średnca owocu jest dobrą cechą dla rozróżnene wśn grejfrutów, nezawodność - cechy pownny przyjmować podobne wartośc dla wszystkch obektów danej klasy, np. kolor jest złą cechą dla jabłek, nezależność - cechy wykorzystywane w danym systeme klasyfkacj pownny być neskorelowane ze sobą, np. waga welkość owocu są cecham slne skorelowanym, mała lczba - złożoność systemu klasyfkacj rośne szybko wraz z lczba klasyfkowanych cech, np. należy elmnować cech skorelowane.

12 Selekcja cech ch właścwośc W praktyce testuje sę wybrany ntucyjne zbór cech (wzorzec), którego rozmar zostaje zredukowany do akceptowalnej welkośc. Selekcja cech może polegać na elmnacj cech o najgorszych właścwoścach, przy zachowanu wymaganej jakośc systemu klasyfkacj. Badane jakośc klasyfkacj dla wszystkch możlwych kombnacj podzboru n cech ze zboru wszystkch N cech jest w praktyce zbyt kosztowne oblczenowo dla dużych N.

13 Selekcja cech ch właścwośc Współczynnk korelacj cech x y: ˆ σ xy = 1 P P = 1 ( x µ )( y µ ) ˆ σ x x ˆ σ y y gdze: P - lczna klasyfkowanych obektów, µ, σ oznaczają odpowedno wartośc średne odchylene standardowe danego zboru cech. Jeżel wsp. Korelacj jest blsk 1 (-1) cechy x y uważa sę za slne skorelowane (np. jedną z nch można odrzucć).

14 Selekcja cech ch właścwośc Przykład mary separacj cechy x pomędzy klasam j k: Dˆ xjk = µ ˆ σ xj xj µ + ˆ σ xk xk Duża wartość tej mary śwadczy o dobrej separacj cechy x pomędzy klasam j k. zła dobra

15 Redukcja wymarowośc θ Kerunek głównej składowej Należy tak dobrać θ aby separacja cech była jak najlepsza

16 Wstępne przetworzene cech x Usunęce średnej x x 1 x 1 dekorelacja x x Wyrównane warancj x 1 x 1

17 Klasyfkatory statystyczne Jednym z możlwych podejść do zadana klasyfkacj jest budowane tzw. funkcj decyzyjnych. Lczba funkcj decyzyjnych jest równa lczbe klas wzorców. Nech x=[x 1, x,, x N ] oznacza N-wymarowy wektor cech. Spośród M klas ω 1,ω 1, ω M, poszukujemy M funkcj decyzyjnych d 1 (x), d (x),, d M (x) posadających taką właścwość, że jeżel wzorzec x należy do klasy ω to zachodz: d x > d x j = 1,, K,M ; j ( ) ( ) j Funkcja decyzyjna d (x), wygrywa współzawodnctwo do przyporządkowana wzorca x klase ω.

18 Funkcje decyzyjne obszar kasy obszar kasy 1 obszar kasy 1 obszar kasy 3

19 Funkcje decyzyjne Grancę decyzyjną pomędzy dwema dowolnym klasam oraz j ( j) defnuje zależność: d j (x) = d (x) - d j (x) = 0 Zatem dla wzorców należących do -tej klasy : d j (x)>0 oraz dla wzorców należących do j-tej klasy: d j (x)<0.

20 Klasyfkator mnmalnoodległoścowy (ang. mnmum dstance classfer) Załóżmy, że każda klasa wzorów jest reprezentowana przez typowy wzorzec, zwany prototypem klasy: m 1 = x P j, 1,, K, j x ω j j = M gdze P j jest lczbą wzorców z klasy ω j. Jednym z możlwych sposobów klasyfkacj nowego wzorca x jest przydzelene go do klasy, której prototyp znajduje sę najblżej tego wzorca.?

21 Klasyfkator mnmalnoodległoścowy Dla Eukldesowej mary odległośc: D j ( x) = x m j j = 1,, K, M z = (z T z) 1/ gdze. Wzorzec x jest przydzelony do klasy ω j jeżel D(x j ) jest odległoścą najmnejszą.

22 Klasyfkator mnmalnoodległoścowy Na podstawe poprzednch zależnośc, funkcja decyzyjna jest postac: d j ( x ) T 1 T = x m j m j m j j = 1,, K,M Wektor x jest przyporządkowywany do klasy ω j jeżel d j (x) jest najwększe.

23 Klasyfkator mnmalnoodległoścowy Granca decyzyjna pomędzy klasam ω ω j dla klasyfkatora mnmalnoodległoścowego: dj ( x) = d ( x) - d j( x) = T 1 T = x (m m j ) (m m j ) (m m j ) = Obszar wyznaczony przez mejsca geometryczne spełnające to równane dzel na pół jest prostopadły do ln łączącej m m j. Dla N= obszar ten redukuje sę do ln prostej, dla N=3 jest płaszczyzną, oraz dla N>3 jest nazywany hperpłaszczyzną. 0

24 Klasyfkator mnmalnoodległoścowy d 1 (x) =.8x x = 0

25 Klasyfkator mnmalnoodległoścowy Przykład 1: Rozpatrzmy dwe klasy ω 1 ω, posadające wektory średne cech m 1 = (4.3, 1.3) T m = (1.5, 0.3) T. Funkcje decyzyjne dla tych klas są postac: d 1 (x) = x T m m 1T m 1 = 4.3x x d (x) = x T m m T m = 1.5x x Równane grancy decyzyjnej: d 1 (x) = d 1 (x) - d (x) =.8x x -8.9 = 0 Nowy wektor cech jest klasyfkowany zależne od znaku d 1 (x).

26 Przykład : Klasyfkacja znaków do numeracj czeków Do klasyfkacj tych znaków zastosowano klasyfkator mnmalnoodległoścowy. Próbk sygnałów odpowadające każdemu ze znaków, tworzą zbór 14 wektorów prototypowych. Klasyfkacja znaków polega na znalezenu prototypu klasy najblższego wektorow cech utworzonego z rozpoznawanego znaku.

27 Klasyfkator mnmalnoodległoścowy Klasyfkator mnmalnoodległoścowy sprawdza sę w zastosowanach, w których odległość pomędzy prototypam klas jest duża w porównanu z rozrzutem wzorców w klase. Warunek ten jest jednak rzadko spełnany w praktyce chyba, że projektant systemu klasyfkacj zapewn spełnene tego warunku. Zauważmy równeż, że klasyfkator mnmalnoodległoścowy wytwarza grance decyzyjne w postac prostych (hper)-płaszczyzn, a ne wszystke problemy klasyfkacj należą do rozdzelnych lnowo.

28 Rodzaje klasyfkatorów Parametryczne: warunkowe gęstośc prawdopodobeństwa cech są znane jako funkcje: neznane są parametry tych funkcj (np. dla rozkładu Gaussowskego µ σ), np. klasyfkator Bayesa jest klasyfkatorem parametrycznym Neparametryczne: warunkowe gęstośc prawdopodobeństwa są neznane muszą być estymowane na podstawe dużej lczby danych pomarowych.

29 Uczene klasyfkatorów Uczene (trenng klasyfkatora): estymacja funkcj gęstośc prawdopodobeństwa lub ch parametrów na podstawe pomarów. Uczene nadzorowane: wektory cech zostały uprzedno sklasyfkowane za pomocą nezależnej, bezbłędnej metody. Uczene nenadzorowane: neznane są klasy, do których należą zmerzone wektory cech. Klasy oraz ch lczba są określane przez grupowane wzorców w przestrzen cech (klasteryzacja). Przykłady klasyfkatorów: Klasyfkatory k-nn, Sztuczne sec neuronowe

30 Segmentacja obrazu przykład

31 Segmentacja na podstawe składowych koloru {R,G,B} Obraz trójwymarowych rozkładów (Gaussa) dla składowych koloru R,G,B B G R

32 Klasyfkator Bayesa dla rozkładów Gaussa c 1 - klasa 1 c - klasa c prawdopodobeństwa a pror p(x) c x

33 Reguła Bayesa Z podstaw rachunku prawdopodobeństwa wadomo, że: p ( a / b) = p( a) p( b / p( b) a) zatem: p ( c / x) = P ( c ) ( ) p x / c p( x) prawdopodobeństwo a pror reguła Bayesa prawdopodobeństwo a posteror

34 Estymator najwększej warygodnośc Punkt obrazu przydzelamy do tej -tej klasy, dla której zachodz: L = arg max p ( ) P( c ) p( / c ) x c / x = j p ( x), =1,, K,N tj. L > L j, j, = 1,, K,N

35 Klasyfkator Bayesa dla rozkładów Gaussa c 1 - klasa 1 c - klasa c prawdopodobeństwa a pror p( ω / x) > p( ω1 / x) p(x) c p ( c / x) > p( c1 / x) p ( c1 / x) > p( c / x)

36 Klasyfkator Bayesa - przykład Urna A Urna B 0 czerwone 0 bałe 30 czerwone 10 bałe Losowo w cemno wyberamy urnę a potem żeton w urne. Pytane: Z której urny wybralśmy żeton?

37 Klasyfkator Bayesa - przykład Urna A Urna B 0 czerwone 0 bałe 30 czerwone 10 bałe Zanm stwerdzmy jak kolor żetonu wylosowalśmy mamy podstawy twerdzć (wedza a pror), że prawdopodobeństwo wybrana każdej z urn wynos 0.5.

38 Klasyfkator Bayesa - przykład Urna A Urna B 0 czerwone 0 bałe 30 czerwone 10 bałe Przypuśćmy, że wylosowalśmy czerwony żeton. Czy możemy teraz zweryfkować naszą hpotezę co do wyboru urny na podstawe nowej wedzy a posteror? Tak, odpowedź mamy na podstawe tw. Bayesa.

39 Klasyfkator Bayesa - przykład Urna A Urna B To ta urna! najprawdopodobnej 0 czerwone 30 czerwone 0 bałe 10 bałe p ( A / red ) = P P( A) p( red / A) ( A) p( red / A) + P( B) p( red / B) = = 0. 4 p ( B / red ) = P P( B) p( red / B) ( A) p( red / A) + P( B) p( red / B) = = 0. 6

40 Klasyfkator Bayesa dla rozkładów Gaussa ( ) 1, ) ( exp 1 / = = m x c x p σ πσ Dla rozkładu jednowymarowego Gaussa prawdopodobeństwo a pror: ( ) ( ) 1, ) ( ) ( exp 1 ) ( / / = = = c P m x c P c x p x c p σ πσ Prawdopodobeństwo a posteror:

41 Rozkłady welowymarowe Gaussa Dla rozkładu -wymarowego x T =[x 1 x ] Gaussa prawdopodobeństwo a pror: Gdze jest numerem klas a N jest ch lczbą. oraz macerz kowarancj: ( ) ( ) N c p T, 1,, ) ( ) ( exp 1 / 1 1/ 1/ K = = m x m x x π x x x x x x = Σ σ σ σ σ σ σ

42 Rozkład dwuwymarowy Gaussa - przykład Nech dla m 1 =m =0: 6 4 Σ = Σ 1 = Σ = p ( x ) 1 T = exp 1/ x ( π ) 1/ 1 1 x = Aexp( B) A = 1 = 1 1/ 1/ ( π ) 8 4 π B = 1 1 x 1 1 x 1 x x x x 1

43 Segmentacja na podstawe składowych koloru {R,G,B} Obraz trójwymarowych rozkładów dla składowych koloru R,G,B; można je opsać welowymarowym rozkładam Gaussa B G R

44 Wybór cech obrazu Wektor cech: współrzędne θ = { x, y, R, G, B, u, v} kolor ruch u v = = dx dt dy dt

45 Segmentacja na podstawe ruchu Segmentacja na podstawe składowych ruchu {u,v} Pole wektorowe przepływu optycznego (ang. optcal flow)

46 Algorytm k-najblższych sąsadów x x Dla każdego punktu przestrzen cech jest badanych k-najblższych sąsadów. Punkt jest przydzelany do tej klasy do której należy najwększa lczba wzorców spośród k-sąsadów (funkcja decyzyjna?). x 1

47 Wynk segmentacj - przykłady

48 Wynk segmentacj - przykłady

49 Przykłady zadań rozpoznawana obrazów: Odcsk palców Baza obrazów z odcskam palców FBI 199

50 Przykłady zadań rozpoznawana obrazów: Dagnostyka obrazowa Mamografa

51 Przykłady zadań rozpoznawana obrazów: rozpoznawane tęczówk oka (bometra) Patentowany algorytm Daugmana

52 Przykłady zadań rozpoznawana obrazów: Bazy obrazów Idea obrazu poszukwanego lub kopa obrazu poszukwanego Obraz odszukany DWT C.E. Jacobs, A. Fnkelsten, D.H. Saless, Fast multresoluton mage querng, 1999

53 Analza obrazów RTG zaren pszency P. Strumllo, J. Newczas, P. Szczypńsk, P. Makowsk, W. Woznak, Computer system for analyss of X ray mages of wheat grans, Internatonal Agrophyscs, 1999, vol. 13, No. 1, pp

54 Automatyczna detekcja tekstu w scene