ANALIZA SEMANTYCZNA OBRAZU I DŹWIĘKU

Transkrypt

1 ANALIZA SEMANTYCZNA OBRAZU I DŹWIĘKU obraz dr inż. Jacek Naruniec

2 Analiza Składowych Niezależnych (ICA) Independent Component Analysis Dąży do wyznaczenia zmiennych niezależnych z obserwacji Problem opiera się na ślepej separacji sygnałów nie ma żadnej informacji o źródle dźwięku *źródło (także kolejnych obrazków o ICA): A.Hyvarinen, E. Oja: Independent Component Analysis: Algorithms and Applications + 2

3 Independent Component Analysis 3

4 Independent Component Analysis Dane obserwowane można wyrazid jako suma iloczynów źródeł sygnału i współczynników mieszających: x x 1 ( t) 2 ( t) a a 11 s 21 1 s 1 a 12 a s 22 2 s 2 Problem ten można odwrócid: Czyli s s 1 ( t) 2 ( t) w w x 1 x 1 w 12 w s Wx 22 x 2 x 2 4

5 Independent Component Analysis ICA dąży do wyznaczenia macierzy W, która pozwala na wyznaczenie źródeł sygnału s korzystając z obserwacji x Zakłada się, że źródła sygnału są niezależne Załóżmy dwie zmienne niezależne: 5

6 Independent Component Analysis Transformując liniowo zmienne można otrzymad następujący zbiór punktów: 6

7 Independent Component Analysis Centralne twierdzenie graniczne informuje, że suma rozkładów zmiennych niezależnych dąży do rozkładu normalnego W celu wyróżnienia zmiennych niezależnych możemy szukad takich transformacji, które wyznaczą wymiary o jak najmniejszym podobieostwie do funkcji Gaussa 7

8 Independent Component Analysis 1 krok - wybielenie macierzy (dekorelacja) za pomocą wektorów własnych i wartości własnych: 8

9 Independent Component Analysis 2 krok znalezienie kierunków o najmniejszym podobieostwie do rozkładu gaussowskiego negentropia kurtoza *źródło: 9

10 Independence Components Analysis Negentropia różnica między entropią rozkładu Gaussa o wariancji i średniej aktualnych danych i entropią aktualnych danych zeruje się dla rozkładu normalnego nieujemna Kurtoza miara spłaszczenia układu Kurt 1 n ( x i 1 n 4 i ) 4 3 zeruje się dla rozkładu normalnego ujemna dla cech mniej skoncentrowanych niż w rozkładzie normalnym dodatnia dla cech bardziej skoncentrowanych niż w rozkładzie normalnym 10

11 Independent Component Analysis Przykład przewagi PCA nad ICA w separacji klas: Kierunek największej wariancji (wynik PCA) Kierunek najmniejszego podobieostwa do rozkładu Gaussowskiego (ICA) 11

12 Independent Component Analysis Popularne metody rozwiązywania ICA: FastICA, Infomax 12

13 Inne metody ekstrakcji cech Obszary kontrastowe (obraz całkowy) Filtry Gabora Transformata falkowa 13

14 Obszary kontrastowe Wykorzystane w detektorze obiektów opartego na klasyfikacji AdaBoost 5 typów obszarów kontrastowych Czarny obszar oznacza odejmowanie pikseli należących do obszaru, biały obszar sumowanie pikseli należących do obszaru 14

15 Obszary kontrastowe Przykład w detekcji oczu 15

16 Obraz całkowy Obraz całkowy integral image (ii) Pozwala na obliczenie sumy pikseli dowolnego obszaru prostokątnego za pomocą 4 sumowao Wartośd pojedynczego elementu obrazu całkowego ii(x i,y i ) odpowiada sumie wszystkich pikseli spełniających warunek x<x i i y<y i. Algorytm tworzenia ii dla obrazu I(x,y): Wszystkim elementom ii(x, y) przypisz wartośd 0 Skopiuj pierwszy rząd I(x,1) do ii(x, 1) Sumuj po kolumnach (od 2 rzędu): ii(x,y)=ii(x,y-1)+i(x, y) Sumuj po rzędach (od 2 kolumny): ii(x,y)=ii(x-1,y)+ii(x,y) Przyjmij ii(x, 0)= ii(0, y) = 0 16

17 Obraz całkowy Suma pikseli szarego prostokąta = ii(a)+ii(d)-ii(b)-ii(c). Suma pikseli prostokąta o zaczepieniu x, y i wysokości h, szerokości w: S ii( x 1, y 1) ii( x w 1, y h 1) ii( x w 1, y 1) ii( x 1, y h 1) 17

18 Filtry Gabora 18

19 Filtry Gabora Zestaw (jet) filtrów Gabora częśd rzeczywista: 19

20 Transformata falkowa Dostarcza informacji dotyczących składowych częstotliwościowych sygnału Wielkośd stosowanych okien jest potęgą liczby 2 Poza analizą częstotliwościową zachowuje informacji o położeniu (w przeciwieostwie do DFT) W każdym oknie dokonuje podziału na składowe wysoko i niskoczęstotliwościowe. Składowe wysokoczęstotliwościowe są zachowywane a niskoczęstotliwościowe dalej filtrowane Najprostsza falka Haara: 1dla 0 t 1 ( t) 0 wpp 1dla 0 t 0.5 ( t) 1dla 0.5 t 1 0 wpp 20 *źródło: wikipedia]

21 Transformata falkowa *źródło: T.Edwards Discrete Wavelet Transforms: Theory and Implementation + 21

22 Transformata falkowa 22 *źródło: T.Edwards Discrete Wavelet Transforms: Theory and Implementation +

23 Transformata falkowa 23

24 Transformata falkowa Dekompozycję falkową obrazu 2D otrzymuje się poprzez 1D dekompozycje obrazu osobno w rzędach i kolumnach H 2 HH H 2 L 2 HL x(m,n) H 2 LH L 2 L 2 LL 24

25 Transformata falkowa 25

26 Ekstrakcja w wybranych zadaniach Detekcja twarzy, punktów charakterystycznych kolor skóry (najpopularniejsza metoda) kontrasty obszarowe aktywne modele luminancja pikseli w oknie analizy PCA dyskretne filtry częsotliwościowe cechy oka (wrażliwośd oka na światło podczerwone) z góry określone założenia 26

27 Ekstrakcja w wybranych zadaniach Rozpoznawanie twarzy luminancja pikseli w znormalizowanym obrazie twarzy cechy uzyskane w wyniku analizy dyskryminacyjnej cechy częstotliwościowe w otoczeniu punktów szczególnych twarzy parametry aktywnych modeli relacje odległościowe punktów charakterystycznych twarzy 27

28 Ekstrakcja w wybranych zadaniach Lokalizacja numerów rejestracyjnych kamery podczerwieni lokalizacja samochodu, obiektów ruchomych wyznaczanie lokalnych obszarów o dużej zmienności w poziomie (krawędzie) 28

29 Ekstrakcja w wybranych zadaniach 29

30 Ekstrakcja w wybranych zadaniach Tęczówka oka ekstrakcja zwykle w obrazie podczerwieni Lokalizacja filtracja medianowa Hough (CHT) w obrazie krawędziowym - źrenica *źródło: D.Gillies Iris Recognition + 30

31 Ekstrakcja w wybranych zadaniach Tęczówka oka obrazy krawędziowe: źrenicy tęczówki *źródło: D.Gillies Iris Recognition + 31

32 Ekstrakcja w wybranych zadaniach Tęczówka oka Rozpoznawanie filtry Gabora jeśli nie wykorzystujemy kamer IR, zwykle analizowane są jedynie współczynniki fazowe 32

33 Ekstrakcja w wybranych zadaniach Analiza dłoni kolor skóry (obszary spójne) kontrasty obszarowe ruch aktywne kształty parametry dopasowania obrazu 2D do modelu 3D 33