Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów. Wit Jakuczun

Transkrypt

1 Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów Politechnika Warszawska Strona 1

2 Podstawowe definicje Politechnika Warszawska Strona 2

3 Podstawowe definicje Zbiór treningowy Politechnika Warszawska Strona 2

4 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

5 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

6 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

7 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

8 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

9 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X Bład rzeczywisty wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

10 Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X Bład rzeczywisty err D (h) = P D (h(x) y) wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2

11 Podstawowe definicje cd. Politechnika Warszawska Strona 3

12 Podstawowe definicje cd. Baza biortogonalna Politechnika Warszawska Strona 3

13 Podstawowe definicje cd. Baza biortogonalna zbiór d par wektorów z R d {(φ i, ψ i )} d i=1, takich że φ i, ψ k = δ i,k x = d x, ψ i φ i i=1 x R Politechnika Warszawska Strona 3

14 Sformułowanie problemu (baza dyskryminacyjna) Politechnika Warszawska Strona 4

15 Sformułowanie problemu (baza dyskryminacyjna) Dla danego zbioru treningowego X znaleźć taka bazę biortogonalna {(φ i, ψ i )} d i=1 przestrzeni Rn, że warunek Politechnika Warszawska Strona 4

16 Sformułowanie problemu (baza dyskryminacyjna) Dla danego zbioru treningowego X znaleźć taka bazę biortogonalna {(φ i, ψ i )} d i=1 przestrzeni Rn, że warunek y i ψ k, x i > 0 zachodzi dla jak największej liczby przykładów treningowych dla k = 1,..., d, i = 1,..., l Politechnika Warszawska Strona 4

17 Szukanie bazy dyskryminacyjnej Politechnika Warszawska Strona 5

18 Szukanie bazy dyskryminacyjnej Dowolna baza Politechnika Warszawska Strona 5

19 Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Politechnika Warszawska Strona 5

20 Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna Politechnika Warszawska Strona 5

21 Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Politechnika Warszawska Strona 5

22 Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Lifting scheme Politechnika Warszawska Strona 5

23 Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Lifting scheme proste, mo żliwósć adaptacji, lokalność Politechnika Warszawska Strona 5

24 Lifting Scheme Politechnika Warszawska Strona 6

25 Lifting Scheme Split Politechnika Warszawska Strona 6

26 Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Politechnika Warszawska Strona 6

27 Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Politechnika Warszawska Strona 6

28 Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Politechnika Warszawska Strona 6

29 Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Predict Politechnika Warszawska Strona 6

30 Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Predict Znajdź współczynniki d i według wzoru d i = x o i PREDICT(c, L) Politechnika Warszawska Strona 6

31 Lifting scheme c.d. X Update C Predict D Politechnika Warszawska Strona 7

32 Lifting scheme (predyktor liniowy) c(n) x(2n+1) c(n+1) α +1 β Σ d(n) Politechnika Warszawska Strona 8

33 Lifting scheme - własności Politechnika Warszawska Strona 9

34 Lifting scheme - własności Zalety Politechnika Warszawska Strona 9

35 Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne Politechnika Warszawska Strona 9

36 Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Politechnika Warszawska Strona 9

37 Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady Politechnika Warszawska Strona 9

38 Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady zależność kolejnych współrzędnych wektora x od ich sasiadów Politechnika Warszawska Strona 9

39 Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady zależność kolejnych współrzędnych wektora x od ich sasiadów tylko jeden sposób budowy bazy Politechnika Warszawska Strona 9

40 Metoda (krok 1) Politechnika Warszawska Strona 10

41 Metoda (krok 1) Współczynniki d i można wykorzystać do klasyfikacji pred(x) = sgn(d i b i ) Politechnika Warszawska Strona 10

42 Metoda (krok 1) Współczynniki d i można wykorzystać do klasyfikacji pred(x) = sgn(d i b i ) W przypadku liniowego operatora predykcji, współczynnik d i można zapisać następujaco d i = x e i c, p i Politechnika Warszawska Strona 10

44 Metoda (krok 2) Na podstawie zbioru treningowego X tworzymy nowy zbiór treningowy (oddzielnie dla każdego współczynnika d i ) X i = {( c k i, y k )} l k=1 Politechnika Warszawska Strona 11

45 Metoda (krok 2) Na podstawie zbioru treningowego X tworzymy nowy zbiór treningowy (oddzielnie dla każdego współczynnika d i ) X i = {( c k i, y k )} l k=1 Aby znaleźć współczynniki p i należy rozwiazać następujacy problem optymalizacyjny 1 min p i,b i,c i 2 p i C i l k=1 przy ograniczeniach y k (x k o,i + c k i, p i + bi ) 1 0 ξ k 0 ξ i k = 1,..., l Politechnika Warszawska Strona 11

47 Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Politechnika Warszawska Strona 12

48 Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Do wyliczania współczynników d k i nie trzeba znać wektora p i d k i = x k o,i + y j α c j j i, ck i j I SV Politechnika Warszawska Strona 12

49 Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Do wyliczania współczynników d k i nie trzeba znać wektora p i d k i = x k o,i + j I SV y j α j c j i, ck i Można zastosować kernel trick d k i = x k o,i + j I SV y j α j K( c j i, ck i ) Politechnika Warszawska Strona 12

50 Oszacowanie wymiaru VC Wymiar VC dla tak konstruowanej przestrzeni hipotez można oszacować następujaco dim V C d + 3 log 2 (d) gdzie d = argmax s S ( em s ) s Politechnika Warszawska Strona 13

51 Podsumowanie Politechnika Warszawska Strona 14

52 Podsumowanie Zalety Politechnika Warszawska Strona 14

53 Podsumowanie Zalety Naturalna równoległość Politechnika Warszawska Strona 14

54 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Politechnika Warszawska Strona 14

55 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Politechnika Warszawska Strona 14

56 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady Politechnika Warszawska Strona 14

57 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych Politechnika Warszawska Strona 14

58 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych ograniczenie do dwóch klas decyzyjnych Politechnika Warszawska Strona 14

59 Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych ograniczenie do dwóch klas decyzyjnych ograniczenie do klasyfikacji sygnałów Politechnika Warszawska Strona 14

60 Wyniki Dane Bład klasyfikacji Rozmiar drzewa Oryginalne Nowe Oryginalne Nowe Twonorm Ringnorm Threenorm Waveform Shape Table 1: Klasyfikator C4.5 Politechnika Warszawska Strona 15

61 Wyniki c.d Dane Bład klasyfikacji 3 współczynniki 15 współczynników Twonorm Ringnorm Threenorm Waveform Shape Table 2: Głosowanie 3 i 15 współczynników Politechnika Warszawska Strona 16