Konstrukcja biortogonalnych baz dyskryminacyjnych dla problemu klasyfikacji sygnałów Politechnika Warszawska Strona 1
Podstawowe definicje Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X Bład rzeczywisty wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje Zbiór treningowy zbiór X = {(x i, y i ): x i R d, y i { 1, +1}} l i=1 rozkładem prawdopodobieństwa D na R n { 1, +1} Klasyfikator Dowolne odwzorowanie h: R n { 1, +1} Bład na próbce err X (h) = {(x i,y i ): h(x i ) y i } X Bład rzeczywisty err D (h) = P D (h(x) y) wylosowany niezależnie zgodnie z pewnym Politechnika Warszawska Strona 2
Podstawowe definicje cd. Politechnika Warszawska Strona 3
Podstawowe definicje cd. Baza biortogonalna Politechnika Warszawska Strona 3
Podstawowe definicje cd. Baza biortogonalna zbiór d par wektorów z R d {(φ i, ψ i )} d i=1, takich że φ i, ψ k = δ i,k x = d x, ψ i φ i i=1 x R Politechnika Warszawska Strona 3
Sformułowanie problemu (baza dyskryminacyjna) Politechnika Warszawska Strona 4
Sformułowanie problemu (baza dyskryminacyjna) Dla danego zbioru treningowego X znaleźć taka bazę biortogonalna {(φ i, ψ i )} d i=1 przestrzeni Rn, że warunek Politechnika Warszawska Strona 4
Sformułowanie problemu (baza dyskryminacyjna) Dla danego zbioru treningowego X znaleźć taka bazę biortogonalna {(φ i, ψ i )} d i=1 przestrzeni Rn, że warunek y i ψ k, x i > 0 zachodzi dla jak największej liczby przykładów treningowych dla k = 1,..., d, i = 1,..., l Politechnika Warszawska Strona 4
Szukanie bazy dyskryminacyjnej Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Lifting scheme Politechnika Warszawska Strona 5
Szukanie bazy dyskryminacyjnej Dowolna baza NIEWYKONALNE Baza ortogonalna proste, brak adaptacji, brak lokalności Lifting scheme proste, mo żliwósć adaptacji, lokalność Politechnika Warszawska Strona 5
Lifting Scheme Politechnika Warszawska Strona 6
Lifting Scheme Split Politechnika Warszawska Strona 6
Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Politechnika Warszawska Strona 6
Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Politechnika Warszawska Strona 6
Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Politechnika Warszawska Strona 6
Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Predict Politechnika Warszawska Strona 6
Lifting Scheme Split Rozbij wektor x R d na dwa wektory x e (współrzędne parzyste) oraz x o (współrzędne nieparzyste). Update Utwórz zgrubne przybliżenie c wektora x c i = xo i + x e i 2 = x(2i) + x(2i + 1) 2 Predict Znajdź współczynniki d i według wzoru d i = x o i PREDICT(c, L) Politechnika Warszawska Strona 6
Lifting scheme c.d. X Update C Predict D Politechnika Warszawska Strona 7
Lifting scheme (predyktor liniowy) c(n) x(2n+1) c(n+1) α +1 β Σ d(n) Politechnika Warszawska Strona 8
Lifting scheme - własności Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady zależność kolejnych współrzędnych wektora x od ich sasiadów Politechnika Warszawska Strona 9
Lifting scheme - własności Zalety wektory bazowe ψ i (analizujace) sa lokalne działanie operatorów predykcji jest od siebie niezależne Wady zależność kolejnych współrzędnych wektora x od ich sasiadów tylko jeden sposób budowy bazy Politechnika Warszawska Strona 9
Metoda (krok 1) Politechnika Warszawska Strona 10
Metoda (krok 1) Współczynniki d i można wykorzystać do klasyfikacji pred(x) = sgn(d i b i ) Politechnika Warszawska Strona 10
Metoda (krok 1) Współczynniki d i można wykorzystać do klasyfikacji pred(x) = sgn(d i b i ) W przypadku liniowego operatora predykcji, współczynnik d i można zapisać następujaco d i = x e i c, p i Politechnika Warszawska Strona 10
Metoda (krok 2) Politechnika Warszawska Strona 11
Metoda (krok 2) Na podstawie zbioru treningowego X tworzymy nowy zbiór treningowy (oddzielnie dla każdego współczynnika d i ) X i = {( c k i, y k )} l k=1 Politechnika Warszawska Strona 11
Metoda (krok 2) Na podstawie zbioru treningowego X tworzymy nowy zbiór treningowy (oddzielnie dla każdego współczynnika d i ) X i = {( c k i, y k )} l k=1 Aby znaleźć współczynniki p i należy rozwiazać następujacy problem optymalizacyjny 1 min p i,b i,c i 2 p i 2 2 + C i l k=1 przy ograniczeniach y k (x k o,i + c k i, p i + bi ) 1 0 ξ k 0 ξ i k = 1,..., l Politechnika Warszawska Strona 11
Metoda (krok 3) Politechnika Warszawska Strona 12
Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Politechnika Warszawska Strona 12
Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Do wyliczania współczynników d k i nie trzeba znać wektora p i d k i = x k o,i + y j α c j j i, ck i j I SV Politechnika Warszawska Strona 12
Metoda (krok 3) Podobnie jak w przypadku Support Vector Machines (SVM) rozwiazanie jest dane wzorem p i = l y k α k c k i k=1 Do wyliczania współczynników d k i nie trzeba znać wektora p i d k i = x k o,i + j I SV y j α j c j i, ck i Można zastosować kernel trick d k i = x k o,i + j I SV y j α j K( c j i, ck i ) Politechnika Warszawska Strona 12
Oszacowanie wymiaru VC Wymiar VC dla tak konstruowanej przestrzeni hipotez można oszacować następujaco dim V C 6.065 d + 3 log 2 (d) gdzie d = argmax s S ( em s ) s Politechnika Warszawska Strona 13
Podsumowanie Politechnika Warszawska Strona 14
Podsumowanie Zalety Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych ograniczenie do dwóch klas decyzyjnych Politechnika Warszawska Strona 14
Podsumowanie Zalety Naturalna równoległość Łatwość interpretacji (lokalność funkcji bazowych) Wysoka jakość Wady duża liczba parametrów sterujacych ograniczenie do dwóch klas decyzyjnych ograniczenie do klasyfikacji sygnałów Politechnika Warszawska Strona 14
Wyniki Dane Bład klasyfikacji Rozmiar drzewa Oryginalne Nowe Oryginalne Nowe Twonorm 0.215 0.015 35 3 Ringnorm 0.150 0.048 23 13 Threenorm 0.302 0.216 51 29 Waveform 0.290 0.183 - - Shape 0.088 0.062 - - Table 1: Klasyfikator C4.5 Politechnika Warszawska Strona 15
Wyniki c.d Dane Bład klasyfikacji 3 współczynniki 15 współczynników Twonorm 0.007 0.007 Ringnorm 0.070 0.047 Threenorm 0.170 0.187 Waveform 0.211 0.178 Shape 0.025 0.018 Table 2: Głosowanie 3 i 15 współczynników Politechnika Warszawska Strona 16