Pattern Classification

Transkrypt

1 atter Classificatio All materials i these slides were tae from atter Classificatio d ed by R. O. Duda,. E. Hart ad D. G. Stor, Joh Wiley & Sos, 000 with the permissio of the authors ad the publisher

2 Chapter 3: Estymator ajwięszej wiarygodości i estymator Bayesa part Wstęp Estymator ajwięszej wiarygodości rzyład dla przypadu szczególego rzypade Gaussowsi: iezae µ i σ Obciążeie estymatora Dodate: Sformułowaie zadaia MW

3 Wstęp Data availability i a Bayesia framewor Możemy opracować optymaly lasyfiator Bayesa, zając: ω i prawdopodobieństwa a priori ω i waruowe rozłady w lasach Niestety, jedyie w wyjątowych sytuacjach dyspoujemy pełą iformacją probabilistyczą Opracowywaie lasyfiatora w oparciu o ciąg uczący Łatwo oszacować prawdopodobieństwa a priori Ciąg uczący jest zwyle zbyt mały do estymacji rozładów waruowych duży wymiar przestrzei cech atter Classificatio, Chapter 3

4 Iformacja apriorycza o problemie 3 Normaly rozład ω i ω i ~ N µ i, Σ i Rozład charateryzoway przez dwa parametry Techii estymacji Estymator Masymalej Wiarygodości MW Estymator Bayesa Wyii ońcowe są podobe, ale podejścia są róże atter Classificatio, Chapter 3

5 4 Zestaw parametrów w zadaiu MW jest ustaloy, ale wartości parametrów ależy wyzaczyć Najlepsze oszacowaia wartości parametrów uzysujemy masymalizując prawdopodobieństwo otrzymaia daych, jaie zostały zaobserwowae W metodach Bayesowsich parametry rozpatrywae są jao zmiee losowe o zaych rozładach W obu podejściach używamy ω i do ostrucji reguł decyzyjych lasyfiatora atter Classificatio, Chapter 3

6 Estymator Masymalej Wiarygodości 5 Ma dobre własości zbieżości dla rosącej długości ciągu uczącego Łatwiejszy w wyzaczeiu od estymatorów iych metod Ogóla idea działaia estymatora Załóżmy, że jest c las obietów ω j ~ N µ j, Σ j ω j ω j, j gdzie: µ, Σ j j µ, µ,..., σ, σ,cov m j j j j j j,... atter Classificatio, Chapter 3

7 Wyorzystaie ciągu uczącego do estymacji,,, c, gdzie i i,,, c odpowiadają lasom 6 Niech D zawiera próbe,,,, D F D fucja wiarygodości Estymator MW parametru masymalizuje D Jest taą wartością parametru, tóra ajlepiej odpowiada zaobserwowaym pomiarom, zebraym w ciągu uczącym atter Classificatio, Chapter 3

8 7 atter Classificatio, Chapter 3

9 Estymator optymaly Niech,,, p T oraz iech ozacza gradiet 8,,..., p T Ozaczmy l jao: l l D Sformułowaie problemu: wyzaczyć wartość, tóra masymalizuje: ˆ arg ma l atter Classificatio, Chapter 3

10 9 Warue oieczy optimum: l l l 0 atter Classificatio, Chapter 3

11 atter Classificatio, Chapter 3 0 Szczególy przypade: iezae µ i µ ~ Nµ, Σ Wartości cech obietów są zmieymi losowymi o wielowymiarowym rozładzie ormalym µ a zatem: Estymator MW parametru µ musi spełiać warue: [ ] 0 l i l l Σ Σ Σ µ µ µ µ π µ µ T d 0 ˆ Σ µ

12 o wymożeiu przez Σ oraz po prostych przeształceiach otrzymujemy: ˆµ Jest to średia arytmetycza próbe z ciągu uczącego Wiose: Jeżeli ω j j,,, c jest rozładem Gaussa w d- wymiarowej przestrzei cech to moża estymować,,, c T i dooać optymalej lasyfiacji w sesie bayesowsim. atter Classificatio, Chapter 3

13 atter Classificatio, Chapter 3 Estymator MW: Rozład ormaly: iezae µ oraz σ, µ, σ l l l l π l l

14 atter Classificatio, Chapter 3 3 Sumowaie: Rozwiązaie uładu daje wyi: ˆ ; ˆ µ σ µ + 0 ˆ ˆ ˆ 0 ˆ

15 4 Obciążeie estymatora Estymator MW parametru σ jest obciążoy E Σ i. σ σ Nieobciążoy estymator macierzy Σ ma postać: C T µ ˆ µ - macierz owariacji z próby atter Classificatio, Chapter 3

16 5 Dodate: Sformułowaie zadaia estymacji MW Niech D {,,, },, ; D Należy wyzaczyć wartość, przy tórej ciąg uczący jest ajbardziej reprezetatywy ˆ atter Classificatio, Chapter 3

17 6 D Nµ j, Σ j j, ω j ω j ω D... 0 D D c atter Classificatio, Chapter 3

18 7,,, c roblem: wyzaczyć ˆ taie, że: ma D ma,..., ma atter Classificatio, Chapter 3

19 Metoda Bayesa MB Chapter 3: Estymator ajwięszej wiarygodości i estymator Bayesa part arametryczy estymator Bayesa: rozład ormaly arametryczy estymator Bayesa: przypade ogóly roblemy z wielowymiarowością Złożoość obliczeiowa Aaliza ompoetów i aaliza dysrymiacyja Uryte łańcuchy Marowa 8

20 Estymator Bayesa uczeie bayesowsie w rozpozawaiu obrazów I MLE was supposed fi I BE is a radom variable Wyzaczaie prawdopodobieństw a posteriori ω i Wyzaczyć ω i, D Wzór Bayesa dla próbi D: ω i, D c j ω, D ω D i ω, D ω D j i j 9 atter Classificatio, Chapter 9 3

21 0 atter Classificatio, Chapter 0,,, Ostateczie :,, c j j j i i i i i i j j i i i ω ω ω ω ω ω ω ω ω ω ω D D D D D D D D, D 3

22 arametryczy estymator Bayesa: rozład ormaly Cel: Estymacja z wyorzystaiem rozładu a posteriori D rzypade jedowymiarowy: µ D µ jest jedyym iezaym parametrem µ ~ N µ, σ µ ~ N µ, σ 0 0 atter Classificatio, Chapter 4

23 atter Classificatio, Chapter Estymacja rozładu orówaie i : d µ µ α µ µ µ µ µ µ D D D, ~ N σ µ µ D ˆ σ σ σ σ σ µ σ σ σ µ σ σ σ µ ad 4

24 3 atter Classificatio, Chapter 3 4

25 rzypade jedowymiarowy D µ D jest już wyzaczoe D pozostało do wyzaczeia! D µ µ D dµ jest rozładem ormalym 4 A więc: D ~ N µ, σ + σ ma ω szuay rozład w lasach D j, ω j Mając D j, ω j wraz z ω j i wzorem Bayesa, otrzymujemy regułę decyzyją dla lasyfiatora Bayesa: j [ ω, D] ma[ ω, D ω ] j ω j j j atter Classificatio, Chapter 4 4 j

26 arametryczy estymator Bayesa: przypade ogóly 5 Wyzaczeie D może być przeprowadzoe w ażdej sytuacji, w tórej iezay rozład daje się parametryzować. Szczegółowe założeia są astępujące: ostać jest zaa z doładością do wartości, tórą ależy wyzaczyć Wiedza o jest zawarta w zaym rozładzie a priori ozostała część wiedzy o jest zawarta w zbiorze D zmieych losowych,,, atter Classificatio, Chapter 5 5

27 6 atter Classificatio, Chapter 6 odstawowe zadaie: Wyzacz rozład a posteriori D a astępie wyzacz D Ze wzoru Bayesa mamy: Z waruu iezależości otrzymujemy: D, d D D D 5

28 roblemy z wielowymiarowością Zadaia z 50 lub 00 biarymi cechami Doładość lasyfiacji zależy od wymiaru i ilości daych uczących rzypade wielowymiarowy z rozładem ormalym i dwiema lasami o tej samej owariacji 7 blad gdzie : r π r / e u µ µ du T Σ µ µ lim r blad 0 atter Classificatio, Chapter 7 7

29 8 Jeżeli cechy są iezależe, to: Σ diag σ r i d i µ,,..., d i σ µ σ i i σ Najbardziej użytecze cechy to taie, tórych różica między średią jest duża w porówaiu do odchyleia stadardowego Często obserwuje się w pratyce, że począwszy od pewego mometu uwzględiaie olejych cech prowadzi do pogorszeia jaości lasyfiacji!. atter Classificatio, Chapter 8 7

30 9 7 atter Classificatio, Chapter 9 7

31 30 Złożoość obliczeiowa Notacja wielie o f Oh Jeżeli: c, R ; f c0 góra graica f rośie ie szybciej iż h wystarczająco o wystarczająco dużym wymiarze! h 0 0 f +3+4 g f O atter Classificatio, Chapter 30 7

32 3 atter Classificatio, Chapter 3 f O ; f O 3 ; f O 4 Notacja wielie theta f h Jeżeli: f ale f 3 0 ;,, g c f g c c c > R 7

33 3 Złożoość estymatora MW Rozłady ormale a priori, d-wymiarowy lasyfiator, a ażdą z c las przypada próbe ciągu uczącego Dla ażdej lasy wyzaczamy fucję dysrymiującą: g O O d. O. d T d ˆ µ Σ ˆ µ l π l Σˆ + l ω O d. O Złożoość ogółem Od.. Złożoość przy c lasach Ocd. Od. Koszt obliczeiowy jest zaczący iedy d i są duże atter Classificatio, Chapter 3 7

34 Aaliza ompoetów i aaliza dysrymiacyja Łączeie cech w celu reducji wymiaru przestrzei cech Najprościej: ombiacje liiowe cech rojecja daych z przestrzei wysoowymiarowych do przestrzei o miejszej liczbie wymiarów Dwa lasycze podejścia do zajdywaia optymalej trasformacji liiowej CA ricipal Compoet Aalysis rojecja dająca ajlepszą reprezetację daych w sesie średiowadratowym MDA Multiple Discrimiat Aalysis rojecja ajlepiej separująca dae w sesie średiowadratowym 33 atter Classificatio, Chapter 33 8

35 Uryte łańcuchy Marowa: Łańcuchy Marowa Cel: wyzaczyć sewecję decyzji rocesy dyamicze, a stay w czasie t wpływają stay w czasie t- Zastosowaia: rozpozawaie i tagowaie mowy, rozpozawaie gestów, sewecjoowaie DNA, roces bez pamięci: ω T {ω, ω, ω3,, ωt} sewecja staów, p. ω 6 {ω, ω4, ω, ω, ω, ω4} roces może odwiedzić te sam sta w różych roach, przy czym pewe stay w ogóle ie muszą być odwiedzae atter Classificatio, Chapter

36 35 Model Marowa pierwszego rzędu rawdopodobieństwa przejść do olejych staów: ω j t + ω i t a ij atter Classificatio, Chapter 35 0

37 36 atter Classificatio, Chapter 36 0

38 a ij, ω T ω T a 4. a 4. a. a. a 4. ω ω i 37 rzyład: rozpozawaie mowy wypowiadaie olejych słów obraz słowa to reprezetacja przy użyciu foemów: /p/ /a/ /tt/ /er/ // // // sta ciszy rzejścia: /p/ do /a/, /a/ do /tt/, /tt/ do /er/, /er/ do // i // do stau ciszy atter Classificatio, Chapter 37 0

39 Chapter 3: Estymator ajwięszej wiarygodości i estymator Bayesa part 3 Uryte modele Marowa

40 39 Uryty model Marowa Związe staów procesu ze staami urytymi b j dla wszystich j, dla tórych b j V t ω j t. 3 zadaia związae z tym modelem The evaluatio problem Zadaie deodowaia Zadaie uczeia atter Classificatio, Chapter 3 art 3

41 atter Classificatio, Chapter 3 art 3 40 The evaluatio problem rawdopodobieństwo, że w tracie działaia procesu zaobserwowaa zostaie sewecja staów V T : gdzie r jest umerem sewecji T staów urytych ma T r r r T r T T V V ω ω { },...,, T T r ω ω ω ω T t t T t t T r T t t t t v V T r ω ω ω ω ω

42 4 Z zależości i wyia: V T r t T ma r t v t ω t ω t ω t Iterpretacja: rawdopodobieństwo zaobserwowaia oretej sewecji T staów procesu V T jest sumą po wszystich r ma możliwych sewecji staów urytych, iloczyów prawdopodobieństw waruowych przejścia do poszczególych staów i prawdopodobieństw zaobserwowaia mierzalych staów w sewecji. rzyład: Niech ω, ω, ω 3 ozaczają uryte stay; v, v, v 3 stay mierzale a V 3 {v, v, v 3 } jest sewecją staów widoczych. {v, v, v 3 } ω v ω ω ω v ω ω 3 ω v 3 ω liczba wszystich sładiów sumy to 3 3 7! atter Classificatio, Chapter 3 art 3

43 4 ierwszy przypade: v v v 3 ω t ω t ω 3 t 3 Drugi przypade: v v v 3 ω t ω 3 t ω t 3 {v, v, v 3 } ω.v ω.ω 3 ω.v ω 3.ω ω 3.v 3 ω + + Zatem: { v, v, v3} v t ω t ω t ω t możliwe sewecje staów urytych t 3 t atter Classificatio, Chapter 3 art 3

44 43 Zadaie deodowaia optymala sewecja staów Dla sewecji staów mierzalych V T, the decodig problem polega a zalezieiu ajbardziej prawdopodobej sewecji staów urytych. ˆ, ω ˆ,..., ω ˆ ω T ˆ, ω ˆ,..., ω ˆ ω T gdzie: λ [π,a,b], tóra spełia arg ma ω, ω,..., ω T π ω ω prawdopodobieństwo stau początowego A a ij ωt+ j ωt i B b j vt ωt j [ ω, ω,..., ω T, v, v,..., V T λ] Zauważmy, że bra jest tu sumowaia, poieważ poszuiwaa jest jeda, ajlepsza sewecja atter Classificatio, Chapter 3 art 3

45 44 W poprzedim przyładzie, te obliczeia odpowiadają wyborowi ajlepszej ścieżi spomiędzy: {ω t,ω t,ω 3 t 3}, {ω t,ω 3 t,ω t 3} {ω 3 t,ω t,ω t 3}, {ω 3 t,ω t,ω t 3} {ω t,ω t,ω 3 t 3} atter Classificatio, Chapter 3 art 3

46 Zadaie uczeia estymacja parametrów 45 Zadaie polega a zapropoowaiu metody estymacji parametrów λ [π,a,b] optymalizującej pewe ryterium. Należy zaleźć ajlepszy model ˆ λ [ π Aˆ, Bˆ] masymalizujący prawdopodobieństwo zaobserwowaia otrzymaej sewecji : Do zalezieia loalego optimum moża użyć metod iteracyjych, p. metody Bauma-Welcha lub metody gradietowej ˆ, ma V λ T λ atter Classificatio, Chapter 3 art 3