Pattern Classification

attern Classfcaton All materals n these sldes were taken from attern Classfcaton nd ed by R. O. Duda,. E. Hart and D. G. Stork, John Wley & Sons, 000 wth the permsson of the authors and the publsher

Chapter art : Bayesowska teora decyzj Sectons.-. Wstęp Bayesowska teora decyzj cechy cągłe

Wstęp rzykład zadana rozpoznawana okoń / łosoś Informacja aproryczna Wartość cechy obektu jest realzacją zmennej losowej rawdopodobeństwo złowena ryb obu klas, może być jednakowe + prawdopodobeństwo wszystkch zdarzeń attern Classfcaton, Chapter art

3 Reguła decyzyjna przy nformacj aprorycznej Wyberz klasę jeżel >, w przecwnym przypadku wyberz Informacja w postac rozkładów warunkowych opsują prawdopodobeństwa wynków pomaru jasnośc w populacjach sea and salmon attern Classfcaton, Chapter art

4 attern Classfcaton, Chapter art

5 rawdopodobeństwa: a posteror, warunkowe, całkowte j j j / W przypadku dwóch klas j j j j.a posteror.warunkowe *.a pror /.całkowte attern Classfcaton, Chapter art

7 Reguła decyzyjna z nformacją aposteroryczną X reprezentuje pomar, dla którego: Jeżel > to klasa Jeżel < to klasa Zatem, dla konkretnego pomaru, prawdopodobeństwo błędnej decyzj jest następujące: błąd dla decyzj błąd dla decyzj attern Classfcaton, Chapter art

8 Mnmalzacja prawdopodobeństwa błędnej decyzj przy regule decyzyjnej: Wyberz klasę jeżel > ; w przecwnym przypadku wyberz prowadz do prawdopodobeństwa błędnej decyzj o postac: błąd mn [, ] optymalna decyzja Bayesa attern Classfcaton, Chapter art

Bayesowska teora decyzj Cechy cągłe 9 Uogólnene dotychczasowych rozważań omar welu cech Uwzględnene welu klas obektów Zdefnowane funkcj strat, która jest ogólnejsza od prawdopodobeństwa błędnej decyzj. attern Classfcaton, Chapter art

0 Możlwe jest dopuszczene decyzj odrzucena obektu Funkcja strat defnuje koszty zwązane z podjęcem błędnej decyzj attern Classfcaton, Chapter art

{,,, c } zbór klas {α, α,, α a } zbór decyzj λα j funkcja strat zwązanych z podjęcem decyzj α dla obektu z klasy j attern Classfcaton, Chapter art

Ryzyko całkowte R całka po wszystkch Rα Mnmalzacja R Ryzyko warunkowe Mnmalzacja Rα dla,, a c R α λ α j j j Dla,,a attern Classfcaton, Chapter art

3 odejmj taką decyzję α, dla której Rα przyjmuje wartość najmnejszą w takm przypadku R równeż przyjmuje wartość najmnejszą jest nazywane Ryzykem bayesowskm Bayesowska reguła decyzyjna prowadz do najmnejszej możlwej wartośc R attern Classfcaton, Chapter art

4 Rozpoznawane zero-jedynkowe α : wyberz α : wyberz λ j λα j to strata zwązana z decyzją α dla obektu z klasy j Ryzyko warunkowe: Rα λ + λ Rα λ + λ attern Classfcaton, Chapter art

5 Reguła decyzyjna jest następująca: Jeżel Rα < Rα odejmowana jest decyzja α : wyberz Równoważne: Wyberz jeżel: λ - λ > λ - λ w przecwnym przypadku wyberz attern Classfcaton, Chapter art

6 Wskaźnk warygodnośc: oprzedno przestawona reguła decyzyjna jest równoważna następującej: Jeżel > λ λ λ λ to podejmj decyzję α wyberz w przecwnym przypadku podejmj decyzję α wyberz attern Classfcaton, Chapter art

7 Własność decyzj optymalnych Jeżel wskaźnk warygodnośc przekracza wartość progową nezależne od wartośc cech obektu, możlwe jest podejmowane optymalnych decyzj attern Classfcaton, Chapter art

Ćwczene 8 odejmj optymalną decyzję w następującym zadanu: Ω {, } N.5, 0. N, 0.5 rozkład normalny /3 /3 λ 3 4 attern Classfcaton, Chapter art

Chapter art : Bayesowska teora decyzj Sectons.3-.5 Optymalny klasyfkator Bayesa Klasyfkatory, funkcje dyskrymnujące obszary decyzyjne Rozkład normalny

0 Optymalny klasyfkator Bayesa Decyzje dotyczące numeru klasy obektu Jeżel podjęto decyzję α dla obektu klasy j to: decyzja jest poprawna jeśl j, a błędna jeśl j oszukujemy reguły decyzyjnej mnmalzującej prawdopodobeństwo błędnej klasyfkacj attern Classfcaton, Chapter art

attern Classfcaton, Chapter art Zero-jedynkowa funkcja strat: Ryzyko warunkowe przyjmuje postać: Ryzyko zwązane z zerojedynkową funkcją strat jest średnm błędem klasyfkacj c j j j j,...,, 0, α λ c j j j c j j j R α λ α

Mnmalzacja ryzyka sprowadza sę do maksymalzacj poneważ Rα Wyberz jeżel > j j attern Classfcaton, Chapter art

attern Classfcaton, Chapter art 3 Obszary decyzyjne : Jeśl λ jest zero-jedynkową funkcją strat: b a θ θ λ θ θ λ λ λ mamy 0 0 dla to 0 0 λ θ λ θ λ λ λ λ > gdy to wyberz. Nech

Klasyfkatory, funkcje dyskrymnujące obszary decyzyjne 5 rzypadek welu klas Zbór funkcj dyskrymnujących: g,,,c Klasyfkator przyporządkowuje wektorow cech klasę jeżel: g > g j j attern Classfcaton, Chapter art

Nech g - Rα maksmum funkcj dyskrymnującej odpowada mnmum funkcj ryzyka 7 W celu mnmalzacj prawdopodobeństwa błędnej decyzj berzemy g maksmum funkcj dyskrymnującej odpowada maksmum rozkładu a posteror g g ln + ln ln: logarytm naturalny attern Classfcaton, Chapter art

8 rzestrzeń cech zostaje podzelona na c regonów decyzyjnych: Jeżel g > g j j to leży w R R oznacza obszar decyzyjny klasy o numerze rzypadek dychotonomczny dwe klasy Klasyfkator ma do dyspozycj dwe funkcje g g Nech g g g Wyberz jeżel g > 0 ; w przec. przypadku wyberz attern Classfcaton, Chapter art

attern Classfcaton, Chapter art 9 Wyznaczane funkcj g ln ln lub g g +

Rozkład normalny Rozkład jednowymarowy Dogodny w oblczenach analtycznych Cągły Wele procesów jest asymptotyczne normalnym Znak psane odręczne, sygnały mowy można rozpatrywać jako dealne wzorce zakłócone przez proces losowy centralne twerdzene granczne ep π σ gdze: µ średnalub wartość oczekwana zmennej σ warancja kwadrat odchylena standardowego µ σ, 3 attern Classfcaton, Chapter art

33 Rozkład welowymarowy d wymarowy rozkład normalny: π d / Σ / ep µ T Σ µ gdze:,,, d T T oznacza transpozycję µ µ, µ,, µ d T wektor średnch Σ d*d macerz kowarancj Σ Σ - oznaczają wyznacznk odwrotność macerzy attern Classfcaton, Chapter art

Chapter part 3 Bayesowska teora decyzj Sectons -6,-9 Funkcje dyskrymnujące dla rozkładu normalnego Bayesowska teora decyzj cechy dyskretne

Funkcje dyskrymnujące dla rozkładu normalnego 35 Optymalny klasyfkator Bayesa wąże sę z funkcjam dyskrymnującym o postac: g ln + ln W przypadku welowymarowym: g T d µ Σ + µ ln π ln Σ ln attern Classfcaton, Chapter art 3

attern Classfcaton, Chapter art 3 36 rzypadek Σ σ.i I oznacza macerz jednostkową klasy! tej - jest progem dla ln ; gdze lnowa funkcja dyskrymn. 0 0 0 T T w w w w g µ µ σ σ µ + +

37 Klasyfkator korzystający z lnowych funkcj dyskrymnujących nazywany jest klasyfkatorem lnowym owerzchne decyzyjne klasyfkatora lnowego są fragmentam hperpłaszczyzn zdefnowanych jako: g g j attern Classfcaton, Chapter art 3

38 attern Classfcaton, Chapter art 3

attern Classfcaton, Chapter art 3 39 Hperpłaszczyzna rozdzelająca R oraz R j jest ortogonalna do prostej łączącej średne ln 0, 0 0 j j j j j t w gdze w µ µ µ µ σ µ µ µ µ + j Jeżel to 0 j w µ µ +

attern Classfcaton, Chapter art 3 4 rzypadek Σ Σ kowarancje wszystkch klas są dentyczne, z góry ustalone Hperpłaszczyzna rozdzelająca R R j hperpłaszczyzna rozdzelająca R R j na ogół ne jest ortogonalna do prostej łączącej średne [ ] / ln 0, 0 0 j j T j j j j t w gdze w µ µ µ µ µ µ µ µ µ µ Σ + Σ

attern Classfcaton, Chapter art 3 45 rzypadek Σ z góry ustalona Macerze kowarancj dla każdej klasy są nne Hperkwadratyk: hperpowerzchne, pary hperpowerzchn, hpersfery, hperelpsody, hperparabolody, hperhperbolody ln ln w w W gdze : 0 0 T T T w w W g µ µ µ + Σ Σ Σ Σ + +

Bayesowska teora decyzj cechy dyskretne 48 Współrzędne wektora cech są bnarne lub całkowtolczbowe, może przyjąć jedyne m różnych wartośc v, v,, v m rzypadek nezależnych cech bnarnych w zadanu klasyfkacj z dwema klasam Nech [,,, d ] T, przy czym ma wartość 0 lub, z prawdopodobeństwam: p q attern Classfcaton, Chapter art 3

attern Classfcaton, Chapter art 3 49 Funkcje dyskrymnujące mają postać: 0 gdy g 0 albo gdy g wyberz ln ln oraz :,..., ln gdze : 0 0 > + + q p w d p q q p w w w g d d