SYSTEMY UCZĄCE SIĘ WYKŁAD 7. KLASYFIKATORY BAYESA. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Transkrypt

1 SYSTEMY UCZĄCE SIĘ WYKŁAD 7. KLASYFIKATORY BAYESA Częstochowa 4 Dr hab. nż. Grzegorz Dudek Wydzał Elektryczny Poltechnka Częstochowska

2 TWIERDZENIE BAYESA Wedza pozyskwana przez metody probablstyczne ma postać konstruowanych na podstawe danych trenujących oszacowań prawdopodobeństw wystąpena w tych danych określonych wartośc atrybutów klas. Reguła Bayesa bazuje na założenu, że znane są: P prawdopodobeństwo a pror, że przykład należy do klasy oraz f gęstość rozkładu prawdopodobeństwa przykładów w klase. Reguła Bayesa pozwala wyznaczyć prawdopodobeństwo a posteror po zaobserwowanu, że przykład należy do klasy,,..., K: P K l f P f l P l f klasa klasa 5

3 FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA Twerdzene Bayesa pozwala wybrać klasę hptezę najbardzej prawdopodobną w śwetle zaobserwowanych danych: spośród wszystkch klas hpotez wyberamy tę, która ma najwększą wartość P. Prawdopodobeństwa a posteror mogą pełnć rolę funkcj dyskrymnacyjnych: g P Poneważ manownk wzoru Bayesa jest jednakowy dla wszystkch klas możemy zapsać: g f P Przykład zlczamy do klasy, jeśl zachodz: g > g,, j,,..., K, j, czyl j f P > f j P j,, j,,..., K, j f PPP3 g g g g 3 klasa 5 klasa klasa 3 3

4 FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA 3 Gaussowske rozkłady atrybutów w klasach, jednakowe warancje lnowe lne dyskrymnacyjne patrz maszyna lnowa Gaussowske rozkłady atrybutów w klasach, różne macerze kowarancj w klasach kwadratowe lne dyskrymnacyjne

5 5 Jeśl atrybuty w klasach mają rozkłady normalne Gaussa: Σ Σ ep / / T n f m m π gdze m średna przykładów w klase, Σ, Σ macerz kowarancj w klase jej wyznacznk Funkcje dyskrymnacyjne możemy wyrazć jako ln ln ln P f P f g. Wtedy ogólny wzór na funkcję dyskrymnacyjną reguły Bayesa dla klas gaussowskch: ln ln P g T Σ Σ m m * Z powyższego wzoru wynka, że w ogólnym przypadku funkcje te są kwadratowe, co oznacza, że powerzchne dyskrymnacyjne są stopna drugego hperelpsody, hperparabolody. FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA

6 FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA Gdy atrybuty w klasach są statystyczne nezależne posadają tę samą warancję tzn. Σ σ I otrzymujemy lnowe powerzchne dyskrymnacyjne. Gdy dodatkowo przyjmemy, że P dla poszczególnych klas są równe otrzymamy * : g σ n T m m k m, k σ k Wartość funkcj dyskrymnacyjnej jest w tym przypadku zanegowaną odległoścą od m maszyna lnowa. Powyżej założylśmy, że dane wektory lczb rzeczywstych opsane są welowymarowym rozkładam cągłym f. Jeśl dane są dyskretne zamast gęstośc stosujemy rozkłady prawdopodobeństw P. Wtedy funkcje dyskrymnacyjne mają postać: g P P * Patrz Stąpor K.: Automatyczna klasyfkacja obektów. Et, Warszawa 5, str. 6. 6

7 7 Dane są dwe klasy opsane średnm: m [-3, -3] T m [3, 3] T oraz macerzam kowarancj: Σ Σ 9 9. Prawdopodobeństwa wystąpena obektów z tych klas wynoszą: P P.5. Wyznacz funkcje dyskrymnacyjne powerzchne decyzyjne klasyfkatora Bayesa. Korzystamy ze wzoru * pomjając ln P. Oblczamy Σ, Σ 9 / 9 /, Σ, 8 Σ, stąd ] 3, [ ln g T ln ln g T FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA PRZYKŁAD

8 8 Powerzchna decyzyjna: g g równane okręgu - 9ln : / 36ln / ln FUNKCJE DYSKRYMINACYJNE DLA REGUŁY BAYESA PRZYKŁAD

9 EMPIRYCZNY KLASYFIKATOR BAYESA Klasyfkator Bayesa wymaga znajomośc prawdopodobeństwa a pror P poszczególnych klas oraz warunkowych gęstośc f. W praktyce welkośc te są neznane estymuje sę je na podstawe zboru trenującego. W ten sposób powstaje empryczny klasyfkator Bayesa. Estymacja P udzał poszczególnych klas w zborze uczącym: N P,,..., K N gdze: N lczba przykładów w zborze uczącym, N lczba przykładów z klasy w zborze uczącym Estymacja f : podejśce parametryczne: znana jest postać funkcyjna f, neznane są parametry tej funkcj. Parametry estymuje sę na podstawe zboru uczącego podejśce neparametryczne: brak założeń do postac f. Funkcje te szacuje sę metodam neparametrycznym na zborze uczącym 9

10 FUNKCJA GĘSTOŚCI PRAWDOPODOBIEŃSTWA Funkcja gęstośc prawdopodobeństwa f dla rzeczywstych zmennych losowych funkcja, która pozwala wyznaczyć prawdopodobeństwo tego, że zmenna losowa X przyjmuje wartośc z przedzału a, b]: P a < X b f d. Im zmenna losowa częścej przyjmuje wartośc z otoczena lczby, tym wartość f jest wększa. Funkcja f spełna warunk: b a f dla każdego f d

11 PARAMETRYCZNA ESTYMACJA FUNKCJI GĘSTOŚCI Parametryczna procedura estymacj f polega na arbtralnym wyborze typu rozkładu np. normalny, jednostajny, trójkątny, beta ustalenu wartośc jego parametrów. W przypadku welowymarowego rozkładu normalnego szukamy wartośc dwóch parametrów dla każdej klasy nezależne: wektora średnch oraz macerzy kowarancj: gdze N m l,,,..., K numer klasy N l N T Σ l m l m,,,..., K N l l są przykładam ze zboru trenującego należącym do klasy. Dane występujące w praktyce mogą wyrażać specyfczne rozkłady, do których trudno dopasować rozkłady standardowe. Wtedy stosuje sę neparametryczne metody estymacj gęstośc. Standardowe typy rozkładów możesz podejrzeć w Matlabe uruchamając narzędze dsttool.

12 NIEPARAMETRYCZNA ESTYMACJA FUNKCJI GĘSTOŚCI HISTOGRAM Najprostszą formą neparametrycznej estymacj gęstośc jest hstogram. Aby go utworzyć zakres zmennej dzelmy na równe przedzały o długośc h. Następne zlczamy le przykładów uczących leży w poszczególnych przedzałach N l. Słupek reprezentujący l-ty przedzał ma wysokość N l. 6 h 4 h.5 5 h. 4 3 N l N l N l Estymator funkcj gęstośc otrzymany na podstawe hstogramu ma postać: Nl f Nh gdze l jest przedzałem do którego należy Np. gęstość w punkce 5. oszacowana na podstawe powyższych trzech hstogramów wynos: 4/5,68, /5,5,6 oraz 9/5,,

13 NIEPARAMETRYCZNA ESTYMACJA FUNKCJI GĘSTOŚCI ESTYMATORY JĄDROWE Estymacja gęstośc za pomocą estymatorów jądrowych polega na rozpęcu nad każdym przykładem uczącym k pewnej funkcj K, zwanej jądrem, która spełna warunk: jest neujemna, osąga maksmum w zerze, jest symetryczna względem zera oraz spełna warunek K d. Suma funkcj K rozpętych nad wszystkm przykładam uczącym k podzelona przez lczbę przykładów parametr szerokośc jądra h daje jądrowy estymator gęstośc: f Nh N k K h k 3

14 NIEPARAMETRYCZNA ESTYMACJA FUNKCJI GĘSTOŚCI ESTYMATORY JĄDROWE.5 h.35 h.3. h f.5. f..5 f Estymator jądrowy jest mało wrażlwy na postać funkcj K. Często używa sę jądra normalnego: u k k K u ep K ep π h π h Parametr h zwany jest też parametrem wygładzana. Przy dużych wartoścach h otrzymujemy wększe wygładzene funkcj gęstośc. Małe wartośc h uwydatnają szczegóły zboru trenującego. W praktyce wartość h dobera sę zależne od lczby przykładów uczących N ch wymaru n. 4

15 NIEPARAMETRYCZNA ESTYMACJA FUNKCJI GĘSTOŚCI ESTYMATORY JĄDROWE Jeśl jest zmenną wektorową jądrowy estymator gęstośc najczęścej przybera postać sumy jąder produktowych loczynów jednowymarowych jąder dla poszczególnych współrzędnych: f Nh... h N n n k l l K hl gdze z l-tym wymarem skojarzony jest parametr wygładzana h l. Po zastosowanu jąder normalnych otrzymujemy: N n l k, l f ep n / Nh h... n π k l hl W takm przypadku parametry wygładzana można wyznaczyć ze wzoru: k, l 4 4 n n 4 σ l σ l N hl n N gdze σ l jest odchylenem standardowym l estymowanym z próby 5

16 PODEJŚCIE NIEPARAMETRYCZNE NAIWNY KLASYFIKATOR BAYESA Funkcje gęstośc określamy dla każdej klasy. Jeśl założyć warunkową nezależność wartośc atrybutów przy ustalonej klase, funkcję gęstośc można zapsać: f n j f j co oznacza estymację f na podstawe funkcj gęstośc pojedynczych atrybutów tzn. dla każdego wymaru/atrybutu oddzelne w obrębe danej klasy. Take podejśce zastosowano powyżej w produktowych estymatorach jądrowych. Możemy zatem zapsać: f Nh... h N n n k l l K hl k, l Klasyfkator wykorzystujący take podejśce zapsane welowymarowej funkcj gęstośc jako loczynów jednowymarowych funkcj gęstośc nazywa sę nawnym klasyfkatorem Bayesa. 6

17 NAIWNY KLASYFIKATOR BAYESA Gaussowske rozkłady atrybutów w klasach, warunkowa nezależność wartośc atrybutów w klasach Gaussowske rozkłady atrybutów w klasach, różne macerze kowarancj w klasach, atrybuty zależne

18 NAIWNY KLASYFIKATOR BAYESA Negaussowske rozkłady atrybutów w klasach Obszary klas pokrywające sę

19 NAIWNY KLASYFIKATOR BAYESA PRZYKŁAD Klasyfkacja zboru danych Irs Fsher's Irs Macerz błędów klasyfkacj oszacowane w procedurze leave-one-out.5 Klasa prawdzwa Klasa przewdywana nerozpoznana Odsetek poprawne sklasyfkowanych przykładów: 95,33%. Gdy usunemy dwa perwsze atrybuty przykładów, pozostawając atrybut 3 4 wynk klasyfkacj będze lepszy: 96,%! Lne decyzyjne dla tego przypadku przedstawa rys. powyżej..5.5 setosa verscolor vrgnca Porównaj z rozwązanem za pomocą drzew decyzyjnych - wykład 3, slajdy

20 OPTYMALNOŚĆ REGUŁY BAYESA W powyższych rozważanach przyjęto, że z każdą złą decyzją klasyfkatora błędną klasyfkacją przykładu z klasy j do klasy zwązana była jednakowa strata, nezależna od j. Wartość straty odzwercedla ujemne konsekwencje błędnej decyzj. Załóżmy teraz, że rozważamy przydzelene przykładu do klasy. Jeśl jego prawdzwą klasą jest j ponosmy stratę L,j. Poneważ prawdopodobeństwo zdarzena, że klasą przykładu jest j wynos Pj, wobec tego średna wartość straty jaką ponosmy w przypadku przydzelena przykładu do klasy wynos: R nazywa sę ryzykem warunkowym. K R L P j ** j, j Naszym celem jest teraz wybrane takej klasy, dla której osągamy mnmum R. Klasyfkator dzałający według tej reguły nazywany jest optymalnym klasyfkatorem bayesowskm. Żaden klasyfkator ne może meć ryzyka całkowtego mnejszego nż ryzyko całkowte klasyfkatora bayesowskego.

21 OPTYMALNOŚĆ REGUŁY BAYESA Jeśl przyjmemy prostą funkcje straty: L, j,, gdy j gdy j otrzymamy: K R P j P j, j Mnmum tego ryzyka osągane jest dla maksmum prawdopodobeństwa a posteror P reguła klasyfkacj sprowadza sę do tej rozważanej wcześnej patrz slajd 3.

22 KLASYFIKATOR BAYESA PRZYKŁAD Lekarz ma zdagnozować pacjenta na podstawe dwóch symptomów chorobowych. Zbór trenujący obejmujący ludz chorych na chorobę A klasa - nebeska, chorych na chorobę B klas - czerwona zdrowych klasa 3 - zelona pokazano na rysunku. Choroba A wymaga wykonana skomplkowanej kosztownej, ale ratującej życe operacj, natomast choroba B prostego leczena farmakologcznego Błędne zaklasyfkowane osoby zdrowej do klasy choroby A wąże sę z dużą stratą: L,3,9 zbędna operacja. Błędne zaklasyfkowane osoby zdrowej do klasy choroby B wąże sę z małą stratą: L,3, neszkodlwe leczene. Błędne zaklasyfkowane osoby chorej na A do klasy choroby B wąże sę z dużą stratą: L,, brak ratującej życe operacj.

23 KLASYFIKATOR BAYESA PRZYKŁAD Błędne zaklasyfkowane osoby chorej na B do klasy choroby A wąże sę z dużą stratą: L,,9 zbędna operacja. Błędne zaklasyfkowane osoby chorej na B do klasy osób zdrowych wąże sę z newelką stratą: L 3,,3 brak leczena. Błędne zaklasyfkowane osoby chorej na A do klasy osób zdrowych wąże sę z dużą stratą: L 3,, brak ratującej życe operacj. Zaklasyfkowane poprawne ne przynos straty: L, Straty możemy przedstawć w macerzy strat: L L L L,, 3, L L L,, 3, L L L,3,3 3,3,9,3,9, 3

24 KLASYFIKATOR BAYESA PRZYKŁAD Ryzyka warunkowe wyznaczone dla poszczególnych klas ze wzoru ** pokazano na rysunkach: R. R. R Obszary decyzyjne: 4

25 KLASYFIKATOR BAYESA PRZYKŁAD Przypuśćmy, że rozwój medycyny pozwolł chorobę A leczyć farmakologczne zamast operacyjne oraz, że leczene farmakologczne choroby B przynos bardzo groźne skutk uboczne. Powoduje to zmanę wartośc strat: L,,3, L,3,, L,3,9, L,,9. Macerz strat: L,9 Taka zmana wartośc strat wpływa na ryzyka warunkowe lne decyzyjne separujące klasy:,3,3,,9 5