Klasyfikacja w oparciu o przykłady

Wielkość: px

Rozpocząć pokaz od strony:

Download "Klasyfikacja w oparciu o przykłady"

Przybysław Małek
6 lat temu
Przeglądów:

1 Klasyfaca w oparcu o przyłady (ag. stace based learg Wyład, 4/0/003 Pla wyładu Wprowadzee Metoda ablszyc ssadów Mary podobestwa Pratycze problemy Reduca zbdyc przyładów Reduca szumu w dayc Wyzaczae wag atrybutów Loala regresa Nawa metoda wosowaa Bayesowsego Se Bayesowsa Lazy vs. eager learg Eager learg model: Np. metody drzew decyzyyc, reguł decyzyyc, czy grupowaa dayc: Kostruue s asy ops fuc docelowe a podstawe przyładów treucyc Lazy learg model: Np. lasyfaca w oparcu o przyłady: Ne ostruue s wczee opsu fuc docelowe. Ta ostruca odbywa s w momece lastrowaa owego obetu Przyład Dwuwymarowy zbór dayc: ady obet est opsay dwoma atrybutam (x, y. S dwe lasy lub Algorytm ablszego ssada (algorytm -NN Parametr wecowy: Zbór obetów P {<x, f(x >}, gdze f fuca docelowa, p. ops las decyzyyc. x q - obet do lasyfowaa Parametr wycowy: warto f(x q (p. lasa decyzya, do tóre aley x q Algorytm ablszego ssada (algorytm -NN Ogóly scemat: Kro : Poszua obetu x ablszego x q. Kro : Wyzacz warto f(x q a podstawe wartoc f(x Zaleta: Prosty, szyb algorytm Wada: Neodpory a szumy!!!

2 Algorytm ablszyc ssadów (algorytm -NN Ogóly scemat: Kro : Poszua ablszyc obetów (ssadów dla x q. Kro : Głosu wród ablszyc ssadów w celu wyzaczaa lasy, do tóre aley x q. -NN, decyza est 5-NN, decyza est Algorytm -NN: Problemy Wyzaczae mary podobestwa (fuc odległoc mdzy obetam. Głosowae w celu wyzaczaa lasy, do tóre aley owy obet. Wyzaczae lczby ablszyc obetów potrzebyc dla lasyfowaa owego obetu. Zaleta: Bardze odpory a szumy Mary podobestwa Nec ady obet x bdze zdefoway wetorem wartoc: <a (x,...,a (x> Loala odległo : d (x,y (a (x - a (y Odległo mdzy obetam : dstace(x,y F(d (x,y,..., d (x,y Odległo euldesowa: Eu-dstace(x,y [Σ (a (x - a (y ] ½ Odległo mesa (Maatta: dstace(x,y Σ a (x - a (y Mary podobestwa: sm(x,y /(+dstace(x,y Metody głosowaa Zasada wszocowa: f ˆ ( xq argmax v V esl x y gdze δ ( x, y 0 wpp. Waoa odległo: fˆ( xq argmax v V wδ ( v, f ( x δ ( v, f ( x gdze w + d(xq, x Wyzaczae parametru Jel est małe, algorytm e est odpory a szumy ao lasyfaca est sa. Jel est due, oszt oblczea est wszy algorytm est czasocłoy. Ja wybera odpowed warto? Idea: Wyou test typu roswaldac dla lu róyc wartoc. Wyberz warto, tóra dae awysz ao lasyfac. Pratycze problemy w algorytme -NN. Dae zawera szumy: Rozwzae: usuwae szumów. Atrybuty w róym stopu s wae Rozwzae: wyzaczae wag dla atrybutów (lub seleca stotyc atrybutów 3. Fuca docelowa e est dysreta (wartoc s rzeczywste Rozwzae: modyfaca algorytmu -NN loala regresa

3 Usuwae szumu (osy examplars I statega: wyzacz odpowed parametr. II stratega: Oce ao lasyfac adego obetu treucego. Usu słabe obety. Usuwae szumu (c.d. Dae: s m, s max dola góra graca doładoc lasyfac. Ocea ao lasyfac obetu: Kro. Wyou roswaldac dayc treucyc. Kro. Dla adego obetu x zaotu procet obetów dobrze lasyfowayc s x. Kro 3. Jel s x < s m to obet est słaby (szum, trzeba usu s m < s x < s max obet est redo dobry (berze o udzał w lasyfac el zadue s Wyzaczae wag dla atrybutów Motywaca: Netóre atrybuty s waesze e Netóre atrybuty s wae dla ede lasy ale e s wae dla e lasy. Jel w, w,...,w wag atrybutów to dstace( x, y w x ( a ( x a( x w ( a( x a( Wyzaczae wag dla atrybutów (c.d. I model: Kada lasa est zwzaa z edym wetorem wag. II model: Jede wspóly wetor wag dla wszystc las. Idea: Uład wag est oblczoy a podstawe wyu lasyfac obetów w zborze treucym. Algorytm sewecyego poprawaa! Algorytm sewecyego poprawaa Ogóly scemat Kro. zacz od dowolego wetora wag w [w,...,w ]. Kro. atualzu w, edy owy obet treucy x est lasyfoway. Dae treuce w x Klasyfator f(x? w Atualzator w w Atualzaca wetora wag Wece: zbór obetów P Wyce: wetor wag w Kro. Dla x P lasyfu x za pomoc pozostałyc obetów Kro. Dla x, zad ablszy obet y (wród obetów w zborze treucym Kro 3. Dla adego atrybutu a wyzacz a (x-a (y Kro 4. Jel lasyfaca est prawdłowa to zwsz wag w, wpp. zmesz wag w o w ( w est odwrote proporcoale do a (x-a (y Kro 5. Jel wszyste obety e zostały testowae powró do Kro. 3

4 Wyzaczae wartoc rzeczywste fuc docelowe Modyfaca algorytmu -NN: fˆ( xq w f ( x w gdze w + d( xq, x Loala regresa: Zad loal aprosymac dla fuc f, tóra abardze pasue do obetów w otoczeu x q. Lowa regresa Kwadratowa regresa Loala regresa f (smple regresso Locally-wegted regresso f Locally-wegted regresso Locally-wegted regresso f3 f4 Treuce dae Warto f oblczoa za pomoc globale regres Warto f oblczoa za pomoc loale regres Metody Bayesowse Nawa metoda lasyfac Bayesowe Se Bayesowa Kombaca z wedz dzedzow Podstawowa teora Reguła Bayesowsa: gdze D P ( D D prawdopodobestwo zaca potezy D prawdopodobestwo otrzymaa zboru tregowego D D prawdopodobestwo podwaruem, e D est day D prawdopodobestwo D przy załoeu, e zacodz Zasada Bayesowego uczea s: Szuae abardze prawdopodobe potezy mac zaday zbór tregowy: (masymalzaca potezy aposteror map map max P ( D P ( D P ( max H P ( D max P ( D P ( H H Podtawowe twerdzea probablstycze Prawdopodobestwo ouc dwóc zdarze: P ( A, B A B B B A A Prawdopodobestwo sumy dwóc zdarze: A + B A + B AB Wzór a prawdopodobestwo całowte: el zdarzea A,., A tworz rozłczy podzał przestrze probablstycze, to: B B A A Przyład Czy pacet est cory a raa? Pacet poddał testow a obeco pewego raa dostał pozytywy wy. Wy testu est prawdłowy (pozytywy w 98% wsród corucyc a raa prawdłowy (egatywy w 97% wsród tyc, tórzy e coru a tego raa. Poza tym, 0.8% populac corue a badaego raa. P ( cacer.008, P ( cacer.99 P ( + cacer.98, P ( cacer.0 P ( + cacer.03, P ( cacer.97 P ( + cacer P ( cacer P ( cacer + P ( + P ( + cacer P ( cacer P ( cacer + P ( + 4

5 Nawa metoda Bayesa Załómy, e uczymy s fuc celu f: XV, gdze ady obet est opsay wetorem <a, a,., a >. Nabardze prawdopodoba warto f(x wyos: v max v v V P ( a, a... a v P ( v max v V a, a... a max a, a... a v V a, a... a v v Nawe załoee: atrybuty s waruowo ezalee, tz. P a, a... a v a v ( Przyład: awa metoda Zgad, czy odbdze s gra w tesa w du o waruac pog.: <suy, cool, g, strog> a podstawe ast. Zboru dayc: Outloo Temperature Humdty Wdy Class suy ot g false N suy ot g true N overcast ot g false P ra mld g false P ra cool ormal false P ra cool ormal true N overcast cool ormal true P suy mld g false N suy cool ormal false P ra mld ormal false P suy mld ormal true P overcast mld g true P overcast ot ormal false P ra mld g true N y su y cool y g y strog y.005 su cool g strog.0 przyład Algorytm Nave Bayes Outloo Temperature Humdty Wdy Class suy ot g false N suy ot g true N overcast ot g false P ra mld g false P ra cool ormal false P ra cool ormal true N overcast cool ormal true P suy mld g false N suy cool ormal false P ra mld ormal false P suy mld ormal true P overcast mld g true P overcast ot ormal false P ra mld g true N p 9/4 5/4 outloo suy p /9 overcast p 4/9 ra p 3/9 temperature ot p /9 mld p 4/9 cool p 3/9 umdty g p 3/9 ormal p 6/9 wdy true p 3/9 false p 6/9 suy 3/5 overcast 0 ra /5 ot /5 mld /5 cool /5 g 4/5 ormal /5 true 3/5 false /5. Uczee(zbór przyładów for (ada lasa decyzya v oszacu v for (ada warto a a atrybuce a oszacu a v. Klasyfaca_owego_obetu(x v max v a v v V a x typowe oszacowae dla a v c + mp a v + m Gdze: : lczba przyładów z lasy v ; p: wstpe oszacowae dla a v c : lczba przyładów z aa, m: waga przeoa dla p Se Bayesowsa Załoee ave Bayes est zbyt ograczoe prymtywe! Bez ego, oblczea e s wyoale Se Bayesowsa: opsue waruow ezaleo mdzy zboram atrybutów, uwzgldac wedz esperc o zaleoc mdzy atrybutam dae tregowe. DAG (drect acyclc grap Se Bayesowsa Jest to acylczy graf seroway, gdze Werzcoł: atrybuty Krawdze: zaleo Keru rawdz: relaca przyczyowo-sutowa Do adego atrybutu A, dołczoa est tablca prawdopodobestw P (A B,., B, gdze B,., B s bezporedm poprzedam atrybutu A w tym grafe 5

6 Przyład sec Age Buy X Iterested Isurace Occ Icome Age, Occupato oraz Icome decydue, czy let upue day produt. Jel let upue produt, to ego zateresowae ubezpeczeem (terest surace est ezalee od Age, Occupato, Icome. Age, Occ, Ic, Buy, Is AgeOccIc Buy Age,Occ,IcIt Buy Sta wedzy: przy zadae struturze waruowyc prawdopodobestwac, stece algorytmy mog wosowa o atrybuty symbolcze dysretyzowae atrybuty cgłe. Podstawowy wzór: x,... x M Π x Pa, M Pa paret x ( Werzcoł ao fuce Kady werzcołe w sec Bayesowse est fuc waruwego rozładu pstwa. A B a b l m ab ~ab a~b ~a~b wece: warto rodzców wyce: rozład pstwa własyc wartoc X l m X Aa, Bb Przypade szczególy: ave Bayes e e. e e, e, e, e.e Wosowae o sec Bayesowse: Wosowae o sec Bayesowse: Age House Ower Icome Lvg Locato Jaa est szasa, e bogac starzy ludze upu Su? paper Su Age>60, Icome > 60 Age House Ower Icome Jaa est szasa, e bogac starzy ludze głosucy a part X upu Daly Mal? paper DM Age>60, Icome > 60, Lvg Vote X Locato Newspaper Preferece Newspaper Preferece EU Votg Patter EU Votg Patter 6

7 Uczee Bayesowse B E A C N ~b e a c b ~e ~a ~c... Burglary Alarm Call Dae: peła lub czcowa obserwaca przypadów Szuae: parametry strutura Eartquae Newscast Bblografa Lez M., Bartsc-Sporl B., Burard H., Wess S. (998. Casebased resog tecology. From fudatos to applcatos. Prfer-Verlag Berl Hedelberg. LNAI, Vol Aa D. (99. Toleratg osy, rrelevat, ad ovel attrbutes stace-based learg algortms. Iteratoal Joural of Ma- Mace Studes 36(: Metody uczea s: EM (Expectato Maxmsato -Uzupeł brauce dae za pomoc bece aprosymac parametrów; -Aprosymowa parametry za pomoc wypełoyc dayc Gradet Ascet Trag Gbbs Samplg (MCMC 7

Podobne dokumenty

PERMUTACJE Permutacją zbioru n-elementowego X nazywamy dowolną wzajemnie jednoznaczną funkcję f : X X X

PERMUTACJE Permutacją zbioru n-elementowego X nazywamy dowolną wzajemnie jednoznaczną funkcję f : X X X PERMUTACJE Permutacą zboru -elemetowego X azywamy dowolą wzaeme edozaczą fucę f : X X f : X X Przyład permutac X = { a, b, c, d } f (a) = d, f (b) = a, f (c) = c, f (d) = b a b c d Zaps permutac w postac