Plan yładu Wyład 7: S RB. Probablstyzn s nurono. Potórzn odstaoyh adomo o sah RB Uzn s RB - d. Zalty ady s RB S PNN. Małgorzata Krtosa Katdra Orogramoana -mal: mma@.b.balysto.l Konstruoan lastró za omo dndrogramó Na oztu ady z toró trnngoyh torzy odrbny lastr W ros traynym nastu łzn nablszyh, sns ododn mary odlgło, ssadó Produra st otarzana do momntu: uzysana zadoala lzby lastró lub namnsza odlgło tra oa s zbyt dua, aby mona było doona ołzna Algorytm robablstyzny doboru aramtró fun radalnyh lmnt luzoy ao s: stny dobór lzby fun bazoyh Wymagana o do lzby nuronó mona złagodz rzz roadzn s tyu HRB ralzu odzoroan z norm ago uldsa Wsółzynn marzy Q s dodatoym aramtram odlgaym doboro ułata arosyma danyh uzyh rzz s radaln Ta sam doładno mona uzysa s HRB rzy mnsz lzb fun bazoyh 3 4
5 S HRB Wyrs błdu lasyfa fun lzby nuronó urytyh dla s RB HRB 6 Algorytm robablstyzny Załona: rónomrny rozład danyh uzyh zborz uzym ogranzn s do dagonaln marzy salu Q Pros adata aramtró: - sółzynn uzna mal mar zrostu : 0 / ] ϕ ϕ ] ] T ϕ ] ] ] T f ϕ ϕ Q 7 Algorytm robablstyzny Chy haratrystyzn: na adym ta algorytmu nastu rónozn adataa ntró marzy ago aramtry szysth fun radalnyh s odlga adata algorytm -rdnh tylo dno ntrum odlgało adata 8 ta II - uzn z nadzorm Bazu, odobn a sah sgmodalnyh, na mnmalza fun lu osta: Mona doonya rónolgl atualza ag, ntró dysrs dooln mtody gradnto H d f d ϕ
Uzn s RB Dobór lzby fun bazoyh st luzoym roblmm rzy łaym rozzanu roblmu arosyma. Dobór ła lzby nuronó zaly od lu zynnó: ymaroo roblmu, lzby danyh uzyh, fun arosymoan. Zala s stosoan tz. onstrutyn mtody doboru strutury s, tór stonoo zsza s lzb fun bazoyh tstu błd s. 9 S RB, zalty ady łaty ros nau s RB t. dobór ag s orónanu z algorytmam uzna rtronu loarstogo s RB funa osztu orlona ao błd rdnoadratoy osada dno mnmum globaln łatszy dobór strutury s z zgldu na ystoan tylo dn arsty uryt Łatsza ntrrtaa dzałana s t. orln udzału oszzgólnyh fun bazoyh torznu globaln fun rztarzana s dla rozzana nyh zada oblznoyh uzysu s mnsz lzb ag s RB n ag s MLP dla ntóryh odrotn s RB, rzy nradłoo dobranyh aramtrah fun bazoyh, mo łato utra zdolno uogólnana atualny ozosta roblm doboru lzby fun bazoyh 0 PNN Probablstyzna s nuronoa PNN st rzd szystm lasyfatorm Probablstyzn s nurono PNN rrzntu mtod statystyzn tz. dysrymna dro, rzstaon osta ztrh arst: Warsta oa Warsta zoró Warsta sumoana Warsta yoa
Przyład rostgo lasyfatora Mamy trzy lasy oula lmntó: X, O, Y? st nznanym rzyadm onn by slasyfoany do dn z oyszyh las Mtoda nablszgo ssada -NN slasyfoałaby rzyad? do lasy X ona lmnt lasy X st nablszy. Ogóln: Mtoda -NN lasyfu nznany rzyad do t lasy, z tór ohodz rzyad ołoony nabl. Mtoda -NN slasyfoałaby nznany rzyad? do lasy X ona, ród nablszyh lmntó naszy ront stano lmnty z oula X. Przyład rostgo lasyfatora Bardz sutzna mtoda brałaby od uag rón ozostał lmnty zboru uzgo. Przy zym h ły na dyz onn by róny: rzyłady l blso? onny m duy ły na dyz zsza radoodobsto zalasyfoana do oula, tór rrzntu rzyłady l dalo od? onny m mały ły na dyz zmnsza radoodobsto zalasyfoana do oula, tór rrzntu torzn strf łyó To o bardz ftyny lasyfator onn rob to: dla ad oula yznaza rdn udzałó noszonyh rzz rzyłady z zboru uzgo nal do t oula Nznany rzyad onn by nastn rzysany do t oula, dla tór arto rdna udzałó st nasza 3 4 Tora lasyfa stymaa fun gsto Jl funa gsto ad oula st znana f st fun gsto lasy, ózas nznany rzyad X naly do lasy, l: f X >f X, dla szysth Paramtry, tór mog by dodatoo łzon: 0. /K /K 0. 0.0 0 5 0 5 Pradoodobsto a ror h radoodobsto, nznany rzyad został ylosoany z dan oula Koszt błdn lasyfa - oszt nła lasyfa nznango rzyadu Rguła dyzyna rzybra osta rguła Baysosa: h f X > h f X, dla szysth stymaa fun gsto oaru o zbór uzy rzyłady z oszzgólnyh oula una gsto dla odynzgo rzyadu: W - nznany rzyad una gsto dla dn oula W - -ty rzyład z zboru uzgo W- funa - dysrsa stymaa fun gsto st tym lsza m szy st zbór uzy 5 6
una W Dan o n-ymaro Rrzntu strf łyó du arto rzyadu małyh odlgło mdzy torm nznanym a rzyładam uzym mal do zra mar zrostu odlgło una gsto dla dngo rzyładu n π n / Czsto uyana st funa Gaussosa: g π una gsto dla oula g X n n / π Rguła dyzyna lmnaa sólnyh zynnó g X >g X, dla szysth g X 7 8 Uzn Wady zalty Zbór uzy onn by rrzntatyny dla analzoanyh oula Dodaan usuan rzyładó uzyh oodu dyn dodaan usuan nuronó arst drug Zalty: Szyb ros uzna garantu zbno do otymalngo lasyfatora raz z zrostm lzby lmntó zborz uzym Dodaan usuan noyh rzyadó bz duyh zman uznu Uzn bazu głon na doborz arto sółzynnó dysrs na baz dzy o analzoanym roblm uya thn hurystyznyh n. lav-on-out Wady Mnsz zdolno uogólna orónanu z sam loarstoym Du ymagana o do am Woln dzałan s Du ymagana dotyz ao danyh uzyh 9 0