Welokategoralne systemy uząe sę h zastosowane w bonformatye Rafał Grodzk
Welokategoralny system uząy sę (multlabel learnng system) Zbór danyh weśowyh: d X = R Zbór klas (kategor): { 2 } =...Q Zbór uząy: T x x... x x X {( ) ( ) ( )} = 2 2 m m Welokategoralny system uząy sę Utworzene welokategoralnego klasyfkatora: h : X 2
Welokategoralny system uząy sę (multlabel learnng system) Zamast klasyfkatora (h) system tworzy funkę: f : X R Dla pary uząe ( x ) x X system dąŝy do generowana funk spełnaąe warunek Na podstawe utworzone funk moŝna wygenerować klasyfkator: x X h x = y : f x y > t( x) gdze t : X R est funką progową ( y y ) f ( x y ) f ( x y ) 2 > ( ) ( ) { ( ) } 2
Problem welokategoralne klasyfka. Dekompozya na nezaleŝne problemy klasyfka bnarne Ne uwzględna korela pomędzy róŝnym klasam 2. KaŜdy podzbór kategor stanow oddzelną klasę Generue duŝą lzbę klas (Q kategor 2 Q klas)
Problem welokategoralne klasyfka Dobry welokategoralny system uząy sę Uwzględnane korela pomędzy róŝnym klasam (kategoram) Zahowane małe lzby klas
Seć neuronowa ako welokategoralny klasyfkator BP-MLL (Bakpropagaton for Multlabel Learnng) Autorzy: Mn-Lng Zhang Zh-Hua Zhou Perwszy welokategoralny system uząy sę oparty na seah neuronowyh Pereptron ze zmodyfkowaną funką błędu Uzene wstezna propagaa błędu
Seć neuronowa ako welokategoralny klasyfkator Arhtektura
Seć neuronowa ako welokategoralny klasyfkator Funka błędu Klasyzna błąd średnokwadratowy E = E = + = Uwzględna poszzególne kategore nezaleŝne Ne uwzględna korela pomędzy kategoram (klasam) Na wyśu se pownny być wększe wartoś dla kategor naleŝąyh do nŝ dla kategor spoza m m Q ( ) 2 d = ( x ) d = = =
Seć neuronowa ako welokategoralny klasyfkator Funka błędu Zmodyfkowana E m m = E = e = ( k l ) = ( k l ) = ( x ) Konentraa na róŝny pomędzy wartośą wyśowym dla kategor naleŝąyh do a wartośam wyśowy dla kategor spoza Slne karane w przypadku wartoś wyśowyh dla kategor spoza wększyh nŝ dla kategor z Uwzględna zaleŝnoś pomędzy róŝnym klasam wększe wartoś na wyśu se dla kategor naleŝąyh do nŝ dla kategor spoza
Seć neuronowa ako welokategoralny klasyfkator Funka błędu Przykład Ozekwane wartoś na wyśu se: - Rzezywste wartoś na wyśu se Klasyzna funka błędu Zmodyfkowana funka błędu 0.05 0.05-0.05 2.7075 0.9048 0.3 0.3 0.3 2.67
Seć neuronowa ako welokategoralny klasyfkator Uzene Algorytm wstezne propaga błędu Modyfkae wag (warstwy ukryta wyśowa): Modyfkae wag (warstwy ukryta wyśowa): ( ) ( )( ) ( ) ( )( ) + + = = = k l s s s e e d b d w E w k l µ µ
Seć neuronowa ako welokategoralny klasyfkator Uzene Algorytm wstezne propaga błędu Modyfkae wag (warstwy weśowa ukryta): v e s hs = E = µ v Q = d w hs s = µ e s ( + b )( b ) s a h s
Seć neuronowa ako welokategoralny klasyfkator Klasyfkaa Na podstawe wartoś wyśowyh se ustalany est zbór kategor (klas) odpowadaąy danym weśowym: { : > t( x) } gdze t : X R est funką progową Funka progowa: Stała funka (t(x) = 0) Wyznazana na podstawe zboru uząego
Seć neuronowa ako welokategoralny klasyfkator Klasyfkaa Funka progowa wyznazane na podstawe zboru uząego: T T Defna: t( x) = w ( x) + b ( x) = ( ( x) 2( x)... Q ( x) ) Dla kaŝde pary uząe ( x ) x X określona est wartość funk progowe: t x = arg mn k : t + l : t ( ) { } { } t Parametry funk progowe wyznazane na podstawe rozwązana równana: Aw' = t ( ) k T T [ ] = (... ) w' = ( w b) t t( x ) t( x )... t( x ) A 2 Q = l ( ) 2 m
Mary oeny akoś klasyfka welokategoralne Hammng loss Określa ak zęsto występue błędna klasyfkaa Im mnesza wartość tym lepe hloss h ( h) h( x ) ( x ) = ( h( x ) )\ ( h( x ) ) S p = p Q =
Mary oeny akoś klasyfka welokategoralne One-error Określa ak zęsto kategora o nawyŝsze wartoś wyśowe ne naleŝy do zboru wartoś wyśowe ne naleŝy do zboru Im mnesza wartość tym lepe oneerror S p p ( [( ) ] y?: 0) ( f ) = arg max f ( x y) =
Mary oeny akoś klasyfka welokategoralne Rankng loss Określa uśrednoną zęść par kategor ( ) ( ) ( ) ( ) y x f y x f y y y y Im mnesza wartość tym lepe ( ) ( ) ( ) ( ) 2 2 2 y x f y x f y y y y ( ) ( ) ( ) ( ) { } = = p S y x f y x f y y p f rloss 2 2 :
Klasyfkaa welokategoralna zastosowane w bonformatye Genomka funkonalna (funtonal genoms) Cele: Określene funk genów kodowanyh przez ne bałek Poznane proesów zahodząyh w organzmah Ŝywyh Narzędza: Mkromaerze DNA Pozomy ekspres genów w róŝnyh warunkah Sekwene nukleotydów w danym gene amnokwasów w bałku kodowanym przez gen Profle flogenetyzne Cąg btów odpowadaąyh genomom róŝnyh gatunków gen występue w danym genome 0 w p.p.
Klasyfkaa welokategoralna zastosowane w bonformatye Genomka funkonalna (funtonal genoms) Problem klasyfka welokategoralne: KaŜdy gen powązany ze zborem funk (klas) Przykład genom droŝdŝy: Określone 4 klas funk genów Gen AL062w naleŝy do klas: Metabolsm Energy Cellular Bogeness
Klasyfkaa welokategoralna zastosowane w bonformatye Klasyfkaa welokategoralna w genome droŝdŝy
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Dane weśowe Profle ekspres genów (z mkromaerzy DNA) Profle flogenetyzne 03 wymarowy wektor Zbór klas funkonalnyh Struktura herarhzna 4 pozomy. pozom 4 klas funkonalnyh KaŜdy gen powązany z weloma klasam: średna: 4.24 odhylene standardowe:.57 Zbór uząy 247 genów powązanyh z klasam funkonalnym
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Parametry se neuronowe Współzynnk uzena: 0.05 Lzba neuronów w warstwe ukryte: Od 20 do 00 proent lzby elementów weśowyh (krok: 20 proent) 00 epok Przebeg uzena Waldaa krzyŝowa Zbór danyh losowo dzelony na 0 równyh zęś 0 ykl uzena ześć zbór testowy 9 zęś zbór uząy Wyznazene mar oeny akoś klasyfka Wyznazene uśrednonyh (z 0 ykl) mar oeny akoś klasyfka
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Błąd globalny
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Hammng loss
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: One-error
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Rankng loss
Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) BP-MLL a klasyzny pereptron Mara akoś klasyfka BP-MLL Klasyzny pereptron Hammng loss 0.206 (±0.0) 0.209 (±0.008) One-error 0.233 (±0.034) 0.245 (±0.032) Rankng loss 0.7 (±0.05) 0.84 (±0.07) Lzba neuronów w warstwe ukryte 20% lzby elementów weśowyh
Propozye eksperymentów badawzyh Zastąpene pereptronu seą radalną Warstwa ukryta neurony radalne opsane np. funką Gaussa: Uzene ϕ ( 2 x; σ ) = e x 2 2σ Parametry neuronów warstwy ukryte radalnyh uzene bez nadzoru klasteryzaa (np. k-means) Wag połązeń (warstwy ukryta wyśowa) Wstezna propagaa błędu
Propozye eksperymentów badawzyh Modyfkae funk błędu ( ) ( ) ( ) m m ( ) ( ) ( ) ( ) m l k m x e E E l k = = = = = max ( ) ( ) ( ) ( ) ( ) ( ) ( ) m K K l k m x e K K E E l k = = = = = max mn max mn
Propozye eksperymentów badawzyh Modyfkae funk progowe Uogólnene ZaleŜność od: wektora weśowego kategor (klas) Adaptaa parametrów funk progowe na podstawe zboru uząego
Bblografa Mn-Lng Zhang Zh-Hua Zhou - "Multlabel Neural Networks wth Applatons to Funtonal Genoms and Text Categorzaton" IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING VOL. 8 NO. 0 2006 A. Clare "Mahne Learnng and Data Mnng for east Funtonal Genoms" PhD dssertaton Dept. of Computer Sene Unv. of Wales Aberystwyth 2003 A. Elsseeff J. Weston - "A Kernel Method for Mult-Labelled Classfaton" Advanes n Neural Informaton Proessng Systems vol. 4 pp. 68-687 2002 A. Clare R.D. Kng "Knowledge Dsovery n Mult-Label Phenotype Data" Leture Notes n Computer Sene vol. 268 pp. 42-53 Berln: Sprnger 200 P. Pavlds J. Weston J. Ca and W.N. Grundy "Combnng Mroarray Expresson Data and Phylogenet Profles to Learn Funtonal Categores Usng Support Vetor Mahnes" Pro. Ffth Ann. Int l Conf. Computatonal Moleular Bology (RECOMB 0) pp. 242-248 200