Wielokategorialne systemy uczące się i ich zastosowanie w bioinformatyce. Rafał Grodzicki

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wielokategorialne systemy uczące się i ich zastosowanie w bioinformatyce. Rafał Grodzicki"

Michalina Pawlak
8 lat temu
Przeglądów:

1 Welokategoralne systemy uząe sę h zastosowane w bonformatye Rafał Grodzk

2 Welokategoralny system uząy sę (multlabel learnng system) Zbór danyh weśowyh: d X = R Zbór klas (kategor): { 2 } =...Q Zbór uząy: T x x... x x X {( ) ( ) ( )} = 2 2 m m Welokategoralny system uząy sę Utworzene welokategoralnego klasyfkatora: h : X 2

3 Welokategoralny system uząy sę (multlabel learnng system) Zamast klasyfkatora (h) system tworzy funkę: f : X R Dla pary uząe ( x ) x X system dąŝy do generowana funk spełnaąe warunek Na podstawe utworzone funk moŝna wygenerować klasyfkator: x X h x = y : f x y > t( x) gdze t : X R est funką progową ( y y ) f ( x y ) f ( x y ) 2 > ( ) ( ) { ( ) } 2

spełnaąe warunek Na podstawe utworzone funk moŝna wygenerować klasyfkator: x X h x = y

4 Problem welokategoralne klasyfka. Dekompozya na nezaleŝne problemy klasyfka bnarne Ne uwzględna korela pomędzy róŝnym klasam 2. KaŜdy podzbór kategor stanow oddzelną klasę Generue duŝą lzbę klas (Q kategor 2 Q klas)

5 Problem welokategoralne klasyfka Dobry welokategoralny system uząy sę Uwzględnane korela pomędzy róŝnym klasam (kategoram) Zahowane małe lzby klas

6 Seć neuronowa ako welokategoralny klasyfkator BP-MLL (Bakpropagaton for Multlabel Learnng) Autorzy: Mn-Lng Zhang Zh-Hua Zhou Perwszy welokategoralny system uząy sę oparty na seah neuronowyh Pereptron ze zmodyfkowaną funką błędu Uzene wstezna propagaa błędu

Zh-Hua Zhou Perwszy welokategoralny system uząy sę oparty na

7 Seć neuronowa ako welokategoralny klasyfkator Arhtektura

8 Seć neuronowa ako welokategoralny klasyfkator Funka błędu Klasyzna błąd średnokwadratowy E = E = + = Uwzględna poszzególne kategore nezaleŝne Ne uwzględna korela pomędzy kategoram (klasam) Na wyśu se pownny być wększe wartoś dla kategor naleŝąyh do nŝ dla kategor spoza m m Q ( ) 2 d = ( x ) d = = =

uwzględna korela pomędzy kategoram (klasam) Na wyśu se pownny być wększe

9 Seć neuronowa ako welokategoralny klasyfkator Funka błędu Zmodyfkowana E m m = E = e = ( k l ) = ( k l ) = ( x ) Konentraa na róŝny pomędzy wartośą wyśowym dla kategor naleŝąyh do a wartośam wyśowy dla kategor spoza Slne karane w przypadku wartoś wyśowyh dla kategor spoza wększyh nŝ dla kategor z Uwzględna zaleŝnoś pomędzy róŝnym klasam wększe wartoś na wyśu se dla kategor naleŝąyh do nŝ dla kategor spoza

kategor spoza Slne karane w przypadku wartoś wyśowyh dla kategor spoza wększyh nŝ dla kategor z

10 Seć neuronowa ako welokategoralny klasyfkator Funka błędu Przykład Ozekwane wartoś na wyśu se: - Rzezywste wartoś na wyśu se Klasyzna funka błędu Zmodyfkowana funka błędu

Rzezywste wartoś na wyśu se Klasyzna funka błędu

11 Seć neuronowa ako welokategoralny klasyfkator Uzene Algorytm wstezne propaga błędu Modyfkae wag (warstwy ukryta wyśowa): Modyfkae wag (warstwy ukryta wyśowa): ( ) ( )( ) ( ) ( )( ) + + = = = k l s s s e e d b d w E w k l µ µ

ukryta wyśowa): Modyfkae wag (warstwy ukryta wyśowa): (

12 Seć neuronowa ako welokategoralny klasyfkator Uzene Algorytm wstezne propaga błędu Modyfkae wag (warstwy weśowa ukryta): v e s hs = E = µ v Q = d w hs s = µ e s ( + b )( b ) s a h s

13 Seć neuronowa ako welokategoralny klasyfkator Klasyfkaa Na podstawe wartoś wyśowyh se ustalany est zbór kategor (klas) odpowadaąy danym weśowym: { : > t( x) } gdze t : X R est funką progową Funka progowa: Stała funka (t(x) = 0) Wyznazana na podstawe zboru uząego

odpowadaąy danym weśowym: { : > t( x) } gdze t : X R est funką

14 Seć neuronowa ako welokategoralny klasyfkator Klasyfkaa Funka progowa wyznazane na podstawe zboru uząego: T T Defna: t( x) = w ( x) + b ( x) = ( ( x) 2( x)... Q ( x) ) Dla kaŝde pary uząe ( x ) x X określona est wartość funk progowe: t x = arg mn k : t + l : t ( ) { } { } t Parametry funk progowe wyznazane na podstawe rozwązana równana: Aw' = t ( ) k T T [ ] = (... ) w' = ( w b) t t( x ) t( x )... t( x ) A 2 Q = l ( ) 2 m

.. Q ( x) ) Dla kaŝde pary uząe ( x ) x X określona est wartość funk progowe: t x = arg mn k : t + l : t (

15 Mary oeny akoś klasyfka welokategoralne Hammng loss Określa ak zęsto występue błędna klasyfkaa Im mnesza wartość tym lepe hloss h ( h) h( x ) ( x ) = ( h( x ) )\ ( h( x ) ) S p = p Q =

$( h) h( x ) ( x ) = ( h( x ) )\ ( h( x ) ) S$

16 Mary oeny akoś klasyfka welokategoralne One-error Określa ak zęsto kategora o nawyŝsze wartoś wyśowe ne naleŝy do zboru wartoś wyśowe ne naleŝy do zboru Im mnesza wartość tym lepe oneerror S p p ( [( ) ] y?: 0) ( f ) = arg max f ( x y) =

zboru wartoś wyśowe ne naleŝy do zboru Im mnesza wartość

17 Mary oeny akoś klasyfka welokategoralne Rankng loss Określa uśrednoną zęść par kategor ( ) ( ) ( ) ( ) y x f y x f y y y y Im mnesza wartość tym lepe ( ) ( ) ( ) ( ) y x f y x f y y y y ( ) ( ) ( ) ( ) { } = = p S y x f y x f y y p f rloss 2 2 :

Im mnesza wartość tym lepe ( ) ( ) ( ) ( ) 2 2 2 y x f y x f y

18 Klasyfkaa welokategoralna zastosowane w bonformatye Genomka funkonalna (funtonal genoms) Cele: Określene funk genów kodowanyh przez ne bałek Poznane proesów zahodząyh w organzmah Ŝywyh Narzędza: Mkromaerze DNA Pozomy ekspres genów w róŝnyh warunkah Sekwene nukleotydów w danym gene amnokwasów w bałku kodowanym przez gen Profle flogenetyzne Cąg btów odpowadaąyh genomom róŝnyh gatunków gen występue w danym genome 0 w p.p.

Pozomy ekspres genów w róŝnyh warunkah Sekwene nukleotydów w danym gene amnokwasów w bałku kodowanym

19 Klasyfkaa welokategoralna zastosowane w bonformatye Genomka funkonalna (funtonal genoms) Problem klasyfka welokategoralne: KaŜdy gen powązany ze zborem funk (klas) Przykład genom droŝdŝy: Określone 4 klas funk genów Gen AL062w naleŝy do klas: Metabolsm Energy Cellular Bogeness

gen powązany ze zborem funk (klas) Przykład genom droŝdŝy: Określone

20 Klasyfkaa welokategoralna zastosowane w bonformatye Klasyfkaa welokategoralna w genome droŝdŝy

21 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Dane weśowe Profle ekspres genów (z mkromaerzy DNA) Profle flogenetyzne 03 wymarowy wektor Zbór klas funkonalnyh Struktura herarhzna 4 pozomy. pozom 4 klas funkonalnyh KaŜdy gen powązany z weloma klasam: średna: 4.24 odhylene standardowe:.57 Zbór uząy 247 genów powązanyh z klasam funkonalnym

22 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Parametry se neuronowe Współzynnk uzena: 0.05 Lzba neuronów w warstwe ukryte: Od 20 do 00 proent lzby elementów weśowyh (krok: 20 proent) 00 epok Przebeg uzena Waldaa krzyŝowa Zbór danyh losowo dzelony na 0 równyh zęś 0 ykl uzena ześć zbór testowy 9 zęś zbór uząy Wyznazene mar oeny akoś klasyfka Wyznazene uśrednonyh (z 0 ykl) mar oeny akoś klasyfka

23 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Błąd globalny

24 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Hammng loss

25 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: One-error

26 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) Mary akoś: Rankng loss

27 Wyznazane klas fukonalnyh genomu droŝdŝy (za pomoą BP-MLL) BP-MLL a klasyzny pereptron Mara akoś klasyfka BP-MLL Klasyzny pereptron Hammng loss (±0.0) (±0.008) One-error (±0.034) (±0.032) Rankng loss 0.7 (±0.05) 0.84 (±0.07) Lzba neuronów w warstwe ukryte 20% lzby elementów weśowyh

28 Propozye eksperymentów badawzyh Zastąpene pereptronu seą radalną Warstwa ukryta neurony radalne opsane np. funką Gaussa: Uzene ϕ ( 2 x; σ ) = e x 2 2σ Parametry neuronów warstwy ukryte radalnyh uzene bez nadzoru klasteryzaa (np. k-means) Wag połązeń (warstwy ukryta wyśowa) Wstezna propagaa błędu

29 Propozye eksperymentów badawzyh Modyfkae funk błędu ( ) ( ) ( ) m m ( ) ( ) ( ) ( ) m l k m x e E E l k = = = = = max ( ) ( ) ( ) ( ) ( ) ( ) ( ) m K K l k m x e K K E E l k = = = = = max mn max mn

30 Propozye eksperymentów badawzyh Modyfkae funk progowe Uogólnene ZaleŜność od: wektora weśowego kategor (klas) Adaptaa parametrów funk progowe na podstawe zboru uząego

31 Bblografa Mn-Lng Zhang Zh-Hua Zhou - "Multlabel Neural Networks wth Applatons to Funtonal Genoms and Text Categorzaton" IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING VOL. 8 NO A. Clare "Mahne Learnng and Data Mnng for east Funtonal Genoms" PhD dssertaton Dept. of Computer Sene Unv. of Wales Aberystwyth 2003 A. Elsseeff J. Weston - "A Kernel Method for Mult-Labelled Classfaton" Advanes n Neural Informaton Proessng Systems vol. 4 pp A. Clare R.D. Kng "Knowledge Dsovery n Mult-Label Phenotype Data" Leture Notes n Computer Sene vol. 268 pp Berln: Sprnger 200 P. Pavlds J. Weston J. Ca and W.N. Grundy "Combnng Mroarray Expresson Data and Phylogenet Profles to Learn Funtonal Categores Usng Support Vetor Mahnes" Pro. Ffth Ann. Int l Conf. Computatonal Moleular Bology (RECOMB 0) pp

Podobne dokumenty

Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej. Adam Żychowski

Zastosowanie sieci neuronowych w problemie klasyfikacji wielokategorialnej Adam Żychowski Definicja problemu Każdy z obiektów może należeć do więcej niż jednej kategorii. Alternatywna definicja Zastosowania