Robustní architektura vícevrstvých

Transkrypt

1 Robustní architektura vícevrstvých neuronových sítí Zuzana Petříčková Katedra softwarového inženýrství, Fakulta jaderná a fyzikálně inženýrská, ČVUT v Praze Na základě dizertační práce: Umělé neuronové sítě a jejich využití při extrakci znalostí Školitel: doc. RNDr. Iveta Mrázová, CSc. Škoĺıcí pracoviště: Katedra teoretické informatiky a matematické logiky MFF UK. Obhájeno: 22. září Seminář strojového učení a modelování, 24.listopadu 2016 v Praze

2 Obsah prezentace 1 Úvod Motivace Vrstevnaté neuronové sítě Optimalizace struktury 2 Navržený framework Rychlá extrakce znalostí (SCGIR) Zjednodušení vnitřní struktury BP-sítě (SCGS) Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) 3 Experimenty Rychlost učení a schopnost zobecňovat Stabilita metod Vytvoření jednoduché a transparentní struktury během učení Citlivostní analýza 4 Závěr 2 / 37

3 Robustnı architektura vı cevrstvy ch neuronovy ch sı tı U vod Motivace Motivace: Data ze Sve tove Banky Indika tory sve tove ho vy voje, 162 zemı, , 956 pr ı kladu 3 / 37

4 Úvod Vrstevnaté neuronové sítě Vrstevnaté neuronové sítě typu zpětného šíření (BP-sítě) Klasický výpočetní model (Werbos, 1975), (Parker, 1985), (LeCun, 1985), (Rumelhart, 1986). Gradientní metody učení (např. back-propagation): Učení na základě množiny trénovacích příkladů. Adaptace vah a prahů proti směru gradientu chybové funkce. zpětně: směrem od výstupní vrstvy ke vstupní. 4 / 37

5 Úvod Vrstevnaté neuronové sítě Vrstevnaté neuronové sítě typu zpětného šíření (BP-sítě) Klasický výpočetní model (Werbos, 1975), (Parker, 1985), (LeCun, 1985), (Rumelhart, 1986). Hlavní klady Jednoduchý, výpočetně poměrně nenáročný model. Jsou schopné dobře aproximovat neznámou funkci. Dobře zobecňují. Zdroj poznatků pro složitější modely neuronových sítí - např. hluboké neuronové sítě (LeCun, 1998), (Hinton, 2009), rekurentní modely. 5 / 37

6 Úvod Vrstevnaté neuronové sítě Vrstevnaté neuronové sítě typu zpětného šíření (BP-sítě) Klasický výpočetní model (Werbos, 1975), (Parker, 1985), (LeCun, 1985), (Rumelhart, 1986). Hlavní nevýhody: Učení je poměrně pomalé. Nebezpečí přeučení. Mají tendenci vytvářet složitou a netransparentní vnitřní strukturu. Vysoká citlivost k volbě parametrů (architektura, algoritmus učení, trénovací data,...) 6 / 37

7 Úvod Optimalizace struktury Optimalizace architektury a detekce důležitých vstupních příznaků Často řešeno odděleně odlišná motivace. Proč hledat důležité vstupní příznaky? Součást předzpracování dat. Efektivnější výpočet modelu. Zvýšení přesnosti modelu např. v případě nedostatku trénovacích dat. Porozumění datům. BP-sítě umožňují řešit obě úlohy zároveň. Proč optimalizovat architekturu? Součást algoritmu učení. Lepší predikce a zobecňování. Jednodušší a transparentnější struktura modelu. Porozumění tomu, jak model počítá. 7 / 37

8 Úvod Optimalizace struktury Optimalizace architektury a detekce důležitých vstupních příznaků Jak optimalizovat strukturu BP-sítě? Metody hrubé síly Vyzkoušet různé architektury a vybrat tu s nejmenší chybou po naučení. Nevýhody: Časová náročnost, obtížné učení a stabilita minimálního modelu, citlivost k lokálním minimům chybové funkce. Prořezávání Regularizace Konstrukční metody Pravděpodobnostně-optimalizační metody (genetické algoritmy, simulované žíhání,...)... 8 / 37

9 Úvod Optimalizace struktury Optimalizace architektury a detekce důležitých vstupních příznaků Prořezávání - základní algoritmus: 1 Nauč BP-síť s dostatečně velkou počáteční topologíı. 2 Dokud je chyba sítě větší určená mez nebo dokud klesá: 1 Spočítej relevanci skrytých neuronů nebo hran. 2 Odstraň z BP-sítě nejméně relevantní část(i). 3 Přeuč model. Otázky: Jak vyhodnotit důležitost jednotlivých neuronů/hran míra relevance. Jak rozpoznat, které části sítě prořezat heuristiky. 9 / 37

10 Úvod Optimalizace struktury Optimalizace architektury a detekce důležitých vstupních příznaků Regularizační techniky Přidávají k chybové funkci další členy: E = c mse E mse + c F F + c G G +... Weight decay (Werbos, 1988) Jednoduchý penalizační člen: E = E mse + β i w i 2 Vynucuje snížení absolutní hodnoty všech vah. Cíle: Usnadnit odstranění hran s malými vahami. Zlepšit schopnost modelu zobecňovat. E... chybová funkce, E mse... střední kvadratická odchylka mezi skutečným a požadovaným výstupem, i... index přes všechny váhy w v BP-síti, 0 < β << 1... konstantní parametr. 10 / 37

11 Navržený framework Cíle mé dizertační práce Vytvořit obecný framework pro učení BP-sítí s důrazem na: 1 Rychlou extrakci znalostí (SCGIR). 2 Zjednodušení vnitřní struktury BP-sítě (SCGS). 3 Oba předchozí cíle zároveň (SCGSA). (Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě) 11 / 37

12 Navržený framework Rychlá extrakce znalostí I. Rychlá extrakce znalostí (SCGIR) Učící algoritmus by měl: Být rychlý a robustní k volbě parametrů Metoda škálovaných konjugovaných gradientů (SCG) výstupní vrstva skryté vrstvy vstupní vrstva Vytvořit transparentní strukturu sítě a umožnit tak jednoduchou interpretaci získaných znalostí Metoda vynucované kondenzované interní reprezentace (IR) Vytvořit jednoduchý model, který dobře zobecňuje Učení s nápovědou Prořezávání 12 / 37

13 Navržený framework Rychlá extrakce znalostí I. Rychlá extrakce znalostí (SCGIR) Metoda škálovaných konjugovaných gradientů (Moller, 1993) w 1 w 1 w 1 w w 1 w w 2 w 2 (a) BP (b) SCG Velmi rychlý a robustní algoritmus, s malým počtem volitelných parametrů. 13 / 37

14 Navržený framework Rychlá extrakce znalostí I. Rychlá extrakce znalostí (SCGIR) Metoda vynucované kondenzované interní reprezentace (IR) (Mrázová, Wang, 2007) Regularizační technika - vynucuje vytvoření transparentní a stabilní vnitřní struktury BP-sítě Chybová funkce: E = E mse + c F F F = (1 + y j,p ) s (1 y j,p ) s yjp 2 p Aktivity skrytých neuronů bĺızké hodnotám: 1... NE 1... ANO 0... NEVÍM (bez odpovědi) Usnadňuje prořezání nadbytečných skrytých neuronů. j f(x) x s = 3 výstupní vrstva skryté vrstvy vstupní vrstva 14 / 37

15 Navržený framework Rychlá extrakce znalostí I. Rychlá extrakce znalostí (SCGIR) Prořezávání skrytých neuronů založené na interní reprezentaci (Sietsma, Dow, 1991) 1 Naučení modelu 2 Nalezení a odstranění / sloučení skrytých neuronů s: uniformní reprezentací navzájem identickou reprezentací navzájem inverzní reprezentací 3 Přepočtení vah (doučení není třeba) výstupní vrstva skryté vrstvy vstupní vrstva 15 / 37

16 Navržený framework Zjednodušení vnitřní struktury BP-sítě (SCGS) II. Zjednodušení vnitřní struktury BP-sítě (SCGS) Citlivostní koeficienty jako míra relevance: S uv,p... jak velký má malá změna u-tého vstupu sítě vliv na v-tý výstup: S uv,p = y v,p = S kv,p S uk,p = f (ξ v,pj )w kv S uk,p x u,p Použití k k Identifikace a prořezání nadbytečných vstupních a skrytých neuronů. y v Oslabování celkové citlivosti sítě v průběhu učení. u... vstupy sítě, v... výstupy sítě, k... neurony v poslední skryté vrstvě, x... aktuální vstup, y... aktuální výstup, p... trénovací příklady, S uv,p... citlivostní koeficient, w kv... váha z k do v, S kv,p = f (ξ v,pj )w kv f (ξ v,p)... derivace přenosové funkce f (ξ) ξ x u 16 / 37

17 Navržený framework Zjednodušení vnitřní struktury BP-sítě (SCGS) II. Zjednodušení vnitřní struktury BP-sítě (SCGS) Strategie prořezávání Iterativní opakování následujících kroků: 1 Učení (doučení) modelu 2 Prořezávání Prořezání skrytých neuronů založené na interní reprezentaci. Prořezání vstupních a skrytých neuronů na základě spočtených citlivostních koeficientů. Heuristické pravidlo pro prořezání neuronu i ve vrstvě L: y v max p mean v S iv,p < δ L = βmean {v,j,p} S jv,p. v... výstupy sítě, j... neurony ve vrstvě L, p... trénovací příklady, S iv,p = yv,p... cilivostní koeficient, y i,p y i,p... výstup neuronu i pro trénovací příklad p, 0 < β 1... konstantní parametr. x u 17 / 37

18 Navržený framework Zjednodušení vnitřní struktury BP-sítě (SCGS) II. Zjednodušení vnitřní struktury BP-sítě (SCGS) Analytická metoda pro snižování citlivosti sítě (SC) Snižování citlivosti výstupů sítě ke vstupům. Chybová funkce: H = E mse + c G G G = 1 2 p u v S 2 uv,p, S uv,p = y v,p x u,p = k Minimalizace G v průběhu učení je velmi výpočetně náročná. f (ξ v,p ) w kv S uk,p y v u... vstupy sítě, v... výstupy sítě, k... neurony v poslední skryté vrstvě, x... aktuální vstup, y... aktuální výstup, p... trénovací příklady, S uv,p... citlivostní koeficient, w kv... váha z k do v, f (ξ v,p)... derivace přenosové funkce f (ξ) ξ x u 18 / 37

19 Navržený framework Zjednodušení vnitřní struktury BP-sítě (SCGS) II. Zjednodušení vnitřní struktury BP-sítě (SCGS) Kombinace následujících technik: + Metoda škálovaných konjugovaných gradientů (SCG) + Regularizace: + Metoda vynucované kondenzované interní reprezentace (IR) + Analytická metoda pro snižování citlivosti sítě (SC) + Prořezávání založené na: + citlivostní analýze + interní reprezentaci Chybová funkce H = E mse + c F F + c G G E mse... standarní chybová funkce (MSE), F... chybová funkce regulující interní reprezentaci, G... nově navržená chybová funkce pro snižování citlivosti, c F, c G... parametry regulující váhu E, F and G v H. 19 / 37

20 Navržený framework Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) Aproximativní metoda pro snižování citlivosti sítě (SCA) Alternativní vzorec pro citlivostní chybovou funkci: G = 1 ( ) 2 yv,p G 1 = p u v x u,p p u v ( ) 2 yv,p x u,p x u,p... x u,p s přidaným 0.1-1% náhodným šumem, y u,p... výstup sítě pro x u,p, x u,p = x u,p x u,p a y v,p = y v,p y v,p. Příklad: ( ) y 2 ( ) y 2 G 1 + = x 1 x 2 y y y = f(x 1,x 2 ) = (y y ) 2 (x 1 x 1 )2 + (y y ) 2 (x 2 x 2 )2 x 2 x 2 x 1 x 1 20 / 37

21 Navržený framework Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) Aproximativní metoda pro snižování citlivosti sítě (SCA) Příklad: Problém: y y y y = f(x 1,x 2 ) y = f(x 1,x 2 ) y x 2 x 2 x 1 x 1 x 1 x 1 x x 2 ~ 0 2 ( ) y 2 ( ) y 2 G 1 + = (y y ) 2 x 1 x 2 (x 1 x1 + (y y ) 2 )2 (x 2 x2 )2 malá hodnota jmenovatele velké problémy kvůli zaokrouhlení výsledku 21 / 37

22 Navržený framework Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) Aproximativní metoda pro snižování citlivosti sítě (SCA) Řešení: Alternativní vzorec pro citlivostní chybovou funkci: G 1 = 1 2 p u v ( yv,p x u,p ) 2 G 2 = 1 2 p v 2 y v,p u 2 x u,p Příklad: x u,p = x u,p xu,p a y v,p = y v,p yv,p. xu,p... xu,p s přidaným 0.1-1% náhodným šumem, yu,p... výstup sítě pro xu,p, G 2 2 y 2 x x 2 = y y y = f(x 1,x 2 ) = x 2 ( y y ) 2 x 1 x 1 ( x 1 x1 )2 + ( x 2 x2 )2 x 2 22 / 37

23 Navržený framework Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) Rychlé učení s vytvořením jednodušší a jasnější vnitřní struktury sítě (SCGSA) Kombinace následujících technik: + Metoda škálovaných konjugovaných gradientů (SCG) + Regularizace: + Metoda vynucované kondenzované interní reprezentace (IR) + Aproximativní metoda pro snižování citlivosti sítě (SCA) + Prořezávání založené na: + citlivostní analýze + interní reprezentaci Chybová funkce H = E mse + c F F + c G G 1 E mse... standarní chybová funkce (MSE), F... chybová funkce regulující interní reprezentaci, G 1... nově navržená chybová funkce pro snižování citlivosti, c F, c G... parametry regulující váhu E, F and G 1 v H. 23 / 37

24 Experimenty Experimenty Testované vlastnosti: 1 Schopnost zobecňovat 2 Rychlost učení 3 Stabilita metod 4 Vytvoření jednoduché a transparentní struktury modelu Testovací data: Diskrétní data Binární sčítání a násobení 3-bitových čísel Spojitá data Světová Banka (Indikátory světového vývoje) Ke každé datové sadě jsme přidali irelevantních (náhodně vygenerovaných) vstupních příznaků. Testovány různé počáteční topologie BP-sítí s jednou či dvěma skrytými vrstvami. 24 / 37

25 Experimenty Souhrnné výsledky experimentů Metoda Schopnost zobecňovat Rychlost Robustnost k parametrům Transparentnost Struktura SCG *** dobrá ***** rychlý ***** robustní * není vynucovaná * neprořezává SCGIR *** **** *** ***** *** srovnatelná s SCG nejvýše dvakrát pomalejší než SCG relativně citlivý k volbě c F silně vynucovaná pro větší hodnoty c F prořezávání skrytých neuronů SCGS ***** * ***** **** ***** lepší než SCG pro diskrétní data a více skrytých vrstev extrémně pomalá robustní k volbě c F a c G středně, ale stabilně vynucovaná prořezávání skrytých a vstupních neuronů SCGSA ***** **** ***** **** ***** lepší než SCG pro diskrétní data a více skrytých vrstev nejvýše dvakrát pomalejší než SCG robustní k volbě c F a c G středně, ale stabilně vynucovaná prořezávání skrytých a vstupních neuronů 25 / 37

26 Experimenty Rychlost učení a schopnost zobecňovat Robustnost k šumu v testovacích datech Průměrná chyba MSE na testovacích datech pro různé hodnoty šumu v datech: prumerna chyba (vyjadrena MSE(noise t )) Binarni scitani SCG SCG* SCGIR SCGS SCGSA procento sumu prumerna chyba (vyjadrena MSE(noise t )) Binarni nasobeni SCG SCG* SCGIR SCGS SCGSA procento sumu prumerna chyba (vyjadrena MSE(noise t )) Svetova Banka SCG SCG* SCGIR SCGS SCGSA procento sumu Přidání p-procentního šumu k testovacímu příkladu x q : x noise i,q = x i,q ( p rand({0, 1, 1})) 26 / 37

27 Experimenty Vytvoření jednoduché a transparentní struktury během učení Vytvoření jednoduché a transparentní struktury během učení Binární sčítání Typická BP-síť naučená pomocí SCG Typická BP-síť naučená pomocí SCGSA / 37

28 Experimenty Vytvoření jednoduché a transparentní struktury během učení Vytvoření jednoduché a transparentní struktury během učení Binární násobení Typická BP-síť naučená pomocí SCG ABCD AC( ~B v ~D) &~( ) (BC v AD) ABCD BD A B C D Typická BP-síť naučená pomocí SCGS (BC v AD) & ABCD AC( ~B v ~D) ~( ) ABCD BD ( ABCD) ~ BCvAD ~ ( ) AC( ~B v ~D) ~( ACvBD) ~ ( BCv(AB ~C D) ) AC -2.7 BD (AD ~C )v( ~A BCD) AD~C A B C D 28 / 37

29 Experimenty Vytvoření jednoduché a transparentní struktury během učení Data ze Světové Banky - Indikátory světového vývoje (25 indikátorů, 162 zemí, , 956 trénovacích vzorů) Vstupní příznaky: 1 PPP konverzní faktor, místní měna vzhledem k mezinárodnímu $ 2 Míra PPP konverzního faktoru vzhledem k oficiálnímu směnnému kurzu 3 Aktuální hodnota státního dluhu, % vývozu 4 Krátkodobý dluh, % státního dluhu 5 Krátkodobý dluh, % vývozu 6 Celkový státní dluh, % HNP 7 Giniho koeficient 8 Příjem státního rozpočtu z daní, % HDP 9 Daně z příjmu, zisku a investic, % příjmů 10 Daně ze zboží a služeb, % příjmů 11 Daně z mezinárodního obchodu, % příjmů 12 Sociální příspěvky, % příjmů 13 Výdaje na výzkum a školství, % HDP 14 Deflace HDP, % růstu 15 Porodnost, celkem (počet porodů na ženu) 16 Vlastníci pevných a mobilních telefonů, na 1000 obyvatel 17 Růst HDP, ročně, % 18 Vývoz vyspělých technologíı, % vývozu průmyslového zboží 19 Inflace, deflace HDP (ročně, %) 20 Uživatelé internetu, na 1000 obyvatel 21 Průměrná délka života, roky 22 Výdaje na zbrojení, % HDP 23 Počet obyvatel pod hranicí národní míry chudoby, % obyvatelstva 24 Aktuální hodnota státního dluhu, % HNP 25 Celkový státní dluh, % vývozu Náhodně generované vstupní příznaky Výstupní příznaky: 1..5 Příjmová skupina (Vysoký příjem & člen OECD, Vysoký příjem, Vyšší střední příjem, Nižší střední příjem, Nízký příjem) 29 / 37

30 Experimenty Citlivostní analýza Citlivostní analýza Průměrná citlivost naučených BP-sítí S u = mean {v,p} S uv,p, průměr přes 100 různých inicializací před prořezáním: po prořezání: 35 SCGSA SCG 35 SCGSA SCG index vstupního příznaku index vstupního příznaku průměrná citlivost výstupů sítě na daný příznak průměrná citlivost výstupů sítě na daný příznak 30 / 37

31 Experimenty Citlivostní analýza Citlivostní analýza Pořadí nejdůležitějších příznaků podle citlivostních koeficientů: pořadí SCG SCGSA význam (SCGSA) Uživatelé internetu Giniho koeficient Výdaje na výzkum a školství Daně z mezinárodního obchodu Průměrná délka života Vlastníci mobilních či pevných telefonů Daně ze zboží a služeb Porodnost Inflace, deflace HDP Příjem rozpočtu z daní Růst HDP Náhodně generované příznaky Průměrná citlivost naučených BP-sítí po prořezání: index vstupního příznaku SCGSA SCG průměrná citlivost výstupů sítě na daný příznak 31 / 37

32 Experimenty Citlivostní analýza Citlivostní analýza Průměrná citlivost pro jednotlivé příjmové skupiny (metoda SCGSA, po prořezání) průměrná citlivost výstupů sítě na daný příznak High income OECD High income nonoec Upper middle income Lower middle income Low income index vstupního příznaku Giniho koeficient 7. Giniho koeficient 20. Uživatelé internetu Průměrná délka života 20. Uživatelé internetu 13. Výdaje na výzkum a školství Vlastníci telefonního 18. Vývoz vyspělých technologíı 6. Celkový státní dluh připojení 32 / 37

33 Závěr Závěr Navržený framework zlepšuje schopnost naučených BP/sítí: 1 Dobře zobecňovat. 2 Rychle vytvořit jednodušší a transparentní strukturu neuronové sítě. 3 Adekvátně prořezat vstupní i skryté neurony. Nižší citlivost modelu k volbě parametrů a k šumu v datech. Snadnější interpretace extrahovaných znalostí. Nejlepší výsledky pro diskrétní data a pro sítě s více skrytými vrstvami. 33 / 37

34 Závěr Závěr Děkuji Vám za pozornost. 34 / 37

35 Podrobnější výsledky Rychlost učení a schopnost zobecňovat Binární sčítání topologie method c F c G n A c R c A MSE(noise t) imp sensitivity epochs time(s) SCG ± ± SCG* ± ± SCGIR ± ± SCGS ± ± SCGS ± ± SCGSA ± ± SCGSA ± ± Binární násobení topologie method c F c G n I c c n MSE(noise t) imp sensitivity epochs time(s) SCG ± ± SCG* ± ± SCGIR ± ± SCGS ± ± SCGS ± ± SCGSA ± ± SCGSA ± ± Nejlepší výsledky pro binární násobení. Výrazné zvýšení schopnosti zobecňovat a snížení citlivosti k šumu v datech. Časová složitost SCGSA je srovnatelná s SCG. 35 / 37

36 Podrobnější výsledky Rychlost učení a schopnost zobecňovat Světová banka topologie method c F c G MSE(noise t) imp sensitivity epochs time(s) SCG ± ± SCG* ± ± SCGIR ± ± SCGS ± ± SCGS ± ± SCGSA ± ± SCGSA ± ± Světová banka topologie method c F c G MSE(noise t) imp sensitivity epochs time(s) SCG ± ± SCG* ± ± SCGIR ± ± SCGS ± ± SCGSA ± ± SCGSA ± ± Průměrná finální topologie byla a Obdobné výsledky pro obě topologie. Výrazné zvýšení schopnosti zobecňovat a snížení citlivosti k šumu v datech. Časová složitost SCGSA je srovnatelná s SCG. 36 / 37

37 Podrobnější výsledky Stabilita metod Robustnost metod k volbě parametrů c F a c G Binární sčítání topologie method c F c G n I c R MSE(noise t) imp sensitivity epochs time(s) SCGS ± ± SCGS 10 [ 7, 5] 5 10 [ 8, 6] ± ± SCGSA ± ± SCGSA 10 [ 7, 5] 10 [ 6, 4] ± ± Binární násobení topologie method c F c G n I c MSE(noise t) imp sensitivity epochs time(s) SCGS ± ± SCGS 10 [ 7, 5] 5 10 [ 8, 6] ± ± SCGSA ± ± SCGSA 10 [ 7, 5] 5 10 [ 6, 4] ± ± Světová banka topologie method c F c G n I MSE(noise t) imp sensitivity epochs time(s) SCGS ± ± SCGS 10 [ 7, 5] 10 [ 6, 4] ± ± SCGSA ± ± SCGSA 10 [ 7, 5] 2 10 [ 5, 3] ± ± / 37