Plan wykładu. Sztuczne sieci neuronowe. Druga pochodna funkcji (f (x))

Transkrypt

1 Pl wyłdu yłd 4: Algorytmy optymlzcj Młgorzt Krętows ydzł Iformty Poltech Błostoc Algorytmy grdetowe optymlzcj Algorytm jwęszego spdu e: Algorytm zmeej metry, Algorytm grdetów sprzężoych Algorytmy doboru współczy ucze dptcyjy dobór współczy ucze dobór współczy przez mmlzcję eruową Mr VCdm Metody reducj sec metody wrżlwoścowe metody fucj ry metod rozłdu SVD Pochod fucj f x rue oeczy estremum Jeżel fucj yfx posd w puce x 0 estremum to w puce x 0 pochod e steje lub steje jest rów 0. I wrue wystrczjący ste mx m Jeżel fucj yfx jest cągłą w x 0 f x steje w Sx 0, d f x>0 <0 dl x S - x 0, d f x<0 >0 dl x S x 0, d to w x 0 fucj posd mx m. m mx - x 0 x y4x y'8x yx y'x 3 Drug pochod fucj f x II wrue wystrczjący ste mx m Jeżel fucj yfx posd w otoczeu putu x 0 Ux 0, d pochodą yf x pochodą yf x cągłą w x 0 f x0 f x<0 >0 to w x 0 fucj posd mx m. f x>0 > fucj wypuł f x<0 > fucj wlęsł f x0 > put przegęc -π π/ -π/ ysx -π π/ -π/ y''-sx ysx π π y'cosx 4

2 Rozwęce fucj w szereg Tylor Szereg potęgowy postc: zywmy szeregem Tylor. L L x f x f x f f x f!! "! ' 5 Szereg te przedstw rozwęce fucj fx w szereg potęgowy w otoczeu putu x. Uczee z uczycelem Mmlzcj fucj celu Złdjąc cągłą fucję tywcj, mmlzcj odbyw sę metodm grdetowym żdym rou ucze wyzcz sę tzw. erue mmlzcj 6 żdym rou ucze wyzcz sę tzw. erue mmlzcj p Korecj wg odbyw sę według wzoru: gdze η jest współczyem ucze z przedzłu [0, ]. p η Algorytmy grdetowe optymlzcj Algorytmy grdetowe bzują rozwęcu w szereg Tylor fucj celu w jblższym sąsedztwe zego rozwąz [w,w,..., w ] T strce lgorytmu jest to put początowy 0 : gdze: L p H p p g p T T ] [ 7 gdze: T g,,, L H L M O M L Algorytmy grdetowe optymlzcj Put jest putem optymlym fucj, jeśl g 0 hesj H jest dodto oreśloy prtyce ze względu sończoą dołdość oblczeń złd sę, że put jest putem optymlym, jeżel: 8 sę, że put jest putem optymlym, jeżel: gdze τ przyjęt dołdość oblczeń 3 g τ τ τ

3 Złdmy 0 Ogóly lgorytm optymlzcj Test: jeżel speł wru testowe jest putem optymlym to ończymy oblcze, w przecwym przypdu pt. yzcze wetor eruu poszuwń p w puce. Mmlzcj eruow fucj eruu p w celu wyzcze tej wrtośc η, by η p < yzczee owego rozwąz η p orz odpowdjącej mu wrtośc, g ew. H powrót do pt. Algorytm jwęszego spdu Ogrczee do lowego przyblże fucj w jblższym sąsedztwe zego rozwąz : p [ g ] by < wystrczy by [g ] T p < 0 T p O h etor eruowy w metodze jwęszego spdu przyjmuje postć: p -g Różce: wyzcze eruu poszuwń p orz rou η. 9 0 Algorytm jwęszego spdu Algorytm jwęszego spdu yres wpływu dzł mometu proces ucze Podejśce lsycze η p Metod mometu ηp α K Uwg: η płsch odcch p α dl 0.9 ozcz to 0 rote przyspeszee procesu ucze pozwl wyjśce z mmów lolych leży otrolowć wrtość <,05 ηp β Metod weght decy ηp β zbezpecz przez zbytm wzrostem wg

4 Metody doboru współczy ucze Po oreśleu włścwego eruu p mmlzcj, leży dobrć odpowedą wrtość współczy ucze, by owy put leżł możlwe jblżej mmum fucj eruu p η p Stły współczy ucze Stły współczy ucze stosuje sę główe w połączeu z metodą jwęszego spdu sposób jmej efetywy, gdyż e uzleż wrtośc współczy od od wetor grdetu orz eruu poszuwń p w dej tercj lgorytm m słoość uty w mmch lolych często dobór współczy odbyw sę oddzele dl żdej wrstwy, przyjmując η m gdze lczb wejść -tego eurou w wrstwe 3 4 Adptcyjy dobór współczy ucze zmy współczy ucze dopsowują sę do tulych zm wrtośc fucj celu w czse. rtość błędu ε w -tej tercj: ε M y j d j j oreśl strtegę zm wrtośc współczy ucze. Przyspeszee procesu ucze uzysuje sę poprzez cągłe zwęsze współczy η sprwdzjąc jedocześe czy błąd ε e zcze wzrstć w porówu z błędem oblczoym przy poprzedej wrtośc η dopuszcz sę ezczy wzrost wrtośc błędu Adptcyjy dobór współczy ucze Adptcj współczy ucze: gdze: η η ρd η ρ gdy gdy ε > ε ε ε w ε -, ε - błąd odpowedo w --szej tercj orz w -tej tercj η - ; η - współczy ucze w olejych tercjch w - dopuszczly współczy wzrostu błędu ρ d - współczy zmejsz wrtośc ρ - współczy zwęszjący wrtość w Przyłdowe wrtośc współczyów: w,04; ρ d 0.7; ρ

5 Adptcyjy dobór współczy ucze pływ dptcyjego doboru współczy ucze proces ucze Dobór współczy ucze przez mmlzcję eruową Poleg mmlzcj eruowej fucj celu wyzczoym wcześej eruu p. Cel: te dobre wrtośc η by owy put η p odpowdł mmum fucj celu dym eruu Jeżel η odpowd dołde mmum fucj dym eruu p to pochod eruow w puce η p mus być rów 0 prtyce wyzczoy put odpowd tylo w przyblżeu rzeczywstemu putow mmlemu dym eruu. 7 8 Mmlzcj eruow Zdolość uogól sec welowrstwowej Metody bezgrdetowe formcje o wrtoścch fucj celu wyzcze mmum poprzez oleje podzły złożoego wstępe zresu wrtośc wetor T V Metody grdetowe wyorzystują zrówo wrtość fucj j też jej pochodą wzdłuż wetor eruu p. zcze przyspeszee wyzcze mmum dym eruu formcj o eruu spdu L Podzł przestrze dych de uczące L, testujące T orz sprwdzjące V 9 0

6 Zdolość uogól sec welowrstwowej Mr VCdm N podstwe przeprowdzoych testów umeryczych stwerdzoo dobre zdolośc uogóljące sec, jeśl lczb próbe jest lrote mmum 0 węsz od mry VCdm. yres błędu ucze testow dych sprwdzjących w fucj cyl uczących pływ lczby euroów wrstwe urytej zdolośc uogól sec Problem lsyfcj Usztłtowe grcy wzorców leżących do dwóch ls: przy dmrowej lczbe euroów ; 67 wg; 3 dych uczących ; b przy włścwej lczbe euroów

7 Dobór lczby euroów w wrstwe Metody reducj sec złd sę wstępą lczbę euroów urytych z teor Kolmogorow KN; K NM stępe przeprowdz sę reducję w trce ucze sec Przeprowdzee welu prób ucze sec o różej lczbe euroów urytych wybre sec jmejszej o zdowljącym wyu ucze strt z mmlą zerową lczbą euroów w wrstwe urytej stopowym ch dodwu ż do uzys dobrego stop wytreow zborze uczącym proces dodw euroów jest zwyle połączoy ze sprwdzeem zdolośc uogól sec zborze V yorzyste lgorytmów reducj g. prug: szcowe wrżlwośc sec względem wg lub eurou - wg o jmejszej wrżlwośc, wpływjąc jmej wrtość fucj celu, są usuwe, proces ucze otyuowy t zreduowej sec modyfcj fucj celu wprowdzjąc słd ry z eefetywą struturę 5 6 Metody wrżlwoścowe reducj Metody wrżlwoścowe reducj Decyzj o elmcj wg jest podejmow bze wrżlwośc fucj celu de połączee syptycze Mry wrżlwośc: jprostszy sposób oper sę przypuszczeu, że młe wg są mej wże ż duże wg. żość wg bzuje wrtośc bezwzględej w wyjśc wejśc są zormlzowe Po zończeu procesu ucze żd wg j m oreśloą wrtość wrżlwośc S j Połącze o jmejszych wrtoścch S j są usuwe, seć po reducj podleg douczeu Usuęce eurou jest możlwe wówczs, gdy wszyste dochodzące do ego lub odchodzące do ego połącze zostą wyelmowe żość połącze jest merzo poprzez zmę wrtośc fucj celu przy usuęcu dego połącze syptyczego S j f - 0 gdze: f - wrtość wetor wg po zończeu procesu ucze; f wrtość fucj celu po zończeu ucze, 0 - wrtość fucj celu po zończeu ucze usuęcu wg j. 7 8

8 Metod OBD g. Optml Br Dmge Bzuje rozwęcu fucj w szereg Tylor w otoczeu tulego rozwąz. Zm wg d wąże sę z stępującą zmą fucj celu: d Hjdd j O d 3 j Złdjąc, że proces ucze jest zbeży, perwszy czy może być pomęty. metodze są pomje róweż elemety hesju leżące poz przeątą. wyu otrzymujemy: H d jeżel ustwmy jo początową wrtość wg 0, wówczs d. rtość wrżlwośc dl dego połącze jest oreśl wówczs jo: S H /. Metod OBD - w prtyce Oreślee wstępej strutury sec euroowej Przeprowdzee procesu ucze sec euroowej Oreślee elemetów dgolych hesju h, dl żdej wg sec Oblczee prmetru wrżlwośc S, oreśljącego zczee dego połącze Posortowe wg według wrtośc prmetru S obcęce tych wg, dl tórych wrtośc S są jmejsze Powrót do putu. lrote powtórzee procesu ż do pozbyc sę wg o jmejszym wpływe wrtość fucj celu Metod OBD z douczem yresy błędów: ucze; b testow sec euroowej w fucj lczby euroów przy zstosowu metody OBD rzyw gór bez doucz sec, rzyw dol z douczem sec wstępe seć mł 578 wg. 3 Metod OBS g. Optml Br Surgeo Bzuje rozwęcu fucj w szereg Tylor w otoczeu tulego rozwąz d T Hd rtość wrżlwość jest pod wzorem: L [ H ] gdze [H - ] - -ty elemet dgoly odwrotośc hesju oblczego dl wszystch wg sec. Dodtowo stępuje modyfcj pozostłych wg sec e - wetor jedostowy z -tej pozycj: [ H ] H e 3

9 Metod OBS w prtyce Porówe metod wrżlwoścowych Oreślee wstępej strutury sec euroowej Przeprowdzee procesu ucze sec euroowej Oblczee mcerzy odwrotej hesju H - Selecj wg w, tór m jmejszą wrtość współczy L. Jeżel zm wrtośc fucj celu towrzysząc obcęcu wg jest dużo mejsz ż, to wg uleg obcęcu leży przejść do putu 5, w przecwym przypdu do putu 6 Korecj pozostłych wrtośc wg przejśce do putu. Koec procesu reducj Porówe 3 metod reducj sec euroowej: przez obcęce jmejszych wg, metody OBD OBS Metod fucj ry Modyfcj fucj celu, by proces ucze smoczye elmowł młe wg. lmcj stępuje przez stopowe zmejsze wrtośc wg, ż do osągęc pewego progu, pożej tórego przyjmuje sę wrtość wg rówą 0. Modyfcj przez dode słd ry z duże wrtośc wg: 0 γ j, j Modyfcj, pozwljąc elmcję epotrzebych euroów elmcj euroów, dl tórych sum jest bls 0 elmcj euroów urytych o jmejszej zme tywośc w procese ucze Metod rozłdu SVD lmcj dmrowych euroów wrstwy urytej bzuje rozłdze według wrtośc osoblwych SVD yorzystywy do sec o lowych euroch wyjścowych Metod elmcj: wyrywe sorelowego dzł dwóch euroów > dzłlość obu może przejąć jede z ch 35 36

10 Zwęszee zdolośc uogól sec przez modyfcję dych uczących Selecj cech - dobór cech, tóre są mją wpływ wrtość sygłów wejścowych trące szumu do wzorców uczących - przy złożeu, że seć relzuje odwzorowe głde, dobrze wytreow seć pow być ewrżlw ewele zmy wrtośc wejścowych. 37