SYSTEMY UCZĄCE SIĘ WYKŁAD 8. NIEPARAMETRYCZNE METODY APROKSYMACJI FUNKCJI Częstochow 4 Dr h. nż. Grzegorz Dudek Wydzł Elektryczny Poltechnk Częstochowsk
PAMIĘCIOWE METODY APROKSYMACJI FUNKCJI Jeśl postć modelu regresynego est neznn do proksymc funkc możemy użyć metod pmęcowych (neprmetrycznych Metody pmęcowe przechowuą zór przykłdów trenuących n ego podstwe tworzą hpotezę dl nowego przykłdu (punktu zpytn Estymuąc funkcę regres uwzględnmy w modelu e włsnośc loklne czyl dotyczące otoczen punktu zpytn Model est komncą lnową pewnych funkc zowych
MIARY ODLEGŁOŚCI Do konstrukc funkc regres w otoczenu punktu zpytn nezędne est zdefnowne metryk merzące odległośc pomędzy dwom punktm (przykłdm. Mr odległośc pomędzy wektorm est funkcą: tką że: Jeśl pondto: d : X X R d R : < d d( < + X d( d X d( d( X d( d wtedy tylko wtedy gdy d( d( + d( X c c c d zwn est metryczną mrą odległośc.
4 Do określn odległośc pomędzy punktm nczęśce stosue sę: odległość eukldesową: n d / ( ] ( [( ( T odległość meską (cty-lock Mnhttn: n d ( Kżd z tych funkc stnow szczególny przypdek odległośc Mnkowskego: m n m d / ( Mry oprte n odległośc Mnkowskego ne są nezmenncze względem skl wrtośc tryutów (tryuty wyrżone są w różnych ednostkch lu zmeną sę w różnych zkresch. Zmn skl powodue zmnę odległośc pomędzy punktm. Ay temu zpoec zlec sę wcześneszą normlzcę oserwc lu wżene tryutów przy wyzncznu odległośc. MIARY ODLEGŁOŚCI
MIARY ODLEGŁOŚCI Funkc wżone odległośc eukldesowe m postć: d T ( [( W ( gdze W dg{ σ σ... σ T} σ t są odchylenm stndrdowym poszczególnych tryutów. Ay mr uwzględnł równeż korelce mędzy tryutm stosue sę odległość Mhlnos: d T ( [( S ( gdze S est estymtorem mcerzy kowrnc. Wżene stosue sę tkże w przypdku gdy chcemy zróżncowć udzł skłdowych. Funkc wżone odległośc Mnkowskego m postć: d( n w m gdze w est wgą -te skłdowe (czynnkem skluącym; często ] ] / / / m n w Czynnk skluący w rozcąg lu skrc przestrzeń orzów wzdłuż e os. W przypdku gdy w { } nektóre wymry te przestrzen mogą yć wyelmnowne (selekc tryutów.. 5
METODA NAJBLIŻSZEGO SĄSIADA Metod nlższego sąsd (NS nerest neghor est nprostszym pmęcowym podeścem do proksymc funkc. W celu odpowedz n zpytne dotyczące przykłdu * zndue sę nlższy mu przykłd trenuący y przymue sę ego etyketę z hpotezę: h ( * { y rg mn d( *} Zletą metody NS est e prostot unwerslność. Algorytm NS ne wymg złożeń dot. dzedzny reprezentc przykłdów poz tym że est n nch określon pewn mr odległośc. Mnkmentem metody NS est tendenc do ndmernego dopsown schodkow proksymnt. y.5.5 -.5 f( h( -..4.6.8 6
METODA K NAJBLIŻSZYCH SĄSIADÓW Uogólnenem metody NS est metod k nlższych sąsdów (k-ns gdze hpotezę tworzy sę n podstwe etyket k nlższych przykłdów do przykłdu * którego dotyczy zpytne: h( * k y Ω gdze Ω est zorem ndeksów k nlższych sąsdów * w zorze trenuącym. h( f( Dlszym uogólnenem metody NS est wprowdzene wg zleżnych od odległośc przykłdu ze zoru k-ns od * np.: h( * Ω Ω w ( y w ( 7
METODA K NAJBLIŻSZYCH SĄSIADÓW gdze w ( est funkc wżącą zleżną od odległośc zwykle monotonczne mleącą osągącą mksymlną wrtość w zerze mnmlną (neuemną dl odległośc do k-tego nlższego sąsd ( k np.: d( k ( ( d w p + d( + q k ( d w.8.6 p q.4 p q5 p q-8 p5 q. p5 q5 p5 q-8..4.6.8 d( /d( k Generlne m głdsz est funkc wgow tym głdsz est funkc estymown. Przykłd ze zoru k-ns uwzględnny est w formownu hpotezy dl przykłdu * w stopnu zleżnym od odległośc od *. Stopeń ten est wyrżony wgą w (. h( f( 8
ESTYMATOR NADARAYI WATSONA Inne typy funkc wgowych: d( gussowsk ( ep w k hperol kwdrtow w( + m( d( / k Dlszym uogólnenem est wprowdzene funkc wgowych zwnych ądrm K * (kernel dl kżdego przykłdu trenuącego. Dl przypdku ednowymrowego hpotez m postć (tzw. estymtor Ndry Wtson: h( gdze s R + est prmetrem wygłdzn. N N K y s K s * Ptrz wykłd 7 sldy 6. 9
ESTYMATOR NADARAYI WATSONA PRZYKŁAD N podstwe przykłdów trenuących:...9 4. 4.9 6.9 7. y..4.4.48.56.64.6 wyzncz wrtość funkc w punkce * 6.5. Jko ądr przymmy funkce gussowske: K s gdze z s przymuemy.4. ( ep s π s Wrtośc ąder kolenych punktów trenuących w punkce * (K((6.5 /.4 wynoszą: K [.8. 7.6..9.59] K.4... 4 6 8 * Rysunek. Funkce ądrowe rozpęte nd przykłdm trenuącym ch wrtośc w punkce *.
ESTYMATOR NADARAYI WATSONA PRZYKŁAD Estymtor Ndr Wtson możn zpsć ko: N h( w ( gdze y w ( N K s k K s k Wrtośc wg w dl kolenych punktów uczących wynoszą: w [.5.5.6.89.784.9.] Estymown wrtość funkc w punkce *: h(.5 + 5 4 + 6 4 + + 89 48 + 784 56 + 9 64 + 6 579 yw.7.6 h(*.5.4... w 4 5 6 * 7 8 Rysunek. Aproksymc metodą Ndry-Wtson.
W przypdku welowymrowym stosue sę ądr produktowe (loczyny ednowymrowych ąder dl poszczególnych współrzędnych/tryutów. Wtedy otrzymuemy: N n N n s K y s K h ( Dl ąder gussowskch produktowy estymtor Ndry Wtson przyer postć: N n N n s y s h ( ep ( ep ( W tym przypdku prmetry wygłdzn doer sę ndywdulne dl kżdego wymru/tryutu. ESTYMATOR NADARAYI WATSONA
ESTYMATOR NADARAYI WATSONA W perwszym przylżenu prmetry wygłdzn możn wyznczyć ze wzoru: s 4 4 n+ n+ 4 σ σ N ( n + N gdze σ est odchylenem stndrdowym estymownym z próy dostroć w procedurze kroswldc. Decyduąc o kompromse pomędzy ocążenem wrncą estymtor prmetry wygłdzn s stotne wpływą n ego kość stąd rdzo wżny est precyzyny doór ch wrtośc. Zyt młe wrtośc s skutkuą ndmernym dopsownem modelu do dnych uczących ntomst zyt duże ndmernym wygłdzenem estymtor mskuącym specyfczne cechy proksymowne funkc. yf(h(.5.5 y f( -.5 h( dl s.5 h( dl s h( dl s5 -..4.6.8 Skrypt mplementuący estymtor Ndry-Wtson: http://www.mthworks.com/mtlcentrl/fleechnge/96- ndry-wtson-smoothng/content/smoothng.m
APROKSYMACJA ZA POMOCĄ FUNKCJI SKLEJANYCH Funkc sklen zwn splnem określon n przedzle [t t m+ ] est welomnem stopn co nwyże q w kżdym podprzedzle [t k t k+ ] k m (rzeg przedzłów t k nzywmy węzłm posd cągłe pochodne rzędu q dl wszystkch rgumentów z przedzłu [t t m+ ]. Czyl est to funkc głdk odcnkowo welomnow. Głdkość zpewnon est przez ednkowe pochodne n grncch podprzedzłów. Funkc sklen m postć: q m l l + l k α (* h( β ( t k k q + yf(h(.5.5 -.5 Koronck J. Ćwk J.: Sttystyczne systemy uczące sę. WNT 5. t t t - t 4..4.6.8 4
APROKSYMACJA ZA POMOCĄ FUNKCJI SKLEJANYCH q ( tk dl t q k gdze: α l β k współczynnk ( tk + dl < tk Przykłdowo dl q trzech podprzedzłów (ptrz rysunek powyże funkc sklen m postć: h ( α + α + α + β( t + + β ( t + + β( t + Jest to sum: wyrzu wolnego α proste α prol α orz welomnów β Welomn k ( t k + k ( t k + β zczyn sę w punkce t k est nezerowy n prwo od tego punktu. y - - - t α α h( t t α k (-t k β + -4 4 5 6 t 4 5
APROKSYMACJA ZA POMOCĄ FUNKCJI SKLEJANYCH Doór lczy przedzłów m orz węzłów t k odyw sę dptcyne np. w procedurze kroswldc. Dl zdnych wrtośc m orz t k współczynnk α l β k estymue sę metodą nmneszych kwdrtów. Inny sposó estymc prmetrów poleg n mnmlzc łędu powększonego o skłdnk kry (regulryzc ** : N ( y h( + λ R ( h"( gdze λ est tzw. współczynnkem wygłdzn h"( est drugą pochodną hpotezy. Cłk z kwdrtu druge pochodne hpotezy est tym wększ m rdze oscylcyny est przeeg te funkc. Im wększ wrtość λ tym wększ est kr z negłdkość (oscylcyność. Kr pozwl n wygłdzene estymtor (łgodneszą zmenność. d zuwż że funkc (* est modelem lnowym (ptrz osttn sld wykłdu 6 rozszerzon reprezentc ** Koronck J. Ćwk J.: Sttystyczne systemy uczące sę. WNT 5. 6
APROKSYMACJA ZA POMOCĄ FUNKCJI SKLEJANYCH Często przymue sę że węzłm są wszystke punkty trenuące q (splny kuczne. Wtedy edynym prmetrem do estymc est współczynnk wygłdzn λ. Jego wrtość doer sę w kroswldc. W przypdku welowymrowym (przykłdy są wektorm hpotez est rozwąznem nstępuącego zdn mnmlzc: gdze kr z negłdkość m postć: N hˆ( rg mn( y h( h(. n n h R( h d k k + λr( h 7
LOKALNA REGRESJA LINIOWA W loklne regres lnowe (LOWESS loclly weghted sctterplot smoothng dl przykłdu * (zpytn tworzy sę model lnowy n podstwe zoru trenuącego przy czym w mnmlzowne funkc łędu uwzględn sę udzł kżdego przykłdu w stopnu zleżnym od odległośc od *: N * K s ( y h( * Odległość od od * wyrżon est z pomocą ądr K (trdycyne używ sę ądr kucznego: * ( * K s. s K((*-/s.8.6.4. * s (** Hpotez m postć lnową: h ( * ( * ( + - - Model lnowy dopsowywny est loklne do przykłdów w otoczenu zpytn * metodą wżonych nmneszych kwdrtów mnmlzuącą funkcę (**. 8
LOKALNA REGRESJA LINIOWA I WIELOMIANOWA Zmst hpotezy lnowe możn użyć welomnu np.: h ( + ( * + ( * ( *. Pozwl to n dokłdneszą proksymcę uwzględnącą loklną nelnowość funkc docelowe. Prmetr s doer sę w kroswldc. Metodę regres loklne możn uogólnć n przypdek welowymrowy. 9