4. Nenow metod nmneszych kwdrtów 4.. Wrowdzene Przyomnmy, że metod nmneszych kwdrtów neży do zgdneń roksymc znne funkc Y x ) = y n zborze dyskretnym x, =,,.. M w rzedze <, b >. Chcemy, by wrtośc funkc y były rzybżone w tym rzedze rzez funkcę f x), któr w ogónym rzydku est nenow. Odwołuąc sę do zsu.) możn tę znną funkcę rerezentowć nstęuąco: y = f, x ) + v, =,,..., m, 4.) gdze = [,,... n ]. wektor rmetrów modeu, v błąd obserwc o chrkterystyce szumu błego. W rzydku.) funkc f,x ) rzedstw zeżność nową wzgędem rmetrów: n f, x ) = ϕ x ), = ednk w ogónym rzydku est to funkc nenow. D dowonego wyboru rmetrów okreśonych rzez wektor możn wyznczyć wrtośc błędu resdu: e = y f, x ), 4.) które są skłdnkm nstęuącego wektor: e [ e e L )] e m = 4.) W ogóne forme robem nmneszych kwdrtów est defnowny nstęuąco. Dn est funkc S o nstęuące ostc: m S = e = = ) e ) e 4.4) Okreść wrtość wektor, d którego funkc S osąg mnmum. Jeś funkc e est nenow wzgędem wektor, to mmy do czynen z nenowym zdnem nmneszych kwdrtów, którego rozwązne oeg n znezenu tkego wektor, który mnmzue funkcę S. Jest to ztem rozszerzene znnego nowego zdn nmneszych kwdrtów n rzydek nenowy.
4. Nenow metod nmneszych kwdrtów 9 4.. Agorytm Guss-Newton Funkc błędów e 4.) est okreśon ko różnc mędzy wektorem wyznczonym rzez wrtośc znne funkc y wektorem omrów) rzyętym modeem f,x ) odowdącym estymownemu wektorow, co w zwrty sosób rzedstw nstęuąc zeżność: e = y f, 4.5) gdze: f = [ f, x ) f, x ) L f, )]. x m W rzydku, gdy czb obserwc m est równ czbe neznnych rmetrów modeu n, robem mnmzc 4.4) srowdz sę do znezen zer ukłdu równń nenowych, co możn osągnąć z omocą metody Newton-Rhson []. D zdn gdy m > n, kryterum MNK srowdz sę do rozwązn nstęuącego robemu: m mn S = mn e e = mn e = 4.6) Wrunek 4.6) est znny ko nenowe kryterum metody nmneszych kwdrtów. W odróżnenu od odobne zeżnośc defnowne w odnesenu do MNK, tym rzem funkc krytern e est nenow wzgędem oszukwnych rmetrów wektor. W ceu okreśen odowedne rocedury mnmzc 4.4) możn odwołć sę do nowe roksymc funkc e - co srowdz sę do okreśen dwóch erwszych wyrzów rozkłdu te funkc w szereg yor. Rozkłd funkc e w obżu dnego unktu rowdz do: e m = e ) J ) ), 4.7) gdze: J ) est mcerzą Jcobego Jcobnem) J ) = { )}, 4.8) z eementm y f ) e ) ) = =, = = - -ty wyrz wektor estymt, f ) = f, x ). Przy złożenu, że wektor omrów y ne zeży od oszukwnych wrtośc, ostteczne, otrzymue sę eementy Jcobnu J ) : f ). 4.9) = = Ponewż wektor modeu f est zzwycz okreśony w ostc ntyczne, ztem równeż mcerz J est łtw do okreśen. Lnow ostć równn 4.7) może być wykorzystn do tercynego obczn zer funkc błędu e. Jeś
Metody numeryczne w technce rzyąć, że unkt est rezuttem orzedne terc: =, to = w 4.7) mnmzue m = ), t.: m J ) ) = e ), 4.) gdze: h = ) stnow krok tercynego gorytmu. Wyrżene 4.) rzedstw ndokreśony ukłd m równń nowych z n newdomym, który może być rozwązny z omocą gorytmu MNK. Mnożąc ewostronne równne 4.) rzez J, otrzymmy: [ J ) J )] J ) e ) = +, 4.) gdze: est ndeksem numeru terc. Podstwąc 4.5) w mesce e otrzymue sę końcową ostć gorytmu nenowe MNK: [ J ) J )] J ) y f )) 4.) = + Itercyn formuł 4.) est znn ko gorytm Guss-Newton rozwązywn nenowych zgdneń MNK. Szybkość zbeżnośc gorytmu zeży od błędu nowego rzybżen funkc e. W weu zstosownch uż eden krok terc 4.) de zdowące rzybżene []. Uzyskny gorytm nos nzwę nenowe metody nmneszych kwdrtów ng. Nonner Lest Squres). Agorytm 4.. Metod Guss-Newton rozwązywn nenowego zdn nmneszych kwdrtów NLS).. Przyąć wrunk oczątkowe: = ).. Okreść wrunk oczątkowe d dnego kroku: = numer terc).. N odstwe modeu rocesu okreść mcerz Jcobego J ). 4. Skorygowć wrtość wektor estymt: [ J ) J )] J ) y f )). = + 5. Jeś mx )) > ε bs - rześć do, ncze - rześć do, gdze: ε - mksymn odchyłk do kontro zbeżnośc rocesu tercynego. W omrch rezownych n beżąco, Jcobn J ) ownen być obczny w kżde terc. W rzydku zdń dużego rozmru gdy n est duże), neży wystrzegć sę bezośrednego stosown formuły 4.) z odwrcnem mcerzy, gdyż est to nezwyke ucążw oerc numeryczn. W zmn możn stosowć znczne oszczędneszy gorytm QR rzeznczony do rozwązywne tego tyu zgdneń nowych [], [9]. Przykłd 4.. Obserwowny roces est rerezentowny z omocą nstęuące funkc: x ) f, x) = e, gdze wsółczynnk równn. Wykonno 5 omrów rezc tego rocesu: x 4 y,5,4,68,94,95 Obczyć wsółczynnk modeu.
4. Nenow metod nmneszych kwdrtów Okreśmy oszczegóne funkce zwązne z zdnem: [ ) ) ) ) )] 4 e e e f, x ) x =, x ) x, x ) ) ) = = e ) f, x) = e, x ) = e,, = = xe, skąd okreśn est mcerz J k w 4.8). W chrkterze wrtośc oczątkowych rzymuemy: [ ]. = 5 W koenych krokch tercynego rozwązn różnce zmeną k n rys. 4.. Rys. 4.. Zmn odchyłek rozwązn w koenych tercch D wrtośc grnczne odchyłk ε =,E 4 otrzymuemy rozwązne: [,95,997,] =. Przebeg funkc f n te zdnych wrtośc y est okzny n rys. 4.. Rys. 4.. Przebeg funkc roksymuące f,x)
Metody numeryczne w technce Przy zstosownu omwnego gorytmu do rzetwrzn sygnłów zzwycz mmy do czynen z rocesem rezownym n beżąco, w którym wynk omrów ownny być dostęne z nezbyt dużym oóźnenem. Często tkże rmetry modeu mogą sę zmenć z czsem. W tkm rzydku możn rzyąć, że mode est nezmenny d koeno zestwonych m rezc rocesu zwąznych z osttną dostęną róbką sygnłu. Po rześcu do koene k-e róbk znów zbór osttnch m róbek odnos sę do nowych rmetrów rocesu [6]. Schemt tkego rzetwrzn est okzny n rys. 4.. Neży tu uzgodnć rocedurę strtową, gdy n oczątku ne est eszcze zełnone erwsze okno omrowe. yt k ) m k k t k Rys. 4.. Schemt rzetwrzn w modeu nestconrnym k sosób rzetwrzn est tyowy d dentyfkc rmetrów rocesu rezowne n beżąco. Mówmy, że zbór m osttnch dostęnych róbek rocesu nzyw sę oknem omrowym. Szerokość okn okreśon rzez czbę m est komromsem omędzy dokłdnoścą dentyfkc, mksymnym czsem oóźnen wynku omru. Jeś złożony mode tkego rocesu est nenowy wzgędem rmetrów, to d kżdego z koenych oken omrowych mmy do czynen z ksycznym nenowym zdnem nmneszych kwdrtów. W tkm rzydku gorytm Guss-Newton rzyme nstęuącą ostć: J ) J )) J ) y f ))) = + k, 4.) gdze oszczegóne wekośc odnoszą sę do zboru dnych obcznych rmetrów zwąznych z beżącą róbką k. Po owenu sę koene róbk wekośc weścowe, formowny est nowy zestw omrów o długośc m nstęue tercyne ustene wrtośc rmetrów zgodne z Agorytmem 4.. Rconne est rzyąć, że wrtośc oczątkowe w koenym kroku czsowym są równe rozwąznom z orzednego kroku. Koeny rzykłd ustrue zstosowne te rocedury.
4. Nenow metod nmneszych kwdrtów Przykłd 4.. Zroektowć gorytm do omru trzech rmetrów sygnłu, którego mode sygnłowy est nstęuący: y tk ) = A tk )cos ω tk ) t + ϕ tk )). Poszukwnym wekoścm są: mtud At k ), usc ωt k ) orz fz ϕt k ) obserwownego sygnłu. W ceu syntezy odowednego gorytmu złóżmy, że obserwowny roces est zgodny z złożonym modeem, rzy czym, usc m stłą, zdną wrtość, ntomst do ozostłych dwóch rmetrów dodny zostł szum, tk, że obserwowny sygnł okreśony est nstęuącą zeżnoścą: y tk ) = A + μ A)cos ωt + ϕ + μϕ )), gdze μ A, μ ϕ, rerezentuą mtudy osowych zkłóceń, odowedno, mtudy orz fzy sygnłu. W tym rzydku zkłócen są generowne w ostc szumu seudoosowego z omocą funkc rnd w rogrme MALAB. Przyęto nstęuące rmetry: A =, ω =,95 π, ϕ =, μ A = %, μ ϕ, = 5%. Mode sygnłowy rocesu zszemy w nstęuące ostc: f = Ac cos As sn, gdze: A c = A cos ϕ ), A s = A sn ϕ ), = f sω, rzy czym, f s częstotwość róbkown sygnłu. Wekośc A c orz A s ełną węc roę skłdowych ortogonnych sygnłu hrmoncznego o częstotwośc. Równne omrowe 4.5), n odstwe którego okreśny est schemt metody nmneszych kwdrtów, est nstęuące: e = y f A k A k k k gdze: = [ c ) s ) )] = ), f = [ f, k m + ) f, k m + ) L f, ] = f, y [ y k m + ) y k m + ) y ) ] = y, = L odobne e. W tk zdefnownym modeu oszukwne rmetry są okreśone nstęuąco: As A = Ac + As, ϕ = rctg, ω =. A c Indeks k odnos sę do osttne rzeczytne róbk obserwownego rocesu; m osttnch zgromdzonych róbek tworzy okno omrowe d którego są obczne rmetry modeu. Schemt nenowe metody nmneszych kwdrtów m ztem nstęuącą strukturę: e, k m + ) = y k m + ) Ac cos k m + )) As sn k m + )) M M M e, k ) = y k ) e, = y Ac cos As sn Wersze mcerzy defnuące Jcobn są nstęuące:, ), ), ) = = [ cos ) sn ) Ac sn ) + As cos ) )], Ac As =,,..., m; = m + k. Zuwżmy, że czb zmennych rmetrów rocesu wynos n =. Wobec tego, nkrótsze okno omrowe może zwerć m = róbk z dnym: y), y), y). Dokłdność estymc rmetrów w tkch wrunkch ne est wysok. Złóżmy, że obserwowny sygnł rerezentue nęce w sec eektryczne rądu rzemennego o częstotwośc znmonowe f = 5 Hz, który est róbkowny z częstotwoścą f s = Hz. Okres tego f s A cos k )) A sn k )) c s
4 Metody numeryczne w technce rzebegu wynos ztem = ms, co est równowżne N = róbkom. Przymmy, że n = N = est grnczną czbą róbek w okne omrowym roektownego gorytmu. W ten sosób mmy uż wszystke dne do uruchomen obczeń. Obserwowny rzebeg est okzny n rys. 4.4. Agorytm strtue w momence owen sę trzece róbk n = k = ). Z kżdą koeną róbką okno omrowe rozszerz sę ż do n = k = N =, o czym do rzetwrzn brne są osttne róbk w czbe n. W chrkterze wrtośc oczątkowych wybrno nstęuące wrtośc: A c = A s = / orz =,95 π/ est to wrtość zdn. Rys. 4.4. Przebeg nzownego sygnłu Przebeg zmn wrtośc otrzymnych rmetrów sygnłu są okzne n rys. 4.5. Skłdowe ortogonne A c orz A s decyduą o wrtośc mtudy fzy sygnłu stąd dosyć duż dynmk zmn ch wrtośc. Bdny rzebeg m stłą częstotwość, węc tkże skłdow m ustbzowny rzebeg. Rys. 4.5. Przebeg obczonych rmetrów sygnłu
4. Nenow metod nmneszych kwdrtów 5 4.. Agorytm Levenberg-Mrqurdt Przedstwony owyże gorytm Guss-Newton rozwązywn nenowego robemu nmneszych kwdrtów może wykzywć młą zbeżność ub wręcz brk zbeżnośc w tkch rzydkch, k: - osągnęce unktu sodłowego mnmzowne funkc e w rocese tercynego rozwązn wówczs erwsz ochodn Jcobn rzymue brdzo młe wrtośc); - funkc e est mocno nenow. Jedną z roozyc rozwązn tego robemu est modyfkc gorytmu 4.) do nstęuące ostc: [ J ) J ) + I] J ) y f )) μ, 4.4) = + gdze μ est wsółczynnkem tłumen. Zeżność 4.4) est znn ko gorytm Levenberg-Mrqurdt LM) [8], []. Zuwżmy, że d μ = otrzymue sę gorytm Guss-Newton. W ogónym rzydku wsółczynnk tłumen μ m nstęuące znczene: - d wszystkch μ > mcerz wsółczynnków J ) J ) + μi est dodtno okreśon 7, co zewn e neosobwość orz zbeżność rocesu tercynego; - rzy dużych wrtoścch μ zbeżność ste sę won, co ułtw rozwązne d dużych oczątkowych odchyłek oszukwnego rozwązn; - młe wrtośc μ zewną szybką zbeżność gdy rozwązne est bske oszukwne wrtośc. Włścwośc te możn rześedzć, gdy 4.4) zszemy w nstęuące forme: N )h J ) e ), 4.5) = gdze: N ) J ) J + μi) = ), h = ) est krokem tercynego gorytmu 4.). Możn zuwżyć, że nedgonne eementy mcerzy N są tke sme, k mcerzy [J J], ntomst eementy stoące n rzekątne są równe: N = [J J] + μ. Strteg wyboru wsółczynnk tłumen μ ownn zewnć meącą wrtość wektor błędu e ) merzoną, n rzykłd, z omocą normy kwdrtowe ub mksymne mtudy) w kżde terc. W ten sosób gorytm LM m włścwośc dtcyne. Początkow wrtość μ może być oszcown n odstwe wrtośc dgonnych eementów mcerzy P = J ) J ) [8]: μ = τ mx{ )}, 4.6) gdze τ =,E-6..,), rzy czym mnesz wrtość odnos sę do rzydku, gdy oczątkow wrtość wektor rozwązn może być uznn z bską rozwąznu końcowemu. 7 Mcerz A n n) est dodtno okreśon eś est to mcerz symetryczn ub hermtowsk d które sełnony est nstęuący wrunek: x Ax >, gdze x n ) est dowonym nezerowym wektorem. Wszystke wrtośc włsne mcerzy dodtno okreśone są dodtne [5].
6 Metody numeryczne w technce W koenych krokch tercynego rzybżn rozwązn doberne są wrtośc wsółczynnk μ n odstwe owyższe nzy ego wływu n zbeżność obczeń. Proonowne są w tym ceu różne heurystyczne gorytmy szcown wrtośc tego wsółczynnk by, z edne strony, ne douścć do rozbegn sę obczeń, z druge uzyskć wynk w k nmnesze czbe terc. W onższych rzykłdch stosown est rocedur mrqurdt [8], n odstwe które orcowny zostł zestw rogrmów w ęzyku MALAB do otymzc roksymc funkc []. Przykłd 4.. Obserwowny roces est okreśony z omocą nstęuące funkc: t f, ) = e e t, =,.., 4, gdze wsółczynnk równn. Znne są cztery wynk omrów tego rocesu: t y,5 4 Obczyć wsółczynnk modeu korzystąc z rocedury mrqurdt. Neży rzygotowć rocedurę omocnczą, którą nzwemy funk, w które będze obczn wrtość mnmzowne funkc: t { y } e e = y f = e, =,.., 4 orz wrtośc wsółczynnków skłdących sę n Jcobn te funkc:, t ) t ), t ) t ) = = e e, ) = = tte e, J = {[ ]}, =,.., 4. W chrkterze wrtośc oczątkowych rzymuemy: [ ] =. Przebeg funkc f, t) n te zdnych wrtośc y est okzny n rys. 4.6. Rys. 4.6. Przebeg funkc roksymuące f,t)
4. Nenow metod nmneszych kwdrtów 7 Do oceny zbeżnośc rocesu tercynego stosowne są różne kryter. Jednym z nch est norm mksmum wektor: g, gdze g = J. Wekość t est bezośredno dostęn w rocedurze mrqurdt e rzebeg d roztrywnego zdn est okzny n rys. 4.7 n zznczon znkm + ). Wdć, że wskźnk ten gwłtowne mee od ąte terc. N tym smym rysunku okzny est tkże rzebeg zmn wsółczynnk tłumen μ n zznczon znkm * ). Wekość t mee wykłdnczo zewnąc w końcowym ete obczeń nem kwdrtową zbeżność [8]. g - -4-6 -8 - - Przykłd 4.4. 4 6 8 nr terc Rys. 4.7. Przebeg rmetrów rocesu tercynego Roztrywne w rzykłdze 4. zdne omru rmetrów sygnłu snusodnego z zkłócenm z omocą gorytmu Guss-Newton może ne rowdzć do rozwązn eś oczątkowe wrtośc ne będą dostteczne bske rozwązn końcowego. Dotyczy to zwłszcz oczątkowych etów obczeń rowdzonych z krótkm oknem omrowym. Zbdć stbność rozwązn tego robemu z omocą gorytmu LM. Agorytm obczenowy m nem dentyczną strukturę k w Przykłdze 4., z tym, że odstwowy schemt tercyny est rezowny zgodne z 4.4). Wrtość oczątkow wsółczynnk μ est okreśn w kżdym kroku zgodne z 4.6), wrtośc w koenych tercch są korygowne zgodne z zsdą rzyętą w rocedurze mrqurdt [8], []. Wsółczynnk μ szybko mee wrz z koenym krokm terc, gdy okno omrowe nełn sę róbkm z ełnego okresu rzebegu d k > ). Uzyskne wynk d ednego z omrów są okzne n rys. 4.8. Przyęto nstęuące wrtośc oczątkowe: : A c = A s = 5 orz =,5,95 π/,5 wrtośc zdne). Agorytm LM est znczne brdze odorny n odchyłk zdnych wrtośc oczątkowych od wrtośc obczonych. Przy owyższych dnych oczątkowych gorytm Guss- Newton ne rowdz do stbnych rezuttów.
8 Metody numeryczne w technce Rys. 4.8. Przebeg obczonych rmetrów sygnłu według gorytmu LM eksty rogrmów w ęzyku MALAB dotyczących osttnch dwóch zdń: rzykd4_.z orz rzykd4_4.z, tkże toobox mmotbox [] są dostęne łączne z nneszym osem. Zdn 4.. Obserwowny roces est rerezentowny z omocą nstęuące funkc: x x e ) f, x) = tego rocesu:, gdze wsółczynnk równn. Wykonno 5 omrów rezc x 4 y -,,5,75 5,9 7,8 Obczyć wsółczynnk modeu stosuąc metodę Guss-Newton. W chrkterze wrtośc oczątkowych rzyąć: = [ ]. 4.. Obserwowny roces est rerezentowny z omocą nstęuące funkc: x e ) f, x) = x tego rocesu:, gdze wsółczynnk równn. Wykonno 5 omrów rezc x 4 y,5,75 5,9 7,8 Obczyć wsółczynnk modeu stosuąc metodę Guss-Newton. W chrkterze wrtośc oczątkowych rzyąć: = [ 5 ].