Sformułowanie zagadnienia aproksymacji w sensie najmniejszych kwadratów

Transkrypt

1 WYKŁAD APROKSYMACJA WIELOMIANOWA I ZAGADNIENIE NAJMNIEJSZYCH KWADRAÓW

2 Sforułowaie zagadieia aprosyaci w sesie aieszych wadratów Rozważy zbiór putów (węzłów) a płaszczyźie {( x y ), 0,.., }, W typowy zadaiu aprosyaci liczba węzłów oże być zacza, toteż stadardowa iterpolaca ie est dobry poysłe. Wieloia iterpolacyy (wysoiego stopia) będzie iał silie oscylacyy charater, a ego postać będzie iesłychaie wrażliwa a ałe błędy w daych weściowych. Zastosuey ie podeście. Naszy cele est zalezieie fuci, tóre przebieg uchwyci ogóly tred zieości w zbiorze zadaych putów (czerwoa liia a wyresie), a wyres te fuci est w odpowiedio oreśloy sesie abliższy puto tego zbioru. Będziey poszuiwać te fuci w postaci obiaci liiowe z góry oreśloych fuci bazowych (p. pewych wieloiaów) { ( x), 0,.., } f ( x) a ( x) a ( x)... a ( x) a ( x)

3 Potrzebe est ryteriu wg tórego oreśliy wartość iezaych współczyiów { a, 0,1,.., }. W zagadieiu aprosyaci w sesie aieszych wadratów dążyy do ziializowaia astępuące wielości ( 0, 1,..., ) [ ( ) ] [ ( ) ] i R R a a a f x y a x y Waruie oieczy istieia iiu est edoczese ziaie pochodych cząstowych pierwszego rzędu R a i 0, i 0,.., Warui te prowadzą do liiowego uładu rówań dla współczyiów { a, 0,.., } R i ( x ) a ( x ) y 0, i 0,1,.., ai 0 0 [ ( x ) ( x )] a y ( x ) i i 0 0 0

4 Otrzyay uład rówań liiowych oża zapisać w forie acierzowo-wetorowe gdzie Ma = z M ( x ) ( x ) M, i, 0,1,.., i i i 0 a [ a, a,.., a ] 0 1 z y ( x ), i 0,1,.., i i 0 W szczególości, w roli fuci bazowych ożey przyąć edoiay ( x) 1, ( x) x,..., ( x) x,..., ( x) x 0 1 Wówczas eleety acierzy M i wetora prawych stro z aą astępuącą forę i i i i 0 0 M x, i, 0,1,..,, z y x, i 0,1,..,

5 Zauważy, że acierz M oża wyrazić ao astępuący iloczy M W W przy czy eleet acierzy W są dae wzorai Istotie, dowodzi tego astępuący rachue W x, 0,...,, 0,..., i i i i xx i ( W W) ( W ) ( W) ( W) ( W) ( M) Poadto, wetor prawych stro oże być przedstawioy w postaci z W y, y [ y, y,..., y ] Szczególa postać uładu rówań ie est przypadie i wyia z fatu, że zagadieie aprosyaci w sesie aieszych wadratów oże być iterpretowae ao adoreśloe zagadieie iterpolaci. 0 1

6 Przyrzyy się bliże probleowi liiowego zagadieia adoreśloego. Jest to tai uład rówań liiowych, w tóry liczba rówań est więsza iż liczba iewiadoych Ax b, di( A ) (, ), Macierz współczyiów A est acierzą prostoątą (a więce wierszy iż olu). ypowo, uład adoreśloy est sprzeczy, t. ie istiee w R wetor x tai, że wszystie rówaia uładu są edocześie spełioe. Postawiy zadaie wyzaczeia rozwiązaia uładu adoreśloego w iy, ieco bardzie liberaly sesie. Miaowicie, zadowoliy się tai wetore x, dla tórego długość wetora r b Ax est aiesza. Iyi słowy, staray się wybrać tai wetor x, że wielość est aiesza. r : r... r 1

7 Potrzebe będzie a poęcie zaresu (pola) acierzy. Zarese acierzy A (prostoąte o wyiarach (,)) azyway zbiór w R ozaczay rage(a) i tai, że rage( A): { yr : y Ax, x R } Widziy, że zares A to po prostu zbiór wartości przeształceia liiowego z R do R zadaego przez tę acierz. Zbiór te est podprzestrzeią liiową w R. Drugi waży poęcie est ądro acierzy (przestrzeń zerowa). W aszy zastosowaiu potrzebuey odwołać się do ądra acierzy traspoowae A. Jest to zbiór wetorów (de facto podprzestrzeń liiowa w R ) zdefiioway astępuąco er( A ) { yr : A y 0R } Wyażey, że dowoly wetor z rage(a) est prostopadły (ortogoaly) do ażdego wetora z er(a ), t. podprzestrzeie te są ortogoale, co ożey zapisać ta ( ) er( rage A A ) ( v, w ) v w 0 vrage( A) wer( A ) Prześledźy dowód tego ważego stwierdzeia 1

8 Zauważy po pierwsze, że vrage( A) v Ap Obliczy teraz iloczy salary wetora v i dowolego wetora w z przestrzei er(a ) a w p p pr ( v, w) ( Ap, w) ( Ap) w ( a p ) w ( a w ) p ( ) ( A w) ( p, A w) ( p, 0) 0 Otrzyaliśy zero co wobec dowolości wyboru wetorów dowodzi stwierdzeia. Istotę zagadieia aieszych wadratów ilustrue rysue. Zauważy, że wetor residualy r a aieszą długość (orę) eśli est wetore prostopadły do rage(a). Zgodie z powyższy stwierdzeie, wetor r ależy zate do er(a ).

9 Możey zate apisać r r i r rage( A) r er( A ) 1 A ( b Ax) 0 A Ax A b Zauważy, że acierz otrzyaego powyże uładu liiowego, czyli A A, est wadratowa o wyiarze. W teorii acierzy dowodzi się, że acierz ta est ieosobliwa eśli tylo rząd acierzy A est rówy (t. wszystie e oluy tratowae ao - wyiarowe wetory są liiowo iezależe). W oteście zagadieia aprosyaci wieloiaowe w sesie aieszych wadratów, acierz A = W, a A A = W W = M. Moża powiedzieć, że zagadieie aprosyaci to w istocie adoreśloe zagadieie iterpolaci, tóre prowadzi do adoreśloego uładu rówań postaci Wa = y. Istotie, ay bowie 0 0 y f ( x ) x a W a, 0,1,..., Opisay sposób rozwiązaia uładu adoreśloego (poprzez sprowadzeie go do uładu z acierzą wadratową A A) azyway też etodą rówań oralych.

10 Metoda wieloiaów ortogoalych Oówiy teraz ią etodę rozwiązaia zagadieia aprosyaci wieloiaowe, alteratywa wobec etody rówań oralych. Oaże się, że zagadieie aprosyaci oża rozwiązać wprost, t. bez rozwiązywaia żadych uładów rówań! Dla ustaloego uładu węzłów {( x, y), 0,.., } salary dwóch fuci bazowych wzore, : ( x ) ( x ) i i 0 defiiuey (dysrety) iloczy Mówiy, że uład fuci bazowych { i ( x), i 0,.., } est ułade ortogoaly eśli spełia o warui (ortogoalości) postaci i, 0, i Użycie w zagadieiu aprosyaci ortogoalego uładu fuci bazowych est bardzo orzyste bowie acierz M uładu rówań oralych est czysto diagoala! M i 0 ( x ), i i 0, i

11 Ozacza to, że uład rówań oralych est całowicie rozprzęgięty. Iyi słowy, ay do czyieia w ułade rówań, tórych rozwiązaie est trywiale, a iaowicie ( x ) a y ( x ), i 0,.., i i i 0 0 a i 0 0 y ( x ) i ( x ) i Pozostae westia a sostruować ortogoaly uład fuci bazowych dla zadaego zbioru węzłów. Oazue się, że oża sostruowań taą bazę wieloiaową. Procedura ostruci te bazy est reursywa. Ozacza to, że olee fuce (wieloiay) bazowe będą zbudowae przy poocy (dwóch) wieloiaów sostruowaych uprzedio. Jasy est, że procedura taa wyaga oreśleia waruów startowych, t. zdefiiowaia wprost dwóch pierwszych wieloiaów bazowych, a iaowicie q ( x) 1, 0 q1( x) x 1

12 Liczba α1 est dobraa w tai sposób, aby wieloiay q 0 i q 1 były: 1 0, 1 0 ( 1) q q x x Następe wieloiay w seweci wyzaczae są ze wzoru reurecyego postaci q ( x) xq ( x) q ( x) q ( x) Przy czy współczyii α +1 i β są wyzaczae w tai sposób, aby owy wieloia q +1 był ortogoaly do wieloiaów q i q -1 : q, q 0, q, q Po podstawieiu foruły reurecye dla q +1 do waruów ortogoalości otrzyuey prosty do rozwiązaia uład dwóch rówań liiowych z iewiadoyi α +1 i β. Uład te a rozwiązaie (sprawdzić!) 1, xq x x, q 1 x q x xq 0 q 1 0,, 1, 1 q ( ) x q 1( x ) 0 0 ( ) ( ) ( ) xq q q q q q

13 Kluczowy pytaie est: a to się dziee, że wyuszeie ortogoalości wieloiau q +1 względe wieloiaów q i q -1 gwaratue, że q, 0, 0,1,.., 1 qi i?! Oazue się, że warui ortogoalości do starszych wieloiaów są spełioe autoatyczie. Aby to zrozuieć, obliczy iloczy salary wieloiau q +1 i dowolego wieloiau q i dla i : q, q xq, q q, q q, q q, xq q, q 0 Obaśiy i 1 1 i i 1 i 1 i i p p p0 0 0 xqi ( x) has 0 for each p order i 1 Sładi drugi i trzeci są rówe zero a ocy założeia iducyego, że uład wieloiaów do ueru włączie est ortogoaly. Sładi pierwszy oże być itepretoway ao iloczy salary wieloiau q przez pewie wieloia xq i, tórego stopień wyosi i+1 i ie przewyższa -1. Wieloia te oże być przedstawioy ao pewa obiaca liiowa wcześie utworzoych wieloiaów bazowych q, 0 1 p p i. Na ocy założeia iducyego ażdy z tych wieloiaów est ortogoaly do wieloiau q, a zate i pierwszy sładi zia.

14 Ostatecza fora wieloiau aprosyacyego oże być zapisaa wzore f x y q x q x q x ( ) ( ) ( ) ( ) Uwagi ońcowe: Bardzo efetywą obliczeiowo i ueryczie stabilą etodą obliczaia wartości wieloiau przedstawioego ao pewa obiaca liiowa bazowych wieloiaów ortogoalych i sostruowaych wg reguły reurecye podał Cleshaw. Je opis i ipleetace w ęzyu C++ oża zaleźć z podręcziu Nuerical Recipes i C++, 3 rd Ed., a stroie. Aprosyaca w sesie aieszych wadratów za poocą wieloiau stopia 1- szego zwaa est rówież regresą liiową. Ćwiczeie doowe: wyprowadzić foruły regresi liiowe.