Adrze Marcak ELEMENTY ANALIZY NUMERYCZNEJ Wykłady dla studetów keruku formatyka Poltechk Pozańske
Wykłady są przezaczoe wyłącze do dywdualego użytku przez studetów formatyk Poltechk Pozańske. Ne mogą być oe powelae rozpowszechae a w całośc, a we fragmetach za pomocą urządzeń elektroczych, mechaczych, kopuących, agrywaących ych, w tym róweż e mogą być umeszczae a rozpowszechae w postac cyfrowe zarówo w Iterece, ak w secach lokalych.
I. PODSTAWOWE POJĘCIA ANALIZY NUMERYCZNEJ 1.1. Stało- zmeopozycye przedstawee lczby Lczby są reprezetowae w komputerze przez skończoą lczbę cyfr ch rozwęć pozycyych (podstawam są aczęśce 2, 8 lub 16). Wyróżamy dwa sposoby reprezetac lczb:! stałopozycyy,! zmeopozycyy. W reprezetac stałopozycye dowolą lczbę całkowtą l moża przedstawć w postac rozwęca podstawy. Zakładaąc, że podstawą est lczba 2 mamy l = z e 2, e 0 dla l 0, = 0 gdze z ozacza zak lczby (+1 lub!1), a e = 0 lub 1. Jeśl dla reprezetac stałopozycye przezaczoo w komputerze d + 1 btów, to lczbę l będze moża przedstawć tylko wówczas, gdy < d. Przykład 1.1 W 32-btowe mplemetac ęzyka Delph Pascal dla lczb typu Iteger przezaczoo cztery baty, czyl 32 bty. Jeśl ede bt przezaczoo a zak lczby, to awększą lczbą, którą moża przedstawć a pozostałych 31 btach est ( = 30) Nameszą lczbą e est edak (w zapse dzesętym) gdyż lczby ueme są zapsywae w tzw. kodze uzupełeowym. W kodze tym lczby ueme są przedstawae w postac cyfr reprezetuących lczby ake otrzymue sę odemuąc wartośc bezwzględe daych lczb od 2. Dlatego ameszą lczbą typu Iteger est która w komputerze a czterech batach est zapsaa astępuąco: 30 29 1 0 2 + 2 + K + 2 + 2 = 2 147 483 647. 2 147 483 647, 2 147 483 648, 10000000 00000000 00000000 00000000. Aby z zapsu lczb uemych w kodze uzupełeowym otrzymać lczbę w zwykłym zapse, ależy a wszystkch btach poza perwszym zameć cyfry 0 a 1, cyfry 1 a 0, a astępe dodać edykę dwókową. #
4 I. Podstawowe poęca aalzy umerycze W zapse stałopozycyym mogą być reprezetowae e tylko lczby całkowte. Na przykład w ęzyku Delph Pascal w postac take są pamętae lczby rzeczywste typu Currecy. Wewętrzy zaps est tak, ak lczb typu Iteger, tyle że a ośmu batach, a e a czterech, ale cztery ame zaczące cyfry są terpretowae ako cyfry po kropce dzesęte. W przedstaweu zmeopozycyym, zwaym zormalzowaym przedstaweem półlogarytmczym, dowolą lczbę 0 przedstawa sę w postac gdze z ozacza zak lczby, c cechę (est to lczba całkowta), a m ozacza matysę, która est lczbą rzeczywstą ależącą do przedzału Lczba zero est a ogół reprezetowae słowem o wszystkch btach rówych 0. Załóżmy, że słowo do zapsu lczby rzeczywste w przedstaweu zmeopozycyym ma długość d + 1 btów. Jeśl t btów przezaczy sę do zapsu matysy, to a zaps cechy w sposób stałopozycyy pozostae d! t btów (ede bt est przezaczoy do zapsu zaku lczby). Przy takm podzale zamast gdze e!1 = 1 oraz e! = 0 lub 1 dla > 1, zapamętywaych est w komputerze tylko t początkowych cyfr dwókowych matysy. Zakładaąc, że matysa została prawdłowo zaokrągloa do t cyfr mamy stąd Reprezetacę zmeopozycyą lczby ozaczamy przez rd(). Z defc Mamy przy tym co moża też zapsać astępuąco: = z2 c m, 1 2, 1. m= e 2, = 1 Lczbę eps = 2!t azywa sę dokładoścą maszyową. t mt = e 2 + e ( t + 1 ) 2 = 1 1 t m m t 2 2. rd( ) = z2 m. rd( ) c t 2 t, t t rd( ) = ( 1+ ε), gdze ε 2. (1.1)
1.1. Stało- zmeopozycye przedstawee lczby 5 Lczba cyfr matysy decydue o dokładośc zmeopozycyego przedstawea lczb, a lczba cyfr cechy określa zakres reprezetowaych lczb. Zakładaąc, że cecha est zapsywaa w zwykłym kodze dwókowym (e w kodze uzupełeowym) mamy d t 1 d t 1 [ 2 2 ] c mt 1,, 2 1, a węc w komputerze możemy przedstawć w zapse zmeopozycyym lczbę 0 oraz lczby 0, dla których 1 2 2 2 d t 1 2 2 d t 1 <. Rys. 1. Zakres lczb rzeczywstych reprezetowaych w komputerze Zakres lczb w okolcy zera, ale bez zera, które e mogą być reprezetowae w komputerze azywa sę edomarem, a zakresy lczb z przedzałów d ( ] [ + ) t 1 d t 1 2 2, 2 2, azywa sę admarem. Jeśl wyk operac arytmetycze wykoywae w komputerze wpade do edomaru, to a ogół stadardowo przymue sę, że est o rówy zero ewetuale dalsze oblczea są kotyuowae. Gdy wyk tak wpade do admaru, to oblczea są przerywae astępue sygalzaca błędu przekroczea zakresu reprezetowaych lczb. W pewych sytuacach perwszy przypadek może doprowadzć do epoprawych terpretac. Przykładem może być rozwązywae układu rówań lowych, o którego wyzaczku z teoretyczych rozważań może być wadomo, że est róży od 0, a węc którego rozwązae stee. Jeśl edak wyzaczk te będze a tyle mały co do wartośc bezwzględe, że ego wartość (oblczoa a komputerze) wpade do edomaru, to operaąc sę wyłącze a oblczeach komputerowych moża dość do wosku, że rozwązae układu rówań lowych e stee. W wększośc współczesych ęzyków programowaa w reprezetac zmeopozycye lczb rzeczywstych cecha e est zapsywaa a w zwykłym kodze barym, a w kodze uzupełeowym, lecz est euemą lczbą całkowtą, którą terpretue sę odemuąc od e odpowedą wartość wykaącą z lczby btów przezaczoych a cechę. Zyskue sę w te sposób ede bt (e ma btu przezaczoego a zak cechy), co umożlwa terpretowae pewych zapsów ako dodate ueme eskończoośc (If) oraz tzw. e-lczb (NaN). Przykład 1.2 W ęzyku Delph Pascal do zapsu lczb rzeczywstych w type Sgle przezaczoo cztery baty, z czego ede bt a zak lczby, 8 btów (ede bat) a cechę 23 bty a matysę. Wartość
6 I. Podstawowe poęca aalzy umerycze cechy zapsae a 8 btach ależy do przedzału [0, 255]. Jeśl ozaczymy przez s zak lczby (s = 0 lub 1), przez c cechę, a przez m matysę, to wartość w lczby zapsae w tak sposób est określoa astępuąco: s ( c 127) ( 1) 2 ( 1. m), gdy 0< c< 255, s 126 ( 1) 2 ( 0. m), gdy c= 0 m 0, w = s ( 1) 0, gdy c= 0 m= 0, s ( 1) If, gdy c = 255 m = 0, NaN, gdy c = 255 m 0. # Ozaczmy przez A zbór lczb maszyowych, t. zbór lczb rzeczywstych, które maą dokładą reprezetacę w komputerze. Wyk operac a lczbach ze zboru A e mus być lczbą maszyową. Zwykle w komputerze zamast matematyczych operac dodawaa (+), odemowaa (!), możea (A) dzelea (/) dla lczb, y 0 A realzowae są operace r, s, u. Operaca r est zdefowaa astępuąco (podobe są zdefowae operace s, u ): y = rd( + y),, y A, skąd po uwzględeu (1.1) mamy y = ( + y)( 1+ ~ ε ), gdze ~ ε eps. (1.2) Zauważmy, że dla operac zmeopozycyych e obowązuą reguły operac arytmetyczych. Na przykład, dla, y 0 A eśl y eps <, 2 to y =. Wartość wyrażea " oblczoą w arytmetyce zmeopozycye przyęto ozaczać przez fl("). Jest oczywste, że dla, y 0 A mamy fl( + y) = rd( + y), ale eśl, y ó A, to fl( + y) rd( + y). Na podstawe (1.1) (1.2) mamy bowem fl( + y) = rd( ) rd( y) = [ rd( ) + rd( y)]( 1+ ~ ε ) y [ ( ) y( )]( ~ ε ) ( y ) 1+ ε2 = 1+ ε + + + = + + ( ~ 1 1 ε2 1 ε 1 1+ ε ), + y gdze ε, ε, ~ ε eps. 1 2 Dla operac zmeopozycyych e zachodzą prawa łączośc rozdzelośc. Może okazać sę, że dla lczb rzeczywstych a, b c mamy fl(( a+ b) + c) fl( a+ ( b+ c)).
1.2. Uwarukowae zadaa, umerycza poprawość stablość 7 Ostatą zależość moża uogólć: dwe róże, ale matematycze rówoważe metody oblczaa wartośc pewego wyrażea w rachuku zmeopozycyym mogą dać róże wyk. 1.2. Uwarukowae zadaa, umerycza poprawość stablość Rozważmy zadae polegaące a oblczeu dla daych wyku t. przy czym odwzorowae est cągem odwzorowań (algorytmem): Przykład 1.3 Nech ϕ(,, ) = + +. Rozważmy dwa algorytmy: 1 2 3 1 2 3 1) η = 1 + 2, y = η+ 3, 2) η = +, y = + η, 2 3 1 czyl dla perwszego algorytmu mamy ( 0) 1 2 (1) ϕ ( 1, 2, 3) =, ϕ ( u1, u2) u1 u2. 2 + R = + R 3 Przy wykoywau oblczeń w rachuku zmeopozycyym zamast y otrzymuemy Dla perwszego algorytmu otrzymuemy Oblczmy błąd względy wyku. Mamy = ( 1, 2, K, ) y = ( y1, y2, K, y m ), y = ϕ( ), ϕ: R D R, ( r) ( r 1) ( 0) ( ) ϕ = ϕ oϕ okoϕ, gdze ϕ : D D, = 01,, K, r, D R, D = D, D R. 0 r + 1 ( 0) 1+ 2 2 (1) ϕ ( 1, 2, 3) =, ϕ ( 1, 2) 1 2, R u u = u + u R 3 a dla drugego algorytmu est m m + 1 y = fl(( + ) + ) lub y = fl( + ( + )). 1 2 3 1 2 3 η = fl( 1 + 2) = ( 1 + 2)( 1+ ε1), y = fl( η+ 3) = ( η+ 3) ( 1+ ε2) = [( 1 + 2)( 1+ ε1) + 3]( 1+ ε2) 1 + 2 = ( 1 + 2 + 3) 1+ ε1( 1+ ε2) + ε2. 1 + 2 + 3
8 I. Podstawowe poęca aalzy umerycze gdze symbol &= ozacza w perwszym przyblżeu. W drugm algorytme dostaemy gdze ε eps ( = 1, 2, 3, 4). Współczyk przy ε azywaą sę współczykam wzmoc- ea określaą wpływ błędów zaokrągleń a błąd wyku. Oczywśce lepszy est te algorytm, dla którego współczyk te są mesze. W przypadku dodawaa w arytmetyce zmeopozycye trzech lczb ozacza to, że aperw ależy dodać dwe mesze lczby. # Powyższy przykład pokazue w ak sposób błędy zaokrągleń wpływaą a błąd wyku. Należy eszcze zbadać wpływ błędów daych weścowych. Załóżmy zatem, że zamast dokładych wartośc mamy wartośc przyblżoe ~. Ozaczmy przez = ~ błąd bezwzględy wartośc y y 1+ 2 1+ 2 ε = = ε ε ε ε ε y 1( 1+ 2) + 2 = & 1+ 1 2, y + + + +, 1 2 3 2 + 3 ε = & ε ε, y 3 + 1 4 + + a przez ε 1 2 3 = ( 0) 1 2 3 błąd względy tych wartośc. Stosuąc algorytm ϕ otrzymuemy zamast wartośc y = ϕ( ) wartość ~ y = ϕ( ~ ). Rozważmy błąd bezwzględy wartośc y ( = 1, 2,..., m.). Korzystaąc ze wzoru Taylora dla fukc welu zmeych mamy y = ~ y y = ( ~ ) ( ) = & ( ~ ϕ ( ) ϕ ( ) ϕ ϕ ) =. = 1 = 1 Stąd ε y = & = 1 ϕ( ) ε. ϕ ( ) (1.3) Defca 1.1. Welkośc charakteryzuące wpływ zaburzeń daych a zaburzea rozwązaa azywamy wskaźkam uwarukowaa zadaa. Jeśl welkośc te są co do wartośc bezwzględe duże, to mówmy, że zadae est źle uwarukowae. Dla algorytmu y = ϕ( ) wskaźkam uwarukowaa są welkośc ϕ( ), = 12,, K, m, = 12,, K,. ϕ ( ) Jest to m lczb. Gdy welkośc m są duże, posługwae sę tak welką lczbą współczy- ków uwarukowaa stae sę ucążlwe. Dlatego często korzysta sę z prostsze defc wskaźka uwarukowaa, który est poedyczą lczbą.
1.2. Uwarukowae zadaa, umerycza poprawość stablość 9 Defca 1.2. Wskaźkem uwarukowaa zadaa azywamy lczbę c, dla które ϕ( ~ ) ϕ( ) ~ c,, ϕ( ) 0. ϕ( ) Symbol. ozacza ormę 1. Z wzoru (1.3) mamy ϕ( 1, 2) = 1 2 ε & ε ε, 1 = + 2 1 2 ϕ( 1, 2) = 1 / 2 ε / = & ε ε, 1 2 1 2 ϕ( 1, 2) = 1 ± 2 ε & 1 ε 2 ε, 1 2 0. 1± = ± ± 2 1 2 ± ± 1 2 1 2 Wyka stąd, że przy możeu dzeleu względe błędy daych słabo przeoszą sę a wyk. Przy dodawau lub odemowau małe błędy względe daych mogą powodować duży błąd względy wyku. Przykład 1.4 Nech Mamy = 1, 0005, ~ = 1, 001, = 1, 0004, ~ = 1, 000. 1 1 2 2 ε 4 4 = 510, ε = 410, 1 2 a węc błędy względe daych są małe. Błąd względy przy dodawau będze edak duży. Mamy bowem 1, 0005 4 1 0004 4 = 510 +, & ( 410 ) > 9. 4 10 10 ε 1+ 2 4 Jak uż wspomao, zadae umerycze est problemem polegaącym a wyzaczeu wektora wyków y a podstawe wektora daych przy zastosowau pewego algorytmu. Defca 1.3. Mówmy, że zadae est dobrze postawoe, eżel wektor y est edozacze określoy dla przyętego wektora daych. Nech ozacza oblczoy umerycze wektor wyków y. y Defca 1.4. Algorytm oblczaa y azywamy poprawe sformułowaym, gdy lczba e- zbędych dzałań ad wektorem daych est skończoa (choć może zależeć od ). # 1 Zob. defcę ormy w dowolym podręczku z aalzy matematycze lub aalzy fukcoale.
10 I. Podstawowe poęca aalzy umerycze Przykład 1.5 Nech będze daa lczba zespoloa z = a + b, gdze ozacza edostkę urooą. Należy oblczyć. Jedym z algorytmów rozwązuących to zadae może być astępuący: 1 2 z b! oblcz t = (tages fazy lczby z), a 2 2 2! oblcz z = a + b (kwadrat modułu lczby z), 2! wyzacz Re 1 1 1 t 1 1 2t oraz 2 = Im. 2 2 z 2 = 2 2 z 1+ t z z 1+ t 2 2 Powyższe zadae est dobrze postawoe, eśl a + b 0. Ozacza to, że dzedzą rozwą- zaa zadaa est D = R 2 {( 00, )}. Algorytm est poprawe sformułoway (moża sprawdzć, że est w m 11 ezbędych dzałań), ale e dla każde pary ( ab, ) ( 00, ) moża tym algorytmem zaleźć rozwązae. Podczas wykoywaa oblczeń a komputerze może wystąpć błąd dzelea przez zero błąd admaru. Jest oczywste, że perwszy błąd wystąp, gdy a = 0, ale błąd dzelea przez zero wystąp także wówczas, gdy lczba a będze wprawdze róża od zera, ale tak mała, że w komputerze będze reprezetowaa przez zero ( wpade do edomaru). Poadto, eśl awększa lczba, którą moża reprezetować w komputerze będze rzędu p. 10 80, to dla lczby b rzędu 10 50 lczby a rzędu 10!50 wystąp admar (z uwag a dzelee b przez a). Ozacza to, że a komputerze zadae może być rozwązae w dzedze D D, ale ekoecze D = D. Zbór D zależy przy tym od właścwośc komputera, a dokłade od reprezetac w m lczb rzeczywstych. # Defca 1.5. Mówmy, że algorytm ϕ est umerycze stably, eśl dla dowole wybraych daych 0 D stee taka dokładość oblczeń δ 0, że dla dokładośc δ < δ 0 mamy 0 D( δ) oraz lm ϕ(, δ) = ϕ( ), δ 0 0 0 gdze ozacza algorytm zależy od rodzau arytmetyk komputera. ϕ ϕ Iym słowy powyższa defca mów, że algorytm est umerycze stably wtedy, gdy zwększaąc dokładość oblczeń moża wyzaczyć (z dowolą dokładoścą) dowole steące rozwązae zadaa. Przykład 1.6 Algorytm z poprzedego przykładu, choć poprawe sformułoway, e est umerycze stably, gdyż dla a = 0 (bez względu a wartość b) e moża m wyzaczyć rozwązaa zadaa 1 przez wzrost dokładośc oblczeń. Iy algorytm wyzaczea może być astępuący: 2 z 2 2 1 a b! oblcz Re oraz 2 = 2 2 2 z ( a + b ) 1 2ab Im = z ( a + b ) 2 2 2 2,
1.2. Uwarukowae zadaa, umerycza poprawość stablość 11 który est poprawe sformułoway (występue w m 9 dzałań) est przy tym umerycze stably. Stablość wyka z cągłośc podaych wzorów przy założeu a + b 0. 2 2 # Dla welu zadań zae są róże metody algorytmy ch rozwązywaa. Spośród różych algorytmów chcelbyśmy zawsze wybrać alepszy. Jedym z kryterów wyboru może być akość otrzymaych rozwązań. Iym ważym czykem może być koszt dae metody merzoy lczbą oblczeń, przy czym eśl porówamy tylko koszt zaych metod, to problemu e rozstrzygemy. Zaomość zastosowae alepsze spośród zaych metod e przeczy steu eszcze lepsze metody. Stosukowo edawo zaczęto poszukwać badać metody optymale. Przymuąc za kryterum lczbę dzałań arytmetyczych potrzebą do rozwązaa zadaa, metodą optymalą będze metoda mmalzuąca tę lczbę. Problemam stea własośc metod optymalych oraz ch kostrukc zamue sę dzał aalzy umerycze zway złożooścą oblczeową. Okazue sę, że wele klasyczych metod e speła postulatu optymalośc tylko dla ewelu prostych zadań zamy metody optymale. Rozważmy poowe zadae oblczea Defca 1.6. Welkość gdze z( ϕ, ) ozacza mmalą lczbę dzałań potrzebą do oblczea ϕ( ), azywamy złożooścą oblczeową zadaa y = ϕ( ). Defca 1.7. Mówmy, że zadae y = ϕ( ) ma stotych daych a zborze D, eśl steą dae = ( 1, 2, K, ) D, dla których zmaa dowole ze składowych ( = 1, 2,..., ) powodue zmaę wyku, t. gdze e y = ϕ( ), ϕ: R D R. = ( 0, K, 010,,, K, 0) z( ϕ, D) = sup z( ϕ, ), T (-ty wektor edostkowy). W przypadku, gdy algorytm oprócz dzałań arytmetyczych obemue też dzałaa logcze ograczamy zbór D tak, aby wyk tych dzałań e zależały od. Udowodoo, że eśl zadae y = ϕ( ) ma stotych daych, to mmala lczba dzałań z( ϕ, D) / 2. Ozacza to, że lczba stotych daych określa oszacowae z dołu złożoośc oblczeowe. Oszacowae to est często realstycze, gdyż dla welu zadań o stotych daych zae są algorytmy, które wymagaą wykoaa C dzałań, gdze C ozacza stałą rzędu edośc. Isteą edak zadaa, dla których atańsze ze zaych algorytmów rozwązuą e kosztem welokrote wększe lczby dzałań ż lczba daych. Dalsze wadomośc a temat zasygalzowaych tu zagadeń moża zaleźć m.. w podręczkach [1] [3], [5] [6]. Na zakończee tego rozdzału przytaczamy zestaw czyków, które ależy brać pod uwagę przy umeryczym rozwązywau dowolego problemu. Możemy e podzelć a cztery grupy spróbować odpowedzeć a każde z podaych pytań. D + αe D ϕ( ) ϕ( + αe ), D = 12,, K, α m
12 I. Podstawowe poęca aalzy umerycze! Dae " Jake welkośc są daym rozwązywaego zadaa? " Jake przestrzee daych wyków (ch struktury ormy) alepe odpowadaą sesow fzyczemu rozwązywaego zadaa?! Uwarukowae zadaa " Czy zadae e est zbyt wrażlwe a zaburzea daych? " Czy w dae arytmetyce zadae w ogóle moża rozwązać? " Czy stee zadae rówoważe daemu, ale lepe uwarukowae? Przy odpowedzach egatywych a dwa ostate pytaa ależy stosować arytmetykę o wyższe precyz.! Jakość umerycza stosowaego algorytmu " Czy algorytm est umerycze stably? " Czy algorytm est umerycze poprawy?! Efektywość stosowae metody " Jaka est lub co wemy o złożoośc oblczeowe zadaa? " Jaka est efektywość ych metod rozwązuących day problem? " Czy rozpatrywaa metoda est optymala, a eśl e, czy est to atańsza ze zaych metod? Zadaa 1. Wykazać, że eśl lczba est lczbą maszyową, to dla dowolego aturalego est 1 fl( ) = ( 1+ ε), gdze ε < eps. 2. Różcę kwadratów dwóch lczb moża oblczyć z wzoru a a b b lub ( a+ b)( a b). Realzaca którego wzoru (algorytmu) w arytmetyce zmeopozycye est lepsza dlaczego? 3. Kedy zadae wyzaczea y = ϕ(,, ) = + + est dobrze uwarukowae? 1 2 3 1 2 3 4. Dla akch wartośc daych zadae oblczea y = ϕ( 1, 2) = 1 + 1 + 2 est źle uwa- rukowae? 5. Wskaźk uwarukowaa oblczea wartośc y = ϕ( ) = e zależy od. Jak o est? α