Zastosowanie metod numerycznych. Teresa Regińska Instytut Matematyczny PAN. Wykład, CSZ PW, semestr letni 2013

Transkrypt

1 Zastosowanie metod numerycznych Teresa Regińska Instytut Matematyczny PAN Wykład, CSZ PW, semestr letni 2013 Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 1/50

2 "Analiza numeryczna obejmuje tworzenie, badanie i analizȩ algorytmów, których celem jest otrzymywanie rozwia zań numerycznych różnorodnych zadań matematycznych. Czȩsto analizȩ numeryczna nazywa siȩ matematyka obliczeń naukowych.... Programowanie pozostaje poza obrȩbem analizy numerycznej w ścisłym sensie tego terminu." David Kincaid i Ward Cheney Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 2/50

3 Zadania z realnego świata Modele matematyczne Analiza matematyczna Analiza numeryczna Obliczenia numeryczne Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 3/50

4 Program wykładu Wprowadzenie - zagadnienia niestabilne Układy równań liniowych równania z macierza kwadratowa równania z macierza prostoka tna lub osobliwa Numeryczne różniczkowanie zregularyzowana metoda różnicowa metoda wygładzania Metody regularyzacji dla zadań źle postawionych w sensie Hadamarda Metoda Tichonowa dla równania całkowego pierwszego rodzaju Wybrane przykłady zadań źle postawionych Przewodnictwo ciepła - zagadnienia dobrze i źle postawione Problem odwrotny dla wia zki laserowej Analiza numeryczna omawianych zadań źle postawionych Teresa Regińska 4/50

5 Literatura H.W. Engl, M. Hanke, A. Neubauer, Regularization of Inverse Problems, Kluwer 1996 D. Kincaid, W. Cheney Analiza Numeryczna, WNT 2006 Z. Fortuna, B. Macukow, J. Wasowski Metody Numeryczne, WNT 2005 T. Regińska Metody numeryczne w zagadnieniach niestabilnych, skrypt CSZ, (plik pdf) Teresa Regińska 5/50

6 Definicja Zadanie wyznaczenia rozwia zania równania Au = f, A : X Y, X,Y przestrzenie metryczne nazywamy zadaniem dobrze postawionym w sensie Hadamarda na parze przestrzeni X, Y, jeżeli 1 f Y istnieje rozwia zanie u X 2 f Y rozwia zanie jest jednoznaczne 3 rozwia zanie zależy w sposób cia gły od prawej strony, tj. jeśli f, f n Y i f n f w Y, to u n u w X, gdzie u n, u s a rozwi azaniami odpowiednio dla f n, f nazywamy zadaniem źle postawionym w sensie Hadamarda na parze przestrzeni X, Y, jeżeli co najmniej jeden z warunków nie jest spełniony Teresa Regińska 6/50

7 Przykład Niech f C 1 [0, 1], n N dowolne i δ (0, 1). u(x) = f (x) f zaburzone: fn(x) δ := f(x) + δ sin nx δ, x [0, 1] u δ n(x) = f (x) + n cos nx δ, x [0, 1] bła d danych: f f δ n = δ bła d rozw.: u u δ n = n gdy n Oznaczenie: ( f := sup 0 x 1 f(x) ) Zadanie to jest równoważne rozwia zaniu równania całkowego Au(x) := x 0 u(t)dt = f(x) f(0). Teresa Regińska 7/50

8 CZȨŚĆ I Układy równań liniowych układy kwadratowe (n równań i n niewiadomych) układy sprzeczne rozwia zania niejednoznaczne Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 8/50

9 Układ równań liniowych (liczby rzeczywiste) a 11 u 1 + a 12 u 2 + a 1n u n = f 1 a 21 u 1 + a 22 u 2 + a 2n u n = f 2... a n1 u 1 + a n2 u 2 + a nn u n = f n Jest to układ n równań z n niewiadomymi u 1, u 2, u n Macierze upraszczaja opis a 11 a 12 a 1n a 21 a 22 a 2n a n1 a n2 a nn u 1 u 2. u n = f 1 f 2. f n Teresa Regińska 9/50

10 Oznaczenia A = a 11 a 12 a 1n a 21 a 22 a 2n a n1 a n2 a nn, u = Au = f u 1 u 2. u n, f = f 1 f 2. f n Czy istnieje rozwia zanie? Czy rozwia zanie jest jednoznaczne? Jak bardzo rozwia zanie jest wrażliwe na błȩdy danych? Teresa Regińska 10/50

11 Macierz nieosobliwa Istnieje macierz A 1 odwrotna do A, taka, że AA = I := Wtedy f R n istnieje jednoznaczne rozwia zanie równania Au = f u = A 1 f Macierz A nieosobliwa wyznacznik det A 0 Równanie zaburzone f δ f; Au δ = f δ Teresa Regińska 11/50

12 Wrażliwość rozwia zań na błȩdy danych f f δ f f δ := ni=1 (f i f δ i )2 δ; Au δ = f δ u u δ? u := u 2 i - norma euklidesowa; A - norma macierzy indukowana przez normȩ wektora: A := sup { Au } u =1 Au A u Teresa Regińska 12/50

13 Bła d bezwzglȩdny i bła d wzglȩdny Bła d bezwzglȩdny u u δ A 1 f f δ Bła d wzglȩdny u u δ u A 1 A f f δ f κ(a) := A 1 A wskaźnik uwarunkowania Teresa Regińska 13/50

14 Wygodne narzȩdzie do analizy układów równań: Wartości własne i wektory własne macierzy A - macierz kwadratowa n n λ jest wartościa własna A jeżeli u 0 Au λu = 0. u nazywamy wektorem własnym. Dalej bȩdziemy nazywać wektorem własnym wektor unormowany u u λ jest wartościa własna A jeżeli det(a λi) = 0 Wartości własne sa sa wiȩc pierwiastkami wielomianu charakterystycznego stopnia n. Macierz A ma n rzeczywistych lub zespolonych wartości własnych w C, liczonych z krotnościami. Teresa Regińska 14/50

15 A - macierz symetryczna rzeczywista Własności: A ma n rzeczywistych wartości własnych Wektory własne u i, u j odpowiadaja ce λ i, λ j i λ i λ j sa ortogonalne, tzn u i u j = 0 Jeśli λ jest p-krotna wartościa własna to istnieje p liniowo niezależnych wektorów własnych Isnieje n ortogonalnych wektorów własnych. Nie zawsze sa wyznaczone jednoznacznie. Teresa Regińska 15/50

16 Rozkład spektralny macierzy symetrycznej (rozkład wzglȩdem wartości własnych) Oznaczenia: D := diag(λ i ) i=1,...,n U macierz ortogonalna, której kolumny sa unormowanymi wektorami własnymi macierzy A A = UDU u 1,1 u n,1 λ u 1,1 u 1,n u 1,2 u n,2 0 λ 2 0 u 2,1 u 2,n A = a 1,n u n,n 0 0 λ n u n,1 u n,n Teresa Regińska 16/50

17 Wnioski U U = UU = I, U = U 1 Jeśli i λ i 0, to A 1 = UD 1 U A = max i Au i = max i λ i Wskaźnik uwarunkowania dla macierzy symetrycznej κ(a) = max i λ i min i λ i Teresa Regińska 17/50

18 Układy sprzeczne lub o wielu rozwi azaniach A R m n a 11 a 1n a 21 a 2n.. a m1 a mn u 1. u n = f 1 f 2. f m jeśli m > n, to układ na ogół sprzeczny jeśli m < n, to rozwia zanie niejednoznaczne jeśli m = n i det A = 0, to układ sprzeczny Rza d A = maksymalny wymiar nieosobliwej podmacierzy (oznaczamy rank A) ranka min(m, n) Teresa Regińska 18/50

19 Au = f, A - macierz rzeczywista wymiaru m n Rozwia zanie w sensie najmniejszych kwadratów Def.1 u jest rozwia zaniem w sensie najmniejszych kwadratów jeśli Au f Av f, v R n 2 m n Av f 2 = a ij v j f i i=1 j=1 Rozwia zanie uogólnione (pseudorozwia zanie) Def.2 u jest rozwia zaniem uogólnionym jeśli jest rozwia zaniem w sensie najmniejszych kwadratów o najmniejszej normie, tj. u u u rozwi azania w sensie najmniejszych kwadratów Teresa Regińska 19/50

20 Wste p Układ n x n Układ m x n Wnioski Różniczkowanie Met.różn Ilustracja dla macierzy A wymiaru m n i rze du n Au+ P Rm wymiar m-n f u+єrⁿ f1 Au+ ARⁿ P:= ARⁿ wymiar n u = u = A f Teresa Regińska 20/50

21 Wste p Układ n x n Układ m x n Wnioski Różniczkowanie Met.różn Ilustracja dla macierzy A wymiaru m n i rze du < n N Rn Au P Rm wymiar f u+ u u+n f1 N={u: Au=0} Au ARⁿ P:= ARⁿ wymiar u = A f A - uogólniona odwrotność macierzy A Teresa Regińska 21/50

22 Własności rozwia zań w sensie najmn. kwadratów Lemat 1 Rozwia zanie w sensie najmniejszych kwadratów jest rozwia zaniem układu równań normalnych Uwagi A Au = A f Jeśli A ma rza d n to rozwia zanie w sensie najmniejszych kwadratów jest jedno Jeśli rza d A < n to układ normalny ma wiele rozwia zań u = A f Macierz A nazywamy uogólniona odwrotnościa Teresa Regińska 22/50

23 Uwaga! Nie poleca siȩ bezpośredniego stosowania równania normalnego do rozwia zywania zadania najmniejszych kwadratów. Macierz A A może być znacznie gorzej uwarunkowana niż A (szczegóły później) Znanych jest wiele algorytmów rozwia zuja cych zadanie najmniejszych kwadratów. Ich analiza jest np. w monografii Andrzej Kiełbasiński i Hubert Schwetlick, Numeryczna algebra liniowa, WNT 1992 Do analizy A użyjemy rozkładu singularnego macierzy A zwanego też rozkładem wzglȩdem wartości szczególnych. Wartości szczególne określa wskaźnik uwarunkowania zadania. Teresa Regińska 23/50

24 Macierz A A jest symetryczna A A jest nieujemnie określona, tzn. x R n x A Ax 0 wartości własne λ 1,..., λ n sa rzeczywiste i nieujemne Wartości szczególne macierzy A (m n) Definicja Pierwiastki wartości własnych macierzy A A nazywamy wartościami szczególnymi A: σ i = λ i 0 Niech u i, i = 1,..., n bȩda ortogonalnym układem unormowanych wektorów własnych macierzy A A Niech v i, i = 1,..., m bȩda ortogonalnym układem unormowanych wektorów własnych macierzy AA Jeśli σ i 0 to Au i = σ i v i Teresa Regińska 24/50

25 Oznaczenia: U macierz ortogonalna (n n), której kolumnami sa u i V macierz ortogonalna (m m), której kolumnami sa v i Macierz D o wymiarze m n jest nastȩpuja ca: [ ] m-r wierszy n-r kolumn Rozkład singularny macierzy m n (rozkład wzglȩdem wartości szczególnych) A = V DU Teresa Regińska 25/50

26 Zastosowanie do uogólnionych odwrotności gdzie A = UD V [ ] n-r wierszy m-r kolumn Teresa Regińska 26/50

27 Wnioski Uogólniona odwrotnościa macierzy diagonalnej diag{λ i } i=1,...,n jest macierz diagonalna diag{µ i } i=1,...,n gdzie µ i = Jeśli D (m n) taka, że d ij = to D ma rozmiar n m oraz { λ 1 i jeśli λ i 0 0 jeśli λ i = 0 { σi jeśli i = j r 0 w przeciwnym razie, { d σ 1 ij = i jeśli i = j r 0 w przeciwnym razie, Teresa Regińska 27/50

28 Au = f i f f δ. Niech u = A f i u δ := A f δ oraz f niech oznacza rzut ortogonalny f na AR n. Wskaźnik uwarunkowania dla dowolnej macierzy u u δ u κ(a) f f δ f gdy A jest macierza symetryczna nieosobliwa z wartościami własnymi {λ i } i=1,,n, to (str.10, 14) κ(a) := A 1 A = max i λ i min i λ i w ogólnym przypadku macierzy m n, gdy A ma r niezerowych warości szczególnych σ 1,..., σ r κ(a) := A A = max i=1,,r σ i min i=1,,r σ i Teresa Regińska 28/50

29 Wykład 3 Zadania dobrze lub źle postawione w sensie Hadamarda Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 29/50

30 Definicja Zadanie wyznaczenia rozwia zania równania Au = f, A : X Y, X,Y przestrzenie metryczne nazywamy zadaniem dobrze postawionym w sensie Hadamarda na parze przestrzeni X, Y, jeżeli 1 f Y istnieje rozwia zanie u X 2 f Y rozwia zanie jest jednoznaczne 3 rozwia zanie zależy w sposób cia gły od prawej strony, tj. jeśli f, f n Y i f n f w Y, to u n u w X, gdzie u n, u s a rozwi azaniami odpowiednio dla f n, f nazywamy zadaniem źle postawionym w sensie Hadamarda na parze przestrzeni X, Y, jeżeli co najmniej jeden z warunków nie jest spełniony Teresa Regińska 30/50

31 Wnioski Zadanie Au = f z nieosobliwa macierza kwadratowa A R n n (C n n ) jest zadaniem dobrze postawionym w R n (C n ). Zadanie Au = f z macierza osobliwa lub macierza prostoka tna A R m n (C m n ) m n jest zadaniem źle postawionym w przestrzeniach R n, R m (C n, C m ). Skutek wprowadzenia rozwia zania uogólnionego Zadanie wyznaczenia rozwia zania uogólnionego u równania Au = f z dowolna macierza A R m n (C m n ) jest zadaniem dobrze postawionym w R n, R m (C n, C m ). Teresa Regińska 31/50

32 Wnioski cd. Rozwia zanie uogólnione zależy w sposób cia gły od prawej strony i u n u R n A 1 f n f max i=1 r σ i f n f Uwarunkowanie zadania zależy od wskaźnika uwarunkowania który może być dowolnie duży. κ(a) = max i=1,,r σ i min i=1,,r σ i, Mówimy, że zadanie jest źle (słabo) uwarunkowane, gdy wskaźnik uwarunkowania jest duży Uwaga: Złe postawienie zadania i złe uwarunkowanie zadania to sa różne pojȩcia Teresa Regińska 32/50

33 Zależność rozwia zania od macierzy Przypadek macierzy nieosobliwej: jeżeli A ɛ A 0 gdy ɛ 0, to A 1 ɛ A 1 0 gdy ɛ 0 Przypadek macierzy osobliwej lub prostoka tnej: macierz A nie zawsze zależy w sposób ci agły od A Przykład: Niech A = Jeżeli A ɛ := [ ] [ ɛ, wtedy A = ], to A ɛ = czyli A ɛ A gdy ɛ 0; A A ɛ = 1 ɛ [ [ ɛ ] ].. Teresa Regińska 33/50

34 Twierdzenie Niech A, A k C m n i A k A 0 gdy k. Wtedy nastȩpuja ce warunki sa równoważne: 1 k 0 k > k 0 rza d A = rza d A k 2 A k A 0 gdy k Teresa Regińska 34/50

35 Czȩść II Różniczkowanie Zadanie 1. Obliczyć u(x) = f (x) gdy f C 1 [0, 1] (C 1 [0, 1] oznacza przestrzeń funcji cia głych wraz z pochodna na [0, 1]) Zadanie 1 jest równoważne rozwia zaniu równania całkowego Au(x) := x 0 u(t)dt = f(x) f(0), które ma rozwia zanie w C[0, 1] f C 1 [0, 1] Różniczkownie jest zadaniem odwrotnym do całkowania u(x) = 1 0 f(x)dx Wykład jest współfinansowany przez Unię Europejską Teresa Regińska w ramach Europejskiego Funduszu Społecznego 35/50

36 Przykład Niech f C 1 [0, 1], n N dowolne i δ (0, 1). u(x) = f (x) f zaburzone: fn(x) δ := f(x) + δ sin nx δ, x [0, 1] u δ n(x) = f (x) + n cos nx δ, x [0, 1] bła d danych: f f δ n = δ bła d rozw.: u u δ n = n gdy n Oznaczenie: ( f := sup 0 x 1 f(x) ) Teresa Regińska 36/50

37 Au = f zadanie dobrze postawione w X, Y (1) f Y u X (2) u jest jednoznaczne (3) ci agła zależność u od f Różniczkowanie zadaniem źle postawionym w X = Y = C[0, 1] Au(x) := x 0 u(t)dt = f(x) f(0), A : C[0, 1] C[0, 1] u C[0, 1] jeśli f C 1 [0, 1], czyli (1) nie jest spełniony; warunek (2) jest spełniony warunek (3) nie jest spełniony (patrz przykład powyżej) Teresa Regińska 37/50

38 Czasami wygodniej jest rozpatrywać to zadanie w L 2 (Ω) tj. w przestrzeni funkcji całkowalnych z kwadratem na Ω (w przykładzie Ω = (0, 1)). W L 2 (Ω), tak jak w R n, mamy pojȩcie ortogonalności: u v jeśli (dla funkcji rzeczywistych v(t) = v(t)) Ω u(t)v(t)dt = 0 Różniczkowanie zadaniem źle postawionym w X = Y = L 2 (0, 1) u = f L 2 (0, 1) f H 1 (0, 1) := {g L 2 (0, 1) : g L 2 (0, 1)} Teresa Regińska 38/50

39 Równanie całkowe pierwszego rodzaju Niech Au(x) := Ω Ω Ω K(x, y)u(y)dy K(x, y) 2 dxdy <. A : L 2 (Ω) L 2 (Ω) Wyznaczyć u z przestrzeni X = L 2 (Ω), takie, że ( ) Au = f, dla f L 2 (Ω) nie dla każdego f X rozwia zanie istnieje inf u X Au f L 2 nie zawsze jest osia gane Teresa Regińska 39/50

40 Wste p Układ n x n Układ m x n Wnioski Różniczkowanie Met.różn Macierz m n Rn N Au P Rm wymiar f u+ u u+n f1 N={u: Au=0} Au ARⁿ P:= ARⁿ wymiar Operator liniowy w L2 (Ω) N u+ L2 u Au L2 f u+n N={u: Au=0} Teresa Regińska P f1 Au P P:= AL2 40/50

41 N L 2 Au P L 2 f u + u u+n N={u: Au=0} Au P:= AL 2 f1 P Przypadek Au(x) = x 0 u(t)dt N(A) = {0}, R(A) = {0} R(A) nie jest zbiorem domkniȩtym (!) R(A) = {g L 2 (0, 1) : {f n } R(A) g f n L 2 0} = L 2 (0, 1) Teresa Regińska 41/50

42 Metoda różnicowa aproksymacji pochodnej Jaki jest wpływ złego postawienia zadania na wynik obliczeń numerycznych? Czy można ignorować problem propagacji błȩdu danych? Wykład jest współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Teresa Regińska 42/50

43 Różniczkowanie numeryczne Do aproksymacji f zastosujmy centralny iloraz różnicowy: f (x) D h f(x) := Ze wzoru Taylora wynika: f(x + h) f(x h) 2h Jeśli f C 3 [0, 1], to ξ ± (x h, x + h) takie, że f(x ± h) = f(x) ± hf (x) h2 f (x) ± 1 3! h3 f (ξ ± ). Zatem f (x) = f(x + h) f(x h) 2h Jeśli f jest mniej regularne i f C 2 [0, 1], to f (x) 1 6 h2 f (ξ) f(x + h) f(x h) h max 2h f (ξ) x h ξ x+h Teresa Regińska 43/50

44 Różniczkowanie numeryczne cd. Zadanie 2. Niech f C 1 [0, 1]. Obliczyć przybliżona wartość pochodnej maja c jedynie przybliżona funkcjȩ f δ i f f δ δ. Dla centralnego ilorazu różnicowego z krokiem h, z rozwiniȩcia Taylora wynika f (x) f(x+h) f(x h) 2h C ν h ν, gdzie { ν = 1, C1 = f gdy f C 2 [0, 1] ν = 2, C 2 = 1 6 f gdy f C 3 [0, 1] f δ (x + h) f δ (x h) 2h f(x + h) f(x h) 2h δ h Teresa Regińska 44/50

45 Bł ad rozwi azania w punkcie x f δ (x + h) f δ (x h) f (x) 2h f (x) f(x+h) f(x h) + 2h f δ (x+h) f δ (x h) 2h f(x+h) f(x h) 2h C ν h ν + δ h Zatem f (x) D h f δ (x) C ν h ν + δ h dla x [h, 1 h]. Teresa Regińska 45/50

46 Wykres błȩdu rozwi azania E δ h := C ν h ν + δ h przy δ 0 Istnieje optymalny parametr dyskretyzacji h, ale go nie znamy, bo nie znamy f, f. Niech h(δ) := δ µ. Jeśli założymy, że h ν = δ h to jeśli ν = 1 to optymalne µ = 1 2 daje Eδ h(δ) = O( δ) jeśli ν = 2 to optymalne µ = 1 3 daje Eδ h(δ) = O(δ 2 3 ) E = O(δ s ) oznacza, że C : E δ C s Teresa Regińska 46/50

47 Wybór optymalnego parametru dyskretyzacji (regularyzacji) zależy od dodatkowych informacji o rozwia zaniu: Niech ϕ ν (h) := C ν h ν + δ h ν = 1, 2 i = 1: ϕ 1 (h) = 0 h = δ C1 1 E min := min h ϕ 1 (h) = δ2 C 1 i = 2: ϕ 2 (h) = 0 h = δ 2 3 (2C 2 ) 2 3 E min := min ϕ 2 (h) = δ C 3 2 ( ) h Teresa Regińska 47/50

48 Twierdzenie 1 Niech f C 2 [0, 1]. Jeśli f δ f δ, i h = O( δ), to D h f δ (x) f (x) = O( δ). Czy można to zrobić lepiej? NIE Twierdzenie 2 Przypuśćmy, że przy pewnym wyborze h = h(δ) 0, gdy δ 0 D h f δ (x) f (x) = o( δ) dla każdego f δ C[0, 1] : f f δ δ. Wtedy f jest funkcja liniowa. E = o(δ s ) oznacza, że E δ s 0 gdy δ 0. Teresa Regińska 48/50

49 Typowe efekty aproksymacji zadania źle postawionego Propagacja błȩdów wysokiej czȩstotliwości: niech f δ (x) f(x) := δ sin nx δ f δ (x) f(x) = δ, a (f δ (x)) f (x) = n Informacja a-priori o rozwia zaniu pozwala na trafniejszy wybór parametru i zmniejszenie błȩdu, np.: E = O(δ 1 2 ) lub E = O(δ 2 3 ) w zależności od ν. W oszacowaniu błȩdu wystȩpuja dwa człony różnej natury: bła d aproksymacji dla danych dokładnych i rozchodzenie siȩ błȩdu danych. D h f δ (x) f (x) D h f(x) f (x) + D h f(x) D h f δ (x) Wystȩpuje problem wyboru parametru dyskretyzacji h w zależności od δ. Teresa Regińska 49/50

50 Literatura A. Ramm, A. Smirnova, Stable numerical differentiation: when is it possible?, J.KSIAM vol.7, No.1, 47-61, 2003 M. Hanke, O. Scherzer, Inverse problems light: numerical differentiation, Amer. Math. Monthly, vol.6, , 2001 C.W. Groetsch, Differentiation of approximately specified functions, Amar. Math. Montly, vol.98, , 1991 Teresa Regińska 50/50