Wstęp do metod numerycznych Faktoryzacja SVD Metody iteracyjne. P. F. Góra

Wielkość: px

Rozpocząć pokaz od strony:

Download "Wstęp do metod numerycznych Faktoryzacja SVD Metody iteracyjne. P. F. Góra"

Karol Chrzanowski
5 lat temu
Przeglądów:

1 Wstęp do metod numerycznych Faktoryzacja SVD Metody teracyjne P. F. Góra

2 Sngular Value Decomposton Twerdzene 1. Dla każdej macerzy A R M N, M N, stneje rozkład A = U [dag(w )] V T, (1) gdze U R M N jest macerza kolumnowo ortogonalna, V R N N jest macerza ortogonalna oraz w R, = 1,..., N. Rozkład ten nazywamy rozkładem względem wartośc osoblwych (Sngular Value Decomposton, SVD). Jeżel M = N, macerz U jest macerza ortogonalna. Copyrght c P. F. Góra 4 2

3 Jadro zasęg operatora Nech A R M N. Jadrem operatora A nazywam Ker A = {x R N : Ax = 0}. (2) Zasęgem operatora A nazywam Range A = {y R M : x R N : Ax = y}. (3) Jadro zasęg operatora sa przestrzenam lnowym. Jeśl M = N <, dm (Ker A) + dm (Range A) = N. Copyrght c P. F. Góra 4 3

4 Sens SVD Sens SVD najlepej wdać w przypadku, w którym co najmnej jedna z wartośc w = 0. Dla ustalena uwag przyjmjmy w 1 = 0, w 1 0. Po perwsze, co to jest z = [z 1, z 2,..., z n ] T = V T x? Poneważ V jest macerza ortogonalna, z jest rozkładem wektora x w baze kolumn macerzy V. Korzystajac z (1), dostajemy 0 Ax = U [dag(w )] V T x = U [dag(0, w 2,..., w N )] z = U w 2 z 2.. (4) w N z N Wynkem ostatnego mnożena będze pewen wektor z przestrzen R M. Poneważ perwszym elementem wektora [0, w 2 z 2,..., w N z N ] T jest zero, wynk ten ne zależy od perwszej kolumny macerzy U. Wdzmy zatem, że kolumny macerzy U, odpowadajace nezerowym współczynnkom w, stanowa bazę w zasęgu operatora A. Co by zaś sę stało, gdyby x był równoległy do wektora stanowacego perwsza kolumnę V? Wówczas z = 0, a wobec tego Ax = 0. Ostateczne węc wdzmy, że kolumny macerzy V, odpowadajace zerowym współczynnkom w, stanowa bazę w jadrze operatora A. Copyrght c P. F. Góra 4 4

5 SVD odwrotność macerzy Nech A R N N. Zauważmy, że det A = N =1 w, a zatem det A = 0 wtedy tylko wtedy, gdy co najmnej jeden w = 0. Nech det A 0. Wówczas równane Ax = b ma rozwazane postac x = A 1 b = V [ dag(w 1 ) ] U T b. (5) Nech teraz det A = 0. Równane Ax = b także ma rozwazane, o le tylko b Range A. Rozwazane to ma postać x = Ã 1 b, gdze gdze Ã 1 = V [ dag( w 1 ) ] U T. (6a) w 1 = { w 1 gdy w 0, 0 gdy w = 0. (6b) Copyrght c P. F. Góra 4 5

6 SVD macerze osoblwe Wróćmy jeszcze raz do problemu osoblwych (z zerowym wyznacznkem głównym) układów równań, wspomnanego już na strone 5. Jeżel det A = 0, układ równań z cała pewnośca ne ma jednoznacznego rozwazana. Może jednak meć rozwazane (a nawet neskończene wele rozwazań), jeżel prawa strona należy do zasęgu A. Jest to równoważne warunkow, że wszystke wyznacznk poboczne we wzorach Cramera zeruja sę. Wówczas rozwazanem układu równań jest każdy wektor postac x = Ã 1 b + x 0, (7) gdze Ã 1 jest pseudoodwrotnośca dana przez (6), zaś x 0 KerA jest dowolnym wektorem należacym do jadra. Rozwazane z x 0 = 0 ma spośród nch najmnejsza normę. Zauważmy, że na wektory należace do zasęgu, pseudoodwrotność dzała jak zwykła odwrotność macerzy. Copyrght c P. F. Góra 4 6

7 Jeżel b ne należy do zasęgu, wyrażene (7) z x 0 = 0 daje rozwazane przyblżone najlepsze w sense najmnejszych kwadratów, co nekedy jest bardzo użyteczne. Copyrght c P. F. Góra 4 7

8 SVD współczynnk uwarunkowana Twerdzene 2. Jeżel macerz A R N N posada rozkład (1) oraz det A 0, jej współczynnk uwarunkowana spełna κ = max w mn w. (8) Jeśl macerz jest źle uwarunkowana, ale formalne odwracalna, numeryczne rozwazane równana Ax = b może być zdomnowane przez wzmocnony bład zaokraglena. Aby tego unknać, często zamast (bezużytecznego!) rozwazana dokładnego (5), używa sę przyblżonego ( użytecznego!) rozwazana w postac (6) z następujac a modyfkacja w 1 = gdze τ jest pewna zadana tolerancja. { w 1 gdy w > τ, 0 gdy w τ, (9) Copyrght c P. F. Góra 4 8

9 Nadokreślone układy równań Nech A R M N, M > N, b R M, x R N. Wówczas układ równań Ax = b (10) ma węcej równań, nż newadomych. Układ tak, zwany nadokreślonym, w ogólnośc ne ma rozwazań. Za pomoca SVD można jednak znaleźć jego rozwazane przyblżone. Manowce A ( Ã 1 b ) b 2 = mnmum, (11) gdze Ã 1 jest pseudoodwrotnośca (6). Wdzmy, że Ã 1 b jest przyblżonym, najlepszym w sense najmnejszych kwadratów rozwazanem układu (10). Metoda ta jest powszechne używana w lnowym zagadnenu najmnejszych kwadratów. Copyrght c P. F. Góra 4 9

10 Metody teracyjne W metodach dokładnych otrzymane rozwazane jest dokładne z dokładnośca do błędów zaokraglena, które, dodajmy, dla układów źle uwarunkowanych moga być znaczne. W metodach teracyjnych rozwazane dokładne otrzymuje sę, teoretyczne, w grancy neskończene welu kroków w praktyce lczymy na to, że po skończonej ( newelkej) lośc kroków zblżymy sę do wynku ścsłego w grancach błędu zaokraglena. Copyrght c P. F. Góra 4 10

11 Rozpatrzmy układ równań: Przepszmy ten układ w postac a 11 x 1 + a 12 x 2 + a 13 x 3 = b 1 (12a) a 21 x 1 + a 22 x 2 + a 23 x 3 = b 2 (12b) a 31 x 1 + a 32 x 2 + a 33 x 3 = b 3 (12c) x 1 = (b 1 a 12 x 2 a 13 x 3 )/a 11 (13a) x 2 = (b 2 a 21 x 1 a 23 x 3 )/a 22 (13b) x 3 = (b 3 a 31 x 1 a 32 x 2 )/a 33 (13c) Gdyby po prawej strone (13) były stare elementy x j, a po lewej nowe, dostalbyśmy metodę teracyjna Copyrght c P. F. Góra 4 11

12 x (k+1) = b 1 j=1 a j x (k) j N j=+1 a j x (k) j / a (14) Górny ndeks x (k) oznacza, ze jest to przyblżene w k-tym kroku. Jest to tak zwana metoda Jacobego. Zauważmy, że w metodze (14) ne wykorzystuje sę najnowszych przyblżeń: Powedzmy, oblczajac x (k+1) 2 korzystamy z x (k) 1, mmo ż znane jest już wówczas x (k+1) 1. Za to metodę tę łatwo można zrównoleglć. Sugeruje to następujace ulepszene: x (k+1) = b 1 j=1 a j x (k+1) j Jest to tak zwana metoda Gaussa-Sedela. N j=+1 a j x (k) j / a (15) Copyrght c P. F. Góra 4 12

13 Jeżel macerz A = {a j } jest rzadka, obe te metody teracyjne będa efektywne tylko wyłaczne wówczas, gdy we wzorach (14), (15) uwzględn sę ch strukturę, to jest unkne redundantnych mnożeń przez zera. Copyrght c P. F. Góra 4 13

14 Trochę teor Metody Jacobego Gaussa-Sedela należa do ogólnej kategor Mx (k+1) = Nx (k) + b (16) gdze A = M N jest podzałem (splttng) macerzy. Dla metody Jacobego M = D (część dagonalna), N = (L + U) (częśc pod- ponaddagonalne, bez przekatnej). Dla metody Gaussa-Sedela M = D + L, N = U. Rozwazane równana Ax = b jest punktem stałym teracj (16). Copyrght c P. F. Góra 4 14

15 Defncja Promenem spektralnym (dagonalzowalnej) macerzy G nazywam ρ(g) = max{ λ : y 0 : Gy = λy} (17) Twerdzene 3. Iteracja (16) jest zbeżna jeśl det M 0 oraz ρ(m 1 N) < 1. Dowód. Przy tych założenach teracja (16) jest odwzorowanem zwężaja- cym. Twerdzene 4. Metoda Jacobego jest zbeżna jeśl macerz A jest slne dagonalne domnujaca. Twerdzene 5. Metoda Gaussa-Sedela jest zbeżna jeśl macerz A jest symetryczna dodatno określona. Copyrght c P. F. Góra 4 15

16 Przykład 10 1 Metoda Jacobego Metoda Gaussa-Sedela 10 0 Rozwazujemy układ równań: 3x + y + z = 1 x + 3y + z = 1 x + y + 3z = 1 x n -x n nr teracj, n Copyrght c P. F. Góra 4 16

17 SOR Jeśl ρ(m 1 N) w metodze Gaussa-Sedela jest blske jednośc, zbeżność metody jest bardzo wolna. Można próbować ja poprawć: x (k+1) = w b 1 j=1 a j x (k+1) j N j=+1 a j x (k) j / a + (1 w)x (k), (18) gdze w R jest parametrem relaksacj. Metoda ta zwana jest succesve over-relaxaton, SOR. W postac macerzowej M w x (k+1) = N w x (k) + wb (19) M w = D + wl, N w = (1 w)d wu. Teoretyczne należy dobrać take w, aby zmnmalzować ρ(m 1 w N w ). Copyrght c P. F. Góra 4 17

Podobne dokumenty

Komputerowa analiza zagadnień różniczkowych 1. Układy równań liniowych

Komputerowa analiza zagadnień różniczkowych 1. Układy równań liniowych Komputerowa analza zagadneń różnczkowych 1. Układy równań lnowych P. F. Góra http://th-www.f.uj.edu.pl/zfs/gora/ semestr letn 2007/08 Podstawowe fakty Równane Ax = b, x, b R N, A R N N (1) ma jednoznaczne