Metody numeryczne. Wersja robocza, 19 czerwca 2009

Metody numeryczne Piotr Krzyżanowski Leszek Plaskota Wersja robocza, 19 czerwca 2009 Spis treści 1 Wielkie układy równań liniowych 6 1.1 Reprezentacja macierzy rzadkich.................. 8 1.1.1 Format współrzędnych.................... 8 1.1.2 Format spakowanych kolumn (wierszy)........... 9 1.1.3 Format diagonalny...................... 9 1.1.4 Uwagi praktyczne...................... 10 1.2 Macierze specjalne.......................... 10 1.2.1 Macierze taśmowe...................... 10 1.2.2 Macierze trójdiagonalne................... 11 1.3 Metody bezpośrednie......................... 12 1.4 Stacjonarne metody iteracyjne................... 18 1.4.1 Metoda Jacobiego...................... 18 1.4.2 Metoda Gaussa-Seidela................... 20 1.4.3 Złożoność stacjonarnych metod iteracyjnych........ 21 1.5 Metody przestrzeni Kryłowa..................... 21 1.5.1 CG............................... 22 1.5.2 GMRES............................ 23 1.5.3 Ściskanie macierzy...................... 23 1.6 Literatura............................... 25 1.7 Ćwiczenia. Układy liniowe z macierzami rzadkimi......... 25 1 Wielkie układy równań liniowych Wraz z coraz większymi modelami pojawiającymi się w praktyce obliczeniowej, coraz częściej zachodzi potrzeba rozwiązywania zadań algebry liniowej, w której macierze są co prawda wielkiego wymiaru, ale najczęściej rozrzedzone, to 1

znaczy jest w nich bardzo dużo zer. Bardzo często zdarza się, że macierz wymiaru N ma tylko O(N) niezerowych elementów. Wykorzytanie tej specyficznej własności macierzy nie tylko prowadzi do algorytmów istotnie szybszych od ich analogów dla macierzy gęstych (to znaczy takich, które (w założeniu) mają N 2 elementów), ale wręcz są jedynym sposobem na to, by niektóre zadania w ogóle stały się rozwiązywalne przy obecnym stanie techniki obliczeniowej! Jednym ze szczególnie ważnych źródeł układów równań z macierzami rozrzedzonymi są np. równania różniczkowe cząstkowe (a więc np. modele pogody, naprężeń w konstrukcji samochodu, przenikania kosmetyków do głębszych warstw skóry, itp.). Modele wielostanowych systemów kolejkowych (np. routera obsługującego wiele komputerów) także prowadzą do gigantycznych układów równań z macierzami rozrzedzonymi o specyficznej strukturze. Z reguły zadania liniowe wielkiego wymiaru będą miały strukturę macierzy rozrzedzonej, gdyż najczęściej związki pomiędzy niewiadomymi w równaniu nie dotyczą wszystkich, tylko wybranej grupy. Przykład 1.1 (Macierz z kolekcji Boeinga) Spójrzmy na macierz sztywności dla modelu silnika lotniczego, wygenerowaną swego czasu w zakładach Boeinga i pochodzącą z dyskretyzacji pewnego równania różniczkowego cząstkowego. Pochodzi z kolekcji Tima Davisa. Jest to mała macierz, wymiaru 8032 (w kolekcji spotkasz równania z milionem i więcej niewiadomych). Rysunek 1.1. Struktura niezerowych elementów macierzy bcsstk38. Jej współczynnik wypełnienia (to znaczy, stosunek liczby niezerowych do wszystkich elementów macierzy) wynosi jedynie 0.006, a więc macierz jest bardzo rozrzedzona: w każdym wierszu są średnio tylko 44 niezerowe elementy. Ten fragment nie pojawi się na WIKI 2

Przykład 1.2 (Macierz MBEACXC) Dane pochodzą z serwisu MatrixMarket. Jest to niezbyt duża macierz, wymiaru 496 496, niesymetryczna, o elementach rzeczywistych. Źródłem tej macierzy jest pewien model ekonomiczny. Rysunek 1.2. Struktura niezerowych elementów macierzy MBEACXC Tylko pozornie macierz ta wydaje się dość gęsta, w rzeczywistości jej współczynnik wypełnienia wynosi około 20 procent. 1.1 Reprezentacja macierzy rzadkich Zacznijmy od sposobu przechowywania macierzy rozrzedzonych. Naturalnie, nie ma sensu przechowywać wszystkich zerowych jej elementów: wystarczy ograniczyć się do zachowania tych niezerowych! W ten sposób zmniejszamy zarówno wymagania pamięciowe, jak i liczbę operacji zmiennoprzecinkowych potrzebnych do prowadzenia działań na macierzy (np. w przypadku mnożenia macierzy przez wektor, nie będziemy mnożyć przez zera!). 1.1.1 Format współrzędnych Do zapamiętania macierzy A wymiaru N M o NNZ niezerowych elementów wykorzystujemy trzy wektory: I, J oba typu int oraz V, typu double, wszystkie o długości NNZ, przy czym A I[k],J[k] = V [k], k = 0,..., NNZ 1. 3

Rysunek 1.3. Format AIJ W tym formacie wprowadzane są macierze rzadkie do Octave a i MATLABa: A = sparse(i,j,v,n,n); Jednak wewnętrznie przechowywane są w innym formacie, o którym poniżej. Przykład 1.3 Pokażemy jak w Octave wprowadzić macierz rozrzedzoną. octave:10> I = [1, 1, 1, 2, 3, 1, 4]; octave:11> J = [1, 3, 2, 2, 3, 4, 4]; octave:12> V = [1, 2, 3, 4, 5, 6, 7]; octave:13> N = 4; octave:14> A = sparse(i,j,v,n,n) A = Compressed Column Sparse (rows = 4, cols = 4, nnz = 7) (1, 1) > 1 (1, 2) > 3 (2, 2) > 4 (1, 3) > 2 (3, 3) > 5 (1, 4) > 6 (4, 4) > 7 octave:15> spy(a); Strukturę jej niezerowych elementów ukaże nam polecenie spy(a). Tak właśnie zostały wygenerowane obrazki macierzy w niniejszym wykładzie. 1.1.2 Format spakowanych kolumn (wierszy) Format współrzędnych nie narzucał żadnego uporządkowania elementów macierzy można było je umieszczać w dowolnej kolejności. Narzucenie sensownego porządku mogłoby wspomóc realizację wybranych istotnych operacji na macierzy, na przykład, aby wygodnie było realizować działanie (prawostronnego) mnożenia macierzy przez wektor, dobrze byłoby przechowywać elementy macierzy wierszami. Tak właśnie jest zorganizowany format spakowanych wierszy ((ang. Compressed Sparse Row, CSR)). Analogicznie jest zdefiniowany format spakowanych kolumn ((ang. Compressed Sparse Column, CSC)), którym zajmiemy się bliżej. 4

Podobnie jak w przypadku formatu współrzędnych, macierz w formacie CSC jest przechowywana w postaci trzech wektorów: AV jest wektorem typu double o długości N N Z, zawierającym kolejne niezerowe elementy macierzy A wpisywane kolumnami, AI jest wektorem typu int o długości NNZ, zawierającym numery wierszy macierzy A odpowiadających elementom z AV. Natomiast zamiast tablicy J, jak to było w formacie współrzędnych, mamy krótszy wektor typu int, AP, o długości M, zawierający na j-tym miejscu indeks pozycji w AV, od którego rozpoczynają się w AV elementy j-tej kolumny macierzy A. Rysunek 1.4. Format CSC Mamy więc zależność, przy założeniu, że AP [0] = 0, A AI[AP [j]+k],j+1 = AV [AP [j]+k], j = 0,..., M 1, k = 0,..., AP [j+1] 1. Taki (z drobnymi modyfikacjami) format macierzy wykorzystują np. pakiety ARPACK i UMFPACK (a także, wewnętrznie, Octave i MATLAB). 1.1.3 Format diagonalny Znacznie mniej uniwersalny niż poprzednie i dlatego rzadziej spotykany. Kolejne diagonale macierzy przechowujemy w kolejnych wierszach macierzy P N, gdzie P jest liczbą niezerowych diagonal w A R N N. Szczególnie wygodny do reprezentacji macierzy taśmowych. Wykorzystywany m.in. przez funkcję LAPACKa DGBSV służącą rozwiązywaniu równań z macierzami taśmowymi. 1.1.4 Uwagi praktyczne Mnożenie macierzy w formacie AIJ przez wektor jest kilka razy wolniejsze w porównaniu do macierzy w formacie CSC/CSR (z tych dwóch oczywiście (dlaczego?) CSR jest najszybszy). Co więcej, okazuje się, że w typowych implementacjach, mnożenie macierzy rozrzedzonej (reprezentowanej np. w formacie CSC) przez wektor jest mało efektywne, mniej więcej na poziomie dziesięciu procent możliwości obliczeniowych procesora. Jeśli już poważnie myśleć o przyspieszeniu mnożenia macierzy przez wektor (np. gdy chcemy stosować iteracyjną metodę rozwiązywania układu równań z tą macierzą), warto rozważyć inne formaty łączące w sobie podział macierzy na bloki (tak, jak w algorytmach BLAS) i przechowywanie (w zasadzie) tylko niezerowych elementów macierzy. 5

1.2 Macierze specjalne Zajmiemy się teraz zadaniem rozwiązywania układu równań liniowych Ax = b, ale w sytuacji, gdy macierz A jest rozrzedzona i dużego wymiaru. Dokonamy przeglądu kilku rodzajów algorytmów mających na celu wykorzystanie rozrzedzenia macierzy dla obniżenia kosztu wyznaczenia rozwiązania układu. Należy pamiętać, że z reguły najlepsze wyniki uzyskuje się, gdy konkretny algorytm dobierze się do konkretnej macierzy. W zastosowaniach pojawiają się m.in. macierze rzadkie o bardzo szczególnej strukturze, dla nich warto stosować wyspecjalizowane algorytmy. 1.2.1 Macierze taśmowe Macierz A taka, że dla i j d, a ij = 0, nazywamy macierzą taśmową z rozstępem d, o szerokości pasma 2d + 1. Łatwo sprawdzić, że algorytm eliminacji Gaussa (bez wyboru elementu głównego) nie spowoduje dodatkowego wypełnienia w takiej macierzy (a więc da się wykonać w miejscu). W przypadku konieczności wyboru elementu głównego, pesymistyczne oszacowanie rozstępu macierzy rozkładu LU jest równe max{2d, N} tak więc, dla niezbyt dużych d wciąż wynikowa macierz jest taśmowa. W szczególności, gdy macierz jest taśmowa z pasmem o rozstępie d i jednocześnie diagonalnie dominująca, wtedy rozkład LU takiej macierzy da się wykonać w miejscu kosztem O(d 2 N), czyli liniowym. W LAPACKu zaimplementowano szybki solver równań z macierzami taśmowymi, DGBSV, ale wymagający specjalnego sposobu przechowywania macierzy, wykorzystującego format diagonalny. 1.2.2 Macierze trójdiagonalne Szczególnym przypadkiem macierzy taśmowych są macierze trójdiagonalne, tzn. taśmowe o rozstępie d = 1: a 1 c 1 b 2 a 2 c 2 A =. b 3 a.. 3...... cn 1 b N a N Zadanie rozwiązywania równań z taką macierzą Ax = e jest bardzo często spotykane, więc warto przytoczyć algorytm w całej okazałości popularnie zwany algorytmem przeganiania (niektóre źródła nazywają go algorytmem Thomasa). 6

Zacznijmy jednak od stwierdzenia, kiedy macierz trójdiagonalna nie wymaga wyboru elementu głównego: Stwierdzenie 1.4 Jeśli macierz A ma słabo dominującą diagonalę, tzn. a i b i + c i, 1 i N, (b 1 = 0 = c N ) i przynajmniej dla jednego indeksu i mamy powyżej ostrą nierówność >, to algorytm przeganiania jest wykonalny bez przestawień wierszy. Ponadto wymaga on 7N operacji arytmetycznych, a więc jest prawie optymalny. d 1 = a 1; f 1 = e 1; for (i = 2; i <= N; i++) { l = b i/a i 1; d i = a i l c i 1; f i = e i l f i 1; } x 1 = f N ; for (i = N 1; i >= 1; i ) x i = f i c i x i+1; Metoda przeganiania 1.3 Metody bezpośrednie Przykład 1.5 (Strzałka Wilkinsona) Rozważmy układ równań z macierzą diagonalnie dominującą postaci A =.... gdzie oznacza jakiś niezerowy element. Łatwo sprawdzić, że chociaż wyjściowa macierz jest rozrzedzona, to zastosowanie do niej eliminacji Gaussa powoduje, że w wyniku dostajemy gęste czynniki rozkładu. Tymczasem wystarczy odwrócić kolejność równań i numerację niewiadomych (co dla macierzy jest równoznaczne z odwróceniem porządku wierszy i kolumn, korzystając z pewnej (jakiej?) macierzy permutacji P ):... Ã = P AP T. = Wtedy okazuje się, że rozkład naszej macierzy nie powoduje już wypełnienia czynników rozkładu! 7

Właśnie na tym polega główny problem w rozwiązywaniu układów z macierzami rzadkimi metodami bezpośrednimi: jak maksymalnie wykorzystać rozrzedzenie macierzy tak, by czynniki rozkładu były możliwie mało wypełnione. Albowiem wiedząc to będziemy mogli ograniczyć się jedynie do fizycznego wyznaczenia wartości niezerowych elementów macierzy rozkładu. Ponadto wymagania pamięciowe algorytmu nie będą istotnie wykraczać ponad ilość pamięci potrzebnej na przechowanie danych (tzn. macierzy). W ogólnym przypadku rozwiązanie takiego zadania jest trudne i większość algorytmów opiera się na pewnych heurystykach, które jednak w praktyce warto wspomóc wcześniejszą analizą konkretnego układu równań jaki mamy rozwiązać. Najczęściej dąży się do takiego przenumerowania równań i niewiadomych, by w efekcie z góry przewidzieć, gdzie wystąpią zera w macierzach rozkładu i, by takich zer było jak najwięcej (by wypełnienie było jak najmniejsze)! Na architekturach z pamięcią hierarchiczną dąży się także do tego, by w trakcie rozkładu można było korzystać z BLAS Level 3, a więc permutacje wierszy i kolumn macierzy muszą to także brać pod uwagę. Stosuje się kilka strategii wyznaczania korzystnych permutacji ((ang. reorderingu)), z których warto wymienić przybliżone algorytmy minimalnego stopnia ((ang. approximate minimum degree, AMD)), np. AMD; techniki podziału grafów na (prawie) rozłączne składowe (ang. nested dissection, ND), np. METIS. Używają ich biblioteki takie jak UMFPACK, czy HSL. W Octave mamy do dyspozycji także kilka procedur generujących takie permutacje, w tym: colamd (AMD dla macierzy niesymetrycznych) oraz symamd (AMD dla macierzy symetrycznych). Większy wybór oferuje MATLAB, jednak należy bezwzględnie pamiętać o jednym: nie ma uniwersalnej metody reorderingu i dla konkretnej macierzy może istnieć specjalna metoda, która da oszałamiające rezultaty, podczas gdy standardowe podejścia nie dadzą efektu. Przykład 1.6 (Rozwiązywanie układu z macierzą rozrzedzoną w Octave) Najprostszy sposób na wykorzystanie metody bezpośredniego rozwiązywania układu z macierzą rzadką to zastosowanie znanego nam operatora do macierzy typu rozrzedzonego: A = sparse(...); x = A \ b; Octave domyślnie przyłoży do A reordering colamd i następnie skorzysta z biblioteki UMFPACK, by rozwiązać taki układ. Dodatkowo, badane jest wcześniej, czy macierz nie jest przypadkiem taśmowa o wąskiej wstędze: jeśli jest, to korzysta się z LAPACKa. (Jak widzisz, operator rozwiązywania układu równań jest mocno przeciążony: działa i na macierzach kwadratowych, i na prostokątnych, i na rozrzedzonych na każdym rodzaju w inny sposób. Nie dziwi Cię chyba, dlaczego wygodnie było napisać Octave w C++?) 8

Przykład 1.7 (Wypełnienie pewnej macierzy w zależności od użytego reorderingu) Rozważmy ponownie macierz pochodzącą z kolekcji Tima Davisa. Jest to macierz symetryczna, dodatnio określona, wymiaru 8032, o 355460 elementach niezerowych i, w konsekwencji, o wypełnieniu około 0.6 procent. Rysunek 1.5. Struktura niezerowych elementów macierzy. Zobaczymy, jak w zależności od użytego algorytmu permutacji kolumn i wierszy poradzi sobie algorytm rozkładu Cholesky ego. Rysunek 1.6. Czynnik rozkładu Cholesky ego L wykonanego standardowym algorytmem. Czas rozkładu: 0.892013 9

Rysunek 1.7. Czynnik rozkładu Cholesky ego L z reorderingiem COLAMD. Czas rozkładu: 0.813038 Rysunek 1.8. Czynnik rozkładu Cholesky ego L z reorderingiem SYMAMD. Czas rozkładu: 0.487683s. Prawie dwa razy szybciej niż bez reorderingu, chociaż i tak wskutek wzrostu wypełnienia macierzy w dolnym trójkącie mamy aż 2 procent niezerowych elementów. 10

Rysunek 1.9. Czynnik rozkładu Cholesky ego L z odwrotnym reorderingiem Cuthill-McKee. Czas rozkładu: 0.845928 Rysunek 1.10. Czynnik rozkładu Cholesky ego L z jeszcze innym (bardzo tanim, ale jak widać czasem zupełnie złym) reorderingiem. Czas rozkładu: 5.947936 Na zakończenie popatrzmy, jak ważne jest spostrzeżenie symetrii macierzy: 11

Rysunek 1.11. Rozkład LU, czynnik L (bez reorderingu). Czas rozkładu LU: 1.696018s. Nieakceptowalny, podobnie jak drastyczne wypełnienie macierzy. Rysunek 1.12. Rozkład LU, czynnik U (bez reorderingu) Jak widać, w naszym przypadku standardowe algorytmy (COLAMD i SY- MAMD) poradziły sobie całkiem nieźle, chociaż wypełnienie i tak znacząco wzrosło. Zapewne, dla tej macierzy, która jest specyficznego typu pochodzi z dyskretyzacji równania różniczkowego algorytm ND mógłby tu jeszcze lepiej zadziałać. 12

1.4 Stacjonarne metody iteracyjne Gdy macierz jest rozrzedzona, mnożenie takiej macierzy przez wektor jest bardzo tanie (koszt jest proporcjonalny do liczby niezerowych elementów macierzy). Dlatego, jeśli możemy zadowolić się rozwiązaniem przybliżonym układu, a w zamian osiągnąć je tanim kosztem, warto rozważyć metody iteracyjne. Najprostsze metody iteracyjne (najprostsze w analizie i implementacji, ale jak można się domyślić w praktyce najmniej efektywne) polegają na rozkładzie macierzy na część łatwo odwracalną, M, i resztę, Z. Dokładniej, jeśli M jest nieosobliwa, to równanie Ax = b można zapisać jako zadanie punktu stałego gdzie Z = M A. Inaczej: Mx = Nx + b, x = M 1 (Zx + b), i zastosować doń metodę iteracji prostej Banacha: x k+1 = M 1 (Zx k + b). Takie metody nazywamy stacjonarnymi metodami iteracyjnymi. Aby przeanalizować zbieżność takiej metody, warto rozpatrzyć przypadek ogólniejszy x k = Bx k 1 + c, (1) dla pewnej macierzy B oraz wektora c. (Dla stacjonarnej metody iteracyjnej, B = M 1 Z oraz c = M 1 b.) W tym przypadku x k x = B k (x 0 x ), a stąd i z nierówności B k B k, mamy x k x B k x 0 x. Warunkiem dostatecznym zbieżności iteracji prostych jest więc B < 1. Okazuje się, że warunkiem koniecznym i dostatecznym zbieżności tej iteracji dla dowolnego wektora startowego x 0 jest ρ = max{ λ : λ jest wartością własną B} < 1. Tak więc, metody oparte na iteracji prostej będą zbieżne liniowo z ilorazem ρ. Zaletą stacjonarnych metod iteracyjnych jest również ich prostota, przez co są one łatwe do zaprogramowania, co łatwo zobaczyć na przykładach metod: Jacobiego i Gaussa Seidela, które teraz omówimy. 1.4.1 Metoda Jacobiego Biorąc M = diag(a), gdzie diag(a) jest macierzą diagonalną składającą się z wyrazów stojących na głównej przekątnej macierzy A, układ Ax = b jest równoważny układowi Mx = Zx + b, 13

a stąd (o ile na przekątnej macierzy A nie mamy zera) otrzymujemy metodę iteracyjną x k = Bx k 1 + c, gdzie B = M 1 Z i c = M 1 b, zwaną metodą Jacobiego. Rozpisując ją po współrzędnych dostajemy (numer iteracji wyjątkowo zaznaczamy w postaci górnego indeksu) układ rozszczepionych równań: x (k) i = 1 b i a ij x (k 1) j, a ii j i co znaczy dokładnie tyle, że w i-tym równaniu wyjściowego układu przyjmujemy za współrzędne x wartości z poprzedniej iteracji i na tej podstawie wyznaczamy wartość x i. Twierdzenie 1.8 (O zbieżności metody Jacobiego) W metodzie Jacobiego warunek dostateczny zbieżności, B < 1, jest spełniony np. wtedy, gdy macierz A ma dominującą przekątną, tzn. gdy a i,i > j i a i,j, i = 1,..., N. (2) Dowód. Rzeczywiście, ponieważ wyraz (i, j) macierzy M 1 Z wynosi 0 dla i = j oraz a i,j /a i,i dla i j, a więc M 1 Z = max = max 1 i N N 1 i N j=1,j i a i,j / a i,i N a i,j / a i,i 1 < 1, j=1 przy czym ostatnia nierówność wynika z warunku diagonalnej dominacji. Przykład 1.9 (Macierz laplasjanu) Macierz N N, zwana macierzą jednowymiarowego laplasjanu 2 1. L = 1 2........ 1 1 2 pojawia się w bardzo wielu zastosowaniach, także jako podzadanie w algorytmach numerycznych. Ta macierz jest macierzą taśmową, symetryczną i dodatnio określoną, więc układ równań z tą macierzą można bez trudu rozwiązać metodami bezpośrednimi, kosztem O(N). Stosując do niej metodę Jacobiego mamy M = 2I oraz Z = L M. Obliczając normę macierzy iteracji Jacobiego dostajemy M 1 Z = 1, co nie rozstrzyga jeszcze o jej zbieżności lub niezbieżności. Potrzebna będzie bardziej subtelna analiza. Okazuje się, że są znane wzory na wartości własne macierzy L: 14

( ) λ j = 4 sin 2 jπ, 2(N + 1) dla 1 j N. W konsekwencji, wartościami własnymi M 1 Z = 1 2 Z = 1 2 L I są liczby µ i = 1 2 λ i 1. Ponieważ 0 < µ i < 1, znaczy to, że metoda Jacobiego jest zbieżna dla macierzy L. Z drugiej strony, nie dajmy się zwieść optymizmowi matematyka ( nie martw się, jest zbieżny... ): nietrudno sprawdzić, że Z 2 = 1 O(N 2 ) < 1, co oznacza, że metoda Jacobiego choć zbieżna dla dużych N staje się zbieżna tak wolno, że w praktyce bezużyteczna! 1.4.2 Metoda Gaussa-Seidela Ten fragment nie pojawi się na WIKI Ciekawostką jest, że Gauss nie miał z nią nic wspólnego, a Seidel był podobno jej przeciwnikiem... Heurystyka tej metody opiera się na zmodyfikowaniu metody Jacobiego tak, by w każdym momencie iteracji korzystać z najbardziej aktualnych współrzędnych przybliżenia rozwiązania x. Rzeczywiście, przecież rozwiązując równanie metody Jacobiego: x (k) i = 1 b i a ij x (k 1) j, a ii j i nietrudno zauważyć, że w części sumy moglibyśmy odwoływać się do dokładniejszych wartości x (k) j : dla j < i, tzn. x (k) i = 1 b i a ij x (k) j a ii j<i j>i a ij x (k 1). j W języku rozkładu macierzy A = M Z i iteracji x k+1 = M 1 (Zx k + b) mamy więc M = tril(a) (dolny trójkąt macierzy A). Twierdzenie 1.10 (O zbieżności metody Gaussa-Seidela) Jeśli macierz A jest diagonalnie dominująca, to metoda Gaussa Seidela jest zbieżna dla dowolnego wektora startowego x 0. Inny wariant tej metody dostalibyśmy, biorąc za M górny trójkąt macierzy A. Metoda Gaussa Seidela jest w wielu przypadkach rzeczywiście szybciej zbieżna od metody Jacobiego, np. tak jest w przypadku macierzy jednowymiarowego Laplasjanu. Wciąż jednak, dodajmy, dla zadań bardzo źle uwarunkowanych jej zbieżność jest zbyt wolna by ją stosować jako samodzielną metodę. 15

Uwaga 1.11 Obie metody, Jacobiego i (zwłaszcza) Gaussa Seidela stosuje się także czasem w prostych algorytmach rozwiązywania układów równań nieliniowych: ich zaletą jest to, że głównym składnikiem iteracji jest rozwiązywanie skalarnego równania nieliniowego na każdym kroku metody. 1.4.3 Złożoność stacjonarnych metod iteracyjnych Zastanówmy się teraz nad złożonością metod iteracyjnych. Ponieważ możemy jedynie znaleźć pewne przybliżenie rozwiązania dokładnego x, przez złożoność metody będziemy rozumieli koszt kombinatoryczny obliczenia x k z zadaną dokładnością ɛ > 0. Dla uproszczenia założymy, że medoda jest zbieżna liniowo z ilorazem ρ. Zauważmy, że aby zredukować błąd początkowy do ɛ > 0, wystarczy wykonać k = k(ɛ) iteracji, gdzie k spełnia czyli ρ k x 0 x ɛ, k log(1/ɛ) log(1/ x 0 x ). log(1/ρ) Liczba ta zależy więc w istotny sposób od błędu początkowego i (przede wszystkim) od współczynnika redukcji błędu ρ, natomiast zależność od dokładności ɛ i wymiaru N układu jest dużo mniej istotna (w zadaniach praktycznych takich jak jednowymiarowy laplasjan jednak często okazuje się, że... ρ zależy od N!). Zakładając, że koszt jednej iteracji wynosi c = c(n) (c(n) jest tym mniejszy, im mniejsza jest liczba niezerowych elementów macierzy A), złożoność metody jest proporcjonalna do c(n) log(1/ɛ) log(1/ρ). Stąd oczywisty wniosek (prawdziwy nie tylko dla metod stacjonarnych), że metody iteracyjne warto stosować zamiast metod bezpośrednich w przypadku, gdy wymiar N układu Ax = b jest duży, oraz macierz A układu jest rozrzedzona, tzn. ma stosunkowo niewielką liczbę elementów niezerowych, np. proporcjonalną do N. Układy o tych własnościach powstają często przy numerycznym rozwiązywaniu równań różniczkowych cząstkowych. 1.5 Metody przestrzeni Kryłowa Zupełnie inny pomysł na realizację metody iteracyjnej przedstawiają metody przestrzeni Kryłowa, gdzie kolejne przybliżenie x k dobiera się w taki sposób, by minimalizowało pewną miarę błędu na podprzestrzeni Kryłowa K k = span{r, A r,..., A k 1 r}, 16

gdzie r = b Ax 0 jest residuum na początku iteracji. (Zwróć uwagę, że przestrzeń Kryłowa jest rozpięta przez kolejne wektory metody potęgowej to nie przypadek!). W zależności od wyboru sposobu miary błędu, dostajemy inną metodę iteracyjną, takie jak CG, GMRES, PCR, BiCG, i inne. Tutaj omówimy pokrótce tylko najpopularniejszą: CG. 1.5.1 CG Metoda gradientów sprzężonych, w skrócie CG ((ang. conjugate gradients)), działa przy założeniu, że A jest symetryczna i dodatnio określona. Kolejne przybliżenie x k ma minimalizować błąd w normie energetycznej indukowanej przez A, x k x A = (x k x) T A(x k x) na przestrzeni afinicznej x 0 + K k. Okazuje się (co nie jest oczywiste trzeba skorzystać z rozmaitych własności ortogonalności generowanych wektorów), że takie zadanie minimalizacji daje się bardzo efektywnie rozwiązać, skąd dostajemy bardzo zwarty algorytm: r = b A x; ρ 0 = r 2 2; β = 0; k = 1; while (!stop) { p = r + β p; w = A p; α = ρ k 1 /p T w; x = x + α p; r = r α w; ρ k = r 2 2; β = k++; } ρ k ρ k 1 ; Metoda CG Jak widać, całą iterację da się wykonać przechowując w pamięci tylko kilka wektorów (a nie, jak możnaby się obawiać, całą przestrzeń K k ), a najdroższym jej elementem jest mnożenie macierzy przez wektor. Twierdzenie 1.12 (O zbieżności CG jako metody bezpośredniej) Niech A R N N będzie symetryczna i dodatnio określona. Algorytm CG znajdzie dokładne rozwiązanie po co najwyżej N iteracjach. Powyższe twierdzenie, choć teoretycznie interesujące, ma małą wartość praktyczną z dwóch powodów: dla bardzo dużych N, wykonanie N iteracji może być wciąż zbyt kosztownym zadaniem; 17

ponieważ w arytmetyce skończonej precyzji ortogonalność z której w bardzo istotny sposób korzysta się przy wyprowadzeniu algorytmu pogarsza się z iteracji na iterację i w konsekwencji, po wielu iteracjach, jakość x k przestaje się poprawiać. Dlatego wygodniej potraktować CG jako metodę iteracyjną. Zachodzi bowiem Twierdzenie 1.13 (O zbieżności CG jako metody iteracyjnej) Po k iteracjach metody CG, x k x A 2 ( cond(a) 1 cond(a) + 1 ) k x 0 x A, gdzie cond(a) = A 2 A 1 2. 1.5.2 GMRES Metoda GMRES ((ang. Generalized Minimum RESidual)) nie wymaga ani symetrii, ani dodatniej określoności macierzy, jest więc bardziej uniwersalna, choć też bardziej kosztowna od CG. Jej szczegółowe omówienie, w tym oszacowania szybkości zbieżności wykracza niestety poza ramy niniejszego wykładu. 1.5.3 Ściskanie macierzy Zbieżność wszystkich poznanych metod iteracyjnych zależy od własności spektralnych macierzy układu. Pojawiające się w zastosowaniach macierze często mają niekorzystne własności spektralne (np. bardzo duży wskaźnik uwarunkowania), przez co metody iteracyjne zbiegają na nich bardzo wolno. Dlatego bardzo korzystne może być wstępne przetransformowanie układu Ax = b z macierzą o niekorzystnych własnościach, do układu MAx = Mb, gdzie macierz M A ma znacznie korzystniejsze własności z punktu widzenia używanej metody iteracyjnej. W przypadku macierzy symetrycznych widzieliśmy, że kluczowe znaczenie dla zbieżności metody miał rozkład wartości własnych: jeśli wartości własne były bardzo rozrzucone po prostej, to uwarunkowanie było bardzo duże i w konsekwencji zbieżność powolna. Aby zbieżność była szybsza, kluczowe jest, by: wartości własne M A były upakowane w klastrach najlepiej wszystkie w (małym) otoczeniu wartości 1 18

Jeśli więc chcielibyśmy przekształcić macierz tak, by metoda iteracyjna dla M A zbiegała szybko, musimy w jakiś sposób ścisnąć spektrum macierzy A w okolice jedności. Taką operację nazywamy ściskaniem ((ang. preconditioning)), a macierz M imadłem. Aby całość miała sens, macierz ściskająca M powinna: być łatwa w konstrukcji, być tania w mnożeniu przez wektor (głównym elementem każdej metody iteracyjnej jest mnożenie macierzy przez wektor: M (A x)), macierz M A powinna mieć znacznie korzystniejsze własności z punktu widzenia używanej metody iteracyjnej. Kilka ekstremalnych propozycji na macierz imadła to M = I (łatwa w konstrukcji i tania w mnożeniu, ale niestety nic nie polepsza...) oraz M = A 1 (rewelacyjnie poprawia zbieżność metody iteracyjnej, dając zbieżność w jednej iteracji, ale bardzo droga w konstrukcji i mnożeniu). Widać więc, że należy poszukiwać czegoś pośredniego, co niskim kosztem przybliża działanie macierzy odwrotnej. Dlatego jednym z powszechniej stosowanych (aczkolwiek wciąż nie najbardziej skutecznych) sposobów ściskania są te oparte na zastosowaniu jednego kroku klasycznej metody iteracyjnej. Rysunek 1.13. Zbieżność metody CG bez żadnego ściskania oraz ściśniętej imadłem opartym na jednej iteracji (blokowej) metody Jacobiego. Inne sposoby ściśnięcia macierzy wykorzystują np. techniki tzw. niepełnego rozkładu macierzy, albo w specyficznych przypadkach tzw. metody wielosiatkowe. Okazuje się, że zarówno CG jak i GMRES da się zaimplementować tak, by w jednej iteracji było konieczne tylko jedno mnożenie przez macierz imadła. 19

1.6 Literatura W celu dogłębnego zapoznania się z omawianym materiałem, przeczytaj rozdział 4.6 i 4.7 w D. Kincaid, W. Cheney, Analiza numeryczna, Wydawnictwa Naukowo- Techniczne, Warszawa, 2006. Tym razem wymienione rozdziały nie wystarczą do dogłębnego zrozumienia omawianych treści. Warto więc sięgnąć po jeden z podręczników C. T. Kelley, Iterative Solution of Systems of Linear and Nonlinear Equations, SIAM, 1995, Y. Saad, Iterative Methods for Sparse Linear Systems, PWS, 1996. 1.7 Ćwiczenia. Układy liniowe z macierzami rzadkimi Zadanie 1.1. [Metoda Richardsona] Jedną z najprostszych klasycznych metod iteracyjnych dla równania Ax = b jest metoda Richardsona, zadana wzorem x k+1 = x k + τ(b Ax k ), gdzie τ jest pewnym parametrem. Gdy τ = 1, mamy do czynienia ze zwykłą metodą iteracji prostej, która najczęściej nie będzie zbieżna, dlatego wybór parametru τ jest kluczowy dla skuteczności metody. Dla A symetrycznej, dodatnio określonej sprawdź, przy jakich założeniach o τ metoda będzie zbieżna do rozwiązania x z dowolnego wektora startowego x 0 i oceń szybkość tej zbieżności. Testuj na macierzy jednowymiarowego laplasjanu L różnych wymiarów. Jak najefektywniej zaimplementować mnożenie przez L? Wskazówka: Zadanie można rozwiązać przez analogię do opisywanego w wykładzie przypadku zastosowania metody Jacobiego do macierzy jednowymiarowego laplasjanu: wystarczy uogólnić! Rozwiązanie: Niech ekstremalnymi wartościami własnymi macierzy A będą 0 < λ min λ max. Ponieważ macierz iteracji metody Richardsona B = I τa, to jej wartości własne muszą leżeć w przedziale [1 τλ max, 1 τλ min] i oczywiście aby iteracja miała sens, τ > 0 (dlaczego?). Co więcej, B 2 < 1 wtedy i tylko wtedy, gdy 0 < τ < 2 λ max, a najmniejszą normę spektralną macierzy B uzyskamy, gdy τ = i wówczas x k x 2 2 λ max+λ min λmax λmin λ max + λ min x k 1 x 2. (Przy okazji zauważ, że gdyby macierz A nie była określona, tzn. miałaby zarówno dodatnie, jak i ujemne wartości własne, to metoda Richardsona mogłaby w ogóle nie być zbieżna (dla pewnych wektorów startowych)) Jeśli chodzi o mnożenie przez macierz jednowymiarowego laplasjanu, to najprościej wcale nie używać struktury macierzy! Rzeczywiście, jedyne, czego potrzebujemy to operacja mnożenia wektora przez macierz L, a to realizuje pętla: 20

Listing: void LapMult(double x, int N, double y) / Mnożenie wektora przez macierz 1 wym laplasjanu L wymiaru N Wejście: x wektor, który mnożymy przez L N jego długość Wyjście: y wynik: y = Lx / { int i; for (i = 1; i < N 1; i++) y[i] = x[i 1] + 2.0 x[i] x[i+1]; y[0] = 2.0 x[0] x[1]; y[n 1] = x[n 2] + 2.0 x[n 1]; } Zadanie 1.2. Zaimplementuj operacje: mnożenia macierzy A przez wektor x, wyłuskania wartości elementu A ij, zmiany wartości pewnego zerowego wyrazu macierzy na niezerową, jeśli macierz jest zadana w formacie AIJ, CSC, CSR. Przetestuj dla kilku macierzy z kolekcji MatrixMarket. Rozwiązanie: Dodawanie nowego elementu w formacie AIJ jest bardzo łatwe. W przeciwieństwie do pozostałych, w których trzeba zachowywać uporządkowanie. Mnożenie przez wektor najwygodniejsze jest w CSR, bo dodatkowo narzuca zasadę lokalności w przestrzeni. Wyłuskanie wartości jest najmniej efektywne w formacie AIJ. Szczegóły opisane są w rozdziale 3.5 książki Y. Saad, Iterative methods for sparse linear systems, PWS, 1996. Zobacz także implementacje w Fortranie, w pakiecie SPARSKIT, będącym czymś w rodzaju odpowiednika BLAS dla macierzy rozrzedzonych. Zadanie 1.3. [Konwersja formatu macierzy rzadkiej] Napisz procedurę aij2csr, konwertującą macierz w formacie AIJ do CSR i csr2aij, działającą w drugą stronę. 21

Rozwiązanie: Zobacz, jak to zrobiono w pakiecie SPARSKIT. Zadanie 1.4. Jak tanio rozwiązywać układ równań z macierzą cykliczną trójdiagonalną, tzn. a 1 c 1 b 1 b 2 a 2 c 2 A =. b 3 a.. 3...... cn 1 c N b N a N Dla uproszczenia załóżmy, że macierz jest dodatnio określona i symetryczna. Zaimplementuj opracowaną metodę, korzystając z BLASów i LAPACKa. Wskazówka: Rozwiązanie: Dziel i rządź! (Tylko: jak?) Gdyby pominąć ostatni wiersz i kolumnę, macierz byłaby trójdiagonalna, a my już wiemy, co z nią zrobić... Jak więc sprytnie pozbyć się ostatniej niewiadomej i ostatniego równania? W naszej macierzy wyróżnijmy ostatni wiersz i kolumnę: ( ) T v A = w T, a N gdzie T jest N 1 podmacierzą główną A, a 1 c 1 b 2 a 2 c 2. T = b 3 a.. 3,...... cn 2 b N 1 a N 1 natomiast w T = [c N, 0,..., 0, b N ], v = [b 1, 0,..., 0, c N 1] T. Mając rozkład T = LU, łatwo stąd wygenerować rozkład A, gdyż ( ) ( ) ( ) T v L U u w T = a N l T, 1 u N gdzie spełnione są zależności T = LU (rozkład LU macierzy trójdiagonalnej T ) Ul = w (rozwiązanie układu równań z macierzą dwudiagonalną) Lu = v (jw.) l T u + u N = a N. Zadanie 1.5. [CGNE] Ktoś mógłby sugerować, że skoro CG działa tylko dla macierzy symetrycznych, to dowolny układ Ax = b z macierzą nieosobliwą można transformować do równoważnego mu układu równań normalnych A T Ax = A T b, 22

którego macierz A T A jest już oczywiście macierzą symetryczną i dodatnio określoną. Wskaż potencjalne wady tej metody i podaj sposób jej implementacji. Wskazówka: Jakie jest uwarunkowanie macierzy A T A? Rozwiązanie: Nietrudno sprawdzić, że dla normy spektralnej macierzy, cond(a T A) = (cond(a)) 2, a więc w przypadku macierzy źle uwarunkowanych należy spodziewać się patologicznie dużej liczby iteracji. Chociaż dobre (symetryczne, dodatnio określone) imadło M mogłoby pomóc, np. MA T MAx = MA T Mb, to jednak znacznie lepiej stosować metody opracowane specjalnie dla macierzy niesymetrycznych, np. GMRES (oczywiście z nieodzownym ściskaniem macierzy, gdy jest źle uwarunkowana...). Implementacja metody iteracyjnej to tylko decyzja, jak realizować mnożenie przez A T A. Niedobra metoda to B = A T A;... while... y = B x; end gdyż B będzie bardziej wypełniona niż A. Znacznie lepiej... while... y = A x; y = (y A) ; end co realizuje się kosztem równym dwukrotnemu mnożeniu przez macierz A (w formacie AIJ) i nie wymaga dodatkowej pamięci. 23