Wykład 10 Rozkład LU i rozwiązywanie układów równań liniowych Niech będzie dany układ równań liniowych postaci Ax = b Załóżmy, że istnieją macierze L (trójkątna dolna) i U (trójkątna górna), takie że macierz główna układu daje się przedstawić w postaci iloczynu A = LU Wtedy rozwiązanie wyjściowego układu równań liniowych jest równoważne z rozwiązaniem następujących dwóch układów równań liniowych z macierzą trójkątną: Ly = b, Ux = y Najpierw za pomocą odpowiednich wzorów rozwiązujemy pierwszy z tych układów ze względu na wektor niewiadomych y W drugim kroku za pomocą odpowiednich wzorów rozwiązujemy drugi z tych układów ze względu na wektor niewiadomych x (wektor y mamy już w tym momencie wyznaczony)
Istnienie rozkładu LU Uwaga Mogą istnieć nieosobliwe macierze A, których nie da się rozłożyć na iloczyn LU Przykład 101 (rozkład LU) Niech będzie dana nastepująca macierz A: A = 0 1 1 1 Nie istnieją macierze L i U, takie że A = LU oraz L = l 11 0, U = u 11 u 12 l 21 l 22 0 u 22 Istnienie rozkładu LU Twierdzenie 101 Jeżeli wszystkie podstawowe minory rzeczywistej macierzy kwadratowej A są niezerowe, to wówczas istnieje rozkład A = LU na iloczyn macierzy trójkątnych Dowód: Dowód zostanie przeprowadzony indukcyjnie ze względu na parametr n będący wymiarem macierzy A Niech n = 1 Wtedy A = [a 11 ] (gdzie a 11 0) jest jednocześnie swoim jedynym podstawowym minorem Kładziemy L = [1], U = [a 11 ] i otrzymujemy: LU = [1][a 11 ] = [a 11 ] = A
Istnienie rozkładu LU Załóżmy, że dla macierzy rzeczywistej A wymiaru n = k 1 (o wszystkich minorach podstawowych nieosobliwych) istnieją macierze trójkątne L i U, takie że A = LU Nech teraz A będzie macierzą rzeczywistą wymiaru n = k (o wszyskich minorach podstawowych nieosobliwych) Niech A k 1 oznacza jej minor podstawowy wymiaru k 1 Na mocy założenia indukcyjnego istnieją macierze trójkątne L k 1 (dolna) i U k 1 (górna), takie że A k 1 = L k 1 U k 1 Ponadto macierze A k 1, L k 1 i U k 1 są wszystkie nieosobliwe Istnienie rozkładu LU Szukamy następującego rozkładu A = LU na iloczyn macierzy trójkątnych (zapisanego w postaci blokowej): A k 1 a 1k a k1 a kk = L k 1 0 l k1 l kk U k 1 u 1k 0 u kk Po wymnożeniu otrzymujemy: A k 1 a 1k a k1 a kk = L k 1 U k 1 k 1 s=1 l ksu s1 k 1 s=1 l 1su sk k 1 s=1 l ksu sk + l kk u kk
Istnienie rozkładu LU Otrzymujemy zatem następujące dwa układy równań: L k 1 u 1 k = a 1 k u k 1 k a k 1 k, U k 1 l k 1 = a k 1 l k k 1 a k k 1 Istnienie rozkładu LU Ponieważ macierze L k 1 i U k 1 są nieosobliwe, więc oba te układy posiadają jednoznaczne rozwiązanie (które możemy wyznaczyć metodą Cramera) Pozostaje zatem wyznaczyć wartości l kk i u kk Wykorzystujemy do tego ostatnie równanie jakie nam pozostało: k 1 s=1 l ks u sk + l kk u kk = a kk, gdzie możemy przyjąć l kk = 1 lub u kk = 1
Rozkład LU metodą eliminacji Gaussa W metodzie eliminacji Gaussa przekształcenie układu Ax = b do układu A (n) x = b (n) jest równoważne lewostronnemu przemnożeniu obu stron wyjściowego równania macierzowego przez nieosobliwą (o ile istnieje) macierz L 1 zdefiniowaną następująco: L 1 = 1 0 0 0 l 21 1 0 0 l 31 l 32 1 0 l n1 l n2 l n3 1 Rozkład LU metodą eliminacji Gaussa Niezerowe elementy macierzy L są określone następującym wzorem: Ponadto zachodzą wzory: j=1,,n 1 i=j+1,,n l ij = a(j) ij L 1 A = A (n), A = LA (n), a (j) jj gdzie L jest macierzą odwrotną do macierzy L 1
Rozkład LU metodą eliminacji Gaussa Zauważmy, że L = 1 0 0 0 l 21 1 0 0 l 31 l 32 1 0 l n1 l n2 l n3 1 Ponieważ A (n) jest macierzą trójkątną, więc niech U = A (n) Wtedy wzory metody eliminacji Gaussa określają rozkład A = LU Rozkład LU metodami Doolittle a i Crouta Rozkład na iloczyn macierzy trójkątnych można uzyskać traktując równość A = LU jako układ n 2 równań liniowych z n 2 niewiadomymi (które są niezerowymi elementami macierzy L i U) Twierdzenie 102 Mamy nastepujące wzory na elementy macierzy trójkątnych w rozkładzie A = LU: dla wszystkich k = 1,, n kolejno obliczamy: l kk u kk = k 1 s=1 l ksu sk, j=k+1,,n u kj = a kj k 1 s=1 l ksusj l kk, i=k+1,,n l ik = a ik k 1 s=1 l isusk u kk
Rozkład LU metodami Doolittle a i Crouta Uwaga Okreslenie elementów l kk i u kk we wzorach rozkładu LU nie jest jednoznaczne Aby to skorygować należy przyjąć jedne z następujących założeń dodatkowych: 1) k=1,,n l kk = 1 algorytm Doolittle a; 2) k=1,,n u kk = 1 algorytm Crouta Obliczanie wyznacznika za pomocą rozkładu LU Fakt 101 Niech będzie dana macierz kwadratowa A wymiaru n, taka że istnieje rozkład A = LU Niech l ij i u ij oznaczają odpowiednio elementy macierzy L i U Wtedy zachodzi następujący wzór na wyznacznik macierzy A: ( n ) ( n ) det A = det(lu) = det L det U = l ii u ii Zatem: 1) jeżeli L ma na diagonali jedynki (metoda Doolittle a), to det A = n i=1 u ii ; 2) jeżeli U ma na diagonali jedynki (metoda Crouta), to det A = n i=1 l ii i=1 i=1
Rozkład LDU Jeżeli znamy rozkład A = L U, to możemy łatwo uzyskać rozkład A = LDU, gdzie L i U są macierzami L i U w których elementy diagonalne zastąpiono jedynkami, a D jest macierzą diagonalną o głównej przekątnej takiej samej jak w macierzy U (jeżeli wyjściowy rozkład A = L U pochodził z metody Doolittle a) lub L (jeżeli wyjściowy rozkład A = L U pochodził z metody Crouta) Uwaga Bazując na metodach Doolittle a i Crouta możliwe jest również opracowanie wzorów na elementy macierzy L, D i U wystepujących w tym rozkładzie Polega to na modyfikacji oryginalnych wzorów dla rozkładu LU Rozkład LDU W przypadku rozkładu A = LDU zagadnienie rozwiązania układu równań Ax = b sprowadza się do zagadnienia rozwiązania następujących trzech układów równań: Lz = b, Dy = z, Ux = y Układy te należy rozwiązywać w takiej samej kolejności w jakiej zostały podane Pierwszy i trzeci z nich to układy z macierzą główną trójkątną (odpowiednio dolną i górną), natomiast drugi jest układem z macierzą główną diagonalną
Obliczanie wyznacznika za pomocą rozkładu LDU Fakt 102 Niech będzie dana macierz kwadratowa A wymiaru n, taka że istnieje rozkład A = LDU Niech l ij, d ij i u ij oznaczają odpowiednio elementy macierzy L, D i U Wtedy zachodzi następujący wzór na wyznacznik macierzy A: ( n ) ( n ) ( n ) det A = det L det D det U = l ii d ii u ii Jeżeli w rozkładzie typu LDU zakładamy, że macierze L i U mają jedynki na diagonali, to wtedy det A = n i=1 d ii i=1 i=1 i=1 Obliczanie macierzy odwrotnej Niech będzie dana nieosobliwa macierz kwadratowa A wymiaru n Załóżmy, że mamy możliwość łatwego rozwiązania układu równań liniowych Ax = b dla różnych wektorów wyrazów wolnych b (np dysponujemy rozkładem A = LU lub A = LDU) W takim przypadku możemy stosunkowo łatwo wyznaczyć macierz odwrotną A 1 W tym celu należy rozwiązać kolejno n układów równań liniowych postaci Ax = b (i), gdzie i = 1,, n oraz b (i) są kolejnymi kolumnami macierzy jednostkowej wymiaru n Wektory kolumnowe rozwiązań tych układów równań liniowych będą wówczas kolejnymi kolumnami macierzy A 1 Ten sposób wyznaczania macierzy odwrotnej nie wymaga obliczania wyznaczników
Rozkład LDL T Niech A będzie macierzą symetryczną z rozkładem A = LDU, gdzie L jest macierzą trójkątną dolną z jedynkami na diagonali, D jest macierzą diagonalną i U jest macierzą trójkątną górną z jedynkami na diagonali Wtedy prawdziwa jest nastepująca zależność: LDU = A = A T = (LDU) T = U T D T L T = U T DL T Stąd U = L T i prawdziwe jest następujące twierdzenie: Twierdzenie 103 Jeżeli A jest macierzą symetryczną postaci A = LDU (gdzie L, D i U są takie jak wyżej), to dla macierzy A istnieje jednoznaczny rozkład postaci A = LDL T, gdzie L jest macierzą trójkątną dolną z jedynkami na diagonali i D jest macierzą diagonalną Rozkład LDL T Dla macierzy symetrycznych w przypadku rozkładu A = LDL T zagadnienie rozwiązania układu równań Ax = b sprowadza się (analogicznie jak dla rozkładu A = LDU) do zagadnienia rozwiązania następujących trzech układów równań: Lz = b, Dy = z, L T x = y Układy te należy rozwiązywać w takiej samej kolejności w jakiej zostały podane Pierwszy i trzeci z nich to układy z macierzą główną trójkątną (odpowiednio dolną i górną), natomiast drugi jest układem z macierzą główną diagonalną
Rozkład LDL T Twierdzenie 104 Niech a ij, l ij i d ij oznaczają odpowiednio elementy macierzy A, L i D Dla rozkładu A = LDL T zachodzą następujące wzory na elementy l ij (i = 2,, n, j = 1,, i 1) oraz d ii (i = 1,, n): dla i = 1,, n obliczamy kolejno: dla j = 1,, 1 obliczamy kolejno naprzemian: l ij = a ij j 1 k=1 c ikl jk d jj ; c ij = d jj l ij ; d ii = a ii i 1 k=1 c ikl ik Rozkład LDL T Uwaga Niech Ax = b będzie układem równań liniowych z macierzą główną symetryczną Wyznaczenie rozkładu A = LDL T, a następnie rozwiązanie wynikających z niego układów Lz = b, Dy = z, L T x = y wymaga wykonania około dwukrotnie mniejszej liczby działań elementarnych, niż jest to konieczne w przypadku rozwiązania wyjściowego układu metodą eliminacji Gaussa Ponadto, ponieważ macierz A jest symetryczna, więc wystarczy zapamiętać np jej dolną połowę wraz z główną przekątną
Rozkład LDL T Uwaga Nieosobliwość macierzy symetrycznej A nie jest warunkiem dostatecznym na istnienie rozkładu A = LDL T Nawet w takim przypadku na pewnym etapie obliczeń może się pojawić element d ii = 0, co będzie skutkować niemożliwością wykonania dalszych obliczeń Jeżeli jednak macierz A jest dodatnio określona, to wtedy wszystkie liczby d ii (i = 1,, n) są dodatnie i odpowiedni rozkład istnieje Rozkład LL T Dla macierzy A symetrycznej i dodatnio określonej istnieje także rozkład typu A = LL T nazywany rozkładem Banachiewicza (lub rozkładem Cholesky ego) W rozkładzie tym L jest macierzą trójkątną dolną, przy czym na jej diagonali nie muszą się znajdować jedynki Uwaga Jeżeli A jest macierzą symetryczną dodatnio określoną, taką że A = LL T, to zachodzi również A = ( L)( L) T Zatem bez dodatkowych założeń rozkład tego typu jest niejednoznaczny
Rozkład LL T Dla macierzy symetrycznych w przypadku rozkładu A = LL T zagadnienie rozwiązania układu równań Ax = b sprowadza się (analogicznie jak dla rozkładu A = LU) do zagadnienia rozwiązania następujących dwóch układów równań: Ly = b, L T x = y Układy te należy rozwiązywać w takiej samej kolejności w jakiej zostały podane Obydwa z nich są układami z macierzą główną trójkątną (odpowiednio dolną i górną), ale nie muszą mieć jedynek na diagonali (rozwiązanie tych układów na ogół wymaga wykonywania działań dzielenia) Rozkład LL T Twierdzenie 105 Niech a ij i l ij oznaczają odpowiednio elementy macierzy A i L Załóżmy dodatkowo, że liczby na diagonali macierzy L są dodatnie Wtedy dla rozkładu A = LL T zachodzą następujące jednoznaczne wzory na elementy l ij (i = 1,, n, j = 1,, i): dla i = 1,, n obliczamy kolejno naprzemian: l ii = a ii i 1 k=1 l ik 2 ; j=i+1,,n l ji = a i 1 ji k=1 l jkl ik l ii
Rozkład LL T Uwaga Rozkłady typu LDL T i LL T można wykorzystać do łatwego obliczania wyznacznika oraz macierzy odwrotnych dla nieosobliwych macierzy symetrycznych W tym celu należy po prostu zmodyfikować zależności znane dla rozkładów LDU i LU, tak aby wykorzystana była równość U = L T