Metody dekompozycji macierzy stosowane w automatyce Grzegorz Mzyk Politechnika Wrocławska, WydziałElektroniki 23 lutego 2015
Plan wykładu 1 Wprowadzenie 2 Rozkład LU 3 Rozkład spektralny 4 Rozkład Cholesky ego 5 Rozkład QR 6 Rozkład wg wartości szczególnych (SVD) 7 Literatura
Wprowadzenie Ax = b Y N = Φ N θ + Z N Y N = Φ N θ
Rozkład LU A = LU Ax = b LUx = b Ly = b Ux = y
Rozkład spektralny Twierdzenie Każda dodatnio okre slona i symetryczna macierz A można przedstawíc w postaci A = PP T gdzie P jest macierza nieosobliwa (nazywana pierwiastkiem macierzy A). Dowód Oznaczmy w i wektory własne macierzy A, i = 1, 2,..., s λ i warto sci własne macierzy A, i = 1, 2,..., s własno sć Aw i = λ i w i
Dowód (c.d.) oznaczajac W = [w 1, w 2,..., w s ] oraz Λ = diag(λ i ) = ponieważ macierz A jest symetryczna, to λ i rzeczywiste w i parami ortogonalne λ 1 0.. 0 0 λ 2 0.... 0.. 0 0.. 0 λ s ponieważ macierz A jest dodatnio okre slona (A > 0), to λ i > 0 dla każdego i = 1, 2,..., s
Dowód (c.d.) wniosek a zatem AW = W Λ W macierz ortogonalna W T W = I = W 1 = W T A = W ΛW 1 = W ΛW T (tzw. rozkład spektralny macierzy) oznaczajac Λ = Λ 1/2 Λ 1/2, gdzie Λ 1/2 = λ1 0.. 0 0 λ2 0.... 0.. 0 0.. 0 λ s
Dowód (c.d.) otrzymujemy W ΛW T = W Λ 1/2 ( W Λ 1/2) T stad A = PP T, gdzie P = W Λ 1/2 (c.k.d.)
Rozkład Cholesky ego inny rozkład dodatnio określonej, symetrycznej macierzy kwadratowej A A = LDL T gdzie stąd L macierz trójkątna dolna, D = diag(d i ), d i > 0 A = LD 1/2 D 1/2 L T gdzie D 1/2 = diag( d i ) przyjmując oznaczenie otrzymujemy L = LD 1/2 A = LL T
Schemat metody obliczeniowej Ax = b LL T x = b Etap 1. oznaczając α = L T x rozwiązujemy równanie zewnętrzne Lα = b Etap 2. dla wartości α z etapu 1 rozwiązujemy równanie wewnętrzne L T x = α Zalety metody 1) prostota operacji przy rozwiązywaniu równań Etap 1 met. podstawiania od góry, Etap 2 met. podstawiania od dołu 2) dobre uwarunkowanie zadania, gdyż det L = det A, zatem dla 0 < det A < 1 det L = det L T > det A
Rozkład QR A = QR (m n) Q macierz ortogonalna (m m), R macierz trójkątna górna (m n) Ax = b QRx = b Rx = Q T b
Metoda odbić Householdera Definicja Macierza odbicia Householdera nazywamy macierz postaci gdzie w = 1, tj. w T w = 1. Interpretacja P = I 2ww T Pw = (I 2ww T )w = w 2ww T w = w 2w = w Własności: (i) P = P T (symetria) (ii) P T P = PP T = I (ortogonalność)
(iii) dla każdego wektora x istnieje macierz P j, taka że P j x = ± x e j, gdzie e j jest j-tym wersorem e j = (iiii) dla ciągu macierzy Householdera P 1, P 2,..., P s przekształcenie złożenia Ψ = P s P s 1... P 2 P 1 jest macierzą ortogonalną, tj. Ψ T Ψ = I 0 0 1 0
Lemat Dla każdej macierzy A istnieje taki ciag macierzy Householdera { P 1, P 2,..., P s }, że przekształcenie złożone Ψ = P s P s 1,... P 2 P 1 ma własno sć ΨA = [ R 0 ] gdzie R jest macierza trójkatn a górna. Twierdzenie Oszacowanie NK wektora x jest równoważne rozwiazaniu układu równań Rx = η R gdzie η R jest wektorem zawieraj acym pierwsze elementy wektora ΨY N.
Dowód zatem Q(x) = Ax b 2 e min x Q(x) = (Ax b) T (Ax b) = = [ΨAx Ψb] T [ΨAx Ψb] = [ ] [ ] [ ] [ R ηr = [ x ] T R ηr [ x 0 η z 0 η z [ ] T [ ] Rx ηr Rx ηr = = η z η z = (Rx η R ) T (Rx η R ) + η T z η z = = Rx η R 2 e + η z 2 e min a Q(x) min x Rx = η R ] ] =
Rozkład wg wartości szczególnych (SVD) Definicja Warto sciami szczególnymi macierzy A nazywamy pierwiastki kwadratowe warto sci własnych macierzy A T A. Twierdzenie Dowolna macierz A o rozmiarach m n można wyrazíc w postaci A = PDQ gdzie P i Q sa macierzami unitarnymi stopnia m m i n n, za s D jest macierza przekatniow a o rozmiarach m n. Wnioski z dowodu [Kincaid, Cheney, str. 277]: 1) tylko r = rank(a) pierwszych elementów diagonali macierzy D jest niezerowych 2) zmieniając kolejność tych elementów można uzyskać r! różnych rozkładów SVD dla tej samej macierzy A
Przykład P = P = A = 7 0 0 0 0 3 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 0 0 0 1, D = A T A =, D = 7 0 0 0 0 3 0 0 0 0 0 0 3 0 0 0 0 7 0 0 0 0 0 0, Q = 49 0 0 0 0 9 0 0 0 0 0 0 0 0 0 0, Q = 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 0
Definicja Pseudoowdrotno scia macierzy diagonalnej D rozmiaru m n, czyli takiej że { σi, dla i = j rank(a) D[i, j] := 0, w przeciwnym razie nazywamy macierz D + rozmiaru n m postaci { 1 D + [i, j] := σ i, dla i = j rank(a) 0, w przeciwnym razie
Przykład D = 2 0 0 0 0 4 0 0 0 0 0 0 DD + = 1 0 0 0 1 0 0 0 0 D + = D + D = 0.5 0 0 0 0.25 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0
Definicja Pseudoodwrotno scia dowolnej macierzy A = PDQ nazywamy macierz A + = Q T D + P T mamy układ równań może być sprzeczny, może mieć wiele rozwiązań Ax = b oznaczmy ρ = min x Ax b 2
Definicja Rozwiazaniem minimalnym układu równań Ax = b nazywamy najkrótszy (w sensie euklidesowym) wektor minimalizujacy Ax b 2, czyli należacy do zbioru Możliwe przypadki {x : Ax b 2 = ρ} Sprzeczny? Liczba rozwiązań Rozw. minimalne = nie, ρ = 0 1 jedyne rozw. nie, ρ = 0 najkrótsze rozw. tak, ρ > 0 0 (jedno rozw. NK) jedyne rozw. NK tak, ρ > 0 0 ( wiele rozw. NK) najkrótsze rozw. NK
Twierdzenie Rozwiazanie minimalne układu równań Ax = b ma postać Zastosowanie x = A + b X N θ = Y N w ogólności sprzeczny X N = PDQ θ = X + N Y N = Q T D + P T Y N
Literatura D. Kincaid, W. Cheney, Analiza Numeryczna, WNT, Warszawa, 2006. A. Kiełbasiński, H. Schwetlick, Numeryczna Algebra Liniowa: Wprowadzenie do Obliczeń Zautomatyzowanych, WNT, Warszawa, 1992. T. Kaczorek, Wektory i Macierze w Automatyce i Elektrotechnice, WNT, Warszawa, 1998.