10. Metody obliczeniowe najmniejszych kwadratów

10. Metody obliczeniowe najmniejszych kwadratów

1. Dowód twierdzenia o faktoryzacji macierzy Twierdzenie 1 Każdadodatniookreślon aisymetryczn amacierzm można przedstawíc wpostaci M = PP T gdzie P jest macierza nieosobliwa(nazywan a pierwiastkiem macierzy M). Dowód oznaczmy w i wektory własne macirzy M, λ i wartości własne macierzy M, i = 1, 2,..., s i = 1, 2,..., s własność Mw i = λ i w i oznaczajac W =[w 1,w 2,..., w s ] oraz Λ = diag(λ i )= λ 1 0.. 0 0 λ 2 0.... 0.. 0 0.. 0 λ s ponieważ macierz M jest symetryczna, to λ i rzeczywiste w i parami ortogonalne ponieważ macierz M jest dodatnio określona (M > 0), to λ i > 0 dla każdego i =1, 2,..., s

wniosek W T W W macierz ortogonalna = I = W 1 = W T azatem MW M = W Λ = W ΛW 1 = W ΛW T (tzw. rozkład spektralny macierzy) oznaczajac Λ = Λ 1/2 Λ 1/2,gdzieΛ 1/2 = diag( λ i )= λ1 0.. 0 0 λ2 0.... 0.. 0 0.. 0 λ s otrzymujemy W ΛW T = W Λ 1/2 W Λ 1/2 T stad M = PP T,gdzieP = W Λ 1/2 (c.k.d.)

2. Klasyfikacja metod obliczeniowych NK 1) Algorytmy równań normalnych 2) Algorytmy ortogonalizacji (przekształceń ortogonalnych) Ad 1) podejście trywialne ogromny problem z odwracaniem macierzy X N Y N XN T X N XN T X 1 N XN T Y N a N = X T NX N 1 X T N Y N zadania źle uwarukowane, np. X T NX N = 1 0 0 ε, det(xnx T N )=ε bliskie zeru dla ε = 0.001 X T NX N 1 = 1 0 0 1000 dla ε = 0.0001 X T NX N 1 = 1 0 0 10000 różnica rzędu wielkości

3. Metoda eliminacji Gaussa mamy równanie Ma = b [M,b,I] operacje liniowe na wierszach i kolumnach (mnożenie przez M 1 ) [I,a N,M 1 ] Zalety metody: 1) stabilna numerycznie 2) oprócz a N uzyskujemy także ocenę jakości a N, czyli macierz kowariancji cov(a N )= X T NX N 1 σ 2 z = M 1 σ 2 z

4. Metoda Cholesky ego, rozkład LU na podstawie twierdzenia o faktoryzacji Ma = b M dodatniookreślona (M > 0), symetryczna (M T = M) M = PP T P macierz nieosobliwa, tzw. pierwiastek macierzy M dowiedliśmy, że isnieje inny rozkład macierzy M, tzw. rozkład LU gdzie stad mamy przyjmujac oznaczenie M = W ΛW T (tzw. rozkład spektralny macierzy) Λ = diag(λ i ), λ i > 0 M = LDL T L macierz trójkatna dolna, tzn. dla i < j zachodzi L[i, j] =0 D macierz diagonalna, D = diag(d i ), d i > 0 M = LD 1/2 D 1/2 L T gdzie D 1/2 = diag( d i ) L = LD 1/2

otrzymujemy M = LL T L macierz trójkatna dolna L T macierz trójkatna górna det M = det LL T =detldet L T > 0 Schemat metody obliczeniowej Etap 1. oznaczajac α = L T a rozwiazujemy równanie zewnętrzne LL T a = b Lα = b ponieważ det L>0 to elementy diagonalne L sa różne od zera, rozwiazanie α N istnieje i jest jednoznaczne Etap 2. wartość α N jest znana z etapu 1 rozwiazujemy równanie wewnętrzne L T a = α N ponieważ det L T > 0 to elementy diagonalne L T sa różne od zera, rozwiazanie a N istnieje i jest jednoznaczne Zalety metody 1) prostota operacji przy rozwiazywaniu równań Etap 1 tzw. metoda podstawiania od góry Etap2 tzw.metodapodstawiania oddołu

2) dobre uwarunkowanie zadania, gdyż det M = det L 2 det L = det M zatem dla 0 < det M<1 czyli zadania z etapów 1 i 2 sa lepiej uwarunkowane det L = det L T > det M

Ad 2) metody przekształceń ortogonalnych nie wymagaja tworzenia równań normalnych 5. Metoda odbić Householdera Definicja 1 Macierza odbicia Householdera nazywamy macierz postaci gdzie w =1,tj.w T w =1. Interpretacja P = I 2ww T Własności: (i) P = P T (symetria) (ii) P T P = PP T = I (ortogonalność) (iii) dla każdego wektora x istnieje macierz P j,takaże Pw =(I 2ww T )w = w 2ww T w = w 2w = w P j x = ± x e j,gdziee j jest j-tym wersorem e j = (iiii) dla ciagu macierzy Householdera P 1,P 2,..., P s przekształcenie złożenia 0 0 1 0 jest macierza ortogonalna, tj. Ψ = P s P s 1... P 2 P 1 Ψ T Ψ = I

Dowody (i) oczywiste różnica macierzy symetrycznych jest symetryczna (ii) PP T =(I 2ww T )(I 2ww T )=I 2ww T 2ww T +4ww T ww T = I 4ww T +4ww T = I (iii) x dowolny wektor u j = x ± x e j P j = I u ju T j H j,gdzieh j = 1 2 u j 2 = 1 2 ut j u j macierz P j jest macierza Householdera, ponieważ u T j P j = I 2 u j u j u j (wektory o długości 1) P j x = (I u ju T j H j )x = x u j 2u T j x u T j u j = x u j 2(x ± x e j ) T x (x ± x e j ) T (x ± x e j ) = =... = x u j = x x ± x e j = ± x e j (iiii) Ψ T Ψ = P T 1 P T 2...P T s 1 P T s P s P s 1...P 2 P 1 = I

Lemat 1 Dla każdej macierzy X N s istnieje taki ciag macierzy Householdera { P 1, P 2,..., P s }, że przekształcenie Ψ = P s P s 1,... P 2 P 1 ma własność ΨX N s = R 0 gdzie R jest macierzatrójk atnagórn a o rozmiarach s s. Twierdzenie 2 Oszacowanie NK jest równoważne rozwiazaniu układu równań Ra = η R gdzie η R jest wektorem zawierajacym s pierwszych elementów wektora ΨY N. Rozwiazanie tego układu równań istnieje i jest jednoznaczne. Pytanie dotyczy samego oszacowania NK. Dowód Q(a) = X N a Y N 2 e min a Q(a) = (X N a Y N ) T (X N a Y N )= = (X N a Y N ) T Ψ T Ψ(X N a Y N )= = [Ψ(X N a Y N )] T [Ψ(X N a Y N )] = = [ΨX N a ΨY N ] T [ΨX N a ΨY N ]= R ηr R = [ a ] T ηr [ a ]= 0 η z 0 η z T Ra ηr Ra ηr = =(Ra η η z η R ) T (Ra η R )+η T z η z = z = Ra η R 2 e + η z 2 e min a

zatem Q(a) min a Ra = η R