Lineární algebra II, přednáška Mgr. Milana Hladíka, Ph.D.

Lineární algebra II, přednáška Mgr. Milana Hladíka, Ph.D. Poznámky sepsal Robert Husák Letní semestr 29/21 Obsah 1 Permutace 1 2 Determinant 3 3 Polynomy 7 4 Vlastní čísla 9 5 Positivně definitní matice 18 6 Převod matice do diagonálního tvaru 21 7 QR rozklad 22 8 SVD rozklad 26 1 Permutace Definice 1.1. Permutace je vzájemně jednoznačné zobrazení na množině {1,..., n} Definice 1.2. S n je množina všech permutací na {1,..., n} Definice 1.3. id i = i i {1,..., n} 1.1 Zadání tabulkou graficky Obrázek 1: Tabulkou, graficky 1

cyklicky: (1, 2)(3)(4, 5, 6) redukovaný cyklicky: (1, 2)(4, 5, 6) Definice 1.4. Inverzní permutace: p 1 = y p(y) = i Definice 1.5. Skládání permutací: (p q)(i) = q(p(i)) Definice 1.6. Znaménko permutace: sgn p = ( 1) n k, kde k je počet cyklů p Věta 1.7. Necht p S n, t S n transpozice, t = (i, j), pak sgn p = sgn t p 1. i, j padnou do jednoho cyklu p Obrázek 2: p 1 t p 1 = (i, u 1,.., u s ), (j, v 1,.., v r ) 2. i, j v různých cyklech p Obrázek 3: p 1, p 2 t (p 1 ), (p 2 ) = (i, v 1, v 2,.., v r, j, u 1, u 2, u s ) Věta 1.8. permutace p S n lze rozložit na složení transpozic Každý cyklus se rozloží zvlášt : (v 1, v 2,..., v s ) = (v s 1, v s )... (v 2, v 3 ) (v 1, v 2 ) Důsledek 1.9. sgn p = ( 1) r, kde r je počet transpozic v rozkladu p p = t 1 t 2.. t r id Důsledek 1.1. sgn p q = sgn p. sgn q p = t 1 t 2.. t r, q = t 1 t 2.. t r Důsledek 1.11. sgn p 1 = sgn p 1 = sgn(id) = sgn(p p 1 ) = sgn(p) sgn(p 1 ) 2

2 Determinant Definice 2.1. A R nxn, determinant A je det A = A = p S n sgn pa 1p(1) a 2p(2)..a np(n) = Příklad 2.2. det I n = 1 Obrázek 4: Z definice determinantu Příklad 2.3. Horní trojúhelníková matice A: det A = a 11 a 22..a nn Tvrzení 2.4. det A T = det A det A T = n p S n sgn p (A T ) ip(i) = n p S n sgn p a p(i)i = i=1 = n p 1 S n sgn p 1 a ip 1 (i) = q S n sgn q i=1 Pozorování 2.5. Obecně det A + B det A + det B i=1 n a iq(i) = det(a) Věta 2.6 (Řádková linearita determinantu). A Rnxn, b R n, pak det(a + e i.b T ) = det A + det(a + e i (b T A i )) det(a+e i b T ) = p S n sgn(p)( n i j=1 a jp(j) )(a ip(i) +b p(i) ) = p S n sgn(p) i=1 n a jp(j) + j=1 p S n sgn(p)b p(i) Jak elementární řádkové úpravy ovlivňují determinant A matice po provedení následujících úprav z A? Věta 2.7. Vynásobení i-tého řádku α R: det A = α det A Důsledek 2.8. det αa = α n det A det A = p S n sgn pα Věta 2.9. Prohození i-tého a j-tého řádku: det A = det A n i=1 a ip(i) V definici determinantu využijeme sgn(t p) = sgn(p) Důsledek 2.1. Pokud A má 2 stejné řádky, pak det A = det A = det A det A = Pozorování 2.11. Neplatí pro všechna tělesa Věta 2.12. K j-tému řádku přičteme α-násobek i-tého: det A = det A det(a + αe j A i ) = det A + α det( A + e j (A i A j ) ) = det A }{{} i-tý a j-tý řádek jsou v této matici stejné 3 n i j=1 a jp(j)

Konec 1. přednášky Věta 2.13. (Determinant a regularita) Bud A R nxn, pak A je regulární det A A > RREF A A regulární RREF A je horní matice s nenulovou diagonálou det A A singulární RREF(A) obsahuje nulový řádek det A = Pozorování 2.14. det = míra regularity? Příklad 2.15. Hilbertova matice H n : det(h 2 ) 1 1... Příklad 2.16. det, 1.I n = 1 1 Lemma 2.17. Bud B R nxn, E - matice elemen. řádkové úpravy. Pak det EB + det B = det E det B + 1 1. Vynásobení i-tého řádku číslem α 2. i j det = 1 3. Přičtení α-násobku i. řádku k j. řádku det = 1 Věta 2.18 (Multiplikativnost determinantu). Bud A, B R nxn Pak det AB = det A det B 1. A sing. det A = AB také sing. det AB = 2. A reg. A = E 1 E 2..E k det AB = det E 1 (E 2..E k B) = det(e 1 ) det E 2..E k B =.. = det(e 1 E 2..E k ) det(b) Příklad 2.19. det A k det A k det A 1 = 1/ det A Věta 2.2 (Laplaceův rozvoj dle i-tého řádku). Bud A R nxn, i {1..n}. Pak det A = n j=1 ( 1)i+j a ij det A ij A ij je matice A bez i-tého řádku a j-tého sloupce. 1. Necht A i = e T j Obrázek 5: ( 1) n i ( 1) n j = ( 1) 2n i j = ( 1) i j det A = ( 1) i+j det A ij 4

Obrázek 6: 2. Věta 2.21 (Cramerovo pravidlo). Bud A R nxn reg., b R n Pak Ax = b má řešení se složkami x i = det A+(b A i)e T i det A Bud x řešení Ax = b. n A j x j = b det A + (b A i )e T i = det A 1 A 2..b..A n = det..( A j x j ).. = j=1 n det..a j..x i = det Ax i j=1 Definice 2.22. A R nxn, adjugovaná matice k A je adj(a) ij = ( 1) i+j det A ji Věta 2.23. A R nxn : A. adj(a) = detai n Poznámka 2.24. A reg. A 1 = 1 det A adj(a) (A. adj(a)) ij = n k=1 A ik adj(a) kj = k A ik( 1) k+j det A jk = 1. i = j: rozvoj A dle j-tého řádku = det A 2. i j: Obrázek 7: Příklad 2.25. A Z nxn Pak A 1 je celočíselná det A = + 1 1. : 1 = det A det A 1, oba činitelé Z det A = + 1 2. : A 1 ij = 1 det A ( 1)i+j det A ji Z 5

Konec 2. přednášky 2.1 Geometrický význam determinantu Pozorování 2.26. Lineární obal... nejmenší VP obsahující X R n Obrázek 8: Lineární obal L(X) = { a i x i, x i X, a i R} Pozorování 2.27. Afinní obal... nejmenší translace VP obsahující X A(X) = { a i x i, x i X, a i R, a i = 1} Pozorování 2.28. Konvexní obal... nejmenší konvexní množina obsahující X Obrázek 9: Konvexní obal K(X) = { a i x i, x i X, a i <, 1 >, a i = 1} Pozorování 2.29. Rovnoběžnostěn určený vektory z X Obrázek 1: Rovnoběžnostěn určený vektory z X R(X) = { a i x i, x i X, a i <, 1 >} 6

Pozorování 2.3. Pro vektory x 1,..., x n R n sestavíme matici A = (x 1, x 2,..., x n ), poté platí, že objem rovnoběžnostěnu určeného x 1,..., x n je det A Důkaz (idea). Směřují-li x 1,..., x n podél směru souřadnicových os, potom R(X) je kvádr, jeho objem je součin délek stran = det A, protože A je diagonální. Ukážeme, že úpravy, které nemění determinant, nemění ani objem R(X). Důsledek 2.31. Je-li f lineární zobrazení f : R n R n a A = [f] Y Y je matice tohoto zobrazení vůči bázi Y, potom se objemy těles mění vol f(v) = det A. vol v 3 Polynomy Obrázek 11: Definice 3.1. Polynomem (neboli též mnohočlenem) stupně n v proměnné x nad tělesem K rozumíme výraz p(x) = a n x n + a n 1 x n 1 +... + a 1 x + a, kde a n,..., a K, a n. Značíme p K(x). Jednoduchá fakta: Mnohočleny lze sčítat, odčítat: p(x) = n a i x i, q(x) = i= m b i x i i= BÚNO n m : (p + g)(x) = n i= (a i + b i )x i Lze násobit skalárem: Násobit mezi sebou: (p.q)(x) = n+m i= αp(x) = n αa i x i i= r i x i, kde r i = min i,n j=max,i m a j b i j Lze je dělit se zbytkem: r, t K(x) takové, že stupeň t < stupeň q a platí: p = r.q + t. Konstrukce indukcí: p(x) an b m q(x)x n m má stupeň ostře menší p...polynom r začíná členem an b m x n m Poznámka 3.2. Neznámou x lze volit z tělesa K, ale i ze složitějších struktur, např. K nxn : x K nxn p(x) K nxn 7

Pozorování 3.3. Pro p R(x) platí: ( x R : p(x) = ) a, a 1,..., a n = Důkaz (sporem). kdyby a n zvolíme x = 1 + n. max a,..., a n, potom p(x) = a n x n +... + a n + a Věta 3.4 (Malá Fermatova). a Z p, a platí, že a p 1 = 1 Z p : {1,..., p 1} {1,..., p 1} t at bijekce: p 1 p 1 p 1 i = ai = a p 1 i i=1 i=1 Důsledek 3.5. q Z p (x) r Z p (x) stupeň r < p 1 takový, že x Z p : r(x) = q(x) Pozorování 3.6. Na Z p : q(x) = x p x je r zbytek z q po vydělení x p x, ale q(x) = pro x Z p Definice 3.7. Kořenem polynomu p K(x) je takové x K, že p(x) = Příklad 3.8. p(x) = x 2 + 1 Věta 3.9. (Základní věta algebry) Každý mnohočlen stupně alespoň 1 nad C má alespoň kořen. Důkaz (idea). i=1 p(x) = a n x n +... + a 1 x + a C(x) Jak vypadá p(x) aplikovaný na {x : x = r} = D r Jak vypadá p(d r )? Obrázek 12: Důkaz základní věty algebry Důsledek 3.1. Každý takový mnohočlen lze rozlořit na součin n monomů. p(x) má kořen r, x r dělí p(x) beze zbytku snížíme stupeň a aplikujeme indukci. Konec 3. přednášky Příklad 3.11 (Vandermondova matice (prokládání bodů polynomem). p(x) = a n 1 x n 1 + a n 2 x n 2 +... + a 1 x + a tedy y 1 = a n 1 x n 1 1 +... + a 1 x 1 + a y 2 = a n 1 x n 1 2 +... + a 1 x 2 + a 8

...y n x n 1 1... x 1 1 x2 n 1... x 2 1.. 1 Věta 3.12 (Lagrange). p(x) =...proložení bodů polynomem. n y k p k (x) kde p k (x) = k=1 Dosad me x j, j = 1,..., n p(x j ) = n y k p k (x j ) = y j k=1 j k : p k (x j ) = j = k : p k (x j ) = 1 i k (x x i) i k (x k x i ) 4 Vlastní čísla Definice 4.1. Bud A R nxn (C nxn ). Pak λ C je vlastní číslo A, x C n je vlastní vektor A, pokud Ax = λx, x. Vlastní vektor není jednoznačný. Věta 4.2 (Charakterizace vlastních čísel). λ je vlastní číslo matice A det(a λi n ) = λ je vlastní číslo x : Ax = λx Ax = λix = θ (A.λI)x = θ A.λI je singulární det A λi = Definice 4.3. Charakteristický polynom A: p A (λ) = det(a λi) Definice 4.4. Spektrum je množina vlastních čísel. Spektrální poloměr: ς(a) = max λ i i=1...n Věta 4.5. (vlastní čísla trojúhelníkové matice) A je trojúhelníková matice. Potom jsou její vlastní čísla a 11, a 22,..., a nn det A λi = (a 11 λ)(a 22 λ)...(a nn λ) priklad I n... vlastní číslo 1 (vynásobení) Věta 4.6. (součin a součet vlastních čísel) A R nxn, λ 1,..., λ n vlastní čísla. 1. prod n i=1 λ i = det A 2. n i=1 λ i = a 11 + a 22 +... + a nn 1. det A λi = ( 1) n (λ λ 1 )...(λ λ n ), λ = : det A = λ 1 λ 2...λ n 9

2. koeficient u λ n 1 : napravo: ( 1) n ( λ 1 λ λ 3... λ n ) = ( 1) n 1 (λ 1 +... + λ n ) nalevo: a 11 λ a 12... a 1n det a 21 a 21 λ...... > uλn 1 Věta 4.7. (vlastní čísla reálné matice) Bud A R nxn, λ C její vlastní číslo. Pak λ je také vlastní číslo A. p A (λ) = ( 1) n λ n + a n 1 λ n 1 +... + a 1 λ + a = p A (λ) = ( 1) n λ n + a n 1 λ n 1 +... + a 1 λ + a = Věta 4.8. (regularita a vlastní čísla matic) matice A R nxn je regulární není vlastním číslem A. je vlastní číslo det A.I n = A je singulární 4.1 Diagonalizovatelnost motivace A matice lineárního zobrazení f : V V vzhledem k bázi B S matice přechodu od B k B matice f vůči B je SAS 1 Definice 4.9. Matice A, B R nxn jsou podobné, pokud regulární matice S tak, že A = SBS 1. Definice 4.1. Matice A je diagonalizovatelná, pokud je podobná nějaké diagonální matici. Věta 4.11. Podobné matice mají stejná vlastní čísla A = SBS 1 p A (λ) = det(a λi) = det(sbs 1 SλS 1 ) = det(s(b λ)s 1 ) = det S det(b λ) det S 1 = det(b λ) = p B (λ) 1

Konec 4. přednášky Věta 4.12 (Charakterizace diagonalizovatelnosti matic). A C nxn je diagonalizovatelná má n lineárně nezávislých vlastních vektorů λ 1 1. necht S : S 1 AS = Λ =... λ n AS = SΛ i-tý sloupeček(as) i = AS i (SΛ) i = SΛ i = Sλ i e i = λ i S i S i je vlastní vektor k λ i, n lineárně nezávislých vektorů (sloupce S) 2. x 1,..., x n lineárně nezávislé vlastní vektory. Chceme ověřit S 1 AS = Λ, AS = SΛ: kde (AS) i = AS i = Ax i = λ i x i = λ i S i = λ i Se i = (SΛ) i λ 1 Λ =... λ n Věta 4.13 (Vlastní vektory pro různá vlastní čísla). Necht A má vlastní čísla λ 1,..., λ n navzájem různá. Pak odpovídající vlastní vektory x 1,..., x n jsou lineárně nezávislé. indukcí 1. n = 1... platí 2. n n 1: α 1 x 1 +... + α n x n = Θ A(α 1 x 1 +... + α n x n ) = α 1 Ax 1 +... + α n Ax n = α 1 λ 1 x 1 +... + α n λ n x n = Θ Odečteme od rovnice λ n (α 1 x 1 +... + α n x n ) = Θ: Ty jsou linerárně nezávislé, tedy: Tedy α n λ n x n = Θ α n = Θ. Příklad 4.14. 1. konverguje, pokud λ i < 1 i 2. diverguje, pokud λ i > 1 pro nějaké i α 1 (λ 1 λ n )x 1 +... + α n (λ n λ n )x n = Θ α 1 (λ 1 λ n )x 1 +... + α n 1 (λ n 1 λ n )x n 1 = Θ α 1,..., α n = Θ α 1 λ 1 x 1,..., α n 1 λ n 1 x n 1 = Θ A = SΛS 1 A 2 = SΛS 1 SΛS 1 = SΛ 2 S 1 A 3 = SΛ 3 S 1 A k = SΛ k S 1 λ 1 A = lim k Ak = S... S 1 λ n 11

4.2 Symetrické matice Poznámka 4.15. (Matice v C) 1. transpozice A T hermitovská transpozice A : (A ij = a ji) 2. A symetrická A hermitovská: A = A 3. Q ortogonální Q unitární: QQ = I Věta 4.16. (vlastní čísla symetrických matic) Bud A reálná symetrická (komplexní hermitovská) matice. Pak A má reálná vlastní čísla. bud λ C vlastní čislo A, x C n vlastní vektor, x = 1 X X = 1 Ax = λx/x x Ax = λx x = λ/() (x Ax) = λ x A x = λ λ = λ λ R Věta 4.17. (spektrální rozklad symetrických matic) Bud A symetrická reálná matice. Pak ortogonální Q a diagonální Λ : A = QΛQ T. Poznámka 4.18. Vlastní vektory symetrických matic jsou ortogonální indukcí podle n 1. n = 1 platí 2. n n 1: Bud λ vlastní čisla A, x vlastní vektor, x T x = 1. Q = (x...) rozšíření na ortogonální matici Ax = λx (A λi)x = θ... Q T (A λi)q = }{{} (...). A A je symetrická matice řádu n 1 Z indukčního předpokladu: A = Q Λ Q T, Q ortogonální, A diagonální... 1...... 1.... A =. Q. Λ. Q T Q T (A ΛI)Q = R(...)R T A λi = QR(...)R T Q T A = QR(...)(QR) T + λqr(qr) T... A = QR. Λ + λi (QR)T 12

Konec 5. přednášky Důsledek 4.19. Asymetrická vlastní čísla λ 1 λ 2... λ n λ 1 = max x R n x =1 xt Ax λ n = min x =1 xt Ax 1. : vlastní vektor x }{{} 1 : Ax 1 = λ 1 x 1 /x T 1 x 1 =1 x T 1 Ax 1 = λ 1 x T 1 x 1 = λ 1 2. : x R n : x = 1 x T Ax = x T QΛQ T x = (Q T x) T ΛQ T x substituce = y T Λy = y T n = λ 1 yi 2 = λ 1 = y 2 i=1 max x =1 xt Ax λ 1 λ 1 y 1 λ 2 y 2. = λ n y n 4.3 Jordanova normální forma λ 1....... Definice 4.2. Jordanova buňka: J k (λ) =..., kxk, λ C 1... λ n i=1 λ i y 2 i i λ 1 y 2 i = Definice 4.21. Jordanova normální forma: J k1 (λ 1 ) J k2 (λ 2 ) J =..., λ 1,..., λ n C; k 1,.., k m N J kn (λ n ) Věta 4.22 (O Jordanově normální formě). Každá matice A C n n je podobná matici mající Jordanovu formu. Nebude, je moc složitý Poznámka 4.23. Počet Jordanových buněk J k (λ) matice A je roven rank((a λi) k 1 ) 2 rank((a λi) k )+rank((a λi) k+1 ) Navic Jordanova forma je až na pořadí buněk jednoznačná. Věta 4.24 (Oldenburger). Matice A R n n : ς(a) < 1 lim k A k = 13

Důkaz (idea). A = SJS 1 A 2 = SJS 1 SJS 1 = SJ 2 S 1 k : A k = SJ k S 1 x k+1 = Ax k = A k x 1 Důsledek 4.25. ς(a) < 1 (I A) 1 = I + A + A 2 +... I + A + A 2 +... = (I A k+1 )(I A) 1 /k I + A + A 2 +... = (I A) 1 Poznámka 4.26. (Nestabilita Jordanovy normální formy) ( ) 1 1 A = 1 ɛ : A(ɛ) = ( ) ( ) 1 1 1...JNF je 1 + ɛ 1 + ɛ Věta 4.27 (Cayley-Hamilton). A R n n, p a (λ) = ( 1) n λ n + a n 1 λ n 1 +... + a 1 λ + a. Pak ( 1) n A n + a n 1 A n 1 +... + a 1 A + a I = n n. Tedy: Matice je kořenem svého reálného polynomu. (A λi) adj(a λi) = det(a λi)i adj(aλi) = λ n 1 B n 1 +... + λb 1 + B Pro určité B,..., B n 1 R n n (AλI)(λ n 1 B n 1 +... + λb 1 + B ) = (( 1) n λ n + a n 1 λ n 1 +... + a 1 λ + a )I B n 1 λ n + (AB n 1 B n 2 )λ n 1 +... + (AB 1 B )λ + AB = (( 1) n Iλ n +... + a 1 Iλ + a I λ n : B n 1 = ( 1) n I λ j : AB j B j 1 = a J I AB = a I Příklad 4.28. A 1 je lineární kombinace I, A, A 2,..., An 1 ( 1) n A n + a n 1 A n 1 +... + a 1 A + a I =... 1 a (( 1) n A n + a n 1 A n 1 +... + a 1 A) = I 14

Konec 6. přednášky 4.4 Teorie nezáporných matic (Též Perron-Frobeniova) Věta 4.29. A R n n 1. Pokud A, pak největší vlastní číslo v absolutní hodnotě je reálné nezáporné a odpovídá mu nezáporný vlastní vektor. Obrázek 13: 2. A > největší vlastní číslo v absolutní hodnotě je reálné kladné a je jediné. Jemu odpovídající vlastní vektor je kladný a je to jediný vlastní vektor s touto vlastností. Věta 4.3 (Rayleigh quotient). A R n n, x vlastní vektor. Pak λ = xt Ax x T x odpovídající x. je vlastní číslo Ax = λx x T Ax = λx T x λ = xt Ax x T x Poznámka 4.31 (Mocninná metoda). dáno R while změna do x i+1 := A xi x i+1 := x i+1 x i+1 i := i + 1 end while x i, xt i Ax i x T i x i Tvrzení 4.32. Předpoklady: A má vlastní čísla λ 1, λ 2,..., λ n, λ 1 > λ 2... λ n, vlastní vektory v 1, v 2,..., v n lineárně nezávislé, x má nenulovou složkovou souřadnici vůči v 1. Pak x i konverguje k v 1, xt i AX i x T i x konvergují k λ 1. i x = n i=1 α iv i x 1 = Ax x 2 = Ax 1 = AAx = A 2 x 15

x i = 1 A i x Ai ( j x i = Ai x A i x d j v j ) =... = λi 1 A i λ (α 1v 1 + λ j λ 1 < 1 n j=2 α j ( λ j λ 1 ) i v j ) } {{ } i Věta 4.33 (Companion matrix (Matice společnice)). p(x) = a n 1 x n 1 +... + a 1 x + a, C p viz obr. 14 Vlastní čísla C (P ) jsou kořeny P (x) Obrázek 14: Companion matrix Obrázek 15: Část důkazu C p P C(P ) λ = viz obr. 15 = ( 1) 1+n ( P (x)) det I n 1 = ( 1) n P (x) Věta 4.34. A symetrická, λ 1,..., λ n vlastní čísla, v 1,..., v n odpovídající vlastní vektory (v i v j i j) v i = 1. B = A λ 1 v 1 v1 T má vlastní čísla, λ 2,..., λ n, k tomu odpovídající vlastní vektory v 1,..., v n 16

v 1 : Bv 1 = (A λ 1 v 1 v T 1 )v 1 = Av 1 λ 1 v 1 v T 1 v 1 = λ 1 v 1 λ 1 v 1 = v i, i 1 : Bv i = (A λ 1 v 1 v T 1 )v i = Av i λ 1 v 1 (v T 1 v i ) = λ i v i Tvrzení 4.35. A, vlastní číslo λ, vlastní vektor v. 1. αa: vlastní číslo αλ, vlastní vektor v 2. A 2 : vlastní číslo λ 2, vlastní vektor v 3. A 1 : vlastní číslo λ 1, vlastní vektor v 4. A T : vlastní číslo λ, vlastní vektor neznámý 1. (αa)v = α(av) = αλ 2. Av = λv 3. Av = λv 4. det A λi = A 2 v = λav = λλv Iv = λa 1 v 1 λ v = A 1 v det A T λi = Konec 7. přednášky 4.5 Gerschgorinovy disky Věta 4.36. A C n n, necht λ je vlastní číslo A. Pak λ leží v kruhu o středu a ii a poloměru n j=1 a ij pro nějaké i {1,.., n}, viz[2] λ... vlastní vektor x θ Ax = λx, k-tá rovnost k = arg max j=1..n x j (x k = max x j ) j n a kj x j = Ak x = λx k j=1 λ = λ a kk = j k j=1//j k Důsledek 4.37. λ max k=1..n j=1 a kj a kj x j x k + a kk x j a kj a kj x j x k x k a kj j k j k Příklad 4.38. Postačující podmínka pro regularitu A: i = 1..n : a ii > j i a ij (diagonálně dominantní), pak A je regulární. ( není v žádném disku) 17

5 Positivně definitní matice Definice 5.1. Symetrická matice A je positivně definitní, pokud x T Ax > x R n x θ Definice 5.2. Symetrická matice A je positivně semidefinitní, pokud x T Ax x R n Poznámka 5.3. Pokud je A positivně definitní, je A positivně semidefinitní Příklad 5.4. n... postitivně semidefinitní, I n... positivně definitní, x T Ix = x T x < x 2 2 Věta 5.5. (Operace s positivně definitními maticemi) 1. A, B pos. def. A + B také 2. α >, A pos. def. αa je pos. def. 3. A je pos. def. A 1 také 1. x T (A + B)x = x T Ax + x T Bx > x θ 2. x T (αa)x = α(x T Ax) > x 3. (a) Ax = x T Ax = x = θ 1 x) (b) x θ x T A 1 x = (x T A 1 ) }{{} A (A }{{} y T y Poznámka 5.6. A ne nutně symetrická: x T ( A + AT 2 = y T Ay > )x = 1 2 xt Ax + 1 2 xt A T x = x T Ax Věta 5.7. (charakterizace pos. def.) Následující tvrzení jsou pro A R n n symetrickou matici ekvivalentní: 1. A je pos. def. 2. A má kladná vlastní čísla 3. U R m n s lineární nezávislými sloupci tak, že A = U T U 1. 1 2: λ vlastní číslo, x vlastní vektor Ax = λx x T Ax = λx T x λ > 2. 2 3: spektrální rozklad (Q ortog., Λ má na diagonále druhé odmocniny λ i ) A = QΛQ T = QΛ Λ T Q T, U... regulární }{{}}{{} U T U 3. 3 1: x θ x T Ax = (x T U T )(Ux) = (Ux) T Ux = Ux 2 > 18

( ) α a T Věta 5.8 (rekurentní vzoreček na pos. def.). A sym. řádu n, A = A je pos. def. a B α > B 1 α aat je pos. def. : bud x θ, x = ( ) β y ( ) x T Ax = (β y T α a T ) ( β a B y ) =... = αβ2 +βa T y+y T βa+y T By =... = (...)2+y T (B 1 α aat )y Nula, když y = θ, β = : x T Ax α = e T 1 Ae 1 > y R n 1, y y T (B 1 α aat )y = y T By 1 α yt aa T y = (...)(...)(...) > y θ x θ Konec 8. přednášky 5.1 Choleského rozklad Věta 5.9 (Choleského rozklad). Symetrická matice A řádu n je positivně definitní právě tehdy, když se dá rozložit na A = LL T, kde L je čtvercová dolní trojúhelníková matice s kladnou diagonálou. Navíc L je určená jednoznačně. ( : Indukcí) n = 1: a 11 = a 11 a11, L = ( a 11 ) n n 1: ( ) α a T A = je positivně definitní α >, B 1 a B α aat je positivně definitní podle indukčního předpokladu: B 1 α aat = L L T, kde L je dolní trojúhelníková matice s kladnou diagonálou. ( ) ( ) ( ) ( α a T β o β b A = = LL T β 2 βb T ) = = a B b L o LT βb bb T + L L T β = α b = 1 β a = 1 α a B =? 1 α aa T + L L T B =? 1 α aa T + L L T B 1 α aa T = L L T 19

: Víme: L je regulární... LL T je positivně definitní Důkaz jednoznačnosti: ( ) ( ) β1 Θ β2 Θ L 1 =, L b 2 = 1 L1 b 2 L2 ( β L 1 L T 2 1 = 1 β 1 b T ) 1 β 1 b 1 b 1 b T 1 + L 1 LT 1 ( β L 2 L T 2 2 = 2 β 2 b T ) 2 β 2 b 2 b 2 b T 2 + L 2 LT 2 β 2 1 = β 2 2 β 1 = β 2 b 1 = b 2 b 1 b T 1 + L 1 LT 1 = b 2 b T 2 + L 2 LT 2 = B L 1 LT 1 = L 2 LT 2 = B 1 α aa T L 1 = L 2 - spor Algoritmus 5.1 (Choleského rozklad). L = O n n for k = 1 to n do α = a kk k 1 i=1 l2 ki if α then A není positivně definitní, konec else l kk = α i = k + 1...n : l ik = 1 l kk (a ik k 1 j=1 l ijl kj end if end for 5.2 Positivně definitní matice a skalární součin v R n Věta 5.11. (Positivně definitní matice a skalární součin) < x, y > je skalární součin na R n < x, y >= x T Ay pro určitou positivně definitní matici A : : 1. < x, y >= x T Ax a rovnost jen pro x = θ 2. < αx, y >= α < x, y > < αx, y >= (αx) T Ay = α(x T Ay) = α < x, y > 3. < x + y, z >=< x, z > + < y, z > < x + y, z >= (x + y) T Az = x T Az = y T Az 4. < x, y >=< y, x > (x T Ay) T = y T Ax < x, y >=< n n x i e i, y j e j >= i=1 j=1 n n x i y j < e i, e j > i=1 j=1 2

Definujeme: a ij :=< e i, e j > symetrická x i y j a ij = x T Ay i j A je positivně definitní. x T Ax =< x, x > a rovnost jen pro x = θ Poznámka 5.12. x := < x, x > x A := x T Ax Věta 5.13. (Odmocnina z matice) Pro každou positivně semidesivní matici A positivně semidefinitní B : B 2 = A Spektrální rozklad: A = QΛQ T, Q ortogonální. λ 1 Λ =..., λ 1...λ n λ n λ1 Λ =... λn B = QΛ Q T B positivně semidefinitní. Konec 9. přednášky B 2 5.3 Kvadratické formy Chybí 1. přednáška. Konec 1. přednášky = QΛ Q T QΛ Q T = QΛ 2 Q T = QΛQ T = A 6 Převod matice do diagonálního tvaru Spektrální rozklad: A = QΛQ T Je-li SAS T diagonální, tak počet kladných (záporných, nulových) diagonálních hodnot = počtu kladných (záporných, nulových) vlastních čísel A. Jak diagonalizovat? E k...e 1.A.E T 1...E T k Pomocí gaussovy eliminace Příklad 6.1. Elipsoidy: x T Ax = 1, A n n positivně definitní. A = QΛQ T x T Q ΛQ T x = 1 }{{} =y 21

y T Λy = 1 λ 1 y 2 1λ 2 y 2 2 +... + λ n y 2 n = 1 Obrázek 16: Elipsa poloosy: e 1...e n délky: 1/ λ 1..., 1/ λ n zpět k x: x = Qy: elipsoid: poloosy: e i > Qe i = Q i = i-té vlastní vektor A délky: 1/ λ i Příklad 6.2. Kvadriky: x T Ax + Bx + c = (pro n = 2 jsou to kuželosečky) 7 QR rozklad 7.1 Householderova transformace Definice 7.1. Bud x θ, Householderova matice je H(x) = I 2 xxt x T x Obrázek 17: Householderova matice Tvrzení 7.2. H(x) je symetrická a ortogonální 22

symetrická: součet symetrických ortogonální: I =?H(x) T H(x) = H(x) 2 = (I 2 xxt x T x )2 = I 4 xxt x T x + 4 1 (x T x) 2 x }{{} xt x x T =... = I skalár Věta 7.3. (použití H(x) Mějme x, y R n, x = y, pak y = H(y x)x. (y x)(y x)t H(y x)x = (I 2 (y x) T (y x) )x = x 2 (y x) T x (y x) T (y x) =... = y (y x) Důsledek 7.4. Bud x R n a definujme: { H(x x e1 ) pokud x x e H = 1 θ I jinak Pak Hx = x e 1 1. x = x 1... H = I Hx = Ix = x = x e 1 2. x x e 1, dle věty: Poznámka 7.5. H(x x e 1 ) = H( x + x e }{{} 1 ) y y = H(y x)x x e 1 = H( x e 1 x)x A = (a A ) H.a = a e 1 H.A = Ã. Věta 7.6 (QR rozklad). Bud A R m n. Pak ortogonální Q R m m a horní trojúhelníková R R m n, která má na diagonále nezáporná čísla tak, že A = QR. Indukcí dle n: 1. n = 1: A = (a) a Pak Householderova matice H : HA = Ha = a e 1 =.. Tedy A = HT R. 23

2. n n 1: a = A 1 Pak Householderova matice H 1 : a e 1 = H 1 a = H 1 A 1 = (H 1 A) 1 a b T H 1 A =. A A...(m 1) (n 1), podle indukce rozklad A = Q R /Q T kde Q ortogonální řádu m 1, R je (m 1) (n 1) horní trojúhelníková s nezápornou diagonálou. (1 ) ( ) ( ) ( ) T 1 T a b T a b T Q T H 1 A = Q T A = Q T A = R A tedy: Konec 11. přednášky ( ) 1 T Q = Q T H 1 Algoritmus 7.7 (QR rozklad). (viz prezentace[2]) Věta 7.8 (Jednoznačnost QR rozkladu). A je regulární QR rozklad je jednoznačný a R má na diagonále kladné hodnoty. 1. A = QR R je regulární diagonála > 2. sporem A = Q 1 R 1 = Q 2 R 2 /Q T 2 zleva, R1 1 zprava U = Q T 2 Q }{{} 1 ortogonální = R 2 R1 1 U je ortogonální a horní trojúhelníková s kladnou diagonálou Obrázek 18: Tedy Q 1 = Q 2, R 1 = R 2 spor. I = Q T 2 Q 1 = R 2 R 1 1 24

7.2 QR a soustavy rovnic Ax = b, A regulární A = QR : QRx = b/q T Rx = Q T b Řešení zpětnou substitucí. Oproti GE spotřebuje zhruba 2x více aritmetických operací, je však stabilnější. 7.3 QR a metoda nejmenších čtverců Ax = L, A R m n : x = (A T A) 1 A T b, A má lineárně nezávislé sloupce pomocí QR: ( ) R1 A = QR = (Q 1 Q 2 ) = Q 1 R 1 R 1 je regulární, Q 1... prvních n sloupců Q x je řešením R 1 x = Q T 1 b (A T A) 1 A T b =... = R 1 1 QT 1 b Obrázek 19: 7.4 QR a projekce A...s lineárně nezávislých sloupců projekce x do S(A) je x = A(A T A) 1 A T x přes QR rozklad: A = QR = Q 1 R 1 7.5 QR a ortogonalizace x = Q 1 R 1 R 1 1 QT 1 x = Q 1 Q T 1 x A má lineárně nezávislé sloupce. Chceme ortogonalizovat sloupce A, A = Q 1 R 1. S(A) = S(Q 1 ), sloupce Q tvoří ortonormální bázi S(A) 25

7.6 QR a vlastní čísla Algoritmus 7.9 (QR algoritmus). A i := A k-tá iterace: QR rozklad A k = Q k R k A k+1 = R k Q k k + + Věta 7.1. V k-tém kroku QR algoritmu (viz 7.9) má matice A k stejná vlastní čísla jako A A k+1 = Q T k Q } kr {{ k Q } k = Q T k A kq k A k A k+1, A k jsou podobné, tedy mají stejná vlastní čísla skoro vždy konverguje k matici horní trojúhelníkové Obrázek 2: Horní trojúhelníková matice komplexní vlastní čísla Obrázek 21: Téměř horní trojúhelníková matice 8 SVD rozklad (singular value decomposition) Věta 8.1 (SVD rozklad). A R m n. Pak existuje ortogonální X R m m, Y R n n a Σ R m n tvaru: σ 1 σ 2. Σ =.. σr... 26

σ 1 σ 2... σ r > (singulární čísla A, určeny jednoznačně) tak, že A = XΣY T Je složitý, s úskalími, u zkoušky nebude. Algoritmus 8.2 (Výpočet SVD). Spektrální rozklad AA T = XΛX T, X ortogonální, v Λ vlastní čísla řazena sestupně. Spektrální rozklad A T A = Y Λ Y T, Y ortogonální, v Λ vlastní čísla řazena sestupně. Pak SVD rozklad je A = XΣY T a Σ je sestavená z odmocnin vlastních čísel. A = XΣY T AA T = XΣ Y}{{ T Y} Σ T X T = XΣΣ T X T = X I σ i = λ i Pro Y analogicky. Poznámka 8.3. speciálně A symetrická: σ i (A) = σ i (A T A) = σ i (AA T ) σ i (A) = λ i (A) Chybí zbytek poznámky. Konec 12. přednášky 8.1 SVD a numerický rank σ 1 σ 2. A = X.. σr... rank(a) = r ɛ >... σ 1,..., σ s ɛ, σ s+1,..., σ r < ɛ, numerický rank je s ɛ = min(m, n)σ 1...přesnost aritmetiky 8.2 SVD a pseudoinverze (Moore-Penrose) σ 1 σ 2. A = X.. σr... Y T Y T 27

A... m n, pseudoinverze: A + = Y Věta 8.4 (Vlastnosti pseudoinverze). 2. (A + ) + = A 3. AA + A = A 4. A + AA + = A + 5. (A + A) T = A + A σ1 1 σ2 1... σr 1 6. (AA + ) T = AA +...ale obecně AA + A + A, (AB) + B + A + 1. A reg: A = XΣY T 2. AA + = X ΣY } T {{ Y Σ} X T = I A T = A 1 I... }{{} Σ (moje označení, abych ji níže nemusel opisovat..) 3. AA + A = XΣY T Y Σ X T XΣY T = XΣY T = A 8.3 SVD a komprese obrazu A, a ij = stupeň šedi 1. A reg A + = A 1 σ 1 σ 2. A = X.. σr... X k, Y k...prvních k sloupců X, Y ( ) ( ) (X r X r) S Y T = (X r X r) r Y T r v SVD rozkladu máme: mr + nr + r = (m + n + 1)r, komprese σ 1 A σ 2 = X k Y k T... σk Y T X T ( ) SY T r = x r SY r k r, k = r n komprimována: (m + n 1)k (m + n 1)r = k r 28

8.4 SVD a geometrie lineárního zobrazení y = Ax, A reg, A = XΣY T, A 1 = Y Σ 1 X T Poznámka 8.5. Kam se zobrazí jednotková koule? 1 = X 2 = A 1 AX 2 = A 1 y 2 = }{{} Y Σ 1 X T y 2 = Σ 1 X T y 2 = }{{}}{{} ortogonální vektor z σ 1 1 σ 1 z 1 2 σ 1 =... z 2 =. = z2 1 σr 1 z r σ 2 +... + z2 r 1 σr 2 σ r Elipsoid s poloosami délek σ 1,...,σ r míra deformace: σ 1 σ r speciálně: A ortogonální: 1 1 8.5 SVD a maticová norma A n n reg... σ n = min A B 2, B sing Definice 8.6 (číslo podmíněnosti). A 2 := σ 1 (A) k(a) = A A 1 speciálně k 2 (A) = A 2 A 1 2 = σ 1 σ n 1 Poznámka 8.7 (Pravidlo palce). k 2 (A) 1 p Gaussem ztratíme p desetinných míst přesnosti. Příklad 8.8. Ortogonální matice k 2 (A) = 1 Příklad 8.9. Hilbertova matice (H n ) ij = 1 i+g 1 k 2 (H 5 ) 1 5 Ax b min k 2 (H 1 ) 1 1 3 Konec 13. přednášky Reference [1] Domovská stránka předmětu na stránkách doktora Hladíka: http://kam.mff.cuni.cz/~hladik/la2 [2] Prezentace na strákách doktora Hladíka: http://kam.mff.cuni.cz/~hladik/la2/la_slides_2.pdf 29