Szymon Toruńczyk Wartości własne oraz wektory własne macierzy Niech A będzie kwadratową macierzą n n Wówczas A wyznacza przekształcenie liniowe przestrzeni R n w siebie Niech v R n będzie pewnym niezerowym wektorem oraz niech L = {t v : t R} będzie prostą wyznaczoną przez ten wektor Definicja Jeżeli przekształcenie A przekształca prostą L w siebie, to mówimy, że v jest wektorem własnym przekształcenia A Oznacza to, że A v = λ v dla pewnej liczby rzeczywistej λ, zwanej wartością własną związaną z wektorem własnym v ( 0 0 Przykład Przekształcenie A o macierzy przekształca każdy 0 0 wektor v na 0 = 0 v, a zatem każdy wektor v jest wektorym własnym macierzy A o wartości własnej 0 0 0 Przykład Przekształcenie A o macierzy 0 0 przekształca każdą 0 0 5 z osi bazowych w siebie, zatem odpowiadają one wektorom własnym Tak więc, wektory (, 0, 0, (0,, 0 oraz (0, 0, są wektorami własnymi macierzy A Odpowiadające im wartości własne to,, 5 Ale także wektor (,, 0 jest wektorem własnym o wartości własnej Przykład Obrót o kąt α jest przekształceniem o macierzy ( cos α sin α R α = sin α cos α Jeżeli α nie jest całkowitą wielokrotnością liczby π, to obrót o kąt α nie zachowuje żadnej prostej w R (bo obraca ją, więc R α nie ma (rzeczywistych wartości własnych Załóżmy, że wektor v jest wektorem własnym macierzy A o wartości własnej λ, tzn A v λ v = 0 (
Niech I będzie macierzą identycznościową, tzn taką, która ma jedynki na przekątnej i zera poza nią Wektor λ v możemy również przedstawić jako iloczyn macierzy λ I przez wektor v Macierz λ I to jest macierz mająca λ na przekątnej i zera poza nią A zatem, równanie ( można równoważnie zapisać tak: (A λ I v = 0 ( Niech A λ oznacza macierz A λ I Powstaje ona z macierzy A przez odjęcie wartości λ na przekątnej Równanie mówi, że A λ v = 0, tzn v leży w jądrze A λ Ponieważ założyliśmy, że v 0, to oznacza to, że A λ nie jest różnowartościowe, więc nie jest bijekcją Innymi słowy, stąd wynika, że det A λ = 0, tzn macierz A λ jest zdegenerowana Funkcję w A (λ = det A λ nazywa się wielomianem charakterystycznym macierzy A (faktycznie jest to wielomian Ponieważ det A λ = 0 wtedy i tylko wtedy, gdy istnieje niezerowy wektor v taki, że A λ v = 0, otrzymujemy następujący wniosek Wniosek λ jest wartością własną macierzy A wtedy i tylko wtedy, gdy det A λ = 0, czyli gdy λ jest pierwiastkiem wielomianu charakterystycznego w A Przykład 4 Dla macierzy A z drugiego przykładu, macierz A λ wynosi λ 0 0 0 λ 0 0 0 5 λ Wtedy wyznacznik macierzy A λ to ( λ( λ(5 λ A zatem, w A (λ = ( λ( λ(5 λ Pierwiastkami tego wielomianu są liczby oraz 5 A zatem, wartości własne macierzy A to oraz 5, zgodnie z obserwacją w drugim przykładzie Przykład 5 Niech R będzie macierzą obrotu o ustalony kąt α, tak jak w przykładzie Wówczas ( cos α λ sin α w R (λ = det sin α cos α λ = cos (α cos α λ + λ + sin α = cos α λ + λ
Łatwo sprawdzić, że ten wielomian kwadratowy ma rzeczywiste pierwiastki wtedy i tylko wtedy, gdy cos α = ±, czyli gdy α jest wielokrotnością π Jest to zgodne z obserwacją w przykładzie Wielomian charakterystyczny w A jest wielomianem stopnia n (gdzie n to rozmiar macierzy A Zatem może on mieć najwyżej n rzeczywistych pierwiastków Tak więc, macierz A ma najwyżej n wartości własnych Jak widać na poprzednim przykładzie, tych wartości własnych może być mniej Jednak dla niektórych macierzy, wszystkie wartości własne są rzeczywiste, tak jak widzieliśmy w przykładzie Twierdzenie Jeżeli macierz A jest symetryczna (tzn A = A T to wszystkie pierwiastki wielomianu charakterystycznego w A są rzeczywiste, tzn A ma n wartości własnych (licząc z krotnościami Przykład 6 Niech A = ( Wtedy w A (λ = ( λ Pierwiastki w A to λ = oraz λ =, zatem A ma wartości własne i Teraz możemy poszukać wektorów własnych związanych z tymi wartościami własnymi Dla λ =, istnieje wektor v 0 taki, że A λ v = 0 i on jest właśnie wektorem własnym o wartości własnej A zatem, v jest taki, że ( v = 0 Przykładowy wektor który spełnia tę zależność to wektor (, Jest on więc wektorem własnym o wartości własnej Podobnie, dla wartości własnej, wektor własny spełnia zależność ( v = 0 Takim wektorem jest na przykład wektor (, Dla k =,,, n, niech A k oznacza macierz A ograniczoną do pierwszych k kolumn oraz wierszy Następujące wa- Twierdzenie Niech A będzie macierzą symetryczną runki są równoważne v T A v > 0 dla v 0
det A k > 0 dla k =,,, n ( kryterium Sylvestera A ma dodatnie wartości własne 4 w A ma dodatnie pierwiastki Definicja Gdy symetryczna macierz A spełnia któryś z powyższych warunków, to mówimy, że A jest dodatnio określona Jeżeli A jest taka, że A jest dodatnie określona, to mówimy, że A jest ujemnie określona Następujące wa- Twierdzenie Niech A będzie macierzą symetryczną runki są równoważne A jest ujemnie określona v T A v < 0 dla v 0 ( k det A k > 0 dla k =,,, n 4 A ma ujemne wartości własne 5 w A ma ujemne pierwiastki Uwaga W punkcie powyższego kryterium pojawia się znak ( k Wynika to z tego, że jeśli B jest macierzą k k, to det( B = ( k det B Definicja Jeżeli symetryczna macierz A ma nieujemne (odpowiednio, niedodatnie wartości własne, to mówimy, że jest dodatnio półokreślona (odpowiednie, ujemnie półokreślona Uwaga Kryterium Sylvestera nie zachodzi dla macierzy półokreślonych tzn nie jest prawdą, że jeśli det A k 0 dla k =,,, n to A ma nieujemne wartości własne to A jest dodatnio półokreślona Definicja Macierz A nazywa się nieokreśloną jeżeli ma zarówno dodatnie, jak i ujemne wartości własne A zatem, A jest nieokreślona, jeśli nie jest ani dodatnio ani ujemnie półokreślona Przykład 7 A = ( 0 Wyznaczniki minorów głównych to 0 oraz, ale ta macierz nie jest dodatnio półokreślona, ponieważ jej wartości własne to + oraz i są one różnych znaków A zatem macierz A jest nieokreślona 4
Uwaga Wartości własne macierzy grają kluczową rolę w mechanice kwantowej, teorii spektralnej grafów, teorii łańcuchów Markowa, algorytmie PageRank (Google, algorytmach kwantowych, algorytmach randomizacyjnych (poprzez związki z teorią spektralną grafów, sztucznej inteligencji (np rozpoznawanie twarzy i wielu innych Tłumaczą one takie zjawiska, jak rozchodzenie się fal oraz np czyste tony (dzwięki Analiza puktów krytycznych funkcji różniczkowalnej Niech f : R n R będzie funkcją klasy C na R n Niech p będzie punktem krytycznym funkcji f : R n R, tzn gradf(p = 0, lub równoważnie, Df(p = 0 Chcemy przeanalizować zachowanie funkcji f w okolicy punktu p W tym celu badamy Hessian funkcji f w punkcie p, czyli macierz, która na pozycji (i, j ma wartość f x i x j Macierz ta oznaczać będziemy symbolem Hf(p Twierdzenie 4 Jeżeli f jest klasy C w otoczeniu punktu p, to macierz Hf(p jest symetryczna Analiza wartości własnych oraz wektorów własnych macierzy Hf(p mówi nam o zachowaniu funkcji f w okolicy punktu p Intuicyjnie, jeżeli wektor v jest wektorem własnym macierzy Hf(p o wartości własnej λ, to znaczy to, że przyrost f w kierunku v jest rzędu λ t (wyrazów rzędu t, czyli liniowych, nie ma, ponieważ p jest punktem spłaszczenia f W szczególności, jeżeli we wszystkie strony przyrost jest dodatni, tzn Hf(p ma dodatnie wartości własne, to f ma minimum lokalne w punkcie p, a jeśli Hf(p ma ujemne wartości własne, to f ma maksimum lokalne w punkcie p Jeżeli zaś Hf(p ma zarówno dodatnie jak i ujemne wartości własne, to w jednym z kierunków, f rośnie, a w drugim maleje, więc f nie ma ektremum lokalnego w p A zatem, mamy następujące twierdzenie Twierdzenie 5 (Kryterium drugiego rzędu istnienia ekstremów Załóżmy, że f : R n R jest klasy C w otoczeniu punktu p oraz, że gradf(p = 0 Wówczas: Jeżeli Hf(p jest dodatnio określona, to f ma minimum lokalne w p Jeżeli Hf(p jest ujemnie określona, to f ma maksimum lokalne w p 5
Jeżeli Hf(p jest nieokreślona, to f nie ma ekstremum lokalnego w p Przykład 8 Rozpatrzmy funkcję f : R R zadaną wzorem f(x, y = This second version of the second derivative test actually x x tells us + y quite a bit more It tells us that there is a new coordinate system defined in the vicinity of a given critical point, based on the principal axes, in which + xy + x y + f (x! f (x0 + 4 ht Hf (x0 h = f (x0 + kt Dk = f (x0 + (" k + " k + ### + "n kn This tells us, in particular, that, in the vicinity of this critical point, changes in the function will be most sensitive to changes in the direction of the eigenvector associated with the eigenvalue of largest magnitude Ma ona dwa punkty krytyczne, (, 4 oraz (5, 8, z wartościami f w tych punktach, odpowiednio, 9 oraz 7 y In conclusion, here s an unlabeled contour diagram for the function f ( x, y = x $ x + + xy + x$ y+ with Wykres 4 konturowy funkcji f wygląda tak: its two critical points, a saddle point at (, -4 with f (, -4 = 9, and a relative minimum at (5, -8 with f (5, -8 = 7 You may want to carry out the calculations above at each of the critical points to find the associated eigenvalues and principal axes and relate what you find to the shape of the contours in the vicinity of the relative minimum at (5, -8 and, in particular, which directions give maximum growth 0 - -4-6 -8-0 - 0 4 6 8 0 Exercises: For each of the following functions, find all critical points and determine, for each critical point, whether it gives a relative maximum, a relative minimum, or neither Use eigenvalue analysis to justify your answers At any minimum, determine which directions (from the critical point will produce the fastest incremental increase in the function s values per distance At any maximum, determine which directions (from the critical point will produce the Widać z wykresu, że (5, 8 jest ekstremum lokalnym a (, 4 jest punk- fastest incremental decrease in the function s values per distance tem siodłowym Potwierdzamy to analizą Hessianu f który w punkcie (x, y (Note: Despite the seemingly complicated algebra, you should be able to find all the critical points Really, I swear #: f (x, y = x + x + 4y - 4xy - 76x - 68y + 500 wynosi Hf(x, y = ( x 6 #: f (x, y, z = 4x - 4y -6x + y - z - yz + 56x -0y + z W punkcie (5, 8, Hessian wynosi wynosi ( 4 Macierz ta jest dodatnio określona (wyznaczniki minorów głównych wynoszą 4 oraz, więc są dodatnie, więc (5, 8 jest minimum lokalnym funkcji f Możemy również obliczyć, że wartości własne tej macierzy to /4(9+ 65 oraz /4(9 65, a odpowiadające im wektory własne to ( / + /4(9 + 65, oraz ( /+/4(9 65, Można stąd wywnioskować, że funkcja f najszybciej rośnie (względem punktu (5, 8 w kierunku pierwszego z tych wektorów (gdyż pierwsza wartość własna jest większa ( 0 W punkcie (, 4, Hessian wynosi B = Ta macierz nie jest ani dodatnio, ani ujemnie określona, więc pozostaje nam stwierdzić, czy jest ona nieokreślona Wartości własne macierzy B to ( ( 4 + 7 oraz 4 7 i są one różnych znaków, więc (5, 8 nie jest ekstremum lokalnym funkcji f 6
Ponadto, wektory własne macierzy B to ( / + /4( + 7, oraz ( / + /4( 7, A zatem, f najszybciej rośnie/maleje w tych kierunkach 7