Materiały wykładowe (fragmenty)

Transkrypt

1 Materiały wykładowe (fragmenty)

2 Robert Susmaga Instytut Informatyki ul. Piotrowo Poznań kontakt mail owy kontakt osobisty Centrum Wykładowe, blok informatyki, pok. 7

3 Wyłączenie odpowiedzialności Prezentowane materiały, będące dodatkiem pomocniczym do wykładów, z konieczności fragmentarycznym i niedopracowanym, naleŝy wykorzystywać z pełnąświadomością faktu, Ŝe mogą nie być pozbawione przypadkowych błędów, braków, wypaczeń i przeinaczeń :-) Autor 3

4 4

5 Rozkład EVD macierzy z zastosowaniami w przetwarzaniu i eksploracji danych a konkretniej, w metodzie PCA (analizie składowych głównych)

6 6

7 Macierze

8 Macierz -- oznaczenia Dla definiowanych poniŝej pojęć wprowadza się następujące oznaczenia: skalary: małe litery: a, b, c,..., x, y, z skalary to dowolne (pojedyncze) wartości liczbowe (np. liczby rzeczywiste, zespolone, itp.) macierze: duŝe litery pogrubione: A, B, C,..., X, Y, Z rozmiar macierzy: liczba wierszy i liczba kolumn wektory: małe litery pogrubione: a, b, c,..., x, y, z uwaga: wektory moŝna reprezentować jako macierze kolumnowe lub wierszowe, przy czym: słowo wektor lub oznaczenie a, b, c,..., x, y, z oznacza zawsze wektor kolumnowy (macierz o rozmiarach Mx), wektor wierszowy (macierz o rozmiarach xn) musi być jawnie nazywany wierszowym i jest oznaczany przez literę T w indeksie górnym: a T, b T, c T,..., x T, y T, z T

9 Macierz -- definicja Definicja macierzy: teoretycznie: funkcja rzeczywista (lub zespolona) dwóch zmiennych całkowitych, i oraz j: X:=[x ij ], i=..m, j=..n macierz rzeczywista jest szczególnym przypadkiem zespolonej praktycznie: dwuwymiarowa tablica liczb (rzeczywistych lub zespolonych) o rozmiarach MxN

10 Macierz -- definicja Macierz a skalar W pewnych kontekstach macierz przeciwstawia się skalarowi, czyli pojedynczej liczbie (rzeczywistej lub zespolonej) Nie przeczy to faktowi, Ŝe skalar moŝna traktować jako szczególny przypadek macierzy (o rozmiarach x) Podstawowa róŝnica: operacja mnoŝenia ab, gdzie a jest skalarem a B macierzą o dowolnych rozmiarach, jest dopuszczalna operacja mnoŝenia AB, gdzie A jest macierzą o rozmiarach x a B macierzą o rozmiarach mxn przy m >, nie jest dopuszczalna

11 Macierz w zapisie zadań # W algebrze macierze są często stosowane w zapisie róŝnorakich układów równań/nierówności Np. układ nierówności zapisany skalarnie: x 3x +4x 3 4 3x +x x 3 moŝe być wyraŝony w postaci macierzowej: Ax b gdzie A= x= b= x x 3 4 x W zapisie macierzowym wykorzystano macierz A oraz wektory (szczególne przypadki macierzy) x i b

12 Macierz w zapisie zadań # Zapis macierzowy (zasadniczo równowaŝny zapisowi skalarnemu) pozwala skupić uwagę na postaci samej zaleŝności (a nie rozlicznych wartościach w niej występujących) Zapis macierzowy jest szczególnie przydatny do zapisywania bardzo ogólnych praw i zaleŝności oraz przeprowadzania ogólnych przekształceń danych W praktyce najczęstsze wykorzystanie: wyprowadzanie wzorów

13 Macierz w zapisie zadań #3 Np. w teorii programowania liniowego (PL) dla pewnych zadań PL (zwanych prymalnymi) definiuje się pewne inne zadania PL, tzw. symetryczne zadania dualne Zadanie dualne definiuje się zawsze w oparciu o te same dane, które jednakŝe zmieniają swoje role: współczynniki funkcji celu zadania prymalnego stają się prawymi stronami ograniczeń zadania dualnego a współczynniki funkcji celu zadania dualnego stają się prawymi stronami ograniczeń zadania prymalnego, itd. Najlepsza metoda opisu zapis macierzowy: Prymalny: max c T x p.o. Ax b x Dualny: min b T y p.o. A T y c y

14 Macierz w zapisie zadań #4 RozwaŜmy przykładowy układ równań: x x = b x = b w którym b i b są dowolnymi parametrami Układ ten ma rozwiązanie skalarne: x =.5b x =.5b +.5b Rozwiązanie to moŝe być: łatwo sprawdzone (przez podstawienie): (.5b ) (.5b +.5b ) = b +b b = b (.5b ) = b jednak nie tak łatwo znalezione (wyprowadzone)!

15 Macierz w zapisie zadań #5 W jeszcze ogólniejszym przypadku moŝna rozwaŝyć układ: () a x +a x =b () a x +a x =b w którym a, a, a, a, b i b są dowolnymi parametrami Jego rozwiązanie skalarne moŝna wyprowadzić następująco: () a x +a x =b () a x =b a x () x =(b a x )/a =b /a a /a x

16 Macierz w zapisie zadań #6 Rozwiązanie ogólne c.d. wyliczone z () x moŝna zastosować w (): () a (b /a a /a x )+a x =b () a b /a a a /a x +a x =b () (a a a /a )x =b a b /a () x =(b a b /a )/(a a a /a )=(a b a b )/(a a a a ) co pozwala na ostateczne ustalenie wartości x : () x = (b a x )/a =b /a a /a x = = b /a a /a (a b a b )/(a a a a ) = = [(a a b a a b ) (a a b a a b )]/[(a a a a )a ]= = (a a b a a b )/[(a a a a )a ] = = (a b a b )/(a a a a )

17 Macierz w zapisie zadań #7 Rozwiązanie ogólne c.d. ostateczne rozwiązanie x = (a b a b )/(a a a a ) x = (a b a b )/(a a a a ) (załoŝenie: (a a a a ) ) MoŜna się domyślać, Ŝe w przypadku układu z większą liczbą równań/zmiennych rozwiązanie ogólne byłoby jeszcze bardziej zawiłe Wniosek: postaci skalarne nie nadają się do przedstawiania ogólnych rozwiązań układów równań właściwa droga: rozwiązania macierzowe

18 Macierz w zapisie zadań #8 Poprzedni przykład w zapisie macierzowym: a a Ax = b, gdzie A=, b= a b a Na poziomie macierzowym układ ten moŝe być łatwo przekształcony do postaci ujawniającej jego rozwiązanie b Ax = b // A (zał.: A jest nieosobliwa) A Ax = A b Ix = A b (I: macierz jednostkowa) x = A b

19 Macierz w zapisie zadań #9 W szczególnym przypadku: układ równań: x x = b x = b moŝna zapisać jako: Ax = b, gdzie A=, b= b b a jego rozwiązanie jako:. A b= = b.5b b.5b +.5b

20 Macierz -- transponowanie # Ze względu na wymienne traktowanie wierszy i kolumn macierzy jedną z podstawowych (nienumerycznych) operacji macierzowych jest tzw. transpozycja macierzy Oznaczenie: X macierz oryginalna X T macierz transponowana Definicja macierzy transponowanej: teoretycznie: gdy X:=[x ij ], i:=..m, j:=..n, to X T :=[x ji ] praktycznie: potraktowanie wierszy macierzy jako kolumn a kolumn jako wierszy (zapisanie wierszy w kolumnach a kolumn w wierszach)

21 Macierz -- transponowanie # Oczywiście dla kaŝdej macierzy X zachodzi: (X T ) T =X Natomiast zaleŝność X T =X spełniają tylko kwadratowe macierze symetryczne kwadratowa macierz X:=[x ji ], i:=..m, j:=..m jest symetryczna gdy dla kaŝdej pary i,j zachodzi x ij =x ji

22 Przykład transponowania Macierz o wymiarach 3x4: (X transponowana) (X T transponowana) X X T (X T ) T = X

23 Obroty macierzy Transponowanie nie powinno być mylone z obrotem! (podobnym lecz rzadko wykorzystywanym przekształceniem) Macierz o wymiarach 3x: X X obrócona o X obrócona o 8 X obrócona o 7 X obrócona o 36 = X

24 Podmacierze jako składowe macierzy Dowolną macierz moŝna rozłoŝyć na elementy takŝe będące macierzami (tzw. podmacierze) = A a a a A = [, ; 4, 5 ] (macierz x) a = [ 3 ; 6 ] (wektor x, kolumnowy) (a ) T = [ 7, 8 ] (wektor x, wierszowy) a = [ 9 ] (macierz x)

25 Macierz interpretacje RóŜne podejścia do interpretacji macierzy pozwalają na róŝne sposoby ich klasyfikowania tabelki liczbowe elementy algebraiczne macierze danych macierze przeksztalcajace

26 Wektor Szczególnymi przypadkami macierzy są tzw. wektory wektor kolumnowy (krótko: wektor), np.: x= 3 wektor wierszowy (powstały wskutek transponowanie wektora kolumnowego), np.: x T = 3 Rozmiar wektora: liczba jego elementów W przypadku wektorów transponowanie szczególnie przypomina obrót (choć nadal to są dwie róŝne operacje)

27 Wektory jako składowe macierzy W szczególności, dowolną macierz moŝna wyrazić w postaci zestawu kolumn względnie wierszy np. dla macierzy A 3 4 : (w ) T k k k 3 A= k 4 oraz A= (w ) T (w 3 ) T w zapisie uproszczonym: A = [ k, k, k 3, k 4 ] (przecinek dzieli na wektory kolumnowe) względnie A = [ (w ) T ; (w ) T ; (w 3 ) T ] (średnik dzieli na wektory wierszowe) Kolumny/wiersze macierzy są ogólnie nazywane liniami, macierze moŝna więc przedstawiać jako zestawy linii

28 Wektor interpretacje RóŜne podejścia do interpretacji wektorów pozwalają na róŝne sposoby ich klasyfikowania macierze nie-macierze tabelki liczbowe kolumnowe wierszowe elementy przestrzeni liniowych/afinicznych zaczepione swobodne

29 Minory jako składowe macierzy # Z dowolnej macierzy moŝna utworzyć podmacierze złoŝone z niekoniecznie kolejnych linii (czyli wierszy lub kolumn) tej macierzy W szczególności z macierzy moŝna utworzyć podmacierz złoŝoną ze: wszystkich elementów macierzy oprócz pewnego wiersza wszystkich elementów macierzy oprócz pewnej kolumny wszystkich elementów macierzy oprócz pewnego wiersza i pewnej kolumny

30 Minory jako składowe macierzy # I podobnie moŝna tworzyć podmacierze składające się jedynie z elementów leŝących na przecięciu wybranych wierszy i kolumn składające się jedynie z elementów nie leŝących w wybranych wierszach i kolumnach

31 Macierze i wektory szczególne Wektory (inaczej: wektory kolumnowe) oznaczenie: a, b,..., x, y,... wektory specjalne Macierze zerowy: = [,,..., ] T, jedynkowy: = [,,..., ] T, jednostkowy: e i = [,...,,,,..., ] T, oznaczenie: A, B,..., X, Y,... macierze specjalne zerowa: jedynkowa: E = T diagonalna: diag(s, s,..., s NN ) skalarna: S = diag(s, s,..., s) jednostkowa: I = diag(,,..., )

32 Macierz -- element przekształcający # JeŜeli pewien wektor o rozmiarze N reprezentuje punkt/obserwację przestrzeni N-wymiarowej, to wiele róŝnych operacji przekształcających ten punkt w tej przestrzeni moŝna przedstawić w postaci mnoŝenia przez pewną macierz kwadratową, np.: Przykłady: PrzemnoŜenie dowolnego wektora o rozmiarze x przez poniŝszą A x realizuje symetrię punktową (względem punktu ) PrzemnoŜenie dowolnego wektora o rozmiarze x przez poniŝszą B x realizuje obrót o kąt α (względem punktu ) A= B= cos(α) sin(α) sin(α) cos(α)

33 Macierz -- element przekształcający # Z tego punktu widzenia macierz jest elementem przekształcającym w algebrze właściwości macierzy przekształcających są badane, poniewaŝ pozwalają na ujawnienie właściwości samego przekształcenia np. dopóki wyznacznik macierzy kwadratowej A jest róŝny od zera, to przekształcenie polegające na przemnoŝeniu wektora x przez macierz A jest jednoznaczne (a więc: odwracalne) MnoŜenie wektorów N-wymiarowych przez macierze niekwadratowe przekształca je do innych wymiarów Np.: wskutek przemnoŝenia wektora N-elementowego x Nx przez macierz o rozmiarach A MxN powstaje wektor y Mx : y Mx =A MxN *x Nx

34 Macierz -- nośnik danych # Równie często jednak macierz jest nośnikiem danych Najbardziej typowe zastosowania: Statystyczna analiza danych: obserwacje w wierszach Teoria sygnałów: obserwacje w kolumnach Statystyka: Teoria sygnałów:

35 Macierz -- nośnik danych # Ma to pewne konsekwencje przy dokonywaniu operacji na tych macierzach, np.: obiekty w wierszach przetwarzamy wykonując lewostronne przemnoŝenie przez macierz przekształcającą obiekty w kolumnach przetwarzamy wykonując prawostronne przemnoŝenie przez macierz przekształcającą

36 Podstawowe operacje macierzowe Transponowanie macierzy MnoŜenie przez skalar Dodawanie macierzy MnoŜenie macierzy Odwracanie macierzy

37 (A T ) T = A Transponowanie macierzy - właściwości

38 Dodawanie macierzy - właściwości Dodawanie jest łączne A + (B + C) = (A + B) + C Dodawanie jest przemienne A + B = B + A

39 Dodawanie macierzy - właściwości Element neutralny dodawania O i jego właściwości O + A + B = A + O + B = A + B + O (łączność dodawania O) A + O = A = O + A (przemienność dodawania O) słuŝy do znajdowania macierzy przeciwnej (która zawsze istnieje!) Dodawanie macierzy transponowanych (A + B) T = A T + B T

40 MnoŜenie macierzy - właściwości MnoŜenie jest łączne A(BC) = (AB)C MnoŜenie nie jest przemienne! AB BA z tego względu mówiąc o mnoŝeniu macierzy A przez macierz B naleŝy precyzować, czy jest to mnoŝenie prawostronne: AB czy lewostronne: BA poniewaŝ wynik jest inny (poza przypadkami specjalnymi)!

41 MnoŜenie macierzy - właściwości MnoŜenie macierzy transponowanych (AB) T = B T A T (ABC) T = C T B T A T uzasadnienie: (ABC) T = ((AB)C) T = C T (AB) T = C T (B T A T ) = C T B T A T (AB Z) T = Z T B T A T

42 MnoŜenie macierzy - właściwości Element neutralny mnoŝenia I i jego właściwości przemienność mnoŝenia przez I AI = A = IA ABI = AIB = IAB macierz I słuŝy do znajdowania macierzy odwrotnej do danej (która moŝe istnieć lub nie!)

43 MnoŜenie macierzy - właściwości MnoŜenie macierzy odwrotnych (a więc nieosobliwych) (AB) = B A (ABC) = C B A uzasadnienie: (ABC) = ((AB)C) = C (AB) = C (B A ) = = C B A (AB Z) = Z B A

44 Dodawanie i mnoŝenie macierzy - właściwości MnoŜenie jest rozdzielne względem dodawania: A(B + C) = AB + AC (B + C)A = BA + CA

45 Odejmowanie macierzy Kombinacja dodawania i mnoŝenia przez skalar A B A + ( ) B wymagane jest znalezienie macierzy przeciwnej ( B) Odejmowanie nie jest przemienne A B B A zachodzi jednak: A B = B + A B A = A + B

46 Dzielenie macierzy Kombinacja mnoŝenia i odwracania macierzy A / B AB (prawostronne) A \ B A B (lewostronne) wymagane jest znalezienie macierzy odwrotnej (A, B ) czyli moŝna dzielić tylko przez macierze posiadające odwrotność! Dzielenie nie jest przemienne A / B B / A A \ B B \ A nieprzemienność mnoŝenia oznacza takŝe, Ŝe: A / B AB B A B \ A B / A BA A B A \ B

47 Podstawowe charakterystyki macierzy Co decyduje o właściwościach macierzy? choć macierz NxN jest w pełni charakteryzowana przez N liczb ją definiujących, lepszą charakterystykę macierzy otrzymuje się ustalając pewne wartości Charakterystyki macierzy mogą być róŝnorodnego typu: skalarne charakterystyką jest skalar, który charakteryzuje (pod wybranym względem) całą macierz, bez względu na jej rozmiary wektorowe charakterystyką jest wektor przestrzeniowe charakterystyką jest pewien zbiór wektorów (czyli tzw. przestrzeń)

48 Podstawowe charakterystyki macierzy # Wyznacznik definicja permutacyjna (przez rozwinięcie) pojęcie macierzy osobliwej A: istnieje x dla którego Ax= interpretacja geometryczna/fizyczna zastosowanie (macierz przekształcająca): Rząd jednoznaczność przekształcenia (znaczenie teoretyczne) definicja oparta na wyznaczniku algorytm obliczania oparty na wyznaczniku zastosowanie (macierz danych): określanie wymiarowości danych (znaczenie teoretyczne)

49 Podstawowe charakterystyki macierzy # Promień spektralny potęga macierzy definicja r = max λ i (gdzie {λ, λ,..., λ N } jest widmem macierzy) interpretacja Ślad operacje macierzowe definicja interpretacja

50 Podstawowe charakterystyki macierzy #3 Nieco inną charakterystyką macierzy jest jej tzw. widmo definicja: zbiór wartości skalarnych interpretacja

51 Podstawowe charakterystyki macierzy #4 Jeszcze innymi charakterystykami macierzy są jej charakterystyki przestrzeniowe definicje intrepretacja

52 Wyznacznik macierzy # Permutacyjna definicja wyznacznika macierzy permutacje, transpozycje, inwersje i ich właściwości

53 Niech dane będą: Wyznacznik macierzy # macierz A o rozmiarze NxN zbiór bazowy B={,,..., N} oraz zbiór jego wszystkich permutacji PP={P, P,..., P M }, gdzie M=N! Wyznacznikiem macierzy A nazywamy wyraŝenie gdzie: det( A) = P PP i ( ) inv( P ) i a a... a p p Np N wyraŝenie inv(p i ) dla P i PP oznacza liczbę inwersji permutacji P i p, p,..., p N są kolejnymi elementami permutacji P i

54 Wyznacznik macierzy # Wyznacznik jako funkcja wartości macierzy lub macierzy wyznacznik jest funkcją (całej) macierzy tak traktowany wyznacznik jest funkcją postaci: A N N gdzie A z innej strony wartość wyznacznika macierzy o rozmiarach NxN zaleŝy od N róŝnych wartości (elementów macierzy), moŝe więc być traktowany jako funkcja wszystkich elementów macierzy tak traktowany wyznacznik jest funkcją postaci: N R N N razy R R R R... R R to zbiór wszystkich macierzy o rozmiarach N N gdzie R zbiór liczb rzeczywistych

55 Wyznacznik macierzy # Wyznacznik jako funkcja linii (kolumn lub wierszy) macierzy z pewnych względów moŝliwe jest jednak podejście pośrednie: traktowanie wyznacznika jako funkcji kolumn macierzy analogicznie: jako funkcję wierszy macierzy tak traktowany wyznacznik jest funkcją postaci: N gdzie N W N N razy W W... W to zbiór N Taka interpretacja pozwala na wyjaśnienie wielu podstawowych właściwości wyznacznika R wszystkich wektorów o rozmiarze N

56 Właściwość # Wyznacznik macierzy # det([a,...,a i,...,a j,...,a N ]) = det([a,...,a j,...,a i,...,a N ]) zamiana miejscami dowolnych kolumn a i oraz a j powoduje zmianę znaku wyznacznika na przeciwny P PP i uzasadnienie: ( ) ( ) P PP i wyznacznik macierzy [a,...,a i,...,a j,...,a N ]: inv( < p,..., p,..., p i j,..., p wyznacznik macierzy [a,...,a j,...,a i,...,a N ]: inv( < p,..., p j,..., p,..., p i N N > ) > ) a... a... a... a p p wszystkie elementy sumy róŝnią się:» kolejnością mnoŝonych elementów a kl (co nie wpływa na wartość iloczynu)» kolejnością elementów p i i p j w permutacji, co skutkuje zmianą znaku wyraŝenia określającego znak iloczynu na przeciwny wniosek: znak wszystkich elementów sumy jest przeciwny ip ip i j jp a... a... a... a jp j i Np Np N N

57 Wyznacznik macierzy # Właściwość #a jeŝeli a i =a j to det([a,...,a i,...,a j,...,a N ]) = wyznacznik macierzy, w której dwie kolumny są sobie równe wynosi zero uzasadnienie: niech a i =a j oraz d :=det([a,...,a i,...,a j,...,a N ]) d :=det([a,...,a j,...,a i,...,a N ]) wtedy d =d (bo a i =a j ) i jednocześnie d = d (właściwość #) oznacza to, Ŝe d = d a więc musi być d = (czyli takŝe d =)

58 Właściwość # Wyznacznik macierzy # det([a,...,s a i,...,a N ]) = s det([a,...,a i,...,a N ]) wyznacznik macierzy, w której kolumnę a i przemnoŝono przez skalar s jest równy wyznacznikowi oryginalnej macierzy przemnoŝonemu przez s uzasadnienie: wyznacznik macierzy [a,...,s a i,...,a N ]: ( ) P PP = i i inv( < p,..., p,..., p i N > ) a... s a... a p i N s ( ) a p... aip... i P PP inv( < p,..., p,..., p > ) ip i a Np Np N N =

59 Wyznacznik macierzy # Właściwość #a jeŝeli a i =s a j to det([a,...,a i,...,a j,...,a N ]) = wyznacznik macierzy, w której kolumna a i jest proporcjonalna do kolumny a j (tzn. a i =s a j ) wynosi uzasadnienie: niech a i =s a j oraz d:=det([a,...,a i,...,a j,...,a N ]) wtedy d = s det([a,...,a j,...,a j,...,a N ]), ale det([a,...,a j,...,a j,...,a N ])= na mocy właściwości #a w rezultacie d = s =

60 Właściwość #3 Wyznacznik macierzy # jeŝeli a i =x+y to det([a,...,a i,...,a N ]) = det([a,...,x,...,a N ])+det([a,...,y,...,a N ]) wyznacznik macierzy, w której kolumna a i jest sumą wektorów x i y jest równy sumie wyznaczników powstałych z macierzy oryginalnej przez zastąpienie kolumny a i wektorem x (w jednym) i y (w drugim) uzasadnienie ( ) P PP i = Pi + P i PP PP ( ) ( ) wyznacznik macierzy [a,...,(x+y) i,...,a N ]: inv( < p inv( < p,..., p,..., p i,..., p,..., p inv( < p,..., p,..., p i i N N N > ) > ) > ) a... ( x + y )... a p ip a... x... a p p ip a... y... a ip i i i ip i Np Np N N + Np N =

61 Właściwość #4 det([a,...,,...,a N ]) = Wyznacznik macierzy # wyznacznik macierzy, w której kolumna a i jest wektorem zerowym wynosi uzasadnienie: wyznacznik macierzy [a,...,,...,a N ]: ( ) P PP i inv( < p,..., p i,..., p N > ) a p a Np N =

62 Wyznacznik macierzy # Właściwość #5 jeŝeli a i =x+s a j to det([a,...,a i,...,a j,...,a N ]) = det([a,...,x,...,a j,...,a N ]) wyznacznik macierzy, w której do kolumny a i dodano pomnoŝoną przez dowolny skalar s kolumnę a j jest równy wyznacznikowi macierzy oryginalnej uzasadnienie: niech a i =x+s a j oraz d:=det([a,...,a i,...,a j,...,a N ]) wtedy d = det([a,...,x+s a j,...,a j,...,a N ]) = = det([a,...,x,...,a j,...,a N ])+det([a,...,s a j,...,a j,...,a N ]) = = det([a,...,x,...,a j,...,a N ])+s det([a,...,a j,...,a j,...,a N ]) = = det([a,...,x,...,a j,...,a N ])+s = = det([a,...,x,...,a j,...,a N ]) (na mocy właściwości #3 i # i #a)

63 Wyznacznik macierzy # Właściwość #5a jeŝeli a i =x+s k a k +s l a l +...+s p a p to det([a,...,a i,...,a N ]) = det([a,...,x,...,a N ]) wyznacznik macierzy, w której do kolumny a i dodano kombinację liniową kolumn a k, a l,..., a p jest równy wyznacznikowi macierzy oryginalnej uzasadnienie: niech a i =x+s k a k +s l a l +...+s p a p oraz d:=det([a,...,a i,...,a N ]) wtedy d = det([a,...,x+s k a k +s l a l +...+s p a p,...,a j,...,a N ]) = = det([a,...,x,...,,a N ])+s k det([a,...,s a k,...,a k,...,a N ])+ +s l det([a,...,s a l,...,a l,...,a N ])+...+s p det([a,...,s a p,...,a p,...,a N ]) = = det([a,...,x,...,,a N ])+s k +s l +...+s p = = det([a,...,x,...,,a N ]) (na mocy właściwości #5)

64 Wyznacznik macierzy # Właściwość #6 jeŝeli a i =s k a k +s l a l +...+s p a p to det([a,...,a i,...,a N ]) = wyznacznik macierzy, w której do kolumna a i jest kombinacją liniową kolumn a k, a l,..., a p jest równy uzasadnienie: niech a i =s k a k +s l a l +...+s p a p oraz d:=det([a,...,a i,...,a N ]) wtedy d = det([a,...,s k a k +s l a l +...+s p a p,...,a j,...,a N ]) = det([a,...,+s k a k +s l a l +...+s p a p,...,a j,...,a N ]) = = det([a,...,,...,,a N ])+s k det([a,...,s a k,...,a k,...,a N ])+ +s l det([a,...,s a l,...,a l,...,a N ])+...+s p det([a,...,s a p,...,a p,...,a N ]) = = +s k +s l +...+s p = = (na mocy właściwości #5a i #4)

65 Właściwość #7 det(a) = det(a T ) Wyznacznik macierzy # wyznacznik macierzy transponowanej jest równy wyznacznikowi macierzy oryginalnej P PP i uzasadnienie: ( ) wyznacznik macierzy A inv( < p,..., p,..., p i wyznacznik macierzy A T j,..., p N > ) a... a... a... a p inv q q j qi qn ( ( <,...,,...,,..., > ) ) q P PP i... aq ji... aqi j drugie wyraŝenia tworzy się z pierwszych dokonując transpozycji elementów a ij w taki sposób, aby drugie wskaźniki utworzyły permutację <,,..., N>, wtedy wskaźniki pierwsze utworzą permutację odwrotną do początkowej permutacji wskaźników pierwszych» poniewaŝ wskaźniki drugie ulegają przekształceniu z permutacji f na permutację P, to jednocześnie permutacja P ulega przekształceniu na f poniewaŝ dla kaŝdej permutacji f zachodzi inv(f)=inv(f ) to wartości wyraŝeń definiujących znaki składników sumy pozostaną takie same ip i jp a... a j q Np N N N

66 Przekształcenia wektorowe # MnoŜenie wektora przez wektor MnoŜenie wektora przez wektor jest najprostszą multiplikatywną operacją macierzową Istnieją dwie (róŝne od siebie) wersje takiego przekształcenia Tzw. iloczyn skalarny wektorów Tzw. iloczyn macierzowy wektorów (na początku -- iloczyn skalarny)

67 Przekształcenia wektorowe # Iloczyn skalarny wektorów: (oznaczenie: a,x ) Dopuszczalne jest jedynie mnoŝenie wektorów o tej samej liczbie elementów Bez względu na ich rozmiar wynik mnoŝenia wektora przez wektor jest pojedynczą liczbą (skalarem) Formalnie, iloczyn skalarny s moŝe powstać tylko z przemnoŝenia wektora wierszowego przez kolumnowy: x a x = a x + a x +a 3 x 3 =: s a a 3 x x 3

68 Przekształcenia macierzowe # MnoŜenie macierzy przez wektor jako złoŝenie iloczynów skalarnych Jednym z najczęściej rozwaŝanych przekształceń macierzowych w algebrze jest mnoŝenie macierzy przez wektor macierz -- element przekształcający wektor -- element danych Aby operacja ta była dopuszczalna, macierz A traktuje się jako zbiór wektorów wierszowych a it, które mnoŝy się przez dany wektor (kolumnowy) x a T a T x x = a T x a T x

69 Przekształcenia macierzowe # Gdy dane podlegające przekształcaniu zebrane są w macierzy to mnoŝeniu podlegają całe macierze Operacja mnoŝenia macierzy przez macierz odzwierciedla jednak sytuację, w której zarówno macierz danych jak i macierz przekształcającą traktuje się jak zbiór wektorów (kolumnowych względnie wierszowych) Wynikiem takiej operacji jest macierz odpowiednich iloczynów skalarnych a T a T a T x a T x a T x 3 x x x 3 a T x a T x a T x 3 x =

70 Lewostronne i prawostronne mnoŝenie macierzy RóŜnice w mnoŝeniu lewostronnym/prawostronnym mogą być wykorzystane przy dokonywaniu mnoŝenia przez macierze diagonalne o specjalnym przeznaczeniu: lewostronne: przemnaŝa wiersze x = = prawostronne: przemnaŝa kolumny x = =

71 Przekształcenia macierzami diagonalnymi # Lewo- i prawostronne mnoŝenie przez macierz diagonalną postaci diag(s, s,..., s) ma taki sam rezultat jak mnoŝenie przez skalar s diag(s, s,..., s) A = s A x = = A diag(s, s,..., s) = A s x = =

72 Przekształcenia macierzami diagonalnymi # Podnoszenie macierzy diagonalnej do potęgi sprowadza się do podnoszenia do potęgi diagonalnych elementów tej macierzy (diag(s, s,..., s NN )) = diag((s ), (s ),..., (s NN ) ) x = = w ogólności (diag(s, s,..., s NN )) p = diag((s ) p, (s ) p,..., (s NN ) p )

73 Układy równań

74 Rozwiązania układów równań liniowych # Rząd macierzy A MxN : rank(a) Definicja maksymalna liczba linii macierzy, które są niezaleŝne liniowo Rząd moŝna traktować traktować jako: liczbę wierszy macierzy, które są niezaleŝne liniowo liczbę kolumn macierzy, które są niezaleŝne liniowo Prawo symetrii rzędu liczba niezaleŝnych wierszy = liczbie niezaleŝnych kolumn dlatego dla kaŝdej macierzy A: rząd = rząd kolumnowy = rząd wierszowy 74

75 Rozwiązania układów równań liniowych # Podstawowe cechy rzędu macierzy: rząd macierzy o wymiarach MxN jest liczbą całkowitą z przedziału <,min(m,n)> rząd macierzy jest równy R gdy maksymalny minor o wyznaczniku niezerowym ma rozmiar RxR JeŜeli: rank(a)=min(m,n), to A nazywamy macierzą pełnego rzędu rank(a)<min(m,n), to A nazywamy macierzą niepełnego rzędu 75

76 Wyznacznik a rząd macierzy Rząd wierszowy a kolumnowy maksymalna liczba niezaleŝnych wierszy: 4 (bo istnieją 4 kolumny) 7 maksymalna liczba niezaleŝnych kolumn: 3 (bo istnieją 3 wiersze)

77 Wyznacznik a rząd macierzy Rząd a wyznacznik macierzy A N N rank(a)=n det(a) 77

78 Rozwiązania układów równań liniowych # Twierdzenie Kronecker a-capelli ego Twierdzenie nie zajmuje się rozwiązywaniem układów, zamiast tego podaje warunki istnienia i jednoznaczności ich rozwiązań Niech dana będzie macierz A MxN i wektor b Mx jeŝeli rank(a)<rank([ A b ]) to układ Ax=b jest sprzeczny jeŝeli rank(a)=rank([ A b ]) to układ Ax=b jest niesprzeczny, przy czym jeŝeli rank(a)=rank([ A b ])=N to układ jest oznaczony jeŝeli rank(a)=rank([ A b ])<N to układ jest nieoznaczony, a jego rozwiązanie wykorzystuje N rank(a) róŝnych parametrów 78

79 Rozwiązania układów równań liniowych # Do samego rozwiązywania układów moŝna zastosować dowolne metody, np.: metodę Cramer a metodę eliminacji Gaussa metodę iteracyjną itp. 79

80 Rozwiązania układów równań liniowych # Metoda Cramer a Bardzo popularna, szkolna metoda rozwiązywania układów równań liniowych Niech dana będzie macierz A MxM i wektor b Mx jeŝeli rank(a)=m to układ Ax=b jest układem Cramer a (bo wtedy det(a) ) układ Cramer a jest układem oznaczonym a jego rozwiązaniem jest wektor x=[ x,..., x M ] T, gdzie: x i = det(a ai b ) / det(a) przy czym A ai b jest macierzą zdefiniowaną jako macierz A, w której kolumnę i-tą zastąpiono wektorem b rozwiązanie takie zawsze istnieje (poniewaŝ det(a) ) Metoda ta jest uŝyteczna jedynie dla układów charakteryzujących się niewielkimi macierzami A 8

81 Rozwiązania układów równań liniowych # Metody eliminacyjne Przykłady: metoda Gaussa, metoda Gaussa Jordana Polegają na przekształcaniu równań za pomocą operacji elementarnych na macierzy [A b] definicja operacji elementarnej: operacja, która nie zmienia rozwiązania układu równań rodzaje operacji elementarnych: OE#: dodanie do pewnego wiersza macierzy [A b] innego wiersza tej macierzy przemnoŝonego przez dowolny skalar OE#: przemnoŝenie wiersza macierzy [A b] przez skalar róŝny od zera OE#3: zamiana miejscami dwu wierszy macierzy [A b] 8

82 Rozwiązania układów równań liniowych # Metody eliminacyjne Plusy duŝa szybkość (często wystarcza kilka iteracji) Minusy rozwiązane jest z definicji przybliŝone moŝliwy brak zbieŝności (nawet gdy rozwiązanie istnieje) Przypadki szczególne: układ nieoznaczony układ sprzeczny 8

83 Rozwiązania układów równań liniowych # Metoda Gaussa Bardzo popularna i skuteczna metoda rozwiązywania układów równań liniowych Metoda wymaga dwóch faz: faza I: wykorzystanie operacji elementarnych do wyzerowania wartości pod przekątną faza II: ustalanie wartości zmiennych 83

84 Rozwiązania układów równań liniowych # Metoda Gaussa przykład () x x = () x +x =4 faza I: zerowania elementów pod przekątną OE#: dodanie do równania () równania () pomnoŝonego przez () x x = () x +x =4 koniec fazy I (wszystkie elementy pod przekątną są zerowe) faza II: ustalanie wartości zmiennych () x +x =4 x =4 x = () x x = x = x = x = 84

85 Rozwiązania układów równań liniowych # Metoda Gaussa Jordana Popularna i niemal równie skuteczna metoda rozwiązywania układów równań liniowych Polega na przekształcaniu równań za pomocą operacji elementarnych na macierzy [ A b ] Metoda polega na wykorzystaniu operacji elementarnych do wyzerowania wartości nad i pod przekątną i wyjedynkowania wartości na przekątnej 85

86 Rozwiązania układów równań liniowych # Metoda Gaussa Jordana przykład () x x = () x +x =4 OE#: dodanie do równania () równania () pomnoŝonego przez () x x = () x +x =4 OE#: dodanie do równania () równania () pomnoŝonego przez / () x +x = () x +x =4 OE# i OE#: przemnoŝenie równania () przez / i przemnoŝenie równania () przez / () x +x = x = () x +x = x = 86

87 Rozwiązania układów równań liniowych # Rozwiązania układów jednorodnych Układem jednorodnym nazywa się układ Ax= kaŝdy układ jednorodny posiada co najmniej jedno rozwiązanie rozwiązaniem jednorodnego układu równań x=, czyli tzw. rozwiązanie zerowe x= jest rozwiązaniem, poniewaŝ dla kaŝdej macierzy A zachodzi A= Zachodzi pytanie, czy oprócz rozwiązania zerowego układ jednorodny posiada inne rozwiązania? odpowiedź dla macierzy kwadratowych A MxM warunkiem koniecznym i dostatecznym na to, aby układ jednorodny miał rozwiązania niezerowe jest det(a)= odpowiedź dla dowolnych macierzy A MxN warunkiem koniecznym i dostatecznym na to, aby układ jednorodny miał rozwiązania niezerowe jest rank(a)<n 87

88 Rozwiązania układów równań liniowych # Przykład układu sprzecznego x x = x x = Przykład układu oznaczonego x x = x +x =4 Przykład układu nieoznaczonego x x =3 x x =3 88

89 Rozwiązania układów równań liniowych # Parametryczne rozwiązania układów równań Jak wiadomo, pomiędzy oznaczonymi a nieoznaczonymi układami równań występują podobieństwa: oba układy mają rozwiązania róŝnice: liczba rozwiązań układów oznaczonych jest skończona a układów nieoznaczonych jest nieskończona W czym przejawiają się róŝnice podczas rozwiązywania układów równań oznaczonych a nieoznaczonych? 89

90 Rozwiązania układów równań liniowych # Przykład: algebraiczne rozwiązanie układu oznaczonego () x x = () x +x =4 z () wynika, Ŝe: () x =4 x co po podstawieniu do () daje: () x (4 x )= x 4+x = 4x 4= x = ostatecznie otrzymujemy: () x =4 x x =4 x = rozwiązanie x = x = 9

91 Rozwiązania układów równań liniowych # Przykład: algebraiczne rozwiązanie układu nieoznaczonego () x x =3 () x x =3 z () wynika, Ŝe: () x =x 3 co po podstawieniu do () daje: () x (x 3)=3 x x +3=3 3=3 wskutek wyzerowania się współczynnika przy zmiennej x otrzymujemy równanie, które jest zawsze prawdziwe (3=3) oznacza to, Ŝe równanie to będzie prawdziwe bez względu na wartość zmiennej x 9

92 Rozwiązania układów równań liniowych # Przykład: algebraiczne rozwiązanie układu nieoznaczonego c.d.: ostatecznie otrzymujemy wniosek, Ŝe dowolna wartość zmiennej x jest elementem prawidłowego rozwiązania tego układu poniewaŝ jednak rozwiązaniem układu jest wektor dwóch liczb [x, x ] (a nie jedna liczba x ) powstaje pytanie: czy rozwiązaniem układu jest dowolny wektor [x, x ]? odpowiedź: nie! Np. wektor [ 5] nie jest rozwiązaniem, poniewaŝ: () 5 3 () 5 3 A jednak rozwiązania układu istnieją! Np. wektor [5 7] jest rozwiązaniem, poniewaŝ: () 5 7=3 () 5 7=3 9

93 Rozwiązania układów równań liniowych # Powstaje pytanie: jak zapisywać rozwiązania układów, w których pewne wartości mogą być dowolne ale inne nie? i dodatkowo: jak określać wartości tych innych zmiennych? Odpowiedź: rozwiązania parametryczne rozwiązań parametrycznych jest nieskończenie wiele jednak wskutek zaleŝności zachodzących pomiędzy zmiennymi nie kaŝdy wektor jest rozwiązaniem takiego układu rozwiązaniem jest tylko taki wektor, którego elementy spełniają odpowiednie zaleŝności specyfiką parametrycznego rozwiązywania układów równań jest zapisywanie zaleŝności, które muszą być spełniane przez elementy rozwiązania 93

94 Rozwiązania układów równań liniowych # Idea: usunięcie równań zaleŝnych poniewaŝ poniŝszy układ dwu równań liniowych zawiera w rzeczywistości jedno równanie (ale powtórzone dwa razy) naleŝy z niego usunąć wszystkie zbędne równania powstaje jedno równanie z dwoma niewiadomymi x x =3 W rezultacie jego przekształcenia otrzymujemy zaleŝność na x : x =x 3 zaleŝność na x : x =3/+/x (obie te zaleŝności wyraŝa oryginalne równanie) x x =3 94

95 Rozwiązania układów równań liniowych # Rozwiązania parametryczne układu: jedno równanie z dwoma niewiadomymi: x x =3 wiedząc, Ŝe w postaci x =x 3 tylko na x nałoŝona jest zaleŝność (a x jest niezaleŝne), pod x moŝemy podstawić dowolną wartość wartość tę oznaczamy przez α, co daje: x =α (x zaleŝy tylko od parametru) wtedy: x =x 3=α 3 ostateczne rozwiązanie jest więc wektorem postaci: [α, α 3] T gdzie α jest dowolną wartością rzeczywistą 95

96 Rozwiązania układów równań liniowych # Sprawdzenie rozwiązania: oczywiście istnieje nieskończenie wiele takich wektorów: przy czym kaŝdy jest rozwiązaniem, np.: dla α=: [, ] T dla α=5: [5, 7] T itd. jako rozwiązanie kaŝdy z nich spełnia wyjściowe równanie: ( )=3 5 7=3 itd. rozwiązanie moŝna zweryfikować takŝe w postaci parametrycznej: α (α 3)= α α+3=3 96

97 Rozwiązania układów równań liniowych # Oczywiście rozwiązanie parametryczne moŝna takŝe utworzyć wychodząc od zaleŝności: x =3/+/x wtedy pod x moŝemy podstawić dowolną wartość wartość tę oznaczamy przez β, co daje: x =α wtedy: x =3/+/x =3/+/α ostateczne rozwiązanie jest więc wektorem postaci: [3/+/α, α] T gdzie α jest dowolną wartością rzeczywistą 97

98 Rozwiązania układów równań liniowych # Pomimo róŝnic postaci wektory [α, α 3] T oraz [3/+/α, α] T reprezentują to samo rozwiązanie dla α= otrzymujemy [, ] T dla α=7 otrzymujemy [5, 7] T itd. Uwaga: pomimo faktu, Ŝe istnieją dwie róŝne postaci rozwiązania parametrycznego, normalne rozwiązanie układu równań nieoznaczonych wymaga znalezienia tylko jednego (dowolnego) z nich rozwiązując moŝna przekształcać dowolne równania (i w dowolnej kolejności) 98

99 Rozwiązania układów równań liniowych # PowyŜszy przykład dotyczył jedynie dwóch równań, metoda rozwiązywania parametrycznego moŝe być jednak zastosowana do rozwiązywania dowolnych układów nieoznaczonych O istnieniu i jednoznaczności rozwiązań układów równań decyduje twierdzenie Kronecker a-capelli ego dla danej macierzy A MxN i wektora b Mx jeŝeli rank(a)<rank([ A b ]) to układ Ax=b jest sprzeczny brak rozwiązań układu jeŝeli rank(a)=rank([ A b ])=N to układ jest oznaczony istnieje jedno rozwiązanie tego układu jeŝeli rank(a)=rank([ A b ])<N to układ jest nieoznaczony istnieje nieskończenie wiele rozwiązań tego układu rozwiązania te wykorzystują N rank(a) róŝnych parametrów 99

100 Rozwiązania układów równań liniowych # Drugi przykład: algebraiczne rozwiązanie układu nieoznaczonego () x x +3x 3 =5 () x +x 5x 3 =7 z () wynika, Ŝe: x =5+x 3x 3 co po podstawieniu do () daje: () (5+x 3x 3 )+x 5x 3 =7 +x 6x 3 +x 5x 3 =7 3x x 3 = 3 x = +/3x 3 powstałe równania wskazują, Ŝe: x zaleŝy od x i x 3 x zaleŝy od x 3 x 3 jest niezaleŝna (zostanie uzaleŝniona tylko od parametru)

101 Rozwiązania układów równań liniowych # Drugi przykład: algebraiczne rozwiązanie układu nieoznaczonego c.d.: x 3 =α x = +/3α x =5+( +/3α) 3α=5 +/3α 3α=4+/3α 9/3α=4+/3α rozwiązaniem jest wektor postaci: [4+/3α, +/3α, α] T gdzie α jest dowolną wartością rzeczywistą Konkretne rozwiązania: dla α=3: [6,, 3] T dla α=: [4,, ] T itd.

102 Rozwiązania układów równań liniowych # Trzeci przykład: algebraiczne rozwiązanie układu nieoznaczonego () x +x +x 3 +3x 4 = () x +x 5x 3 x 4 = z () wynika, Ŝe: x = x x 3 3x 4 co po podstawieniu do () daje: () ( x x 3 3x 4 )+x 5x 3 x 4 = x 6x 3 4x 4 = x = 3x 3 x 4 powstałe równania wskazują, Ŝe: x zaleŝy od x, x 3 i x 3 x zaleŝy od x 3 i x 3 x 3 i x 4 są niezaleŝne (zostaną uzaleŝniona od parametrów)

103 Rozwiązania układów równań liniowych # Trzeci przykład: algebraiczne rozwiązanie układu nieoznaczonego c.d.: x 4 =α x 3 =β x = α 3β x = x x 3 3x 4 =++6β+4α β 3α=+α+5β rozwiązaniem jest wektor postaci: [+α+5β, α 3β, β, α] T gdzie α i β są dowolnymi wartościami rzeczywistymi Konkretne rozwiązania: dla α=, β=5: [38, 8, 5, ] T dla α=, β= : [4,,, ] T itd. 3

104 Interpretacje geometryczne równań liniowych # Geometryczna interpretacja rozwiązania układu równań jako punkt wspólny hiperpłaszczyzn: tzw. przestrzeń rozwiązań jako kombinacja wektorów: tzw. przestrzeń Ŝądań 4

105 Interpretacje geometryczne równań liniowych # Dany jest układ oznaczony równań: x x = x +x =4 którego rozwiązaniem jest wektor: [,] T dwa równania / dwie zmienne Jaka jest interpretacja geometryczna tego układu oraz jego rozwiązania? 5

106 Interpretacje geometryczne równań liniowych #3 Aby przedstawić wymagane interpretacje, układ równań warto zapisać w postaci macierzowej: Ax=b, gdzie: A= b= 4 6

107 Interpretacje geometryczne równań liniowych #4 Interpretacja rozwiązania w przestrzeni rozwiązań postać macierzowa układu równań: x x = 4 Po podziale macierzy A=[w ; w ] na wiersze interpretujemy je jako równania opisujące proste (prawe strony równań powstają z podzielonego na wiersze wektora b: b=[b ; b ]) równanie: (w ) T x=b, czyli x x = równanie: (w ) T x=b, czyli x +x =4 równania reprezentują hiperpłaszczyzny (które w tym przypadku mają postać prostych) 7

108 Interpretacje geometryczne równań liniowych #5 Interpretacja geometryczna równania: x x = wektory spełniające to równanie są elementami prostej P x 4 x 8

109 Interpretacje geometryczne równań liniowych #6 Interpretacja geometryczna równania: x +x =4 wektory spełniające to równanie są elementami prostej P x 4 x 9

110 Interpretacje geometryczne równań liniowych #7 Interpretacja geometryczna rozwiązania: rozwiązaniem są wektory będące elementami obu prostych (w tym przypadku jest to tylko jeden wektor: [, ] T ) x 4 [, ] T x

111 Interpretacje geometryczne równań liniowych #8 Interpretacja rozwiązania w przestrzeni Ŝądań postać macierzowa układu równań: x x = 4 Po podziale macierzy A=[k, k ] na kolumny interpretujemy je jako elementy kombinacji liniowej, której współczynnikami są zmienne x j (a wynikiem wektor b) x + x = 4 w kombinacji występują wektory (które w tym przypadku mają postać punktów na płaszczyźnie)

112 Interpretacje geometryczne równań liniowych #9 Interpretacja geometryczna wektora k : [, ] T x 4 x

113 Interpretacje geometryczne równań liniowych # Interpretacja geometryczna wektora k : [, ] T x 4 x 3

114 Interpretacje geometryczne równań liniowych # Interpretacja geometryczna wektora b: [, 4] T x 4 x 4

115 Interpretacje geometryczne równań liniowych # Interpretacja geometryczna rozwiązania: rozwiązaniem jest kombinacja liniowa o współczynnikach x = oraz x = (poniewaŝ wektor b moŝna wyrazić jako k +k ) x 4 k (po przesunięciu) k x 5

116 Interpretacje geometryczne równań liniowych #3 Interpretacja geometryczna rozwiązania c.d.: oczywiście takŝe b=k +k (w obu przypadkach wektor k jest mnoŝony przez współczynnik a wektor k przez współczynnik ) x k 4 k x 6

117 Interpretacje geometryczne równań liniowych #4 Dalszy przykład: sprzeczny układ równań: x x = x x = (układ ten nie ma rozwiązania) dwa równania / dwie zmienne Jaka jest interpretacja geometryczna braku rozwiązania tego układu w przestrzeni rozwiązań/ŝądań? 7

118 Interpretacje geometryczne równań liniowych #5 Interpretacja w przestrzeni rozwiązań: brak punktu, w którym proste P i P przecinałyby się (co wynika z faktu, Ŝe proste te są równolegle) x 4 x 8

119 Interpretacje geometryczne równań liniowych #6 Interpretacja w przestrzeni Ŝądań: brak kombinacji wektorów k oraz k, której wynikiem byłby b (co wynika z faktu, Ŝe k i k są zaleŝne, a b od nich niezaleŝny) x 4 x 9

120 Interpretacje geometryczne równań liniowych #7 Dalszy przykład: nieoznaczony układ równań: x x =3 x x =3 (układ ten ma nieskończenie wiele rozwiązań) dwa równania / dwie zmienne Jaka jest interpretacja geometryczna nieskończonej liczby rozwiązań tego układu w przestrzeni rozwiązań/ŝądań?

121 Interpretacje geometryczne równań liniowych #8 Interpretacja w przestrzeni rozwiązań: proste P i P pokrywają się (co wynika z faktu, Ŝe kaŝda z nich jest opisana tym samym równaniem) x 4 x

122 Interpretacje geometryczne równań liniowych #9 Interpretacja w przestrzeni Ŝądań: wiele róŝnych kombinacji wektorów k i k daje w wyniku wektor b (co wynika z faktu, Ŝe k, k i b są zaleŝne) x 4 k x

123 Interpretacje geometryczne równań liniowych # Charakterystyka interpretacji geometrycznej układu równań A MxN x Nx =b Mx w przestrzeni rozwiązań macierz A oraz wektor b są dzielone na wiersze kaŝdy wiersz macierzy A z odpowiednim elementem wektora b tworzy równanie jednej hiperpłaszczyzny rozwiązaniem układu równań jest punkt wspólny wszystkich hiperpłaszczyzn liczba hiperpłaszczyzn: M wymiarów przestrzeni, w której opisane są hiperpłaszczyzny: N 3

124 Interpretacje geometryczne równań liniowych # Układ sprzeczny, oznaczony i nieoznaczony w przestrzeni rozwiązań układ sprzeczny ( rozwiązań) nie istnieje punkt wspólny wszystkich hiperpłaszczyzn pewne hiperpłaszczyzny się nie przecinają (są równoległe) lub przecięcia róŝnych hiperpłaszczyzn zachodzą w róŝnych punktach układ oznaczony ( rozwiązanie) istnieje punkt wspólny wszystkich hiperpłaszczyzn wszystkie hiperpłaszczyzny przecinają się w jednym punkcie układ nieoznaczony ( rozwiązań): istnieje nieskończenie wiele punktów wspólnych wszystkich hiperpłaszczyzn wszystkie hiperpłaszczyzny się pokrywają 4

125 Interpretacje geometryczne równań liniowych # Charakterystyka interpretacji geometrycznej układu równań A MxN x Nx =b Mx w przestrzeni Ŝądań macierz A jest dzielona na kolumny, wektor wektor b stanowi dodatkowa kolumnę kolumny macierzy A stają się elementami kombinacji liniowej rozwiązanie układu polega na znalezieniu współczynników kombinacji liniowej liczba wektorów po lewej stronie kombinacji liniowej: N wymiarów przestrzeni, w której opisane są wektory: M 5

126 Interpretacje geometryczne równań liniowych #3 Układ sprzeczny, oznaczony i nieoznaczony w przestrzeni Ŝądań układ sprzeczny ( rozwiązań) nie istnieją współczynniki, które utworzyłyby wektor b jako kombinację liniową danych wektorów (kolumn macierzy A) wektor b nie leŝy w przestrzeni rozpinanej przez kolumny macierzy A (b jest niezaleŝny od kolumn macierzy A) układ oznaczony ( rozwiązanie) istnieje jednoznaczna kombinacja współczynników wyraŝających wektor b jako kombinację liniową kolumn macierzy A kolumny macierzy A są niezaleŝne ale wektor b jest od nich zaleŝny układ nieoznaczony ( rozwiązań): istnieją róŝne jednoznaczne kombinacje współczynników wyraŝających wektor b jako kombinację liniową kolumn macierzy A kolumny macierzy A są zaleŝne i wektor b jest od nich zaleŝny 6

127 7

128 Analiza spektralna

129 Wyznacznik macierzy -- podsumowanie # Tzw. wyznacznik macierzy jest jednym z wielu charakterystyk skalarnych opisujących macierze inne charakterystyki skalarne: rząd macierzy, ślad macierzy Wyznacznik dotyczy tylko macierzy kwadratowych Oznaczenie: det(a) lub A

130 Wyznacznik macierzy -- podsumowanie # Z pewnych względów wyznacznik ma znaczenie kluczowe, szczególnie gdy dotyczy macierzy przekształcających powód: moŝna na jego podstawie wywnioskować, czy przekształcenie jest odwracalne (tak, gdy det(a) ) łatwa interpretacja geometryczna (pole figury przekształconej) teoretycznie odpowiedź na to pytanie jest prosta: albo det(a)= albo det(a) w praktyce jednak problem ten jest bardziej złoŝony (ze względu na niedokładności numeryczne) dodatkowo jednak: istnieją macierze nieosobliwe, które posiadają dowolnie małe wyznaczniki, np. macierz ε I, gdzie ε jest małą liczbą do określenia praktycznej moŝliwości znalezienia macierzy odwrotnej do A stosuje się inne współczynniki charakteryzujące macierz A (np. cond(a))

131 Wyznacznik a odwracalność operacji W wyidealizowanym przypadku do ustalania, czy macierz posiada odwrotność moŝna posługiwać się wyznacznikiem tej macierzy Gdy det(a) to operacja Ax jest odwracalna, co oznacza, Ŝe na podstawie y moŝna odtworzyć takie x, Ŝe: y=ax Przekształcenie odwrotne realizuje się jako mnoŝenie przez macierz A, czyli macierz odwrotną do A Definicja macierzy odwrotnej: AA =I= A A

132 Idea kontroli wartości wyznacznika ZałóŜmy, Ŝe wyznacznik pewnej macierzy jest róŝny od zera, ale bliski zeru (i wynosi np..) Jakie cechy elementów tej macierzy decydują o tym, Ŝe tak jest? Jak krótko scharakteryzować wartość wyznacznika macierzy w kategoriach wartości jej elementów? Co łączy elementy macierzy oraz wartość jej wyznacznika (oprócz definicji, która jednak jest na tyle skomplikowana, Ŝe trudno o jej interpretację w tych kategoriach)? Jakie przekształcenie elementów macierzy doprowadzi jej wyznacznik do wartości zero (oprócz trywialnego przemnoŝenia przez zero)? Powstaje pytanie: jak skutecznie kontrolować wartość wyznacznika macierzy?

133 Kontrola wartości wyznacznika # Doprowadzenie wyznacznika do zera: Metody inwazyjne Wyzerowanie dowolnej linii macierzy (przemnoŝenie przez ) Wstawienie dowolnej linii macierzy w miejsce innej (skopiowanie) Metody nieinwazyjne Znalezienie takiego przekształcenia (znalezienie, ale nie wykonywanie go!), które przekształci i-tą linię macierzy w j-tą linię tej macierzy W wyniku takiej operacji otrzymujemy przekształcenie, które definiuje relację pomiędzy macierzami -- powstałe relacje moŝna by poddawać systematycznym badaniom Problem: które linie wybrać? (numery linii mogłyby być parametrami, ale to generowałoby nadmierną liczbę parametrów) Podstawowe problemy powyŝszych metod: Jakie linie kontrolować? (wiersze/kolumny?) Które z nich poddawać przekształceniom?

134 Kontrola wartości wyznacznika # Problem kontroli linii macierzy ma pewne rozwiązanie szczególne, które zostało wybrane z wielu potencjalnie moŝliwych i leŝy u podstaw tzw. analizy spektralnej macierzy: Pytanie: Jakie linie kontrolować? (wiersze/kolumny?) Odpowiedź: Zarówno wiersze, jak i kolumny Pytanie: Które wiersze/kolumny poddawać przekształceniom? Odpowiedź: Wszystkie

135 Kontrola wartości wyznacznika # Dalsze pytania i odpowiedzi przedstawiają się następująco: Pytanie: Jak kontrolować elementy macierzy? MnoŜyć/dzielić przez pewien parametr? Dodawać/odejmować parametr? Odpowiedź: Przez odjęcie parametru od wartości elementu Pytanie: Ile parametrów zastosować do kontrolowania macierzy o rozmiarach NxN? (min: parametr, max: N parametrów) Odpowiedź: Zastosować minimalną liczbę parametrów, która umoŝliwia kontrolowanie kaŝdego wiersza i kaŝdej kolumny Pytanie: Od których elementów macierzy odjąć parametr? Odpowiedź: Od wszystkich elementów głównej przekątnej macierzy. Pozwala to na kontrolowanie (jednego) elementu w kaŝdym wierszu i kaŝdej kolumnie

136 Parametryzacja macierzy Ilustracja parametryzacji macierzy A=[a ij ], i=..4, j=..4 a λ a a 3 a 4 a a λ a 3 a 4 a 3 a 3 a 33 λ a 34 a 4 a 4 a 43 a 44 λ

137 Macierz charakterystyczna Sparametryzowaną wersję macierzy A moŝna zapisać w postaci wyraŝenia macierzowego: A Iλ Macierz A Iλ ta nosi nazwę macierzy charakterystycznej macierzy A Macierz charakterystyczna jest takŝe macierzą kwadratową, moŝliwe jest więc zdefiniowanie wyznacznika tej macierzy: det(a Iλ) PoniewaŜ macierz charakterystyczna jest zaleŝna od parametru λ, sprawdzenie, czy jej wyznacznik jest równy zero jest moŝliwe dopiero po przypisaniu konkretnej wartości parametrowi λ MoŜliwe jest takŝe inne postępowanie: ustalenie takiej wartości parametru λ, dla której wyznacznik macierzy jest równy zero

138 Równanie charakterystyczne ZaleŜne od λ równanie det(a Iλ)= nazywa się równaniem charakterystycznym macierzy A Dla macierzy o rozmiarach NxN lewa strona tego równania jest wielomianem stopnia N (co wynika z metody obliczania wyznacznika macierzy) Rozwiązaniem tego równania jest N (niekoniecznie róŝnych od siebie) wartości (w ogólnosci) zespolonych

139 Wartości własne macierzy Rozwiązania równania charakterystycznego macierzy nazywane są wartościami własnymi tej macierzy niem. eigenwert ang. eigenvalue (z niem.) Zbiór wartości własnych macierzy nazywa się widmem tej macierzy (inna nazwa: spektrum macierzy) Wartości własne informują jednoznacznie o tym, co naleŝy odjąć od przekątnej macierzy, aby doprowadzić jej wyznacznik do zera

140 Wartości własne -- przykład -- obliczenia Obliczyć wartości własne następującej macierzy A= Macierz charakterystyczna A-Iλ= Wielomian charakterystyczny (po zastosowaniu wzoru na wyznacznik macierzy o rozmiarach x): det(a Iλ) = (3 λ) ( λ) = 6 3 λ λ + λ = λ 5λ + 4 Równanie charakterystyczne (w tym przypadku kwadratowe): λ 5λ + 4λ = Rozwiązanie powyŝszego równania kwadratowego: WyróŜnik równania: ( 5) ( 5) 4 4 = 5 6 = 9 3 λ λ ) ( = = = = λ ) ( = = + = + = λ

141 Wartości własne -- przykład -- wyniki Zbiorem wartości własnych macierzy A jest {, 4} Co się dzieje po zastosowaniu kaŝdej z tych wartości (czyli odjęciu jej od elementów głównej przekątnej)? λ =: λ =4: det 3 det 3 det = = = λ λ det det 3 det = = = λ λ

142 Wartości własne -- właściwości # Wartości własne macierzy charakteryzują się wielką liczbą właściwości, trywialnych, m.in.: JeŜeli jakaś wartość własna jest równa zero to wyznacznik macierzy jest takŝe równy zero oraz nietrywialnych, m.in.: Suma wszystkich wartości własnych jest równa śladowi macierzy Iloczyn wszystkich wartości własnych jest równy wyznacznikowi macierzy Wszystkie minory głowne dają się wyrazić jako odpowiednie sumy iloczynów wartości własnych JeŜeli maksymalna wartość bezwzględna z wartości własnych jest mniejsza od jeden, to nieskończona potęga macierzy nie rośnie nieograniczenie JeŜeli wszystkie wartości własne są równe zero, to pewna potęga macierzy jest macierzą zerową itp.

143 Wartości własne -- właściwości # Macierz i jej równanie charakterystyczne okazuje się, Ŝe równanie charakterystyczne kaŝdej macierzy posiada pewne dość specyficzne rozwiązanie: jest nim mianowicie sama macierz! innymi słowy: kaŝda macierz spełnia swoje równanie charakterystyczne (jest to tzw. twierdzenie Cayleya-Hamiltona) W powyŝszym przykładzie: A 5A + 4A = = + = + =

144 Wartości własne -- właściwości #3 PoniewaŜ widmem (zbiorem wartości własnych) macierzy jest zbiór zer pewnego wielomianu, wartości te mogą w ogólności być: zespolone wielokrotne W niektórych sytuacjach wiadomo więcej jeŝeli macierz zawiera jedynie wartości rzeczywiste to wartości własne występują w sprzęŝonych ze sobą parach jeŝeli macierz jest symetryczna to wszystkie jej wartości własne są liczbami rzeczywistymi jeŝeli macierz jest macierzą o dominującej przekątnej to wartości własne są niezerowe jeŝeli macierz jest macierzą Grama to wartości własne są nieujemnymi liczbami rzeczywistymi itp.

145 Przekształcenie niezmiennicze wektora # Niech x będzie wektorem N-elementowym, natomiast A macierzą o wymiarach NxN Operacja Ax przekształca x w pewien inny wektor y (czyli Ax=y) Problem przekształcenia niezmienniczego: Pytanie: czy dla danej macierzy A istnieją takie wektory x, Ŝe Ax=x? Uwaga: jest jasne, Ŝe dla macierzy jednostkowej I i dowolnego wektora x zachodzi: Ix=x, stawiane pytanie dotyczy jednakŝe dowolnej macierzy A Odpowiedź: tak, dla kaŝdej macierzy A istnieje wektor x taki, Ax=x, jest nim x= (poniewaŝ dla kaŝdej macierzy A zachodzi: A=) komentarz: jest to rozwiązanie trywialne

146 Przekształcenie niezmiennicze wektora # Pytanie: czy istnieją zatem nietrywialne rozwiązania powyŝszego problemu, a więc takie niezerowe wektory, których przemnoŝenie przez macierz A przekształca je na nie same? A konkretniej: czy istnieją takie wektory x, Ŝe Ax jest równe x, czyli Ax=x? Dla macierzy A z poprzedniego przykładu: wektory nie będące rozwiązaniami problemu niezmienniczego: ale dla odmiany: = = = 5 3 = 3 = = 4 4 3

147 Przekształcenie niezmiennicze wektora #3 Dalsze przykłady wektorów przekształcanych przez rozwaŝaną macierz A: Okazuje się, Ŝe macierz moŝe przekształcać niezerowy wektor x na wektor proporcjonalny do x (róŝniący się od x pewną niezerową stałą, czyli kolinearny z x) Aby poszukiwać tak przekształcanych wektorów problem przekształcenia niezmienniczego moŝna uogólnić do postaci: czy istnieją takie wektory x, Ŝe Ax jest proporcjonalne do x, czyli Ax=sx? (gdzie s jest róŝnym od zera skalarem) = = = = = =

148 Przekształcenie niezmiennicze wektora #4 Zakładając, Ŝe k=[k,k,..., k N ] T, rozwiązania ścisłego problemu przekształcenia niezmienniczego moŝna poszukiwać zapisując i rozwiązując równanie: Ak=k lub równowaŝną mu postać: (A I)k= Podobnie, rozwiązania problemu przekształcenia proporcjonalnościowego moŝna poszukiwać rozwiązując: Ak=sk lub równowaŝną mu postać: (A Is)k= JeŜeli w powyŝszym równaniu za współczynnik proporcjonalności s przyjmie się wartość własną λ macierzy, to niezerowe rozwiązanie tego równania nazywa się wektorem własnym macierzy (odpowiadającym wartości własnej λ)

149 Wektory własne macierzy PoniewaŜ kaŝda macierz o rozmiarze NxN posiada co najwyŝej N (niekoniecznie róŝnych) wartości własnych, to oznacza to, Ŝe macierz ta posiada takŝe co najwyŝej N (niekoniecznie róŝnych) wektorów własnych Wektor własny macierzy to taki niezerowy wektor, który w wyniku przemnoŝenia przez tę macierz ulega przekształceniu na wektor proporcjonalny do samego siebie współczynnikami proporcjonalności są odpowiednie wartości własne macierzy jeŝeli jedna z wartości własnych macierzy jest równa, to istnieje wektor własny tej macierzy, który w wyniku przemnoŝenia przez tę macierz nie ulega zmianie (przekształcenie identycznościowe)

150 Właściwości wektorów własnych Wektory własne są niezerowymi rozwiązaniami następującego równania: (A Iλ)k= (gdzie λ jest wartością własną macierzy A) co pociąga za sobą następujące konsekwencje: JeŜeli k jest wektorem własnym, to jest nim takŝe kaŝdy wektor postaci sk, gdzie s jest niezerowym skalarem (współczynnikiem proporcjonalności) PoniewaŜ wartości własne λ macierzy są tak dobrane, aby wyznacznik macierzy A Iλ wynosił, to rozwiązanie k równania (A Iλ)k= jest określone niejednoznacznie (istnieje wiele takich rozwiązań)

151 Obliczanie wektorów własnych -- przykład # Przykład λ =, lewe strony równań układ równań: k +k = k +k = rozwiązanie (parametryczne, parametr α) k = α k = k odpowiadający wektor własny -- kaŝdy wektor postaci: = = = k k k k k k k k 3 k k 3 λ α α

152 Obliczanie wektorów własnych -- przykład # Przykład (c.d.) λ =4, lewe strony równań układ równań: k +k = k k = rozwiązanie (parametryczne, parametr β) k = β k = k odpowiadający wektor własny -- kaŝdy wektor postaci: = = = k k k k k k k k 4 3 k k 3 λ β β

153 Obliczanie wektorów własnych -- przykład #3 Rozwiązanie (postać ogólna) wektor własny odpowiadający wartości λ =: wektor własny odpowiadający wartości λ =4: α α β β Rozwiązanie (postać szczególna dla α=, β=) wektor własny odpowiadający wartości λ =: wektor własny odpowiadający wartości λ =4:

154 Dobór wektorów własnych # Ze względu na parametryczność rozwiązań układu równań definiującego wektory własne, moŝliwe jest tworzenie bardzo róŝnych instancji tych wektorów w wielu róŝnych zastosowaniach parametry dobiera się w taki sposób, aby powstałe wektory własne były: unormowane: k i k i = i wzajemnie ortogonalne: k i k j = dla i j czyli: macierz wektorów własnych powinna być ortogonalna rozwiązania tej postaci są takŝe najczęściej generowane przez róŝne funkcje/biblioteki komputerowe słuŝące do generowania wektorów własnych

155 Wektory własne macierzy symetrycznej # Twierdzenie dla macierzy symetrycznych wektory własne odpowiadające róŝnym wartościom własnym są wzajemnie ortogonalne wyprowadzenie wykorzystujące właściwość macierzy symetrycznej A: A T =A definicję wektora własnego macierzy A: Ak=λk ogólne prawa, tzn. np.: (AB) T =B T A T oraz A=B A T =B T

156 Wektory własne macierzy symetrycznej # Niech dane będą dwie róŝne wartości własne λ i oraz λ j macierzy A, tzn. takie, Ŝe λ i λ j Ak i = λ i k i Ak j = λ j k j (k j ) T Ak i = (k j ) T λ i k i (**) (k i ) T Ak j = (k i ) T λ j k (**) j ((k j ) T Ak i ) T = ((k j ) T λ i k i ) T (k i ) T A T k j = (k i ) T (λ i ) T k j (k i ) T Ak j = (k i ) T λ i k j (*3*) odejmując równania (*3*) oraz (**) stronami otrzymujemy (k i ) T Ak j (k i ) T Ak j = (k i ) T λ i k j (k i ) T λ j k j = (k i ) T λ i k j (k i ) T λ j k j = λ i (k i ) T k j λ j (k i ) T k j = (λ i λ j )(k i ) T k j a z tego wynika, Ŝe (k i ) T k j = (poniewaŝ λ i λ j )

157 Macierz wektorów własnych Niech K=[k, k,..., k N ] będzie macierzą utworzoną z kolejnych wektorów własnych pewnej macierzy A JeŜeli wektory własne k i macierzy A są unormowane oraz ortogonalne, to zachodzi następująca zaleŝność: (k ) T k (k ) T k... (k ) T k N (k ) T k (k ) T k... (k ) T k N K T K= = = I (k N ) T k (k N ) T k... (k N ) T k N

158 Podstawy rozkładu EVD Niech λ={λ, λ,..., λ N } będzie zbiorem wartości własnych pewnej macierzy, a wektory k, k,..., k N odpowiadającymi im wektorami własnymi tej macierzy Z definicji wektorów własnych zachodzi: Ak = k λ, Ak = k λ,..., Ak N = k N λ N PoniewaŜ lewe i prawe strony powyŝszych równości są wektorami, to równania te moŝna zapisać w postaci macierzowej: [ Ak, Ak,..., Ak N ] = [ k λ, k λ,..., k N λ N ] Jednocześnie: zakładając, Ŝe K=[ k, k,..., k N ] [ Ak, Ak,..., Ak N ] moŝna przedstawić jako AK zakładając, Ŝe L=diag([ λ, λ,..., λ N ]) [ k λ, k λ,..., k N λ N ] moŝna przedstawić jako KL Ostatecznie początkowy układ równości moŝna zapisać jako: AK = KL

159 Rozkład EVD macierzy # Obie strony równania: AK = KL moŝna przemnoŝyć prawostronnie przez K otrzymując: AKK = KLK PoniewaŜ KK =I powstaje równanie A = KLK JeŜeli K T K=I to K T KK =IK, czyli K T =K, a więc: A = KLK T

160 Rozkład EVD macierzy # Wniosek jeŝeli dobierze się tak parametry aby długości wszystkich wektorów własnych symetrycznej macierzy A były równe (utworzona z tych wektorów macierz K jest macierzą ortogonalną, tzn. spełnia warunek K T K=I) to macierz A moŝna przedstawić w postaci iloczynu KLK T, gdzie L jest macierzą diagonalną wartości własnych macierzy A

161 6

162 Wymiarowość danych

163 Problemy analizy danych -- zbędne dane Podstawowy problem: odkrycie zbędnych danych Rodzaje zbędnych danych zbędne obiekty zbędne zmienne (dalsze analizy dotyczą wykrywania zbędnych zmiennych) Zbędne zmienne: kiedy zmienna jest zbędna? z jakiego punktu widzenia? zbędność zmiennych jest inaczej traktowana w nadzorowanych zbiorach danych i nienadzorowanych zbiorach danych W przypadku nienadzorowanym zmienna jest zbędna gdy nie niesie Ŝadnej informacji o obiektach

164 Odkrywanie zbędnych zmiennych # Jaka zmienna nie niesie Ŝadnej informacji? teoretycznie kaŝda zmienna (nawet taka, której wszystkie wartości są równe ) niesie pewne informacje o obiektach zmienna, której wszystkie wartości są równe niesie informacje, Ŝe wartością charakteryzującą kaŝdy obiekt na tej zmiennej jest zmienna taka jednak nie pozwala na róŝnicowanie (odróŝnianie od siebie) obiektów i w tym sensie nie niesie (istotnej) ona informacji wniosek: aby mówić, Ŝe zmienna niesie (istotną) informację o obiektach, zmienna musi zawierać wartości pozwalające na odróŝnianie obiektów od siebie

165 Odkrywanie zbędnych zmiennych # MoŜliwe miary informacji: miary rozproszenia bardzo prymitywna: zakres (rozstęp): max-min zaleŝy tylko od dwóch wartości zmiennej lepsze miary: takie, które zaleŝą od wielu (najlepiej wszystkich) wartości zmiennej odchylenie średnie wariancja oraz SST odchylenie standardowe Najbardziej popularne miary: wariancja i SST przydatne właściwości zaleŝne od wszystkich wartości róŝniczkowalność wykorzystanie średniej

166 Odkrywanie zbędnych zmiennych #3 Wariancja i średnia są ściśle związane rola średniej w wariancji a metoda najmniejszych kwadratów średnia to wartość, która minimalizuje sumę kwadratów róŝnic definiującą wariancję

167 Testowanie wymiarowości danych # Dana jest macierz X o wymiarach 6x X= Jest to macierz jednowymiarowa i jej elementy tworzą -- z oczywistych względów -- figurę jednowymiarową

168 Testowanie wymiarowości danych # Dana jest macierz X o wymiarach 6x X= Jest to macierz dwuwymiarowa ale jej elementy takŝe tworzą figurę jednowymiarową wszystkie wartości jednej ze współrzędnych są takie same i wynoszą (co oznacza, Ŝe tę zmienną moŝna zaniedbać)

169 Testowanie wymiarowości danych #3 Dana jest macierz X o wymiarach 6x X= Jest to macierz dwuwymiarowa ale jej elementy takŝe tworzą figurę jednowymiarową wszystkie wartości pewnej współrzędnej są takie same (choć niekoniecznie równe )

170 Testowanie wymiarowości danych #4 Dana jest macierz X o wymiarach 6x X= Jest to macierz dwuwymiarowa i jej elementy tworzą figurę dwuwymiarową Ŝadnej ze zmiennych nie moŝna zaniedbać w obu przypadkach wariancja zmiennych jest niezerowa

171 Testowanie wymiarowości danych #5 Dana jest macierz Y o wymiarach 6x Y= Jest to macierz dwuwymiarowa a jednak jej elementy tworzą figurę jednowymiarową! formalnie: obie zmienne charakteryzują się niezerową wariancją ale: moŝna znaleźć taki układ współrzędnych, w którym wszystkie wartości jednej ze zmiennych są takie same!

172 Testowanie wymiarowości danych #6 Dalsze przykłady: macierz 3x3, figura trzywymiarowa

173 Testowanie wymiarowości danych #7 Dalsze przykłady: macierz 3x3, figura dwuwymiarowa (dwa widoki)

174 Testowanie wymiarowości danych #8 Dalsze przykłady: macierz 9x3, figura jednowymiarowa

175 Testowanie wymiarowości danych #9 Nie zawsze dane formalnie N-wymiarowe charakteryzują się figurą N-wymiarową w niektórych sytuacjach dane te mogą tworzyć figury r-wymiarowe, gdzie r<n (oczywiście w ogólności r N) pozwala to na redukcję faktycznych wymiarów fakt ten jest konsekwencją zaleŝności pomiędzy zmiennymi oczywiście w grę wchodzą zaleŝności liniowe! Podstawowe pytania: (łatwiejsze) Jak odkryć fakt redukcji faktycznych wymiarów? (trudniejsze) Jak znaleźć konkretną wartość r? Odpowiedź: niech r będzie rzędem macierzy danych jeŝeli r<n, to zachodzi faktyczna redukcja wymiarów

176 Testowanie wymiarowości danych # Uwaga : jeŝeli zaleŝność występuje, ale jest nieliniowa, to wynikowa figura zajmuje więcej wymiarów! w takiej sytuacji redukcja wymiarów we wcześniejszym rozumieniu jest niemoŝliwa To oczywiście nie oznacza, Ŝe Ŝadna redukcja wymiarów nie jest moŝliwa jednak aby skutecznie zredukować wymiary trzeba jednak odkryć formę nieliniowej zaleŝności między tymi zmiennymi

177 Testowanie wymiarowości danych # Dalsze przykłady: macierz 873x3, pewna zaleŝność nieliniowa (dwa widoki)

178 Testowanie wymiarowości danych # PowyŜsze zaleŝności nieliniowe: jedna zmienna niezaleŝna: z =,,..., 87 dwie zmienne zaleŝne: x = cos(pi*z*./8) cos(.75*z); y = sin(pi*z/8) sin(.9*z);

179 Testowanie wymiarowości danych #3 Uwaga : jeŝeli zaleŝność występuje, ale jest obarczona niedokładnościami (błąd, szum) to wynikowa figura takŝe zajmuje więcej wymiarów! w takiej sytuacji redukcja wymiarów we wcześniejszym rozumieniu jest znowu niemoŝliwa W praktyce moŝliwe jest jednak dokonanie redukcji wymiarów po usunięciu niedokładności: wymagane jest przyjęcie modelu zaleŝności i usunięcie obserwacji nie przystających do modelu (tzw. wygładzanie danych)

180 Testowanie wymiarowości danych #4 Uwaga 3: oczywiście moŝliwe jest takŝe występowanie zaleŝności nieliniowych obarczonych niedokładnościami najtrudniejszy przypadek! Postępowanie: odkrycie modelu zaleŝności nieliniowej usunięcie obserwacji nie przystających do modelu właściwa redukcja

181 8

182 Przekształcenie PCA

183 Przykład: PCA dla danych dwuwymiarowych

184 Przykład: PCA dla danych dwuwymiarowych x x

185 Przykład: PCA dla danych dwuwymiarowych 35 duŝa wariancja duŝa wariancja

186 Przykład: PCA dla danych dwuwymiarowych b. duŝa wariancja b. mała wariancja

187 Procedura PCA # Dana jest macierz danych: X (obserwacje w wierszach) oblicz macierz kowariancji S x =X T X macierz S x jest symetryczna i pozwala ocenić wariancje zmiennych (elementy na głównej przekątnej) zaleŝności pomiędzy zmiennymi (elementy poza główną przekątną) dokonaj rozkładu: S x =KLK T utwórz nowe zmienne wykonując operację Y=XK

188 Procedura PCA # ZałoŜenia dotyczące macierzy danych X, wynikające z faktu, Ŝe przekształcenie PCA jest wraŝliwe na połoŝenie środka układu współrzędnych wszystkie obserwacje macierzy X powinny być wycentrowane (wartości średnie zmiennych wynoszą wtedy zero) wycentrowanie obserwacji pozwala na obliczanie macierzy wariancji (z pominięciem współczynnika skalującego) jako X T X skalę jednostek układu współrzędnych

189 Procedura PCA #3 Dodatkowe uwagi dotyczące przekształcenia PCA wykorzystywana macierz kowariancji jest tak naprawdę macierzą (z punktu widzenia skalarnego) sum iloczynów skalarów (z punktu widzenia wektorowego) iloczynów skalarnych wektorów (z punktu widzenia macierzowego) Grama przekształcenie jest skuteczne tylko wtedy gdy pomiędzy zmiennymi macierzy danych X występują zaleŝności liniowe (co przejawia się dodatnimi kowariancjami zmiennych)

190 Rozkład EVD macierzy a metoda PCA # Dane są macierze: macierz danych oryginalnych X macierz kowariancji danych oryginalnych S x =X T X macierz danych przekształconych Y=XK, gdzie K jest macierzą wektorów własnych macierzy kowariancji S x =X T X, czyli S x =KLK T Wtedy: macierz kowariancji danych przekształconych S y moŝna wyrazić jako: S y = Y T Y = (XK) T XK = K T X T XK = K T S x K = K T KLK T K = ILI = L

191 Rozkład EVD macierzy a metoda PCA # PoniewaŜ dane oryginalne X są przekształcane do postaci Y za pomocą mnoŝenia przez macierz K, to macierz kowariancji zmiennych przekształconych Y wyraŝa się macierzą diagonalną utworzoną z wartości własnych macierzy S x kowariancje zmiennych przekształconych są równe zero nowe zmienne są niezaleŝne liniowo wariancje zmiennych przekształconych są równe wartościom własnym macierzy S x moŝna je poznać tuŝ po wyliczeniu wartości własnych macierzy S x, a więc jeszcze przed wyliczeniem nowej macierzy danych Y=XK jeŝeli pewne nowe zmienne miałyby mieć wariancję bliską zeru, to moŝna pominąć tworzenie tych zmiennych, oszczędzając czas (przekształcenie potrwa krócej) pamięć (nowa macierz zmiennych zajmie mniej miejsca)

192 Mechanizm tworzenia nowych zmiennych # Dane są macierze: macierz danych oryginalnych X macierz przekształcająca K Nowe dane (Y) powstają w rezultacie operacji Y=XK x T y y y 3 x T x T 3... x N T k k k 3 x = y y y 3 y 3 y y N y N y 33 y N3

193 Mechanizm tworzenia nowych zmiennych # Element macierzy y ij = jest iloczynem skalarnym wiersza x it oraz kolumny k j : y ij = x it k j Liczba nowych obserwacji = liczba starych obserwacji Liczba nowych zmiennych = liczba starych zmiennych x T x T k x T k x T k 3 x T x T 3... x N T k k k 3 x = x T k x T k x T k 3 x 3T k x 3T k x 3T k x NT k x NT k x NT k 3

194 Mechanizm tworzenia nowych zmiennych #3 Liczba nowych zmiennych zaleŝy od liczby kolumn macierzy przekształcającej K Zmniejszenie liczby kolumn tej macierzy prowadzi do zmniejszenia nowych zmiennych x T y y y 3 x T y y y 3 x 3 T k k k 3 x = y 3 y 3 y x N T y N y N y N3

195 Przekształcenie odwrotne W rezultacie przekształcenia PCA (czyli operacji Y=XK) tworzone są nowe zmienne Pytania: jak na podstawie nowych zmiennych odtworzyć stare zmienne? jak to zrobić, jeŝeli zredukowano liczbę nowych zmiennych? Odpowiedzi: odtworzenia starych zmiennych na podstawie nowych moŝna dokonać dokonując przekształcenia odwrotnego poniewaŝ Y=XK, to YK =XKK, i wtedy YK =XI czyli X=YK, poniewaŝ K =K T, wystarczy wykonać YK T odtworzenie wszystkich zmiennych oryginalnych jest tylko moŝliwe przez przemnoŝenie niezredukowanej macierzy Y, toteŝ jeŝeli pewne zmienne przekształcone (czyli kolumny macierzy Y) zostały zredukowane, to naleŝy odtworzyć je przed wykonaniem mnoŝenia, zastępując oryginalne zmienne ich wartościami średnimi

196 Zasada zachowania informacji (wariancji) W rezultacie przekształcenia PCA suma wariancji nowych zmiennych jest równa sumie wariancji starych zmiennych (co nie oznacza, ze poszczególne wariancje nie ulegają zmianie!) x x x 3 y y y 3 K x =