Marek Beśka, Statystyka matematyczna, wykład 9 3 9 Elementy analizy wielowymiarowej 9. Wielowymiarowy rozkład normalny Definicja 9. Wektor losowy X = X,..., X k ) określony na przestrzeni probabilistycznej Ω, F, P ) ma rozkład normalny, jeśli jego funkcja charakterystyczna ϕ X ma postać ϕ X t) = exp [ i m, t 2 Rt, t ], t = t,..., t k ) IR k, m = m,..., m k ) IR k oraz R jest macierzą kwadratową stopnia k, symetryczną oraz nieujemnie określoną tzn. x R k Rx, x 0. Będziemy wtedy w skrócie pisać X N k m, R). Uwaga. Dla x = x,..., x k ), y = y,..., y k ) IR k iloczyn skalarny x, y określony jest wzorem k x, y = x i y i. Będziemy też używać zapisu macierzowego tzn. i= x, y = x T y, Rx, x = x T Rx. Własności wielowymiarowego rozkładu normalnego. i) Jeśli X = X,..., X k ) N k m, R) jest wektorem losowym o rozkładzie normalnym z parametremi m i R, to m jest wektorem średnim wartości oczekiwanej) X, a R macierzą kowariancji X tj. EX = EX,..., EX k ) = m; covx) = E X EX)X EX) T ) = [ EX i EX i )X j EX j )) ] i,j k = R. ii) Wektor losowy X = X,..., X k ) ma rozkład normalny wtedy i tylko wtedy, gdy dla dowolnego u IR k zmienna losowa u, X = k u i X i i= ma rozkład normalny na IR). iii) Niech L : IR k IR n będzie odwzorowaniem afinicznym tj. L = A + a, gdzie a IR n oraz A : IR k IR n operator liniowy. Jeśli X N k m, R), to Y = LX) N n Lm), ARA T ), gdzie A macierz operatora liniowego A. Stąd w szczególności wynika, że rozkłady brzegowe wektora losowego o rozkładzie normalnym są rozkładami normalnymi
Marek Beśka, Statystyka matematyczna, wykład 9 32 tj. jeśli X = X,..., X k ) na rozkład normalny i i < i 2 < < i l k, l =, 2,..., k, to X i,..., X il ) ma rozkład normalny na IR l. iv) Jeśli X N k m, R), to P {X m + ImR)} =. v) Jeśli X N k m, R) i E IR k jest przestrzenią afiniczną tzn. E = a + M, gdzie a IR k, M IR k podprzestrzeń liniowa, to P {X E} = 0 albo P {X E} =. Dowód. Zauważmy, że wystarczy wykazać, gdy E jest podprzestrzenią liniową, bo gdy to E = a + M, a M, P {X E} = P {X a + M} = P {X a M} oraz X a N k m a, R). Niech więc E IR k będzie podprzestrzenią liniową i załóżmy dodatkowo EX = 0. Określmy Bθ) := {ω Ω : Xω) cos θ + Y ω) sin θ E, Xω) sin θ + Y ω) cos θ E}, θ IR i wektor losowy Y jest niezależny od X oraz µ Y = µ X. Zauważmy również, że µ X cos θ+y sin θ, X sin θ+y cos θ) = µ X,Y ), θ IR, co łatwo sprawdzić licząc funkcję charakterystyczne obu wektorów losowych. Stąd w szczegolności wynika, że P Bθ)) nie zależy od θ IR. Niech 0 θ φ π/2 i niech ω Bθ) Bφ). Wtedy 9.) { Uω) = Xω) cos θ + Y ω) sin θ E, Uω) = Xω) cos φ + Y ω) sin φ E. Wyznacznik powyższego układu jest równy W = cos θ sin θ cos φ sin φ = sinφ θ) 0. Zatem układ 9.) ma jedno rozwiązanie, które możemy napisać w postaci: 9.2) { Xω) = AUω) + BV ω) E, Y ω) = CUω) + DV ω) E,
Marek Beśka, Statystyka matematyczna, wykład 9 33 gdzie stałe A, B, C, D zależą od θ i φ. Z 9.2) dostajemy Xω) sin θ + Y ω) cos θ E, co jest sprzeczne z założeniem ω Bθ) Bφ). tak więc Bθ) Bφ) = dla 0 θ φ π/2. Ponieważ jak już zauważyliśmy P Bθ)) nie zależy od θ, więc P Bθ)) = 0 dla θ IR. W szczególności dla θ = 0 otrzymujemy Z niezależności X i Y mamy P {ω Ω : Xω) E, Y ω) E} = 0. P {X E}P {Y E} = 0 Stąd i z µ X = µ Y dostajemy Zatem P {X E}P {X E} = 0. P {X E} = 0 P {X E} =. Załóżmy teraz EX 0 i niech A : IR k IR k będzie określone wzorem Ax) = x, x IR k. Wtedy Y = AX) N k m, R). Określmy ν = µ X µ Y. Wtedy ν ma rozkład normalny scentrowny) o macierzy kowariancji 2R bo ϕ ν = ϕ µx ϕ µy ). Załóżmy, że µ X E) = P {X E} > 0. Wtedy νe) = µ Y E x) dµ X x) µ Y E x) dµ X x) = R k E µ Y E) dµ X x) = µ Y E)µ X E) = [ µ X E) ] 2 > 0, gdzie ostatnia równość wynika z E µ Y E) = P {Y E} = P {AX) E} = P { X E} = P {X E} = µ X E). Z pierwszej częsci dowodu mamy zatem µ scentrowana) νe) = tzn. = νe) = µ Y E x) dµ X x). R k Stąd µ Y E x) = dla µ X p.w x.
Marek Beśka, Statystyka matematyczna, wykład 9 34 Ponieważ µ Y E) = µ X E) > 0, więc dla pewnego x E mamy = µ Y E x) = µ Y E) = µ X E) = P {X E}, bo µ X E {x : µ Y E x) = }) = µ X E) > 0. vi) Jeśli X N k m, R) i detr) > 0, to µ X ma gęstość f X względem miary Lebesgue a) oraz { f X x) = ) k exp R 2π detr) 2 x m), x m }, x IR k. vii) Jeśli X N k m, R) i rzr) = d < k, to istnieje Y N d a, S), gdzie a IR d, S jest macierza diagonalną oraz dets) > 0 więc µ Y ma gęstość na IR d ) i odwzorowanie afiniczne L : IR d IR k takie, że X = LY ). Dowód. Jak wiadoma macierz R możemy zapisać w postaci R = UDU T, gdzie D jest macierzą diagonalną i główna przekątna ma postać λ,..., λ k, gdzie λ i > 0 dla i d oraz λ i = 0 dla d + i k, a U jest macierzą unitarną kolumnami której są unormowane wektory własne odpowiadające wartościom własnym λ i, i =,..., k). Zapiszmy macierz U w postaci macierzy blokowej U = [ B N ], gdzie B jest macierzą złożoną z pierwszych d kolumn macierzy U, a macierz N składa się z pozostałych kolumn macierzy U. Określmy Y = B T X, Z = N T X tzn. [ ] [ ] Y B T = Z N T X = U T X Stąd [ ] Y 9.3) X = U Z Ponieważ [ B D = U T T RU = N T = [ B N ][ ] Y = BY + NZ. Z ] R [ B N ] [ B = T RB B T RN N T RB N T RN Z postaci macierzy D wynika np. N T RN = 0 oraz B T RB jest macierza diagonalną o głównej przekątnej składajacej się z λ,..., λ d. Stąd S = covy ) = covb T X) = B T RB ].
Marek Beśka, Statystyka matematyczna, wykład 9 35 jest macierzą diagonalną oraz covz) = covn T X) = N T RN = 0. Stąd Z = EZ, P - p.w. Ale EZ = EN T X) = N T EX = N T m. Zatem z 9.3) mamy X = BY + NN T m. Tak, więc szukanym odwzorowaniem afinicznym jest Lx) = Bx) + NN T m, x IR d, a Y N d a, S), gdzie a = EY = EB T X) = B T m, S = B T RB, dets) > 0. viii) Jeśli X = X,..., X k ) N k m, R), to zmienne X,..., X k są niezależne wtedy i tylko wtedy, gdy R jest macierza diagonalną tzn. zmienne X,..., X k są nieskorelowane. Dla uzupelnienia tego faktu podamy przykład wektora losowego X, Y ) w IR 2 takiego, że rozkłady X i Y są standardowymi rozkładami normalnymi, X i Y są nieskorelowane, ale rozkład X, Y ) nie jest rozkładem normalnym w IR 2 a więc X i Y nie są niezależne). Niech Ω = IR 2, F = BIR) BIR), P = µ µ, gdzie µ standardowy rozkład normalny na IR. Określmy X, Y )x, y) = { x, x), xy 0, x, x), xy < 0, x, y) Ω. Wyznaczmy rozkłady brzegowe. Niech A BIR). Wtedy P {X A} = P {x, y) Ω : x A, xy 0}+ P {x, y) Ω : x A, xy < 0} = P {x, y) Ω : x A} = µa). Podobnie P {Y A} = P {x, y) Ω : x A, xy 0}+ P {x, y) Ω : x A, xy < 0} = µa [0, ))µ[0, )) + µa, 0])µ, 0])+ µ A 0, ))µ, 0)) + µ A, 0))µ0, )) = 2 µa) + µ A) = µa). 2
Marek Beśka, Statystyka matematyczna, wykład 9 36 Zatem EX = EY = 0. Obliczmy covx, Y ) = EXY ) = {x 0,y 0} {x<0,y>0} 2 {xy 0} x 2 dp x, y) + x 2 dp x, y) R x 2 dµx) 2 x 2 dp x, y) x 2 dp x, y) = {xy<0} x 2 dp x, y) {x 0,y 0} {x>0,y<0} R x 2 dp x, y) = x 2 dµx) = 0. Zatem zmienne losowe X i Y są nieskorelowane. Gdyby rozkład X, Y ) był rozkładem normalnym, to zgodnie z własnością v) mielibyśmy P {X = Y } = 0 albo P {X = Y } =. Tymczasem P {X = Y } = P {x, y) : xy 0} = 2. Zatem rozkład X, Y ) nie jest rozkładem normalnym, a więc zmienne losowe X i Y nie są niezależne. ix) Jak łatwo sprawdzić np. wykonując bezpośrednie rachunki) zmienna losowa Y = X2 σ 2, gdzie X Nm, σ 2 ) ma gęstość f Y, którą możemy przedstawić w postaci 9.4) f Y y) = exp m2 ) m 2 ) kg 2σ 2 k! 2σ 2 2,k+ y), 2 gdzie 2) k+ 2 k=0 )y k 2 exp y 2 ) I 0, ) y), y IR, g 2,k+ y) = 2 Γ k + y IR, 2 ) tj. gęstość rozkładu gamma G 2, k + 2 lub rozkładu chi-kwadrat o 2k + stopniach swobody. Zauważmy również, że gdy m = 0, to zmienna losowa Y ma rozkład gamma G 2, 2). Korzystając z funkcji charakterystycznej rozkładu gamma możemy wyznaczyć funkcję charakterystyczną zmiennej losowej Y, mianowicie dla t IR mamy ϕ Y t) = exp m2 ) m 2 ) k 2it) k+ 2σ 2 k! 2σ 2 2 ) = k=0 2it) 2 exp m2 ) m 2 2σ 2 exp 2σ 2 2it) ) = 2it) 2 exp itm 2 ) σ 2. 2it)
Marek Beśka, Statystyka matematyczna, wykład 9 37 Niech teraz X,..., X n będą niezależnymi zmiennymi losowymi o rozkładach normalnych X i Nm i, σ 2 ), i =,..., n. Wyznaczmy rozkład zmiennej losowej W = σ 2 Xi 2. Oznaczmy m = m,..., m n ) oraz m 2 = m 2 +... + m2 n. Niech U bedzie macierzą ortogonalną stopnia n), której pierwszy wiersz składa się z następujących elementów i= m m, m 2 m,..., m n m. Zauważmy, że Um) = m, 0,..., 0) i oznaczmy Y = UX), gdzie X = X,..., X n ). Wektor losowy Y ma oczywiście rozkład normalny. Wyznaczymy jego gęstość. Niech y = y,..., y n ) IR n, mamy f Y y) = f X U y) = σ 2π) exp n 2σ 2 U y m 2) = σ 2π) exp n 2σ 2 y Um 2) = σ 2π) exp y n 2σ 2 m ) 2 + y2 2 + + yn 2 ) ). Z postaci gęstości wektora losowego Y = Y,..., Y n ) wynika, że zmienne losowe Y,..., Y n są niezależne, EY = m, EY i = 0 dla i = 2, 3,..., n. Zauważmy ponadto W = X 2 Y 2 σ 2 = σ 2 = Y 2 σ 2 + Y 2 + + Y n σ 2 = W + W 2. Gęstość W otrzymamy ze wzoru 9.4) zastępując w nim m przez m, a W 2 ma rozkład gamma G 2, n ) 2. Ponieważ W i W 2 sa niezależne, więc gęstość W jest splotem gęstości W i W 2. Stąd i z własności splotu dla gęstości rozkładów gamma otrzymujemy następujący wzór na gęstość zmiennej losowej W. f Y y) = exp m 2 ) m 2 ) kg 2σ 2 k! 2σ 2 2,k+ n y), 2 k=0 y IR. Jest to gęstość tzw. niecentralnego rozkładu chi-kwadrat o n stopniach swobody i parametrze niecentralności λ = m 2 σ 2. Będziemy wtedy pisać W χ 2 n, λ). Funkcja charakterystyczna zmienne losowej W ma postać ϕ W t) = exp λ ) 2 k=0 λ ) k 2it) k+ k! n 2 ) = 2
Marek Beśka, Statystyka matematyczna, wykład 9 38 2it) n itλ ) 2 exp, 2it t IR. Z powyższego wzoru widać, że niecentralny rozkład chi-kwadrat ma własność addytywności ze względu na n oraz λ tzn. jeśli zmienne losowe W i χ 2 n i, λ i ), i =, 2,..., k są niezależne, to W + + W k χ 2 n +, n k, λ + + λ k ). x) Niech A będzie macierzą symetryczną stopnia n i niech Y i Nm i, ), i =,..., n będą niezależnymi zmiennymi losowymi. Oznaczmy Y = Y,..., Y n ). Warunkiem koniecznym i dostatecznym na to, aby zmienna losowa Y T AY miała rozkład chi-kwadrat, jest, by macierz A była idempotentna, tzn., by A 2 = A. Wtedy liczba stopni swobody rozkładu chi-kwadrat jest równa rzędowi macierzy A, czyli jej śladowi. Dowód. Jak wiadomo macierze idempotentne mają nastepującą własność tra) = rza). Dowód dostateczności wynika natychmiast z twierdzenia Cochrana-Fishera, bo Y T Y = Y T AY + Y T I A)Y oraz z idmpotentności macierzy A wynika idempotentność macierzy I A. Zatem rza) + rzi A) = tra) + tri A) = tra + I A) = n. Dla dowodu konieczności zauważmy, że istnieje ortogonalana macierz U taka, że gdy przyjmiemy X = U T Y, X = X,..., X n ), to Y T AY = X T U T AUX = λ X 2 +... + λ l X 2 l, gdzie λ,..., λ l są niezerowymi wartościami własnymi macierzy A. Zmienne losowe X,..., X n są niezależne oraz X 2 i χ 2, k 2 i ), i =,..., n, gdzie m = m,..., m n ), k = U T m, k = k,..., k n ). Zatem funkcja charakterystyczna zmiennej losowej λ X 2 +... + λ nx 2 n ma postać [ 2iλ t) 2iλ 2 t)... 2iλ l t) ] itλ 2 k 2 ) itλl k 2 ) l exp exp. 2itλ 2itλ l Z drugiej strony, z założenia zmienna losowa Y T AY ma rozkład chi-kwadrat, powiedzmy o s stopniach swobody i parametrze niecentralnosci r. Zatem jej funkcja charakterystyczna ma postać 2it) s itr ) 2 exp 2it Porównując teraz obie funkcje charakterystyczne stwierdzamy, że l = s, λ i = dla i =, 2,..., l, k 2 +... k2 l = r. Stąd wynika, że diagonalna macierz U T AU na głównej przekątnej ma elementy równe 0 lub, czyli jest macierzą idempotentną. Zatem U T AU = U T AUU T AU = U T A 2 U A = A 2.
Marek Beśka, Statystyka matematyczna, wykład 9 39 Na zakończenie tego punktu zanotujmy jeszcze jedną własność. Niech A, B będą symetrycznymi macierzami stopnia n i niech wektor losowy Y = Y,..., Y n ) będzie taki jak wyżej. Załóżmy, że zmienne losowe Y T AY, Y T BY mają rozkłady chi-kwadrat. Warunkiem koniecznym i dostatecznym na to aby te zmienne losowe były niezależne, jest, by AB = 0. Rzeczywiście, Ponieważ A = A 2 i B = B 2, więc z warunku AB = 0 wynika, że co oznacza, że Ale AI A B) = BI A B) = 0, rza) + rzb) + rzi A B) = n. Y T Y = Y T AY + Y T BY + Y T I A B)Y, więc z twierdzenia Cochrana-Fishera dostajemy tezę. W drugą stronę. Z niezależności Y T AY, Y T BY wynika, że Y T AY + Y T BY = Y T A + B)Y ma rozkład chi-kwadrat. Zatem macierz A + B jest idempotentna, a stąd AB = 0. xi) Niech f będzie gęstością pewnego rozkładu na IR k. Jego entropię określamy wzorem Lf) = fx) ln fx) dλx), R k gdzie przyjmujemy umowę: 0 ln 0 = 0. Zauważmy, że jeśli g > 0 jest inną gęstością, to 9.5) fx) ln fx) dλx) 0. R k gx) Rzeczywiście, przyjmując dµ = g dλ i korzystając z nierówności Jensena otrzymujemy fx) ln fx) R k gx) dλx) = fx) fx) ln R k gx) gx) dµx) fx) R k gx) dµx) ln fx) ) R k gx) dµx) = 0. Z 9.5) dostajemy Lf) = fx) ln fx) dλx) R k fx) ln gx) dλx). R k Podstawmy za g gęstość wektora losowego X N k m, R) tj. { gx) = f X x) = ) k exp R x m), x m }, x IR k 2π detr) 2
Marek Beśka, Statystyka matematyczna, wykład 9 40 oraz załóżmy, że 9.6) x fx) dλx) = m, R k R k fx) x m)x m) T dλx) = R. Otrzymujemy Lf) = fx) ln fx) dλx) R k [ fx) ln ) k R R k 2π detr) 2 x m), x m ] dλx) = ln ) k + fx) R x m), x m dλx) = 2π detr) 2 R k ln ) k + fx) x m) T R x m) dλx) = 2π detr) 2 R k ln ) k + fx) tr [ R x m)x m) T ] dλx) = 2π detr) 2 R k ln ) k + [ ] 2π detr) 2 tr R R fx) x m)x m) T dλx) = k 9.7) ln 2π ) k detr) + k 2. Stąd wynika, że w zbiorze gęstości spełniających warunki 9.6) ich entropia jest ograniczona przez stałą 9.7). Ponieważ Lg) = Lf X ) = ln 2π ) k detr) + k 2, więc w zbiorze gęstości spelniających warunki 9.6) entropia osiąga maksimum dla gęstości rozkładu normalnego. 9.2 Macierze losowe Wprowadźmy oznaczenia: Przez M n m będziemy oznaczać zbiór wszystkich rzeczywistych maceirzy o wymiarze n m, przez S n zbior macerzy symetrycznych stopnia n. Macierzy A M n m możemy przyporządkować wektor à IRnm określony wzorem à = A. A m,
Marek Beśka, Statystyka matematyczna, wykład 9 4 gdzie A i oznacza i - tą kolumnę macierzy A, i =,..., m. Iloczynem skalrnym macierzy A, B M n m nazywamy liczbę A B := Ã, B. Zauważmy, że, gdy A = [a ij ], B = [b ij ] M n m, to A B = trab T ) = trba T ) = tra T B) = trb T A) = m a ij b ij. i= j= Stąd wynika np. A B = A T B T. Jeśli A S n, to czasem wygodnie jest jej przyporządkować wektor  IRnn+)/2 taki, że 2ai T  =., gdzie T i =., i =,..., n. 2ai,i T n Zauważmy, że jeśli A, B S n, to a ii A B := Â, B. Niech A = [a ij ] M n m, B = [b ij ] M k l. Iloczynem Kroneckera lub iloczynem prostym) macierzy A i B nazywamy macierz A B o wymiarze nk ml postaci a B a m B A B =.... a n B a nm B Definicja ta oznacza, że element macierzy A B znajdujący się w wierszu o numerze i )k + r i w kolumnie o numerze j )l + s jest równy iloczynowi a ij b rs. Od razu zauważamy, że iloczyn Kroneckera nie jest przemienny. Poandto, macierze A, B, C, D mają odpowiednie wymiary, to 9.8) A B)C D) = AC BD. Jeśli A, B M n n, to 9.9) tra B) = tra)trb). Jeśli A M n n, B M m m są macierzami nieosobliwymi, to 9.0) A B) = A B, deta B) = det A) m det B) n.
Marek Beśka, Statystyka matematyczna, wykład 9 42 Jeśli V S m, U S n, A M n m, to 9.) Ã T V U)Ã = AV UA. Miarę Lebesgue a na przestrzeni M n m definiujemy przyjmując dλx) = n i= j= m dλx ij ), x = [x ij ] M n m. Miarę Lebesgue a na przestrzeni S n definiujemy przyjmując dλx) = n j= i= j dλx ij ), x = [x ij ] S n. Definicja 9.2 Funkcją charakterystyczną rozkładu macierzy losowej U : Ω M n m nazywamy funkcję ϕ U określoną na M n m wzorem ϕ U x) = Ee i x U, x M n m. Zauważmy, że powyższa definicja zgadza się z definicją funkcji charakterystycznej rozkładu wektora losowego Ũ. Natomiast w przypadku gdy macierz U należy do S n, stosując tę definicję do przestrzeni S n otrzymujemy definicję funkcji charakterystycznej rozkładu wektora losowego Û. Twierdzenie 9.3 Niech X M n m będzie macierzą losową oraz niech A M k n i B M m l. Określmy Y = AXB. Wówczas Dowód. Wynika z równości ϕ Y x) = ϕ X A T xb T ), x M k l. x Y = trxy T ) = tr xaxb) T ) = tr x B T X T A T ) = tr A T xb T X T ). Jeśli macierz losowa X S n jest symetryczna i A M m n, to macierz losowa AXA T również jest symetryczna oraz ϕ Y x) = ϕ X A T xa), x S m. Definicja 9.4 Niech Niech U M n m będzie macierzą losową o elementach całkowalnych z kwadratem. Kowariancją macierzy U nazywamy formę kwadratową cov U określoną na przestrzeni M n m wzorem cov U x) = E U EU x 2) = x T covũ) x, x M n m.
Marek Beśka, Statystyka matematyczna, wykład 9 43 Jeśli U jest macierzą symetryczną stopnia n, to w definicji kowariancji cov U możemy ograniczyć się do przestrzeni S n. Twierdzenie 9.5 Niech X M n m będzie macierzą losową oraz niech A M k n i B M m l. Określmy Y = AXB. Wówczas cov Y y) = cov X A T yb T ), y M k l. Dowód. Analogiczny jak twierdzenia 9.3. Niech S + n oznacza zbiór macierzy symetrycznych nieujemnie określonych stopnia n. Definicja 9.6 Niech C = [c ij ] M n m będzie macierzą losową o zerowej wrtości oczekiwanej i kowariancji cov C. Mówimy, że kowariancja cov C jest iloczynem prostym, jeśli istnieją macierze U = [u ij ] S + n, V = [v ij ] S + m spełniajace jeden z równoważnych warunków: 9.2) cov C) = V U, 9.3) Ec ij c kl ) = u ik v jl, 9.4) cov C z) = zv Uz = trzvz T U), z M n m. Jeśli macierz C spełnia warunki 9.2) - 9.4), to mówimy, że C jest iloczynem prostym macierzy V, V. Twierdzenie 9.7 Niech X M n m będzie macierzą losową, której kowariancja jest iloczynem prostym macierzy U S + n i V S + m oraz niech A M k n i B M m l. Wówczas macierz losowa Y = AXB ma kowariancję będącą iloczynem prostym macierzy AUA T oraz B T VB. Dowód. Z twierdzenia 9.5 mamy Z zalożenia o X oraz z 9.4) dostajemy cov Y y) = cov X A T yb T ), y M k l. cov Y y) = A T yb T V UA T yb T = tra T yb T VBy T AU) = tryb T VBy T AUA T ). Definicja 9.8 Mówimy, że macierz losowa X ma rozkład normalny NM, U V), gdy wektor losowy X ma rozkład normalny N M, V U).
Marek Beśka, Statystyka matematyczna, wykład 9 44 Z twierdzenia 9.7 wynika wprost Twierdzenie 9.9 Niech X M n m będzie macierzą losową o rozkładzie normalnym NM, U V) oraz niech A M k n i B M m l. Wówczas macierz losowa Y = AXB ma rozkład normalny N AMB, AUA T ) B T VB) ). Łatwo zauważyć, że jeśli macierz losowa X = [X ij ] M n m ma rozkład normalny N0, I n I m ), to zmienne losowe X ij są niezależne i mają rozkład normalny standardowy. Jeśli ma rozkład normalny N0, U I m ), to kolumny macierzy X są niezależne i mają rozkład normalny N0, U). Jeśli natomiast ma rozkład normalny N0, I n V), to wiersze macierzy X są niezależne i mają rozkład normalny N0, V). Twierdzenie 9.0 Funkcja charakterystyczna rozkład normalnego NM, U V) wyraża się wzorem ϕx) = exp i x M ) 2 xv Ux, x M n m. Dowód. Wynika z definicji funkcji charakterystycznej rozkładu macierzy losowej oraz ze wzoru 9.). Twierdzenie 9. Jeśli macierze U S n + i V S m + są nieosobliwe, to rozkład normalny N0, U V) ma funkcję gęstości rozkładu prawdopodobieństwa względem miary Lebesgue a na M n m ) postaci fx) = 2π) nm { det U) m det V) exp } n 2 xv U x, x M n m. Dowód. Ze wzoru 9.0) wynika nieosobliwość macierzy V U. Zatem rozkład normalny N 0, U V) ma gęstość f x) = { exp 2π) nm detv U) 2 xt V U) x }. Stosując teraz 9.0) i 9.) dostajemy tezę. Definicja 9.2 Niech k IN, p > 0 oraz R S + k. Symbolem Γ kr, p) będziemy oznaczać rozkład na przestrzeni S + k o funkcji charakterystycznej ϕx) = R p [detr ix)] p, x S+ k. Rozkład Γ k R, p) o ile istnieje) nazywamy centralnym) uogólnionym rozkładem gamma.
Marek Beśka, Statystyka matematyczna, wykład 9 45 Z twierdzenia podanego poniżej wynika, że jeśli 2p IN, to rozkład Γ k R, p) zawsze istnieje. Nazywa się go centralnym) rozkładem Wisharta i oznaczamy go symbolem W k 2p, 2R). Twierdzenie 9.3 Jeśli X M n k jest daną macierzą losową o rozkładzie normalnym N0, I R), to macierz losowa X T X ma rozkład Γn/2, R/2) tzn. rozkład Wisharta W k n, R). Definicja 9.4 Niech k IN, p > 0 oraz M, R S + k. Symbolem Γ kr, p, M) będziemy oznaczać rozkład na przestrzeni S + k o funkcji charakterystycznej ϕx) = R p [detr ix)] p exp { itr MRI ix) x )}, x S + k. Rozkład Γ k R, p, M) o ile istnieje) nazywamy niecentralnym uogólnionym rozkładem gamma. Twierdzenie 9.5 Jeśli X M n k jest daną macierzą losową o rozkładzie normalnym NM, I R), to macierz losowa X T X ma rozkład Γn/2, R/2, M T M) tzn. niecentralny rozkład Wisharta W k n, R, M). 9.3 Rozkład Wisharta Niech X i = X i, X i2,..., X ik ) N k m i, R), gdzie m i = m i,..., m ik ), i =,..., n będą niezależnymi wektorami losowymi o rozkładzie normalnym. Oznaczmy X X k X 2 X 2k A =..., M = EA. X n X nk Niech a = a,..., a n ) IR n. Wtedy wektor losowy A T a = a i X i i= ma rozkład normalny o parametrach EA T a) = M T a, cova T a) = a 2 i covx i ) = i= i= a 2 i ) R.
Marek Beśka, Statystyka matematyczna, wykład 9 46 Lemat 9.6 Niech A bedzie jak wyżej i niech a = a,..., a n ) IR n, b = b,..., b n ) IR n. Wtedy wektory losowe A T a, A T b są niezależne wtedy i tylko wtedy, gdy a, b = 0. Dowód. Ponieważ wektor losowy A T a, A T b) ma rozkład normalny bo jest wynikiem działania odwzorowania liniowego na wektorze o rozkładzie normalnym) wystarczy, więc wykazać, że cova T a, A T b) = 0 a, b = 0. Mamy cova T a, A T b) = covx i, X j )a i b j = i,j= covx i, X i )a i b i = a, b R. Z powyższego lematu wynika, że jeśli wektory h i IR n, i =, 2,..., d n są ortonormalne, to wektory losowe A T h,... A T h d są niezależne. Ponadto A T h i N k M T h i, R), i =,..., d. W szczególności jeśli H jest macierzą ortogonalną stopnia n, to kolumny macierzy A T H są niezależnymi wektorami losowymi o rozkładzie normalnym. Definicja 9.7 Rozkładem Wisharta o n - stopniach swobody nazywamy rozkład łączny elementów macierzy S = A T A. Będziemy oznaczać go symbolem W k n, R, M), gdy M = 0, to przez W k n, R). i= Oznaczmy przez Y,..., Y k kolumny macierzy A. Wtedy Z drugiej strony S = A T A = Y T. Y T k S = A T A = [ ] X... X n [ Y... Y k ] = [ Y T i Y j ] i,j k. X T. X T n = X i Xi T. Zauważmy, że gdy k = R = σ 2 ), to S/σ 2 ma rozkład chi-kwadrat, tak, więc rozkład Wisharta jest, więc uogólnieniem rozkładu chi-kwadrat. i= Własności rozkładu Wisharta i) Przy założeniach jak wyżej, jeśli S W k n, R, ) oraz a = a i,..., a k ) IR k, to a T Sa a T Ra χ2 n, ). Jeśli rozkład Wisharta jest centralny, to rownież rozkład chi-kwadrat jest centralny.
Marek Beśka, Statystyka matematyczna, wykład 9 47 Dowód. Możemy napisać a T Sa = a T X i Xi T a = i= a T X i ) 2. i= Jak łatwo zauważyć a T X i Na T m i, a T Ra) dla i =,..., n oraz te zmienne losowe są niezależne. Stąd dostajemy tezę. Na konieć zauważmy, że gdyby macierz M była parametrem niecentralności rozkładu macierzy S, to λ = Ma 2 a T Ra byłby parametrem niecentralności rozkładu zmiennej losowej at Sa a T Ra. ii) Niech C będzie macierzą symetryczna stopnia n. Przy założeniach jak wyżej warunkiem koniecznym i dostatecznym na to, aby A T CA W r, R, ), jest, by dla każdego wektora a IR k zmienna losowa a T A T CAa a T Ra χ 2 r, ). Wtedy r = rza) = tra). Ponadto A T CA W r, R) a R k at AT CAa a T Ra χ 2 r). Dowód. Konieczność wynika z punktu i) własności rozkładu Wisharta. Dla dowodu dostateczności skorzystamu z punktu x) własności wielowymiarowego rozkładu normalnego, z której to dostajemy, że macierz C jest macierzą idempotentną rzędu r. Stąd r wartości własnych macierzy C jest równe pozostałe równe 0), więc istnieją ortonormalne wektory u,... u r IR n takie, że 9.5) C = u u T +... + u r u T r Stąd 9.6) A T CA = A T u u T A +... + A T u r u T r A = V V T +... + V r V T r, gdzie V i = A T u i, i =,..., r. Ponieważ u i, i =,..., r są ortonormalne, więc wektory losowe V i, i =,..., r są niezlaeżne, ponadto mają rozkłady normalne N k M T u i, R) i teza wynika z definicji rozkładu Wisharta.
Marek Beśka, Statystyka matematyczna, wykład 9 48 Jak wiadomo Aa N k Ma, σ 2 ai), gdzie σ 2 a = a 2 Ra. Jeśli dla każdego a IR k a T ACAa σ 2 a ma centralny rozklad chi-kwadrat o r stopniach swobody, to z punktu x) wlasności wielowymiarowego rozkładu dostajemy a T ACAa σ 2 a = Z 2 +... + Z 2 r, gdzie Z = Z,..., Z r ) = DU T Aa σ a ), C = UDU T. Z definicji parmetra niecentralności mamy dla każdego a IR k DU T Ma 2 a T M T CMa = 0 σ a σa 2 = 0. Stąd M T CM = 0 i mając na uwadze 9.5) otrzymujemy M T CM = r M T u i )M T u i ) T i= Stąd M T u i = 0 dla i =, 2,..., r. Z 9.6) oraz z tego, że EV i = M T u i = 0, i =,..., r wnioskujemy centralność rozkładu Wisharta. Na zakończenie zauważmy, że udowodnioną własność możemy sformułować następujaco: Warunkiem koniecznym i dostatecznym na to, żeby A T CA W k jest, by macierz C była idempotentna; rozkład jest centralny, gdy CM = 0. iii) Niech C, C 2 będą macierzami symetrycznymi stopnia n. Przy założeniach jak wyżej macierze A T C A, A T C 2 A są niezależne i maja rozkłady Wisharta wtedy i tylko wtedy, gdy dla każdego a IR k zmienne losowe a T A T C Aa, a T A T C 2 Aa są niezależne i mają rozkłady chi-kwadrat. Ponadto, jeżeli dla każdego a IR k zmienne losowe a T A T V oraz a T A T C Aa są niezależne i mają rozkłady normalny i chi-kwadrat, to A T V oraz A T C A są niezależnymi zmiennymi losowymi o rozkładach normalnym wielowymiarowym) i Wisharta. iv) Niech U,..., U n będą niezależnymi zmiennymi losowymi o jednakowym rozkładzie N k m, R). Dla a IR k weźmy pod uwagę zmienne losowe a T U, a T U 2,..., a T U n.
Marek Beśka, Statystyka matematyczna, wykład 9 49 Są to niezależne zmienne losowe o jednakowym rozkładzie Na T m, a T Ra). Z teorii jednowymiarowych zmiennych losowych Twierdzenie Fishera) wiemy, że dla każdego a IR k średnia z próby n i= a T U i = a T U N a T m, ) n at Ra, gdzie U = U +... + U n )/n. Natomiast dla skorygowanej sumy kwadratów a T U i ) 2 na T U) 2 = a T U i Ui T i= i= nuu T ) a = a T Wa, gdzie W = n i= U iu T i nuu T dostajemy Niezależność a T Wa a T Ra χ2 n ). a T U oraz a T Wa dla każdego a IR k pociaga za sobą niezależność U i W. Ponadto z ii) dostajemy U N k m, n R ), W W k n, R). v) Niech S W k n, R) i S 2 W k n 2, R) będą niezależne. Wtedy S + S 2 W k n + n 2, R). vi) Niech S W k n, R) i niech C będzie macierzą rozmiaru m n. Wtedy CSC T W m n, CRC T ). Dowód. Niech S = n i= X ix T i. Wtedy CSC T = C X i Xi T i= ) C T = CX i )CX i ) T W m n, CRC T ), i= gdyż CX i N m 0, CRC T ), i =,..., n są niezależne.