Statystyka A. Arkadiusz Kasprzyk. 18 listopada jednowymiarowej zmiennej losowej

Transkrypt

1 Statystyka A Arkaiusz Kasprzyk 18 listopaa Zmienne losowe 1.1 Dystrybuanta i gestość jenowymiarowej zmiennej losowej Niech B oznacza σ-cia lo zbiorów borelowskich na prostej R, natomiast przez F oznaczmy pewne σ-cia lo na zbiorze zarzeń elementarnych Ω. Jeśli na F zaana jest miara probabilistyczna P (tj. F jest σ-cia lem zbiorów mierzalnych w mierze P), to trójke (Ω, F, P) nazywamy przestrzenia probabilistyczna. Zmienna losowa (rzeczywista) określona na przestrzeni probabilistycznej (Ω, F, P) nazywamy owolne przekszta lcenie X : Ω R, takie że (1.1) B B X 1 (B) F, gzie X 1 (B) := {ω : X(ω) B}. Funkcje spe lniajac a warunek (1.1) nazywamy przekszta lceniem F /Bmierzalnym. Beziemy też pisać X : (Ω, F, P) (R, B) na oznaczenie faktu, że X jest rzeczywista zmienna losowa określona na (Ω, F, P), tj. funkcja o argumentach ze zbioru Ω, wartościach w zbiorze R i F /Bmierzalna, przy czym na F zaana jest miara probabilistyczna P. Rozk laem zmiennej losowej X nazywamy funkcje zbiorów P X, lub po prostu P, zefiniowana naste- pujaco: (1.2) P X (B) := P(X 1 (B)) = P {ω Ω : X(ω) B}, B B. Oczywiście P X jest miara probabilistyczna na B. Dystrybuanta zmiennej losowej X nazywamy funkcje (1.3) F X (x) := P X (, x] = P {ω Ω : X(ω) x}, x R. Wzory (1.2) oraz (1.3) zapisujemy też krócej: (1.4) (1.5) P X (B) := P(X B), B B, F X (x) := P(X x), x R. Dystrybuanta zmiennej losowej wyznacza w pe lni jej rozk la, zachozi bowiem nastepujacy zwiazek (1.6) P X (B) = F X (x) = 1 B (x)f X (x), B B, B R gzie przez h(x)f (x) rozumiemy ca lk e Stieltjesa z h wzgleem F. Gestości a zmiennej losowej X nazywamy pochona ystrybuany F X, o ile istnieje, tj. funkcje (1.7) f X (x) := x F X(x), x R. Stosujac notacje różniczkowa powyższa zależność można zapisać jako (1.8) f X (x) x = F X (x), x R, 1

2 A. Kasprzyk, STATYSTYKA A 2 i zgonie z tym, na mocy (1.6) mamy (1.9) P X (B) = f X (x)x = 1 B (x)f X (x)x, B B. B R Ogólniej, gestości a z.l. X nazywamy owolna funkcje f X (x) spe lniajac a warunek (1.9). Funkcja ta jest wyznaczona z ok lanościa o zbiorów miary Lebesgue a zero. Aby taka funkcja istnia la ystrybuanta F X musi być ciag la ale nie musi być w każym punkcie różniczkowalna. Jeśli F X jest nieciag la to gestość nie istnieje. Dzieje sie tak zawsze, gy istnieja x R la których P(X = x) = P X {x} > 0. Punkty takie nazywamy atomami miary P X. Zwróćmy uwage na fakt, że wzór (1.6) jest prawziwy zawsze, niezależnie o tego czy z.l. X jest ciag la (nie ma atomów) czy nie. W szczególności la yskretnych z.l. tj. przybierajacych wartości w przeliczalnym zbiorze {x j, j Z} R wzór (1.6) przybiera postać (1.10) P X (B) := F X (x j ) = P(X = x j ). x j B Na zakończenie zauważmy, że wprost z efinicji ystrybuanty wynika, iż jest ona funkcja niemalejac a i prawostronnie ciag l a oraz x j B lim F X(x) = 0, x lim F X(x) = 1. x Dla zaznaczenia faktu, że zmienna losowa X ma ystrybuant e F b eziemy pisać X F, a jeśli istnieje g estość f, b eziemy pisać X f. 1.2 Charakterystyki liczbowe zmiennych losowych Pe lna informacja o rozk lazie zmiennej losowej zawarta jest w jej ystrybuancie, zob. wzór (1.6). W praktyce o opisu z.l. czesto wygoniej jest pos lugiwać sie pewnymi charakterystykami o wartościach liczbowych, które informuja nas o takich w lasnościach z.l. jak jej śrenia wartość, rozrzut czy też koncentracja wokó l śreniej, umiejscowienie na prostej, stopień asymetrii it. Formalnie przez charakterystyke liczbowa zmiennej losowej rozumiemy owolna funkcje m przyjmujac a wartości rzeczywiste, a której argumentami sa ystrybuanty, tj. m: D R, gzie D oznacza zbiór wszystkich ystrybuant na prostej (tj. funkcji niemalejacych, prawostronnie ciag lych, la których granica w wynosi 0 natomiast w + wynosi 1). Charakterystyki liczbowe zmiennych losowych można pozielić na wa postawowe typy: 1. miary po lożenia, spe lniajace m(f X+a ) = m(f X ) + a, la każego a R, 2. miary rozrzutu, spe lniajace m(f X+a ) = m(f X ), la każego a R. Najważniejszymi charakterystykami liczbowymi zmiennych losowych sa momenty, o których zalicza sie również wartość oczekiwana. W zależności rozaju momentu mamy o czynienia z miara po lożenia lub rozrzutu. 1. Niech X F. Wartościa oczekiwana lub śrenia zmiennej losowej X (rozk lau F ) nazywamy wielkość: E[X] := X(ω)P(ω) = xf (x), lub równoważnie, jeśli istnieje g estość f, Ω E[X] := xf(x)x.

3 A. Kasprzyk, STATYSTYKA A 3 przy czym powyższa ca lka ma sens wtey i tylko wtey gy (1.11) E[X + ] = 0 0 xf (x) < lub E[X ] = xf (x) <, gzie X + := X1 [0, ) (X), X := X1 (,0] (X). Zatem E[X] istnieje wtey i tylko wtey gy spe lniony jest warunek (1.11), który gwarantuje, że wartość ca lki niew laściwej xf (x) nie zależy o kolejności ca lkowania. Zauważmy, że (1.12) E[X] = E[X + ] E[X ] i jeśli jeen ze sk laników tej sumy jest nieskończony to wówczas wartość oczekiwana z.l. X jest nieskończona. Jeśli oba sk laniki sa nieskończone, tj. warunek (1.11) nie jest spe lniony, to suma (1.12) nie ma sensu. Jeśli jenak oba sk laniki sa skończone to wówczas E X = x F (x) = E[X + ] + E[X ] < i mówimy wtey, że z.l. X jest ca lkowalna. Z powyższych rozważań wynika wi ec że wartość oczekiwana z.l. X istnieje i jest skończona wtey i tylko wtey gy X jest ca lkowalna. 2. Momentem rz eu r wzgl eem sta lej c nazywamy wielkość (1.13) E(X c) r = (x c) r F (x), przy czym zak laamy, że r Z\{0} lub, jeśli r / Z, to P(X c < 0) = 0. Oczywiście E(X c) r = E[Y ] gzie Y := (X c) r (ystrybuanta z.l. Y ana jest wzorem (1.20) lub (1.21)). Jeśli c = 0 to mówimy o momencie zwyk lym rz eu r, który oznaczamy µ r, tzn. µ r := E[X r ]. Oczywiście µ 1 to po prostu wartość oczekiwana z.l. X, natomiast µ 0 = 1. Jeśli c = E[X] to mówimy o momencie centralnym rz eu r i b eziemy go oznaczać κ r, zatem κ r := E(X EX) r. Wielkość (1.14) E X c r = x c r F (x), nazywamy momentem absolutnym rzeu r wzgleem sta lej c. Jeśli c = 0 to mówimy o momentach absolutnych zwyk lych, a jeśli c = E[X] to mówimy o momentach absolutnych centralnych. Zauważmy, że aby wartość ca lki w (1.13) by la skończona i nie zależa la o kolejności ca lkowania to musi być skończona ca lka w (1.14). Zatem momenty zwyk le istnieja i sa skończone jeśli sa skończone momenty absolutne tj. gy z.l. Y = (X c) r jest ca lkowalna. Prawziwa jest nastepuj aca nierówność (1.15) E X c r ( E X c s) r/s, 0 < r < s. Z nierówności tej wynika, że jeśli istnieje (tzn. jest skończony) moment absolutny rzeu s to istnieja wszystkie momenty (absolutne) rzeu r gzie 0 < r < s. Owrotnie, jeśli moment absolutny rzeu r jest nieskończony to nieskończone sa wszystkie momenty wyższego rzeu.

4 A. Kasprzyk, STATYSTYKA A 4 3. Miary po lożenia. Wśró miar po lożenia najważniejsze to wartość oczekiwana i kwantyle. 1. Wartość oczekiwana zosta la już omówiona. 2. Kwantylem rz eu p zmiennej losowej X (lub ystrybuanty F ), gzie p (0, 1), nazywamy liczb e ξ p := F 1 (p), gzie (1.16) F 1 (p) := inf {x : F (x) p}, p (0, 1), i funkcje ta nazywamy uogólniona ystrybuante owrotna lub funkcja kwantylowa. Jeśli F jest funkcja ciag l a i ściśle rosnac a to wówczas F (ξ p ) = p, natomiast w ogólnym przypaku F (ξ p ) p F (ξ p ). Kwantyl rzeu 1/2 nazywamy meiana. Kwantyl rzeu k/4, gzie k = 1, 2, 3 nazywamy k-tym kwartylem. Drugi kwartyl to oczywiście meiana. Poobnie, kwantyl rzeu k/5 nazywamy k-tym kwintylem, kwantyl rzeu k/10 nazywamy k-tym ecylem a kwantyl rzeu k/100 nazywamy k-tym percentylem. 3. Jeśli la zmiennej losowej X istnieje gestość f = F to moa lub ominanta rozk lau F nazywamy liczbe x 0 taka, że f(x 0 ) = max x R f(x). Jeśli istnieje jena moa, to mówimy o rozk lazie jenomoalnym. 4. Miary rozrzutu. Latwo pokazać, że momenty centralne (zarówno zwyk le jak i absolutne) sa miarami rozrzutu. 1. W szczególności miara rozrzutu jest rugi moment centralny, który nazywamy wariancja zmiennej losowej X i oznaczamy: Var(X) := E(X EX) 2 = κ 2. Pierwiastek z wariancji nazywamy yspersja lub ochyleniem stanarowym zmiennej losowej X i oznaczamy przez σ lub D. Zatem σ 2 = D 2 = Var(X) = κ 2 oraz σ = (κ 2 ) 1/2. 2. Moment centralny absolutny rz eu 1 nazywamy ochyleniem przeci etnym zmiennej losowej X i oznaczamy β := E X EX. 3. Inne miary rozrzutu to (a) wspó lczynnik asymetrii z.l. X: γ := κ 3 σ 3, (b) wspó lczynnik kurtozy z.l. X: k := κ 4, lub wspó lczynnik ekscesu: g := k 3, σ4 (c) oleg lość miezykwartylowa z.l. X: Q := ξ 3/4 ξ 1/4. Wielkości k oraz g nazywamy też miarami skupienia lub sp laszczenia. W przypaku rozk lau normalnego tj. o gestości φ(x) = exp { (x m) 2/ 2σ 2}/ 2πσ, eksces jest równy zero, g = 0.. Wszystkie rozk lay la których istnieje czwarty moment zielimy na: mezokurtyczne, gy g = 0 rozk la o poobnej koncentracji jak rozk la normalny; leptokurtyczne, gy g > 0 rozk la jest barziej sp laszczony niż rozk la normalny; platokurtyczne, gy g < 0 rozk la barziej skoncentrowany o normalnego. Wielkość γ należy o wiekszego zbioru miar asymetrii. Do tych ostatnich zaliczamy jeszcze wskaźnik skośności W := µ 1 β oraz wspó lczynnik skośności W/σ. Wielkości te nie sa ani miarami po lożenia ani rozrzutu, poobnie jak wspó lczynnik zmienności V := σ/µ 1, który rozrzut z.l. X wyraża w jenostkach zaanych przez śrenia tej zmiennej. Wielkość ta ma sens jeynie la z.l. przybierajacych wartości nieujemne.

5 A. Kasprzyk, STATYSTYKA A Postawowe przekszta lcenia zmiennych losowych Jeśli X F X i a R to przez F ax rozumiemy ystrybuante zmiennej losowej Y = ax, tj. przeskalowanej zmiennej losowej X. Latwo pokazać, że zachozi nastepuj aca zależność { FX ( x F ax (x) = a ), a > 0, (1.17) 1 F X ( x a ) + P x X{ a}, a < 0. { Jeśli ystrybuanta jest ciag la to oczywiście P x X a} = 0. Wtey też istnieje g estość f X z.l. X, la której, na mocy (1.7), zachozi: (1.18) Dla 0 < p < 1 mamy również: (1.19) f ax (x) = 1 ( x ) a f X. a { af 1 ax (p) = X (p) a > 0, a F 1 (p) a < 0. F 1 X gzie F 1 X oznacza uogólnion { a ystrybuant } e owrotna la zmiennej losowej X, zob. (1.16), natomiast F X (x) = 1 F X ( x) + P X x na mocy (1.17). Stanaryzacja lub unormowaniem z.l. X nazywamy przekszta lcenie U = X E[X], D(X) o ile wariancja z.l. X istnieje. Tak otrzymana z.l. U ma śrenia 0 i wariancje 1. Rozważmy z.l. Y = (X c) r, gzie r Z, r 0. Dla r parzystych P(Y < 0) = 0, w przeciwnym przypaku Y może przyjać owolna wartość rzeczywista. Jeśli la r nieparzystych i y < 0 przyjmiemy, że y 1/r = r y, to wówczas (1.20) { ( FX y F Y (y) = 1/r + c ) (, r nieparzyste, F X y 1/r + c ) ( F X y 1/r + c ) + P X { y 1/r + c}, r parzyste. Jeśli r / Z to musimy za lożyć, że P(X c < 0) = 0 i wtey (1.21) F Y (y) = F X ( y 1/r + c ). Twierzenie 1.1 (Nierówność Jensena.) wartość oczekiwana, to Poobnie, jeśli h jest funkcja wkles l a to 1.4 Zaania Jeśli g : R R jest funkcja wypuk l a a X z.l. la której istnieje g(e[x]) E[g(X)]. h(e[x]) E[h(X)]. Zaanie 1.1 Mówimy, że zmienna losowa X ma rozk la Cauchy ego z parametrami λ i µ, jeśli jej gestość λ jest postaci f(x) = ), gzie λ > 0, µ R. Piszemy w skrócie X C(λ, µ). Dla uproszczenia (λ 2 +(x µ) 2 π rachunków przyjmijmy λ = 1, µ = 0. (a) Pokaż, że zarówno E[X ] jak i E[X + ] sa nieskończone, zatem wartość oczekiwana nie istnieje. (b) Pokaż, że a a 2 lim xf(x)x = 0 ale lim xf(x)x =, a a a a co oznacza, że wartość E[X] zależy o kolejności ca lkowania, a wi ec wartość oczekiwana z.l. o rozk lazie Cauchy ego nie może być obrze zefiniowana.

6 A. Kasprzyk, STATYSTYKA A 6 Zaanie 1.2 Rozk la prawopoobieństwa na pó lprostej [c, ), c > 0, o ystrybuancie ( c ) λ F (x) = 1, x c, λ > 0, x nazywamy rozk laem Pareto z parametrami λ, c, w skrócie P ar(λ, c). Jeśli X P ar(λ, c) to la jakich wartości λ z.l. X ma skończony moment rzeu r > 0? W szczególności, la jakich wartości λ z.l. X posiaa skończona śrenia i wariancje? Sporzaź opowienia tabele. Zaanie 1.3 Pokaż, że µ 0 = κ 0 = 1 oraz κ 1 = 0. Zaanie 1.4 Pokaż, że momenty (absolutne) centralne, sa miarami rozrzutu, natomiast nie sa nimi momenty wzgleem pewnej sta lej c. W szczególności nie sa miarami rozrzutu momenty zwyk le. Zaanie 1.5 Uowonij, że miarami rozrzutu sa wielkości γ, k, g oraz Q, natomiast nie sa miarami rozrzutu wielkości W i V. Zaanie 1.6 Niech X bezie zmienna losowa majac a skończony k-ty moment, tj. µ j = E [ X j] <, j = 0, 1,..., k, gzie µ 0 = 1. (a) Pokaż, że κ k = E(X EX) k = k ( k s=0 s) ( 1) s µ s 1 µ k s. (b) Uogólnij ten wzór na momenty rzeu k wzgleem owolnej sta lej c i wywnioskuj sta, że jeśli istnieje moment zwyk ly rzeu k to istnieje też moment rzeu k wzgleem sta lej c, la każego c R. Zaanie 1.7 Korzystajac z nierówności Jensena uowonij, że la rzeczywistej z.l. X zachozi E[X] E X ( ) 2 [ oraz E[X] E X 2 ]. Z rugiej z tych nierówności wywnioskuj, że wariancja z.l. nie może być ujemna. Zaanie 1.8 Korzystajac z nierówności Jensena uowonij nierówność (1.15). Zaanie 1.9 Niech z.l. X ma rozk la b(n, p) t.j. n prób Bernoulli ego z prawopoobieństwem sukcesu p. Naszkicuj wykres ystrybuanty tej z.l. X la n = 4, p = 1/2. Znajź jej wszystkie kwartyle i kwintyle. Oblicz wartości wielkości γ, k, g, W oraz V la tej z.l. gy p = 1/2, 1/4, 3/4. Dla jakiego p rozk la jest mezo-, lepto- lub plato-kurtyczny? Zaanie 1.10 Niech X 1 F 1, X 2 F 2 oraz U bezie pojeyncza próba Bernoulli ego z prawopoobieństwem sukcesu p, co oznaczamy U b(1, p). Zak laamy, że z.l. U jest niezależna o X 1 i X 2, tj. la owolnych A, B B mamy P(X j A U B) = P(X j = A), j = 1, 2. Pokaż, że z.l. Y = UX 1 + (1 U)X 2 ma ystrybuante F = pf 1 + (1 p)f 2. Wskazówka: Skorzystaj ze wzoru na prawopoobieństwo ca lkowite. Zaanie 1.11 Uogólnij wynik z poprzeniego zaania, la ciagu zmiennych losowych {X j } j N, X j F j, oraz la zmiennej losowej yskretnej U takiej, że P(U = j) = p j, j N. Zaanie 1.12 W zaaniu 1.10 za lóżmy, że X 1 ma gestość f 1 (x) = 1 [0,1] (x) tzn. ma rozk la jenostajny na ocinku [0, 1], co zapisujemy X 1 U(0, 1). Co o z.l. X 2 za lóżmy że X 2 1 2b(2, 0.5), tzn. ma rozk la taki jak wie próby Bernoulli ego z prawopoobieństwem sukcesu 0.5 przy czym liczbe sukcesów zielimy przez 2. Ponato niech U b(1, 1/4). (a) Naszkicuj wykres z.l. Y = UX 1 + (1 U)X 2. (b) Poaj wartości wszystkich kwartyli i kwintyli z.l. Y. (c) Oblicz E[Y ] oraz Var(Y ). () Naszkicuj wykres funkcji kwantylowej la ystrybuanty z.l. Y.

7 A. Kasprzyk, STATYSTYKA A 7 Zaanie 1.13 Niech X F gzie F (x) = 1 5 ex, x (, 0), 2/5, x [0, 1), x+1 5, x [1, 2), 3/5, x [2, 3), 1 1 5, e (x 3) x [3, ). Naszkicuj te ystrybuante. Poaj wartości wszystkich kwartyli i kwintyli. Poaj wzór na funkcje kwantylowa. Zaanie 1.14 Uowonij wzory (1.17) (1.19). Zaanie 1.15 Z.l. X ma g estość f X i ystrybuant e F X. Wyznacz g estość i ystrybuant e zmiennych losowych: (a) ax + b, a 0, (b) X, (c) X 2, () X, jeśli P(X 0) = 1, (e) 1/X, jeśli P(X = 0) = 0, (f) sin(x). Zaanie 1.16 Uowonij wzory (1.20) (1.21).

8 A. Kasprzyk, STATYSTYKA A 8 2 Wektory losowe 2.1 G estość i ystrybuanta wektorów losowych Przekszta lcenie X : (Ω, F, P) (R n, B n ) nazywamy n-wymiarowym wektorem losowym (w.l.). Jego rozk la w R n efiniujemy jako (2.1) P X (D) := P ( X 1 (D) ) = P{ω : X(ω) D}, D B n, co skrótowo zapisujemy P X (D) := P ( X D ). Wektor losowy X można zapisać jako wektor n zmiennych losowych, tj. X = (X 1,..., X n ) T. Niech A B, oraz A (j) := R } {{ R } A R } {{ R }. j 1 n j Zbiór A (j) nazywamy zbiorem cylinrycznym o postawie A na j-tej wspó lrz enej. Oczywiście A (j) B n (można pokazać, że zbiory cylinryczne generuja σ-cia lo B n ). Rozk la z.l. X j any jest przez (2.2) P Xj (A) := P ( X 1 (A (j) ) ) = P{ω : X(ω) A (j) }, A B. Tak zefiniowane rozk lay P j P Xj nazywamy rozk laami brzegowymi rozk lau P X (wektora losowego X, zmiennych losowych X j ). Dystrybuanta w.l. X ana jest przez (2.3) F (x) = P(X x) = P(X j x j, j = 1,..., n), x = (x 1,..., x n ) T R n. Jeśli istnieje funkcja f : R n R la której zachozi (2.4) F (x) = x f(t)t = xn x1 f(t 1,..., t n )t 1 t n, to mówimy, że w.l. X ma gestość f. Oczywiście P X (D) = F (t) = D D f(t)t, D B n, gzie pierwsza równość jest zawsze prawziwa, natomiast ruga zachozi jeynie w przypaku gy g estość w.l. X istnieje. Ponato, jeśli F jest różniczkowalna, to f(t) = x F (x) = x 1 x n F (x 1,..., x n ). Każej wspó lrz enej w.l. X, tj. z.l. X j, opowiaa ystrybuanta brzegowa F j : (2.5) F j (x) = P(X j x) = lim x 1. x j 1 lim x j+1. x n F (x 1,..., x j 1, x, x j+1,..., x n ). Jeśli istnieje gestość f to określamy gestość brzegowa f j : (2.6) f j (t) = f(t 1,..., t j 1, t, t j+1,..., t n )t 1 t j 1 t j+1 t n. R }{{ R R }}{{ R} n j j 1 Dystrybuanty i gestości brzegowe sk laowych w.l. X zwiazane sa zależnościa (1.7), tj. f j (t) = t F j(t). Owrotnie: majac ane n zmiennych losowych X j, j = 1,..., n, określonych na tej samej przestrzeni probabilistycznej (Ω, F, P) możemy zefiniować wektor losowy X := (X 1,..., X n ) T. Wówczas rozk la z.l.

9 A. Kasprzyk, STATYSTYKA A 9 X j można opisać zarówno przez (1.2) jak i wzorem (2.2). Dystrybuanta wektora X ana jest wzorem (2.3) i nazywana jest ystrybuanta l aczn a zmiennych losowych X j. Ponato, jeżeli istnieje funkcja f : R n R la której prawziwy jest wzór (2.4) to funkcje ta nazywamy l aczn a gestości a zmiennych losowych X j. Mówimy, że zmienne losowe X j, j = 1,..., n, sa niezależne jeżeli P X (A 1 A n ) = P X1 (A 1 ) P Xn (A n ), la wszystkich A 1,... A n B, co jest równoważne warunkowi F (t) = F 1 (t 1 ) F n (t 1 ), oraz (jeśli gestość istnieje) f(t) = f 1 (t 1 ) f n (t n ). [ ] Y Niech X : (Ω, F, P) (R n, B n ), bezie n-wymiarowym wektorem losowym, oraz X =, gzie Y Z jest p-wymiarowym oraz Z jest q-wymiarowym w.l., p+q = n. Dystrybuante brzegowa F 1 w.l. Y efiniujemy analogicznie o (2.5): F 1 (y) = lim z F (y, z), y Rp, z R q, gzie przez z rozumiemy, że każa sk laowa wektora z aży o nieskończoności. Poobnie, gestość brzegowa f 1 wektora Y efiniujemy analogicznie o (2.6): f 1 (u) = f(u, v)v, u R p, v R q. R q Wektory losowe Y i Z sa niezależne, jeśli oraz (jeśli g estość istnieje) F (t) = F 1 (u)f 2 (v), gzie t = (u ; v), f(t) = f 1 (u)f 2 (v). Oczywiście niezależność w.l. Y i Z jest równoważna warunkowi P(Y A Z B) = P(Y A), la owolnych A B p, B B q. Powyższe efinicje la pozia lu wektora X na wa powektory, można powtórzyć la pozia lu na m powektorów, tj. X = X 1. X m, gzie X j : (Ω, F, P) (R n j, B nj ), n n m = n. Uzyskamy wówczas wzory analogiczne o (2.5) i (2.6) z tym że wszystkie wielkości skalarne ulegna zamianie na wielkości wektorowe. Mówimy, że wektory losowe X 1,..., X m sa niezależne jeśli lub równoważnie (jeśli g estość istnieje) F (t) = F 1 (t 1 ) F m (t m ), gzie t = (t 1 ;... ; t m ), f(t) = f 1 (t 1 ) f m (t m ). Wartość oczekiwana wektorów losowych Niech X bezie n-wymiarowym wektorem losowym. Jego wartość oczekiwana efiniujemy jako wektor wartości oczekiwanych jego sk laowych, bowiem E [ X ] ( ) T ( = X(ω)P(ω) = X 1 (ω)p(ω),..., X n (ω)p(ω) = E[X1 ],..., E[X n ] ) T. Ω Ω Na oznaczenie wartości oczekiwanej zmiennej losowej X b eziemy cz esto używali skrótowej notacji m X. Ω

10 A. Kasprzyk, STATYSTYKA A Przekszta lcenia wektorów losowych Niech X = (X 1,..., X n ) T bezie n-wymiarowym w.l. majacym gestość f(x), natomiast g : R n R n niech bezie funkcja borelowska. K laziemy Y = g(x) = ( g 1 (X),..., g n (X) ) T. Zak laamy ponato, że jeśli A B n jest zbiorem otwartym takim, że P(X A) = 1, to funkcje g j : R n R, j = 1,..., n spe lniaja nastepuj ace warunki: (i) g jest przekszta lceniem wzajemnie jenoznacznym na zbiorze A, tzn. istnieje h: R n R n t.że la każego y g(a) zachozi h(y) = ( h 1 (y),..., h n (y) ) = g 1 (y); (ii) la wszystkich j, k = 1,..., n pochona czastkowa g j(x) jest ciag la; x [ ] k gj (x) (iii) J g (x) = et 0 la wszystkich x A. 1 x k j,k=1,...,n Z powyższych za lożeń wynika, że w obszarze g(a) funkcje h 1,..., h n maja ciag le pochone czastkowe, natomiast jakobian J h (y) przekszta lcenia h jest w tym obszarze skończony i ciag ly. Mamy nastepuj ace Twierzenie 2.1 Jeśli w.l. X ma g estość f X natomiast funkcja g : R n R n spe lnia warunki (i) (iii) to w.l. Y = g(x) ma g estość postaci f Y (y) = f X ( h(y) ) Jh (y), gzie h(y) = g 1 (y), oraz ystrybuant e F Y (y) = F X ( h(y) ). Dowó. (2.7) Z twierzenia o zamianie wspó lrz enych mamy P ( Y g(c) ) = P(X C) = f X (x) x = C g(c) f X ( h(y) ) J h (y) y, la każego mierzalnego C A. Przekszta lcenia liniowe. Niech X bezie n-wymiarowym w.l. o gestości f X oraz A : R n R n niech bezie nieosobliwym przekszta lceniem liniowym postaci Ax = Ax + b, gzie A R n n, b R n. Wówczas gestość w.l. Y = AX = AX + b jest postaci 2.3 Zaania f Y (y) = f X ( A 1 (y b) ) et(a 1 ). Zaanie 2.1 (a) Znajź gestość z.l. Y 1 = X 1 + X 2 jeśli w.l. X = (X 1, X 2 ) T ma l aczn a gestość f X (x 1, x 2 ). Wskazówka: Znajź gestość brzegowa z.l. Y 2 be ac a sk laowa w.l. [ ] [ ] [ ] Y1 1 1 X1 Y = =, 1 0 tzn. przeca lkuj wzgleem y 2 l aczn a gestość wektora Y. (b) Jaka postać przyjmuje wzór na gestość sumy niezależnych z.l.? Y 2 Zaanie 2.2 Uowonij, że la owolnych z.l. X 1 i X 2 (a wi ec nie tylko niezależnych) zachozi: X 2 E [ X 1 + X 2 ] = E [ X1 ] + E [ X2 ]. 1 Przypomnienie: wyznacznik J g(x) nazywamy jakobianem przekszta lcenia g i oznaczamy też przez (g1,..., gn) (x 1,..., x n).

11 A. Kasprzyk, STATYSTYKA A Korelacja i kowariancja zmiennych i wektorów losowych Jeśli zmienne losowe X, Y o wartościach w R, określone na tej samej przestrzeni probabilistycznej (Ω, F, P), maja l aczn a ystrybuante F (x, y) i l aczn a gestość f(x, y) (jeśli istnieje) to ich korelacja nazywamy E [ XY ] = X(ω)Y (ω)p(ω) = x y F (x, y) = x y f(x, y) x y. Ω R R Mówimy, że z.l. X, Y sa (a) nieskorelowane jeśli E[XY ] = E[X] E[Y ], (b) ortogonalne jeśli E[XY ] = 0, co oznaczamy X Y. W przestrzeni zmiennych losowych o śreniej zero oba pojecia sa oczywiście równoważne. Zachozi nierówność Cauchy ego-schwarza: E[XY ] 2 [ E X 2 ] E [ Y 2]. R R Kowariancja z.l. X, Y nazywamy korelacje z.l. X := X E[X] oraz Y := Y E[Y ], tj. Cov(X, Y ) = E [ X Y ] = E [( X E[X] )( Y E[Y ] )] = E[XY ] E[X] E[Y ]. Oczywiście Var(X) = Cov(X, X) = E [ X 2] E[X] 2. Z kolei wielkość ρ X,Y Corr(X, Y ) := Cov(X, Y ) Var(X)Var(Y ) nazywamy wspó lczynnikiem korelacji zmiennych losowych X, Y (skrótowo: korelacja z.l. X, Y, co jak wiać, może być mylace i w świetle wcześniejszych efinicji jest niew laściwe). Jeśli Y jest m-wymiarowym w.l. to korelacja wektorów X i Y nazywamy macierz R X,Y := E [ XY T] [ ] = E[X j Y k ]. j=1,...,n k=1,...,m Analogicznie jak w przypaku zmiennych losowych mówimy, że w.l. X i Y sa (a) nieskorelowane jeśli E [ XY T] = E [ X ] E [ Y ] T, (b) ortogonalne jeśli E [ XY T] = O n,m, co oznaczamy X Y (O n,m oznacza macierz zer rozmiaru n m). Jeśli oznaczymy X := X E[X] oraz Y := Y E[Y], to kowariancja wektorów X i Y nazywamy korelacj e wektorów X, Y, tj. Cov ( X, Y ) := R X,Y = E[ X (Y ) T] = zatem Cov ( X, Y ) = Cov ( X, Y ). Kowariancja w.l. X nazywamy macierz Cov(X) := Cov(X, X) = [ σ jk ]j,k=1,...,n, [ ] Cov(X j, Y k ), j=1,...,n k=1,...,m gzie σ jk := Cov(X j, X k ). Wówczas, jeśli σ 2 j := Var(X j), to σ 2 j = σ jj. B eziemy używać również skróconej notacji na oznaczenie macierzy kowariancji, mianowicie: C X,Y := Cov(X, Y), oraz C X := Cov(X). 2.5 Zaania Zaanie 2.3 Jeśli X i Y sa wektorami losowymi to C X,Y = R X,Y m X m T Y, lub równoważnie R X,Y = R X,Y + m X m T Y. Ponato, jeśli X i Y sa tego samego rozmiaru to C X±Y = C X ± C X,Y ± C Y,X + C Y. Zaanie 2.4 Niech X i Y be a wektorami losowymi opowienio n i m wymiarowymi. (a) Jeśli m = n to E[X + Y] = E[X] + E[Y]. (b) Cov(Y, X) = Cov(X, Y) T. Niech U = AX + a, V = BY + b, gzie A R p n, B R q m, a R p, b R q. (c) E[U] = A E[X] + a. () Cov(U, V) = ACov(X, Y)B T, ska w szczególności wynika, że Cov(U) = ACov(X)A T.

12 A. Kasprzyk, STATYSTYKA A 12 Zaanie 2.5 Niech X i Y be a wektorami losowymi opowienio n i m wymiarowymi. Wówczas X, Y sa nieskorelowane wtey i tylko wtey gy la wszystkich j = 1,..., n, k = 1,..., m nieskorelowane sa sk laowe X j, Y k. Zaanie 2.6 Nastepuj ace warunki sa równoważne: (i) wektory losowe X, Y sa nieskorelowane, (ii) X Y, (iii) Cov(X, Y) = O. Zaanie 2.7 Macierz kowariancji wektora losowego jest symetryczna nieujemnie określona, tzn. jeśli Σ = Cov(X) (X jest n-wymiarowy) to a T Σa 0 la wszystkich a R n. Zaanie 2.8 Jeśli sk laowe w.l. X sa nieskorelowane to Cov(X) = iag(σ1 2,..., σ2 n), gzie σj 2 = Var(X j). Zaanie 2.9 Jeśli sk laowe w.l. X sa niezależne to sa nieskorelowane. Twierzenie owrotne jest nieprawziwe. Kontrprzyk la: wektor losowy X = (X 1, X 2 ) T z rozk laem jenostajnym na kole, np. f X (x 1, x 2 ) = 1 π 1 [0,1]( x x 2 2). Zaanie 2.10 Niech ρ X,Y b ezie wspó lczynnikiem korelacji mi ezy zmiennymi losowymi X i Y. Wielkość ρ(y X) := Cov(Y, X) Var(X) nazywamy wspó lczynnikiem regresji zmiennej Y na zmienna X (wzgleem X). Pokaż, że ρ(x Y ) = ρ(y X) 1 wtey i tylko wtey gy ρ(x, Y ) = 1. Zaanie 2.11 Prosta regresji zmiennej losowej Y wzgleem zmiennej losowej X nazywamy funkcje y = β 0 + β 1 x taka, że E Y β 0 β 1 X 2 = min E Y β 0 β 1 X 2. β 0,β 1 R Pokaż, że β 1 = ρ(y X), β0 = E[Y ] β 1 E[X]. Ponato, z.l. ε := Y β 0 β 1 X jest nieskorelowana ze z.l. X oraz E[ε] = 0. Oblicz wariancje z.l. ε jako funkcje wariancji i kowariancji z.l. X i Y. Wniosek: Dla owolnej pary z.l. X, Y majacych skończony rugi moment możliwe jest przestawienie Y = ax + b + ε, gzie X i ε sa nieskorelowane oraz E[ε] = 0. Zaanie 2.12 Korzystajac z poprzeniego zaania pokaż, że ρ(x, Y ) = 1 wtey i tylko wtey gy Y = ax + b p.w.. Zaanie 2.13 Niech ρ X,Y bezie wspó lczynnikiem korelacji miezy zmiennymi losowymi X i Y. Wyprowaź wzór na kat miezy prosta regresji zmiennej Y wzgleem zmiennej X a prosta regresji zmiennej X wzgleem zmiennej Y w zależności o wartości ρ X,Y. Zaanie 2.14 Niech w.l. X i ε be a nieskorelowane, oraz Y = BX + b + ε. Wówczas macierz kowariancji C Y,X spe lnia równanie B = C Y,X C 1 X. Czy bez utraty ogólności można za lożyć E[ε] = 0, E[X] = 0? Zaanie 2.15 Niech X oraz Y be a wektorami losowymi. Wówczas wektor losowy ε = Y R(Y X)X, gzie R(Y X) = C Y,X C 1 X jest (a) nieskorelowany z wektorem losowym X; (b) ortogonalny o X wtey i tylko wtey gy EX = 0. (c) Ponato C ε = C Y C Y,X C 1 X C X,Y. Wskazówka: Pokaż, że ε := ε E[ε] = Y R(Y X)X. Zaanie 2.16 Niech Y = b + X T β + ε, gzie X jest n-wymiarowym wektorem losowym, ε jest zmienna losowa nieskorelowana z X oraz β R n. Pokazać, że zachozi równość β = C 1 X C X,Y. Czy bez utraty ogólności można za lożyć E[ε] = 0, E[X] = 0?

13 A. Kasprzyk, STATYSTYKA A Przestrzeń Hilberta zmiennych losowych Niech L 2 (Ω, F, P) oznacza zbiór wszystkich zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, F, P) o wartościach w R i majacych skończony rugi moment, tj. E [ X 2] < (zmiennych losowych ca lkowalnych z kwaratem). Latwo sprawzić, że zbiór ten jest przestrzenia liniowa na cia lem liczb rzeczywistych i że korelacja zmiennych losowych jest w tej przestrzeni iloczynem skalarnym. Dok laniej, jeśli X, Y := E[XY ] to spe lnione sa nastepuj ace warunki: (i) X, Y = Y, X ; (ii) αx + βz, Y = α X, Y + β Z, Y, α, β R; (iii) X, X 0 przy czym X, X = 0 X = 0 (p.w.). Warunki (i) oraz (ii) implikuja kolejny: (iv) X, αy + βz = α X, Y + β X, Z, α, β R. Zauważmy, że w warunku (iii) ostatnia równość zachozi jeynie prawie wszezie, co jest pewnym ostep- stwem o efinicji iloczynu skalarnego. Latwo sprawzić, że wystarczy utożsamić ze soba zmienne losowe równe prawie wszezie aby to ostepstwo ominać. Jest to zabieg nie majacy żanego wp lywu na treść teorii. Iloczyn skalarny wyznacza norme w tej przestrzeni, mianowicie X 2 := X, X = E [ X 2], tzn. spe lnione sa warunki: (i) X 0 przy czym X = 0 X = 0 (p.w.); (ii) αx = α X ; (iii) X + Y X + Y. Zatem rugi moment zmiennej losowej można interpretować jako kwarat lugości wektora (elementu przestrzeni liniowej) i zgonie z tym przestrzeń L 2 jest przestrzenia zmiennych losowych (wektorów) o skończonej (E lugości. Z kolei norma inukuje metryke: (X, Y ) := X Y = X Y 2) 1/2, tzn. spe lnione s a warunki: (i) (X, Y ) = (Y, X), (ii) (X, Y ) 0 przy czym (X, Y ) = 0 X = Y (p.w.), (iii) (X, Y ) (X, Z) + (Z, Y ). Metryka ta nazywana jest oleg lościa śreniokwaratowa zmiennych losowych, a zbieżność w tej metryce nazywana jest zbieżnościa śreniokwaratowa. Ciag zmiennych losowych {X n } jest zbieżny o X wzgleem normy (tzn. w metryce ), co zapisujemy X n X, jeśli X n X 2 = E X n X 2 0. Mówimy wówczas, że zmienna losowa X jest granica śreniokwaratowa ciagu X n, co zapisujemy X = l.i.m. n X n (rzako spotykane). Można pokazać, że zbieżność śreniokwaratowa implikuje zbieżność prawie wszezie, ale owrotna implikacja nie zachozi. Przestrzeń L 2 z metryka inukowana przez iloczyn skalarny X, Y = E[XY ] jest przestrzenia zupe ln a, zatem jest to przestrzeń Hilberta. Latwo sprawzić, że przestrzeń ta zawiera zbiór liczb rzeczywistych, tj. R L 2. Jeśli przez L 2 oznaczymy poprzestrzeń przestrzeni L 2 zmiennych losowych o śreniej 0 ( latwo sprawzić, że jest to poprzestrzeń liniowa), to wówczas L 2 = L 2 R, tzn. każ a zmienna losowa X o skończonym rugim momencie można jenoznacznie przestawić jako sume X = X + m, gzie m = E[X] R oraz X = X m L 2. Zaanie 2.17 Sprawzić że: (a) X, Y := E[XY ] jest iloczynem skalarnym; (b) X := X, X = E [ X 2] 1/2 jest norm a; (c) (X, Y ) := X Y = ( E X Y 2 ) 1/2 jest metryk a. Zaanie 2.18 Poprzestrzeń L 2 jest ortogonalna o R. St a, la każej zmiennej losowej X L 2 zachozi X 2 = X 2 + m 2, gzie m = E[X]. Ponato Var(X) = X 2 = X 2 m 2 = E [ X 2] ( E[X] ) 2. Zaanie 2.19 (a) Pokaż, że Cov(X, Y ) = X, Y = X, Y E[X] E[Y ]. (b) Dla z.l. X, Y, pokaż, że z.l. ε := Y X,Y X 2 X jest ortogonalna o X.

14 A. Kasprzyk, STATYSTYKA A 14 3 Rozk lay warunkowe i warunkowe wartości oczekiwane W niniejszym rozziale zak laamy, la uproszczenia wywou, że rozpatrywane zmienne losowe maja gestość. Niech X, Y be a zmiennymi losowymi określonymi na tej samej przestrzeni probabilistycznej (Ω, F, P). Sigma cia lem generowanym przez z.l. X nazywamy klase σ(x) zbiorów z F takich, że A σ(x) B B A = X 1 (B) = {ω : X(ω) B}. Latwo pokazać, że σ(x) jest σ-cia lem, i jest to najmniejsze σ-cia lo zbiorów z F wzgleem którego z.l. X jet mierzalna. Warunkowa wartościa oczekiwana z.l. Y wzgleem z.l. X nazywamy owolna z.l. W spe lniajac a warunki: (W1) W jest σ(x) mierzalna, tj. σ(w ) σ(x), (W2) E[W 1 A ] = E[Y 1 A ] la wszystkich A σ(x). Drugi warunek zapisany w barziej jawny sposób wyglaa nastepuj aco A σ(x) W (ω)p(ω) = Y (ω)p(ω). A Warunkowa wartość oczekiwana z.l. Y wzgleem z.l. X jest określona z ok lanościa o zbioru miary zero, tzn. wszystkie funkcje spe lniaj ace warunki (W1) i (W2) sa równe prawie wszezie wzgleem miary P (z P1). Warunkowa wartość oczekiwana oznaczamy najcześciej przez E[Y X]. Jej istnienia owozi sie korzystajac z twierzenia Raona-Nikoyma. Oto najważniejsze w lasności warunkowej wartości oczekiwanej: 1. E[aY + bz X] = ae[y X] + be[z X], a, b R; 2. E [ E[Y X] ] = E[Y ]; 3. E[Y Z X] = E[Y X] Z jeśli Z jest σ(x)-mierzalny (zatem E[Y X] = Y jeśli Y jest σ(x)-mierzalny); 4. E[Y X] = E[Y ] jeśli X i Y sa niezależne. Ponato, jeśli X 1 jest mierzalny X 2, tzn. σ(x 1 ) σ(x 2 ), to 5. E [ E[Y X 1 ] X 2 ] = E[Y X1 ]; 6. E [ E[Y X 2 ] X 1 ] = E[Y X1 ]. Jeżeli z.l. X i Y maja l aczn a gestość f(x, y) i gestości brzegowe f X (x) i f Y (y) opowienio, to pokazuje sie, że la każego x funkcja A (3.1) f(y X = x) = f(x, y) f X (x) zmiennej y, jest również gestości a pewnej z.l., która beziemy oznaczać (Y X = x) i nazywać zmienna losowa Y po warunkiem X = x. Jest to z.l. σ(y )-mierzalna. Wartość oczekiwana tej z.l. beziemy oznaczać przez E[Y X = x], tzn. E[Y X = x] E [ (Y X = x) ] = y f(y X = x) y. Przy ustalonym x wartość oczekiwana E[Y X = x] jest funkcja eterministyczna zmiennej x zwana funkcja regresji z.l. Y na z.l. X (wzgleem z.l. X). Nie należy mylić tej funkcji z regresja liniowa, tj. prosta regresji) z.l. Y na z.l. X (por. zaanie 2.11). Funkcje regresji nazywa sie też regresja I-go rozaju, w oróżnieniu o prostej regresji, która nazywa sie też regresja II-go rozaju.

15 A. Kasprzyk, STATYSTYKA A 15 Zauważmy że E[Y X = x] = g(x), gzie g(x) = yf(y X = x)y jest przekszta lceniem borelowskim, tzn. g : ( R, B ) ( R, B ). Wynika sta, że jeśli wartość jaka przyjmie w.l. X jest a priori nie znana, to funkcja W (ω) = g ( X(ω) ) zmiennej ω Ω jest z.l. σ(x)-mierzalna, tzn. W 1 (B) σ(x) la każego B B. Zatem z.l. W spe lnia (W1). Co wiecej, z.l. W spe lnia również warunek (W2) zatem W = E[Y X] z P1. Ścis ly owó pomijamy. Ograniczymy sie jeynie o spostrzeżenia, że jeśli A σ(x) to E [ 1 A W ] = g(x(ω)) P(ω) = g(x) F X (x) = E[Y X = x] F X (x) = = A X(A) A R X(A) y f(y X = x) y f X (x) x = Y (ω) P(ω) = E [ 1 A Y ]. X(A) X(A) R y f(x, y) y x Bezpośrenio z (3.1) można również pokazać, że jeśli C B i D B to (3.2) P(X C, Y D) = f(y X = x) y f X (x) x. Jeśli C = R to ostajemy nastepuj acy wzór na prawopoobieństwo ca lkowite: P(Y D) = f(y X = x) y f X (x) x. R C D D Wzór ten ma zastosowanie w sytuacji gy rozk la w.l. Y zależy o parametru, którego wartość nie jest znana. Parametr ten traktujemy wówczas jako wektor losowy, powiezmy X. Nie znamy jego ok lanej wartości ale możemy na postawie wcześniejszej wiezy przyjać, że ma on gestość f X. Zauważmy też, że k laac Z = ( X, Y ) T i uogólniajac wzór (3.2) na owolny zbiór E B 2 mamy P ( (3.3) Z E) = f(y X = x) y f X (x) x. E Wynika sta, że l aczn a gestość z.l. X i Y można przestawić jako iloczyn gestości warunkowej z.l. Y po warunkiem z.l. X i gestości brzegowej z.l. X, tzn. f(x, y) = f(y X = x) f X (x). Przestawienie to nazywamy faktoryzacja gestości w.l. Z.

16 A. Kasprzyk, STATYSTYKA A 16 4 Przegla najważniejszych rozk laów prawopoobieństwa 4.1 Wst ep W niniejszym rozziale przestawimy przegla najważniejszych ciag lych rozk laów prawopoobieństwa na prostej rzeczywistej. Poamy też postać i najważniejsze informacje o wielowymiarowym rozk lazie normalnym. Przez i rozumiemy jenostke urojona, tj. i 2 = 1. Funkcje charakterystyczne Dla owolnego wektora losowego X : (Ω, F, P) (R n, B n ) efiniujemy jego funkcje charakterystyczna: [ φ X (t) := E e i t,x ] (4.1) = e i t,x F X (x), t R n. R n Latwo pokazać, że: (4.2) (4.3) φ X+Y (t) = φ X (t)φ Y (t) gy X, Y niezależne, φ AX+b (t) = e i t,b φ X (A T t) gzie A R m n, b, t R m. Zachozi również nastepuj acy wzór na k-ty moment mieszany wektora losowego X = (X 1,... X n ) T : (4.4) [ ] E X k 1 1 Xkn n = i k k φ X (t) k 1 t1 kn t n gzie k = i k i. t=0 Funkcja Gamma Eulera t z 1 e t t, z > 0, Γ(z) := 0, z = 0, Γ(z + 1)/z, z < 0. Γ(z + 1) = z Γ(z), z R, wi ec Γ(n) = (n 1)!, n = 1, 2,... ; Γ(1/2) = π ; Γ(3/2) = π/ Rozk lay jenowymiarowe Rozk la Gamma G(λ, α) g λ,α (x) = λα x α 1 e λx, x > 0, λ, α > 0. Γ(α) λ nazywamy parametrem skali, natomiast ( α > 0) nazywamy parametrem kszta ltu. λ α Funkcja charakterystyczna: φ λ,α (t) = ; λ it k-ty moment: E [ G k (λ, α) ] α(α + 1) (α + k 1) = λ k ; E [ G(λ, α) ] = α λ, Var( G(λ, α) ) = α λ 2. Zwiazki z innymi rozk laami 1. Rozk la wyk laniczy: E(λ) := G(λ, 1); 2. Rozk la chi kwarat: χ 2 (ν) := G ( 1 2, ν 2 ).

17 A. Kasprzyk, STATYSTYKA A 17 W lasności n ( 1. G j (λ, α j ) = G λ, j=1 sta: n α j ); j=1 n E j (λ) = G(λ, n) j=1 2. a G(λ, α) = G ( λ a, α). oraz n χ 2 j(ν j ) = χ 2( n ν j ). j=1 j=1 Przyk la 4.1 (Kwantyle rozk lau Gamma.) Niech G λ,α (x) oznacza ystrybuante rozk lau G(λ, α), tj. G λ,α (x) = F G(λ,α) (x). Wówczas na mocy (1.17), (1.19) oraz z w lasności rozk lau gamma otrzymujemy: (4.5) (4.6) G λ,α (x) = F G(λ,α) (x) = F 1 λ G(1,α)(x) = F G(1,α)(λx) = G 1,α (λx), G λ,α (p) = FG(λ,α) (p) = F 1 G(1,α)(p) = 1 λ λ F 1 G(1,α) (p) = 1 λ G 1 1,α (p). Jeśli przez χ 2 ν(x) oznaczymy ystrybuante rozk lau χ 2 (ν), to w szczególności, korzystajac ze zwiazku miezy rozk laem gamma i rozk laem χ 2, mamy: (4.7) (4.8) G θ,α (x) = G 1/2,2α/2 (2θx) = χ 2 2α(2θx), G 1 θ,α (p) = 1 2θ G 1 1/2,2α/2 (p) = 1 2θ (χ2 2α) 1 (p). co pozwala na korzystanie z tablic la rozk lau χ 2 przy szukaniu kwantyli la owolnego rozk lau z roziny gamma Rozk la normalny N ( m, σ 2) ϕ m,σ 2(x) = 1 } (x m)2 exp { 2πσ 2σ 2, x R, m R, σ 0. Funkcja charakterystyczna: φ m,σ 2(t) = e itm 1 2 σ2 t 2 ; k-ty moment: E [ N 2k (0, σ 2 ) ] = (2k 1)!!σ 2k, E [ N 2k+1 (0, σ 2 ) ] = 0, gzie (2k 1)!! = (2k)! 2 k k! = 1 3 (2k 1); E [ N ( m, σ 2)] = m, Var ( N ( m, σ 2)) = σ 2. Zwiazki z innymi rozk laami 1. N 2( 0, σ 2) ( 1 = G 2σ 2, 1 ) ; sta 2 2. n Nj 2 (0, 1) = χ 2 (n). j=1 n j=1 Nj 2 ( 0, σ 2 ) ( 1 = G 2σ 2, n ) ; 2 W lasności 1. a N ( m, σ 2) + b = N ( am + b, a 2 σ 2) ; sta N ( m, σ 2) m σ = N(0, 1); 2. (Centralne Twierzenie Graniczne Lineberga Lévy ego.) Niech X n = ( X 1,..., X n ) T. { Xj }j N IID(m, σ2 ) n X n m σ N(0, 1), n.

18 A. Kasprzyk, STATYSTYKA A Rozk la t-stuenta (centralny) T (ν) t ν (x) = Γ( ) ν+1 2 ( νπ Γ ν ) 2 ) ν+1 (1 + x2 2, x R, ν > 0. ν Funkcja charakterystyczna: skomplikowana; k-ty moment: E [ T 2k (ν) ] (2k 1)!! ν k = (ν 2)(ν 4) (ν 2k), 2k < ν; E[ T 2k+1 (ν) ] = 0, 2k + 1 < ν; Zwiazki z innymi rozk laami N(0, 1) 1. T (n) = ; 1 n χ2 (n) E [ T (ν) ] = 0, ν > 1, Var ( T (ν) ) = ν ν 2, ν > T (1) = C(0, 1) rozk la Cauchy ego z parametrami 0,1. W lasności 1. T (n) 2. N(0, 1); z przybliżenia rozk laem normalnym można korzystać la n 30; n ( n T j (ν j ) = T ν j ). j= Rozk la F j=1 (Rozk la Fishera-Sneecora, F-Sneecora, F-Fishera) F (α, β) f α,β (x) = Γ( α+β ) 2 Γ ( α 2 ) Γ ( β 2 ) ( ) α α/2 x α/2 1( 1 + α ) α+β β β x 2, x > 0, α, β > 0. Funkcja charakterystyczna: skomplikowana; k-ty moment: E [ F k (α, β) ] = Γ( α 2 + k) Γ ( β 2 k) β k Γ ( ) ( α 2 Γ β ), k < β/2 ; 2 α k E [ F (α, β) ] = β β 2, β > 2, Var( F (α, β) ) = 2β2 (α + β 2) α(β 4)(β 2) 2, β > 4. Zwiazki z innymi rozk laami 1. χ 2 (α)/α χ 2 (β)/β = F (α, β). 2. F (1, n) = T (n) ln F (α, β) = Z(α, β) rozk la Z-Fishera. 2 W lasności 1 1. = F (β, α); F (α, β) 2. F (α, β) α β 2αβ α+β 2αβ N(0, 1), α, β ; z przybliżenia rozk laem normalnym można korzystać la α, β 30;

19 A. Kasprzyk, STATYSTYKA A Rozk la normalny n-wymiarowy N ( m, Σ ) ϕ m,σ (x) = { 1 (2π) n/2 exp 1 } Σ 1/2 2 (x m)t Σ 1 (x m), x R n, m R n, Σ R n n, Σ 0, gzie przez Σ 0 rozumiemy, że macierz jest symetryczna nieujemnie określona. Jeśli Σ jest nieosobliwa to mówimy, że rozk la normalny N ( m, Σ ) jest nieosobliwy, w przeciwnym wypaku mówimy o rozk lazie normalnym osobliwym. Funkcja charakterystyczna ϕ m,σ (t) = exp { i t, m 1 2 tt Σt }. Zwiazki z innymi rozk laami E [ N ( m, Σ )] = m, Cov ( N ( m, Σ )) = Σ. 1. X N ( m, Σ ) (X m) T Σ 1 (X m) χ 2 (n). W lasności 1. AN ( m, Σ ) + b = N ( Am + b, AΣA T), gzie A R n n, b R n. 2. (Twierzenie Fishera.) X N ( m1, σ 2 I ) S 2 (X), X niezależne. 3. X N ( m1, σ 2 I ) n σ 2 S2 (X) χ 2 (n 1), X N ( m, σ 2 /n ). 4. X N(m1, σ 2 I) X m S 2 (X) n 1 T (n 1). 4.4 Zaania Zaanie 4.1 W.l. X = (X 1, X 2 ) T ma gestość f X i ystrybuante F X. Wyznacz gestości i ystrybuanty l aczne i brzegowe zmiennych losowych Y 1 = X 1 X 2, Y 2 = X 1 /X 2. Zaanie 4.2 Niech U 1 i U 2 be a niezależnymi zmiennymi losowymi o rozk lazie jenostajnym na ocinku [0, 1], tj. U 1, U 2 U(0, 1). (a) Wyznacz gestości i ystrybuanty l aczne i brzegowe zmiennych losowych V 1 = U 1 + U 2, V 2 = U 1 U 2. (b) Wyznacz gestości i ystrybuanty l aczne i brzegowe zmiennych losowych V 1 = U 1 U 2, V 2 = U 1 /U 2. Zaanie 4.3 Poaj przyk la gestości na kwaracie [0, 1] 2 takiej, że gestości brzegowe maja rozk la jenostajny na ocinku [0, 1], ale opowiaajace im zmienne losowe nie sa niezależne. Przeprowaź faktoryzacje tej gestości. Zaanie 4.4 Uowonij wzory na śrenia, wariancje i ogólnie, na k-ty moment rozk lau Gamma. Zaanie 4.5 Poaj wzór na gestość i ystrybuante rozk lau wyk laniczego. Wyprowaź wzór na k-ty moment tego rozk lau bezpośrenio z efinicji (nie korzystajac ze wzoru na k-ty moment rozk lau Gamma). Uowonij w lasność braku pamieci rozk lau wyk laniczego, tj. pokaż, że jeśli X ma rozk la wyk laniczy to P(X a + b X b) = P(X a). Zaanie 4.6 Wyprowaź wzór na g estość rozk lau χ 2.

20 A. Kasprzyk, STATYSTYKA A 20 Zaanie 4.7 (a) Uowonij w lasność 1. rozk lau Gamma. (b) Uowonij w lasność 2. rozk lau Gamma. Zaanie 4.8 Bezpośrenio z efinicji pokaż, że E [ N ( m, σ 2)] = m oraz Var ( N ( m, σ 2)) = σ 2. Wyprowaź wzór na k-ty moment rozk lau normalnego ze śrenia 0. Zaanie 4.9 (a) Uowonij zwiazek 1. rozk lau normalnego z rozk laem Gamma. (b) Uowonij zwiazek 2. rozk lau normalnego z rozk laem χ 2. Zaanie 4.10 Uowonij w lasność 1. rozk lau normalnego. Zaanie 4.11 Pokaż, że jeśli X 1 i X 2 sa niezależne o rozk lazie N ( 0, σ 2) to X1 2 + X2 2 E( 1/2σ 2). Zaanie 4.12 Wyprowaź wzór na śrenia i wariancje centralnego rozk lau t-stuenta. Zaanie 4.13 (a) Uowonij zwiazek 1. rozk lau t-stuenta z rozk laem normalnym. (b) Poaj gestość i ystrybuante rozk lau Cauchy ego z parametrami 0 i 1. Czy rozk la ten posiaa śrenia i wariancje? Zaanie 4.14 (a) Uowonij w lasność 1. rozk lau t-stuenta. (b) Uowonij w lasność 2. rozk lau t-stuenta. Zaanie 4.15 Uzasanij wzory na śrenia i kowariancje rozk lau F-Fishera. Zaanie 4.16 (a) Uowonij zwiazek 1. rozk lau F-Fishera z rozk laem χ 2. (b) Uowonij zwiazek 2. rozk lau F-Fishera z rozk laem t-stuenta. Zaanie 4.17 Uzasanij w lasność 1. rozk lau F-Fishera. Rozk la normalny Zaanie 4.18 Zmienna losowa X ma rozk la logarytmicznie normalny z parametrami m, σ 2 jeśli ln X N ( m, σ 2), lub równoważnie, jeśli X = exp{n ( m, σ 2) }. Piszemy wówczas X LN ( m, σ 2). Znajź gestość i ystrybuante tego rozk lau oraz wzory na jego śrenia i wariancje. Zaanie 4.19 Pokaż, że jeśli wektor losowy X = (X 1, X 2 ) T ma nieosobliwy rozk la normalny N ( m, Σ ), gzie Σ = [ σ ij ]i,j=1,2, to jego g estość jest postaci { [ 1 f(x 1, x 2 ) = 2π σ 11 σ 22 (1 ρ 2 ) exp 1 (x1 m 1 ) 2 2(1 ρ 2 ) σ 11 2ρ (x 1 m 1 )(x 2 m 2 ) σ11 σ 22 + (x 2 m 2 ) 2 σ 22 gzie m j = E[X j ], ρ jest wspó lczynnikiem korelacji mi ezy zmiennymi X 1 i X 2 oraz σ jj = Var(X j ), j = 1, 2. Zaanie 4.20 Dla w.l. Z = (X, Y ) T o nieosobliwym rozk lazie normalnym przeprowaź faktoryzacje jego gestości, tzn. l aczn a gestość f(x, y) w.l. Z przestaw w postaci f(x, y) = f(y X = x) f X (x) gzie f(y X = x) jest gestości a z.l. (Y X = x), natomiast f X (x) jest gestość brzegowa z.l. X. Zaanie 4.21 Pokaż, że w przypaku wuwymiarowego w.l. o rozk lazie normalnym funkcja regresji I-go rozaju jest równa funkcji regresji II-go rozaju. ]},

21 A. Kasprzyk, STATYSTYKA A 21 Zaanie 4.22 Dla wektora losowego X = (X 1, X 2 ) T o nieosobliwym rozk lazie normalnym N ( m, Σ ) znajź takie przekszta lcenie liniowe B : R 2 R 2 postaci BX = BX + b, gzie B R 2 2, b R 2, aby wektor losowy Y = BX mia l rozk la N ( 0, I ). Wskazówka: macierz Σ jest symetryczna oatnio określona zatem istnieje jej reprezentacja spektralna Σ = HΛH T. Λ jest macierza iagonalna majac a na przekatnej wartości w lasne macierzy Σ, natomiast kolumny macierzy H sa opowiaajacymi im prawostronnymi wektorami w lasnymi macierzy Σ. Ponato H T = H 1. Zaanie 4.23 Niech wektor losowy (X, Y ) T ma rozk la normalny N ( 0, Σ ) gzie Σ = [ σ ij ]i,j=1,2, σ jj = 1, σ 12 = ρ, ρ < 1. Pokaż, że g estość tego rozk lau jest sta la na elipsach x 2 2ρxy + y 2 = C. Uowonij, że jeśli ρ > 0, to uża oś elipsy tworzy z osia 0x kat π/4, a jeśli ρ < 0, to kat ten wynosi 3π/4. Znajź w obu przypakach lugość osi elipsy. Wskazówka: okonaj zamiany zmiennych x = (u v)/ 2, y = (u + v)/ 2. Zaanie 4.24 Niech X j N ( m j, σj 2 ), j = 1,..., n, gzie z.l. Xj sa niezależne. Pokaż, ze l aczna gestość w.l. X = (X 1,..., X n ) T jest postaci ϕ(x) = ((2π) n ) 1/2 { n σj 2 exp 1 n } (x j m j ) 2 /σj 2 2 = j=1 j=1 ((2π) n D ) 1/2 exp { 1 2( x m ) T D 1( x m )}, gzie x = (x 1,..., x n ) T, m = (m 1,..., m n ) T, D = iag ( σ 2 1,..., σ2 n). Zaanie 4.25 Uzupe lnij poniższa tabelke, wypisujac z tablic wartości kwantyli rzeu p la opowienich rozk laów. p N(0, 1) N(2, 4) T (5) T (30) χ 2 (7) G(2, 6) E(5) F (5, 8) Zaanie 4.26 Niech X N ( m, σ 2). (a) Znajź z wiezac, że P( X > z) = 0.71 oraz m = 0, σ 2 = 1. (b) Znajź m wiezac, że P(X < 31) = 0.65 oraz σ 2 = 25. Zaanie 4.27 Niech X 1,..., X n bezie ciagiem niezależnych zmiennych losowych o jenakowych rozk laach, o śreniej m i wariancji σ 2, tj. {X j } IID ( m, σ 2). Dla wektora losowego X = (X 1,..., X n ) T niech X := 1 n j X j, X 2 := 1 n j X2 j oraz S 2 (X) := 1 ( n j Xj X ) 2. Pokaż, że (a) EX = m, VarX = σ 2 /n; (b) S 2 (X) = X 2 X 2 ; (c) ES 2 (X) = n 1 n σ2. () Znajź macierz B la której S 2 (X) = X T BX. Zaanie 4.28 Uowonij zwiazek 1. wielowymiarowego rozk lau normalnego N ( m, Σ ) z rozk laem χ 2. Wskazówka: Jeśli Σ jest macierza symetryczna nieujemnie określona to istnieje macierz kwaratowa S taka, że rza macierzy S jest równy rzeowi macierzy Σ oraz Σ = S S T. Oznaczajac Z = S 1 (istnieje, jeśli Σ jest pe lnego rzeu) ostajemy Σ 1 = S T S 1 oraz ZΣZ T = I. (Por. zaanie 4.22)

22 A. Kasprzyk, STATYSTYKA A 22 5 Twierzenia graniczne 5.1 Typy zbieżności zmiennych losowych Definicja 5.1 Rozważmy ciag ciag z.l. {Z n }, z których każa ma ystrybuante F n, oraz z.l. Z o ystrybuancie F. Mówimy że ciag z.l. {Z n } jest zbieżny we lug rozk lau o z.l. Z jeśli lim F n(x) = F (x) la wszystkich x D F, n gzie D F jest zbiorem punktów, w których ystrybuanta F jest ciag la. Zbieżność wg. rozk lau nazywamy też s laba zbieżnościa i oznaczamy Z n F Z lub Z n Z lub Z n L Z. Zauważmy, że zbiór punktów nieciag lości owolnej ystrybuanty F t.j. zbiór R \ D F może być zbiorem co najwyżej przeliczalnym zatem jeśli zachozi s laba zbieżność {Z n } o Z to lim n F n (x) = F (x) la prawie wszystkich x R (wszystkich z wyjatkiem zbioru miary 0 w mierze Lebesgue a). Zwróćmy jeszcze uwage na fakt, że w powyższej efinicji nie musimy zak laać że wszystkie z.l. Z n oraz Z sa określone na tej samej przestrzeni probabilistycznej, baamy bowiem jeynie zachowanie ich ystrybuant. Inaczej jest w przypaku kolejnych wóch typów zbieżności wymagajacych za lożenia że ciag z.l. {Z n } oraz z.l. Z sa określone na tej samej przestrzeni probabilistycznej (Ω, F, P). Definicja 5.2 Mówimy, że ciag z.l. {Z n } jest zbieżny we lug prawopoobieństwa o z.l. Z jeśli (5.1) ε > 0 P ( Zn Z > ε ) P { ω : Zn (ω) Z(ω) > ε } n 0. Zbieżność wg. prawopoobieństwa ( wg. P ) nazywamy też zbieżnościa stochastyczna i oznaczmy ja symbolicznie P Z. Z n Latwo pokazać, że zbieżność wg. P implikuje zbieżność wg. rozk lau natomiast owrotna implikacja zachozi jeynie wtey gy wszystkie Z n oraz Z sa określone na tej samej przestrzeni probabilistycznej oraz P Z n Z = c = const, tj. gy Z jest zegenerowana z.l. przyjmujac a sta l a wartość c z prawopoobieństwem 1. Definicja 5.3 Mówimy, że ciag z.l. {Z n } jest zbieżny z prawopoobieństwem 1 o z.l. Z jeśli (5.2) P ( Z n Z ) P { ω : Z n (ω) Z(ω) } = 1, tzn. zbiór punktów ω la których Z n (ω) jest zbieżny o Z(ω) ma miare 1 (w mierze P) sa to wiec prawie wszystkie punkty przestrzeni Ω (tj. wszystkie za wyjatkiem pewnego ich pozbioru miary 0). Innymi s lowy prawie wszezie zachozi zbieżność punktowa i sta ten rozaj zbieżności nazywamy też zbieżnościa prawie wszezie (p.w.) lub prawie na pewno (ang. almost everywhere (a.e.), almost surely (a.s.)) i oznaczamy Z n P1 p.w. a.s. a.e. Z lub Z n Z lub Z n Z lub Z n Z. Zbieżność z P1 można równoważnie zefiniować w nastepuj acy sposób: P { ω : Z n (ω) Z(ω) } = 0. Oczywiście zbieżność z P1 implikuje zbieżność wg. P i jest to istotnie silniejszy typ zbieżności, tzn. owrotna implikacja nie zachozi co ilustruje poniższy kontrprzyk la.

23 A. Kasprzyk, STATYSTYKA A 23 Przyk la 5.1 Niech Ω = [0, 1], F = B [0,1] (zbiory borelowskie na ocinku [0, 1]), oraz P = U[0, 1] (rozk la jenostajny na ocinku [0, 1]). Zmienne losowe Z n efiniujemy nastepuj aco { 1 la ω 1 (n 2 Z n = k, n 2 k + 1] gy 2 k n < 2 k+1, k = 0, 1,... 2 k 0 poza. Jeśli Z := 0 (tj. Z(ω) := 0 la każego ω Ω) to la 2 k n < 2 k+1, k = 0, 1,..., mamy P ( Z n Z = 1 ) = P ( Z n = 1 ) = 2 k, P ( Z n Z = 0 ) = P ( Z n = 0 ) = 1 2 k. P Zatem la każego ε zachozi warunek (5.1) co oznacza, że Z n Z = 0. Jenak zbieżność z P1 nie zachozi bowiem ω ε N n N Z n (ω) Z(ω) > ε, tzn. Z n nie jest zbieżny punktowo o 0 w żanym punkcie ω Ω. Dla ustalonego ε < 1 weźmy owolne ω (0, 1). Wówczas la każego N i k takiego, że N < 2 k, istnieje takie n, że ω 2 k (n 2 k, n 2 k + 1]; z efinicji Z n wynika, że Z n (ω) Z(ω) = Z n (ω) = 1 > ε. Na postawie wcześniejszych obserwacji możemy sformu lować nastepuj ace: Twierzenie 5.1 Miezy wymienionymi typami zbieżności zachoza nastepuj ace zwiazki Z n P1 Z Z n P Z Z n Z, Z n c = const Z n P c. P Twierzenie 5.2 (Twierzenie S luckiego.) Jeżeli X n X oraz Y n c = const to (i) X n + Y n X + c, (ii) X n Y n cx, (iii) X n /Y n X/c, o ile c Postawowe nierówności Jeśli z.l. X ma skończony r-ty moment to beziemy pisać X L r. W szczególności, jeśli istnieje skończony rugi moment (X jest ca lkowalna z kwaratem), a wiec również VarX <, to piszemy X L 2. Poobnie, X L 1 oznacza ca lkowalna z.l. wiec E X <. Twierzenie 5.3 (Nierówność Markowa.) Jeśli r, t R + oraz Z L r to (5.3) Dowó. P ( Z > t ) E Z r t r. Niech Y := Z r, a := t r. Wtey Y L 1 jest nieujemna z.l. oraz EY = E [ ] [ ] [ ] ( ) Y 1 (Y >a) + E Y 1(Y a) E Y 1(Y >a) ap Y > a co oznacza, że P ( Z r > t r) E Z r /t r, ale P ( Z r > t r) = P ( Z > t ) zatem twierzenie jest uowonione. Twierzenie 5.4 (Nierówność Czebyszewa.) Jeśli X L 2 to (5.4) P ( X EX t ) 1 VarX t 2.

24 A. Kasprzyk, STATYSTYKA A 24 Dowó. (5.5) W nierówności Markowa, k laziemy Z := (X EX) oraz r = 2 co aje P ( X EX > t ) VarX t 2 Biorac zarzenie przeciwne ostajemy nierówność Czebyszewa. Oczywiście (5.4) implikuje również (5.5) zatem wzory te sa równoważne. Wniosek 5.1 (Regu la 3 sigm.) K laac w nierówności Czebyszewa t = 3σ gzie σ = VarX ostajemy P ( X EX 3σ ) 8/9, zatem la owolnej zmiennej losowej majacej skończony rugi moment 8/9 jej masy znajuje sie nie alej niż 3σ o jej śreniej, tzn. z prawopoobieństwem co najmniej 8/9 z.l. X przyjmie wartość z przezia lu [EX 3σ, EX + 3σ]. W nierówności Czebyszewa jeynym za lożeniem jest istnienie rugiego momentu z.l. jest to wiec nierówność barzo uniwersalna, w zwiazku z czym nie można oczekiwać o niej użej ok laności w szacowaniu prawopoobieństwa pewnych zarzeń. Niemniej jenak pojawia sie ona w owoach wielu twierzeń i jest postawowym narzeziem s lużacym o baania zbieżności wg. prawopoobieństwa. 5.3 Prawa Wielkich Liczb Niech ciag z.l. {X k }, k = 1, 2,..., oraz z.l. X be a określone na tej samej przestrzeni probabilistycznej (Ω, F, P). Beziemy alej używać nastepuj acych oznaczeń: X n := ( ) T X 1,..., X k, n S n := X k = 1 T nx n, k=1 X n := 1 n S n. Wektor X n nazywamy próba rozmiaru n natomiast z.l. X n nazywamy śrenia z próby (rozmiaru n) lub śrenia próbkowa. Definicja 5.4 Mówimy, że la ciagu z.l. {X k } zachozi s labe prawo wielkich liczb (SPWL) jeśli 1 ( ) P Sn ES n 0, tzn. ε > 0 lim P ( 1 n n n S n ES n < ε ) = 1, n. Jeżeli EX k = EX = m, k = 1, 2,..., to powyższy warunek jest równoważny X P m, tzn. ε > 0 lim n P ( X n m < ε ) = 1, n. Poniżej przestawiamy twierzenia, w których sa poane warunki ostateczne na to aby la ciagu z.l. zachozi lo SPWL. Zauważmy, że nie zawsze wymagamy aby ciag z.l. {X k } by l IID (ang. Inepenent Ientically Distribute, tj. ciag niezależnych z.l. o ientycznych rozk laach). Przyk la 5.2 Niech X k, k = 1, 2,..., bezie ciagiem niezależnych zmiennych losowych o jenakowym rozk lazie b(1, p). Dla p = 1/2 oraz n = 1000 oszacować P ( S n (450, 550) ). Rozwiazanie: Wiemy, że S n b(1000, 1/2) zatem ES n = 500, VarS n = np(1 p) = 250. Z nierówności Czebyszewa ostajemy P ( S n ) = 1/10, zatem P( S n (450, 550) ) 9/10. Zauważmy jeszcze, że stosujac regu l e 3 sigm ostajemy P ( S n (452, 548) ) 8/9. Twierzenie 5.5 (PWL Bernoulli ego.) Jeśli {X k } IID, b(1, p) to X P p. Innymi s lowy, la prób Bernoulli ego zachozi SPWL.