Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

Rozdział 1 Wektory losowe 1.1 Wektor losowy i jego rozkład Definicja 1 Wektor X = (X 1,..., X n ), którego każda współrzędna jest zmienną losową, nazywamy n-wymiarowym wektorem losowym (krótko wektorem losowym). Definicja 2 Wartość x = (x 1,..., x n ) wektora losowego X = (X 1,..., X n ) dla ustalonego ω, tzn. x i = X i (ω), dla każdego i {1,..., n}, nazywamy realizacją wektora losowego X. Przykład 1 Rozpatrzmy n-krotny rzut kostką. Niech X i, i = 1,..., n, będzie zmienną losową przyjmującą wartość x i równą liczbie oczek w i-tym rzucie. Wówczas X = (X 1,..., X n ) jest wektorem losowym oraz x = (x 1,..., x n ) taki, że x i = 6 dla każdego i {1,..., n}, jest jego przykładową realizacją. Rozkład wektora losowego (in. rozkład łączny wektora losowego), podobnie jak rozkład zmiennej losowej, może być określony przez jego dystrybuantę. Definicja 3 Funkcję F : R n [0, 1] określoną wzorem F (x 1,..., x n ) = P ({ω : X 1 (ω) x 1,..., X n (ω) x n }) nazywamy dystrybuantą rozkładu łącznego wektora losowego X = (X 1,..., X n ) lub krótko dystrybuantą wektora losowego X. Definicja 4 Jeżeli wektor losowy X = (X 1,..., X n ) przyjmuje wartości x = (x 1,..., x n ) z przeliczalnego zbioru W X = {x 1, x 2,...}, to mówimy, że jest on typu dyskretnego oraz funkcję p : R n [0, 1], określoną wzorem p(x 1,..., x n ) = P ({ω : X 1 (ω) = x 1,..., X n (ω) = x n }), (1.1) 1

Tablica 1.1: Ilustracja funkcji prawdopodobieństwa dwuwymiarowego wektora losowego x x 21... x 2l x 11 p 11... p 1l......... x 1k p k1... p kl Tablica 1.2: Funkcja prawdopodobieństwa dwuwymiarowego wektora losowego z przykładu 2 (x, y) 1 2 3 4 5 6 1 1/36 1/36 1/36 1/36 1/36 1/36 2 1/36 1/36 1/36 1/36 1/36 1/36 3 1/36 1/36 1/36 1/36 1/36 1/36 4 1/36 1/36 1/36 1/36 1/36 1/36 5 1/36 1/36 1/36 1/36 1/36 1/36 6 1/36 1/36 1/36 1/36 1/36 1/36 dla każdego x = (x 1,..., x n ) W X, nazywamy funkcją prawdopodobieństwa wektora losowego X = (X 1,..., X n ). Uwaga 1 W dalszej części wykładu P ({ω : X 1 (ω) x 1,..., X n (ω) x n }) i P ({ω : X 1 (ω) = x 1,..., X n (ω) = x n }) będziemy w skrócie zapisywać odpowiednio P (X 1 x 1,..., X n x n ) i P (X 1 = x 1,..., X n = x n ). W przypadku, gdy wektor losowy X = (X 1, X 2 ) jest dwuwymiarowym wektorem losowym typu dyskretnego i zbiór W X = {x = (x 1, x 2 ) : x 1 W X1 = {x 11,..., x 1k }, x 2 W X2 = {x 21,..., x 2l }} jest skończony, to funkcję prawdopodobieństwa rozkładu takiego wektora najcześciej przedstawia się w postaci tabeli (zobacz tablica 1.1), gdzie p ij = P (X 1 = x 1i, X 2 = x 2j ), x 1i W X1, x 2j W X2, i = 1,..., k, j = 1,..., l. Przykład 2 Jeżeli w przykładzie 1 założymy, że wykonujemy dwa niezależne rzuty słuszną kostką, to funkcja prawdopodobieństwa wektora losowego X = (X 1, X 2 ) =: (X, Y ) określona jest w tablicy 1.2. 2

Definicja 5 Jeżeli istnieje funkcja f : R n [0, 1], taka, że dla każdego x = (x 1,..., x n ), dystrybuantę F wektora losowego X możemy wyrazić następująco F (x) = x1... xn f(t 1,..., t n )dt 1... dt n, (1.2) to mówimy, że wektor losowy X jest typu ciągłego oraz funkcję f nazywamy gęstością rozkładu tego wektora. Fakt 1 Funkcja f jest gęstością rozkładu pewnego wektora losowego X = (X 1,..., X n ) wtedy i tylko wtedy, gdy (i) f(x) 0, dla każdego x R n, (ii) Przykład 3 Niech f będzie funkcją postaci f(x, y) =... f(x 1,..., x n )dx 1... x n = 1. { exp( x y), gdy x > 0 i y > 0, 0, w przeciwnym wypadku. Mamy, że f(x, y) 0, dla każdego x R i y R oraz f(x, y)dxdy = 0 0 exp( x y)dxdy = 1. Zatem funkcja f spełnia warunek (i) oraz warunek (ii) faktu 1, czyli jest gęstością rozkładu pewnego dwuwymiarowego wektora losowego (X, Y ). 1.2 Rozkłady brzegowe wektora losowego Z rozkładem wektora losowego związane jest pojęcie rozkładu brzegowego. Pojęcie to zdefiniujemy w szczególnym przypadku dwuwymiarowego wektora losowego. Dwuwymiarowy wektor losowy będziemy oznaczać, dla wygody, (X, Y ) zamiast jak poprzednio (X 1, X 2 ). Definicja 6 Rozkładami brzegowymi wektora losowego (X, Y ) nazywamy rozkłady jego współrzędnych, tzn. zmiennych losowych X i Y. 3

Fakt 2 Niech F będzie dystrybuantą wektora losowego (X, Y ). Oznaczmy oraz Funkcje F X i F Y F X (x) = P (X x) = P (X x, Y < ) = lim y F (x, y) =: F (x, ) (1.3) F Y (y) = P (Y y) = P (X <, Y y) = lim x F (x, y) =: F (, y). (1.4) określone wzorami odpowiednio (1.3) i (1.4) są dystrybuantami zmiennych losowych odpowiednio X i Y oraz nazywamy je dystrybuantami rozkładów brzegowych wektora losowego (X, Y ). Fakt 3 Jeżeli wektor losowy (X, Y ) przyjmuje wartości (x, y) z przeliczalnego zbioru W (X,Y ) = {(x, y) : x W X = {x 1, x 2,...}; y W Y = {y 1, y 2,...}}, z prawdopodobieństwem p(x, y), czyli jest typu dyskretnego, to rozkłady współrzędnych X, Y tego wektora są dyskretne i są określone przez funkcje prawdopodobieństwa p X, p Y p X (x i ) = y j W Y p(x i, y j ) = odpowiednio postaci p ij =: p i+, (1.5) j=1 p Y (y j ) = x i W X p(x i, y j ) = p ij =: p +j. (1.6) i=1 Zatem funkcje prawdopodobieństwa p X i p Y (X, Y ). określają rozkłady brzegowe wektora losowego Przykład 4 Jeżeli rozkład łączny wektora losowego (X, Y ) określony jest przez funkcję prawdopodobieństwa daną w tablicy 1.2, to rozkłady brzegowe tego wektora możemy podać w dodatkowym (ostatnim) wierszu i dodatkowej (ostatniej) kolumnie jak w tablicy 1.3. Fakt 4 Jeżeli wektor losowy (X, Y ) jest typu ciągłego i f oznacza gęstość rozkładu wektora (X, Y ), to zmienne losowe X i Y też są typu ciągłego i gęstość f X rozkładu zmiennej losowej X jest postaci f X (x) = oraz gęstość rozkładu zmiennej losowej Y jest postaci f Y (y) = f(x, y)dy (1.7) f(x, y)dx. (1.8) 4

Tablica 1.3: Funkcja prawdopodobieństwa dwuwymiarowego wektora losowego z przykładu 4 wraz z rozkładami brzegowymi (x, y) 1 2 3 4 5 6 p X 1 1/36 1/36 1/36 1/36 1/36 1/36 1/6 2 1/36 1/36 1/36 1/36 1/36 1/36 1/6 3 1/36 1/36 1/36 1/36 1/36 1/36 1/6 4 1/36 1/36 1/36 1/36 1/36 1/36 1/6 5 1/36 1/36 1/36 1/36 1/36 1/36 1/6 6 1/36 1/36 1/36 1/36 1/36 1/36 1/6 p Y 1/6 1/6 1/6 1/6 1/6 1/6 1 Uwaga 2 Jeżeli zmienne losowe X i Y są typu ciągłego, to nie pociąga za sobą, że wektor losowy (X, Y ) jest typu ciągłego. Fakt 5 Jeżeli wektor losowy (X, Y ) jest typu ciągłego i f oznacza gęstość rozkładu wektora (X, Y ), to dystrybuanta F X zmiennej losowej X jest postaci oraz dystrybuanta F Y F X (x) = F (x, ) = x f(u, y)dydu = zmiennej losowej Y jest postaci F Y (y) = F (, y) = y f(x, v)dxdv = x y f X (u)du f Y (v)dv. Przykład 5 W przykładzie 3 pokazaliśmy, że funkcja { exp( x y), gdy x > 0 i y > 0, f(x, y) = 0, w przeciwnym wypadku, jest gęstością rozkładu pewnego dwuwymiarowego wektora losowego (X, Y ). Korzystając ze wzoru (1.7), gęstość f X rozkładu zmiennej losowej X jest postaci { exp( x y)dy = exp( x), gdy x > 0, 0 f X (x) = 0, gdy x 0. Korzystając ze wzoru (1.8), gęstość f Y rozkładu zmiennej losowej Y jest postaci { exp( x y)dx = exp( y), gdy y > 0, 0 f Y (y) = 0, gdy y 0. Z postaci gęstości rozkładów zmiennych losowych X i Y, wnioskujemy, że rozkłady brzegowe wektora losowego (X, Y ) są wykładnicze E(1). 5

1.3 Rozkłady warunkowe Pojęcie rozkładu warunkowego, podobnie jak pojęcie rozkładu brzegowego, wprowadzimy na przykładzie dwuwymiarowego wektora losowego. Niech (X, Y ) będzie dwuwymiarowym wektorem losowym. Np. niech X = 1, jeżeli losowo wybrana osoba posiada samochód i X = 0, jeżeli nie posiada samochodu oraz Y = 1, jeżeli jest kobietą i Y = 0, jeżeli jest mężczyzną. Może interesować nas prawdopodobieństwo, że osoba posiada samochód, jeżeli wiemy, że jest kobietą. Symbolicznie możemy to prawdopodobieństwo zapisać w postaci P (X = 1 Y = 1). Zauważmy, że jeżeli wiemy, że losowo wybrana osoba jest kobietą, to może ona posiadać samochód lub nie, zatem P (X = 1 Y = 1) + P (X = 0 Y = 1) = 1. Powyższe dwa prawdopodobieństwa warunkowe P (X = 1 Y = 1), P (X = 0 Y = 1) określają nam tzw. rozkład warunkowy zmiennej losowej X, pod warunkiem, że zmienna losowa Y przyjęła wartość 1. Ogólnie rozkład warunkowy w przypadku, gdy wektor losowy (X, Y ) jest typu dyskretnego, definiujemy następująco. Definicja 7 Niech dwuwymiarowy wektor losowy (X, Y ) będzie typu dyskretnego o rozkładzie określonym przez funkcję prawdopodobieństwa p. Wówczas rozkład warunkowy zmiennej losowej X pod warunkiem, że zmienna losowa Y przyjęła wartość y, określony jest przez następującą funkcję prawdopodobieństwa warunkowego p X Y =y (x) = p(x, y) p Y (y), (1.9) gdzie p Y oznacza funkcję prawdopodobieństwa zmiennej losowej Y. Analogicznie, rozkład warunkowy zmiennej losowej Y pod warunkiem, że zmienna losowa X przyjęła wartość x, określony jest przez następującą funkcję prawdopodobieństwa warunkowego p Y X=x (y) = p(x, y) p X (x), (1.10) gdzie p X oznacza funkcję prawdopodobieństwa zmiennej losowej X. 6

Tablica 1.4: Funkcja prawdopodobieństwa dwuwymiarowego wektora losowego z przykładu 6 (x, y) 1 2 3 1 0, 1 0 0, 1 2 0 0, 6 0 3 0, 1 0 0, 1 Przykład 6 Niech rozkład wektora losowego (X, Y ) będzie dany w tablicy 1.4. Wówczas, korzystając ze wzoru (1.9), rozkład warunkowy zmiennej losowej X, pod warunkiem, że Y = 1, określony jest przez następującą funkcję prawdopodobieństwa warunkowego: p X Y =1 (1) = 0.5, p X Y =1 (2) = 0, p X Y =1 (3) = 0.5. W przypadku, gdy wektor losowy (X, Y ) jest typu ciągłego, pojęcie rozkładu warunkowego nie jest już takie intuicyjne jak w powyższym przypadku wektora losowego typu dyskretnego. Rozkłady warunkowe są wówczas określone przez tzw. gęstości warunkowe, które definiujemy następująco. Definicja 8 Niech dwuwymiarowy wektor losowy (X, Y ) będzie typu ciągłego o gęstości f. Wówczas warunkowa gęstość zmiennej losowej X, pod warunkiem, że Y = y jest postaci f X Y =y (x) = f(x, y) f Y (y), (1.11) gdzie f Y oznacza gęstość zmiennej losowej Y. Analogicznie, warunkowa gęstość zmiennej losowej Y, pod warunkiem, że X = x jest postaci f Y X=x (y) = f(x, y) f X (x), (1.12) gdzie f X oznacza gęstość zmiennej losowej X. Przykład 7 Niech rozkład wektora losowego (X, Y ) będzie określony przez następującą gęstość f(x, y) = 1 π exp[ (x2 2xy + 2y 2 )] dla każdego x, y R. Korzystając ze wzoru (1.8), gęstość f Y postaci zmiennej losowej Y jest f Y (y) = exp( y2 ) π, 7

a następnie, korzystając ze wzoru (1.11), rozkład warunkowy zmiennej losowej X, pod warunkiem, że Y = y, określony jest przez następującą gęstość warunkową f X Y =y = exp[ (x y)2 ] π, z czego wynika, że rozkład warunkowy zmiennej X, pod warunkiem, że Y = y jest rozkładem normalnym N (y, 1/2). Na przykład, gdy y = 0 mamy f X Y =0 = exp( x2 ) π, i rozkład warunkowy zmiennej X, pod warunkiem, że Y = 0 jest rozkładem normalnym N (0, 1/2). Definicja 9 Niech dwuwymiarowy wektor losowy (X, Y ) będzie typu dyskretnego o rozkładzie określonym przez funkcję prawdopodobieństwa p. Warunkową wartością oczekiwaną zmiennej losowej X, pod warunkiem, że Y = y nazywamy wartość E(X Y = y) = x i p X Y =y (x i ), (1.13) gdzie sumowanie przebiega po wszystkich x i ze zbioru wartości W X zmiennej losowej X. Analogicznie, warunkową wartością oczekiwaną zmiennej losowej Y, pod warunkiem, że X = x nazywamy wartość E(Y X = x) = y j p Y X=x (y j ), (1.14) gdzie sumowanie przebiega po wszystkich y j ze zbioru wartości W Y zmiennej losowej Y. Przykład 8 W przypadku wektora losowego (X, Y ) z przykładu 6, warunkowa wartość oczekiwana E(X Y = 1) zmiennej losowej X, pod warunkiem, że Y = 1 wynosi E(X Y = 1) = 1 0.5 + 2 0 + 3 0.5 = 2. Definicja 10 Niech dwuwymiarowy wektor losowy (X, Y ) będzie typu ciągłego o gęstości f. Warunkową wartością oczekiwaną zmiennej losowej X, pod warunkiem, że Y = y nazywamy wartość E(X Y = y) = xf X Y =y (x)dx. (1.15) Analogicznie, warunkową wartością oczekiwaną zmiennej losowej Y, pod warunkiem, że X = x nazywamy wartość E(Y X = x) = 8 yf Y X=x (y)dy. (1.16)

Przykład 9 W przypadku wektora losowego (X, Y ) z przykładu 7, warunkowa wartość oczekiwana E(X Y = 0) zmiennej losowej X, pod warunkiem, że Y = 0 wynosi E(X Y = 1) = x exp( x2 ) π dx = 0. 1.4 Niezależność zmiennych losowych Definicja 11 Współrzędne X 1,..., X n wektora losowego X = (X 1,..., X n ) są niezależnymi zmiennymi losowymi, jeżeli dla każdego wektora (x 1,..., x n ) R n, zdarzenia {ω : X 1 (ω) x 1 },..., {ω : X n (ω) x n } są wzajemnie niezależne. Fakt 6 Jeżeli F jest dystrybuantą wektora losowego X = (X 1,..., X n ), którego współrzędne X 1,..., X n są niezależne, to F (x 1,..., x n ) = F 1 (x 1 )... F n (x n ), gdzie F i jest dystrybuantą zmiennej losowej X i, i = 1,..., n. Fakt 7 Niech p X będzie funkcją prawdopodobieństwa wektora losowego X = (X 1,..., X n ) oraz p Xi oznacza funkcję prawdopodobieństwa zmiennej losowej X i, i = 1,..., n. Wówczas zmienne losowe X 1,..., X n są niezależne wtedy i tylko wtedy, gdy p X (x) = n p Xi (x i ), i=1 dla każdego x = (x 1..., x n ) R n. Wniosek 1 W przypadku dwywymiarowego wektora losowego (X, Y ) typu dyskretnego o funkcji prawdopodobieństwa określonej przez p ij, i = 1, 2..., j = 1, 2,..., zmienne losowe X i Y są niezależne wtedy i tylko wtedy, gdy dla każdego i = 1, 2... oraz j = 1, 2,..., p ij = p i+ p +j, (1.17) gdzie p i+ i p +j określone są odpowiednio wzorami (1.5) i (1.6). Przykład 10 Niech funkcja prawdopodobieństwa dwuwymiarowego wektora losowego (X, Y ) będzie dana w tablicy 1.5. Dla i = 1, j = 1 mamy, że p 11 = 0, 1, p 1+ = 0, 3, p +1 = 0, 2, p 11 = 0, 1 p 1+ p +1 = 0, 06. Zatem istnieje takie i oraz j, dla których nie jest spełniony warunek (1.17), czyli zmienne losowe X i Y nie są niezależne. 9

Tablica 1.5: Funkcja prawdopodobieństwa dwuwymiarowego wektora losowego z przykładu 10 (x, y) 1 2 3 1 0, 1 0, 1 0, 1 2 0 0, 4 0 3 0, 1 0, 1 0, 1 Przykład 11 Łatwo można pokazać, że zmienne losowe X i Y z przykładu 2 są niezależne. Fakt 8 Niech f X będzie gęstością rozkładu wektora losowego X = (X 1,..., X n ) oraz f Xi oznacza gęstość rozkładu zmiennej losowej X i, i = 1,..., n. Wówczas zmienne losowe X 1,..., X n są niezależne wtedy i tylko wtedy, gdy f X (x) = n f Xi (x i ), i=1 dla każdego x = (x 1..., x n ) R n. Wniosek 2 W przypadku dwywymiarowego wektora losowego (X, Y ) typu ciągłego o funkcji gęstości rozkładu f, zmienne losowe X i Y są niezależne wtedy i tylko wtedy, gdy dla każdego x R oraz y R, f(x, y) = f X (x)f Y (y), (1.18) gdzie f X i f Y określone są odpowiednio wzorami (1.7) i (1.8). Przykład 12 W przykładzie 3 mamy, że dla każdego x R oraz y R, f(x, y) = f X (x)f Y (y). Zatem spełniony jest warunek (1.18) i zmienne losowe X i Y z tego przykładu są niezależne. Definicja 12 Próbą losową lub krótko próbą, nazywamy wektor losowy X = (X 1,..., X n ), którego współrzędne są niezależnymi zmiennymi losowymi o tym samym rozkładzie. Jeżeli p jest funkcją prawdopodobieństwa lub f jest gęstością rozkładu zmiennych losowych X 1,..., X n, to mówimy, że X jest próbą z rozkładu odpowiednio p lub f. 10

Przykład 13 Niech X = (X 1,..., X n ) będzie próbą z rozkładu wykładniczego E(λ), λ > 0, czyli zmienne losowe X 1,..., X n są niezależne i rozkład zmiennej X i, i = 1,..., n, ma gęstość postaci f(x) = { 1 x λ λ), gdy x > 0, 0, gdy x 0. Wówczas, korzystając z faktu 8, mamy, że rozkład wektora losowego X ma gęstość postaci n 1 i=1 f X (x 1,..., x n ) = exp ( ) ( x n ) i λ λ = 1 exp λ n i=1 x i, gdy x λ i > 0, i {1,..., n}, 0, w przeciwnym przypadku. 1.5 Charakterystyki liczbowe dwuwymiarowego wektora losowego Niech (X, Y ) będzie dwuwymiarowym wektorem losowym o funkcji prawdopodobieństwa p lub gęstości rozkładu f. Wówczas wartość oczekiwaną zmiennej losowej Z = g(x, Y ), gdzie g : R 2 R jest dowolną (mierzalną) funkcją, możemy obliczyć z następującego wzoru E(Z) = (x i,y j ) g(x i, y j )p(x i, y j ), (1.19) w przypadku, gdy wektor losowy (X, Y ) jest typu dyskretnego lub E(Z) = w przypadku, gdy wektor losowy (X, Y ) jest typu ciągłego. g(x, y)f(x, y)dxdy, (1.20) 1.5.1 Kowariancja zmiennych losowych Definicja 13 Kowariancją zmiennych losowych X i Y nazywamy Cov(X, Y ) = E[(X E(X))(Y E(Y ))] = E(XY ) E(X)E(Y ). Definicja 14 Jeżeli Cov(X, Y ) = 0, to zmienne losowe X i Y nazywamy nieskorelowanymi. Fakt 9 Jeżeli zmienne losowe X i Y są niezależne, to są nieskorelowane. 11

Uwaga 3 Implikacja odwrotna w fakcie 9 nie jest prawdziwa, tzn. z faktu, że Cov(X, Y ) = 0 nie wynika, że zmienne losowe X i Y są niezależne. Przykład 14 Niech funkcja prawdopodobieństwa wektora losowego (X, Y ) będzie dana w talicy 1.4. Wówczas E(X) = 2, E(Y ) = 2, E(XY ) = 4, czyli Cov(X, Y ) = 0, ale zmienne losowe X i Y nie są niezależne, bo np. P (X = 1, Y = 1) = 0, 1 P (X = 1)P (Y = 1) = 0.04. Fakt 10 Dla dowolnych zmiennych losowych X i Y zachodzi następująca nierówność [Cov(X, Y )] 2 Var(X)Var(Y ). (1.21) 1.5.2 Współczynnik korelacji zmiennych losowych Definicja 15 Współczynniikem korelacji zmiennych losowych X i Y, takich, że Var(X) > 0 i Var(Y ) > 0, nazywamy ρ(x, Y ) = Cov(X, Y ) Var(X)Var(Y ). (1.22) Z nierówności (1.21) wynika, że dla dowolnych zmiennych losowych X i Y, takich, że Var(X) > 0 i Var(Y ) > 0, [ρ(x, Y )] 2 1, a więc ρ(x, Y ) 1. Można pokazać, że współczynnik korelacji ρ(x, Y ) = 1 wtedy i tylko wtedy, gdy z prawdopodobieństwem 1, zmienne losowe X i Y związane są zależnością liniową, tzn. P (Y = ax + b) = 1. Współczynnik korelacji można zatem traktować jako miarę liniowej współzależności zmiennych losowych. 12