Rozdział 1 Zmienne losowe, ich rozkłady i charakterystyki 1.1 Definicja zmiennej losowej Niech Ω będzie przestrzenią zdarzeń elementarnych. Definicja 1 Rodzinę S zdarzeń losowych (zbiór S podzbiorów zbioru Ω) nazywamy σ- algebrą, gdy spełnia ona następujące warunki: (i) zbiór pusty należy do S, (ii) jeżeli A S, to A S, (iii) jeżeli dla dowolnego ciągu (A n ) zdarzeń losowych, elementy tego ciągu A i S, to A 1... A i... S. Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych jest postaci Ω = {1, 2, 3, 4, 5, 6}. Niech S 1 = {, Ω}, S 2 = {, Ω, {5}, {1, 2, 3, 4, 6}}, S 3 = {, Ω, {1}}. Łatwo pokazać, że S 1 i S 2 są σ-algebrami, natomiast S 3 nie jest σ-algebrą. Definicja 2 Niech Ω będzie przestrzenią zdarzeń elementarnych i S σ-algebrą zdarzeń ze zbioru Ω. Zmienną losową nazywamy dowolną funkcję X, określoną na przestrzeni zdarzeń elementarnych Ω, o wartościach ze zbioru R liczb rzeczywistych, mającą następującą własność dla dowolnej, ustalonej liczby rzeczywistej x zbiór zdarzeń elementarnych ω, dla których spełniona jest nierówność X(ω) < x, jest zdarzeniem, które należy do σ-algebry S. W przypadku, gdy przestrzeń zdarzeń Ω jest skończona, a σ-algebrę zdarzeń tworzą wszystkie jej podzbiory, wtedy powyższy warunek nie stanowi żadnego ograniczenia 1
i wówczas każda funkcja X, odwzorująca zbiór zdarzeń elementarnych Ω w zbiór R liczb rzeczywistych, jest zmienną losową. Zmienne losowe oznaczamy dużymi literami, np. X, Y, Z, ich wartości (nazywane również realizacjami) odpowiednimi małymi literami: x, y, z, często z indeksami, np. x 1, x 2, itp. Przykład 2 Cd. przykładu 1. Niech X(ω) = 1, gdy ω {2, 4, 6} oraz X(ω) = 0, gdy ω {1, 3, 5}, tzn. zmienna losowa X przyjmuje wartość 1, gdy wypada ścianka z parzystą liczbą oczek oraz wartość 0, gdy wypada ścianka z nieparzystą liczbą oczek. Zmienne losowe mogą być typu dyskretnego, typu ciągłego lub typu mieszanego. W dalszej części wykładu będziemy rozpatrywać przypadki zmiennych losowych tylko dwóch pierwszych typów (skokowego lub ciągłego). 1.2 Zmienne losowe typu skokowego (dyskretne) Definicja 3 Zmiennymi losowymi typu skokowego lub zmiennymi losowymi dyskretnymi nazywamy takie zmienne losowe, których zbiór wartości jest przeliczalny (w szczególności skończony). Zbiór wartości zmiennej losowej X typu skokowego będziemy oznaczać przez W X = {x 1, x 2,..., x n,...}. Przykład 3 Zmienna z przykładu 2 jest zmienną typu skokowego oraz W X = {0, 1}. 1.2.1 Funkcja rozkładu prawdopodobieństwa Definicja 4 Funkcję p określoną na zbiorze W X równością p(x i ) = P (X = x i ) := p i nazywamy funkcją rozkładu prawdopodobieństwa lub krócej funkcją prawdopodobieństwa dyskretnej zmiennej losowej X. Z aksjomatów prawdopodobieństwa wynika, że funkcja prawdopodobieństwa zmiennej losowej X posiada następujące własności: 1. p i 0, 2
2. i p i = 1. Przykład 4 W przypadku jednokrotnego rzutu słuszną kostką, zmienna losowa z przykładu 3 ma następującą funkcję prawdopodobieństwa: p(0) = 1/2, p(1) = 1/2. Fakt 1 Jeżeli dana jest funkcja rozkładu prawdopodobieństwa zmiennej losowej X, to prawdopodobieństwo przyjęcia przez tę zmienną wartości ze zbioru A jest określone równością: P (X A) = p i. x i A W szczególności dla dowolnego przedziału (a, b) mamy P (a < X < b) = p i. a<x i <b Definicja 5 Wykresem funkcji prawdopodobieństwa, w prostokątnym układzie współrzędnych, nazywamy zbiór punktów (x i, p i ). Fakt 2 Suma długości wszystkich odcinków o końcach (x i, 0), (x i, p i ), zgodnie z własnością 2) funkcji prawdopodobieństwa, jest równa jedności. Przykład 5 Rozpatrzmy przypadek dwukrotnego rzutu symetryczną monetą. Niech X oznacza liczbę orłów uzyskanych w tych dwóch rzutach. Wówczas W X = {0, 1, 2}. Z założenia, że moneta jest symetryczna, funkcja prawdopodobieństwa zmiennej losowej X jest postaci: p(0) = P (X = 0) = 1/4, p(1) = P (X = 1) = 1/2, p(2) = P (X = 2) = 1/4. Łatwo można naszkicować wykres powyższej funkcji prawdopodobieństwa. Definicja 6 Wartością modalną (in. modą lub dominantą) zmiennej losowej X o funkcji prawdopodobieństwa p, nazywamy taką wartość x 0, dla której p(x 0 ) = max i p(x i ), tzn. x 0 jest najbardziej prawdopodobną wartością zmiennej losowej. 1.2.2 Niektóre rozkłady zmiennej losowej typu skokowego Rozkład jednopunktowy Zmienna losowa X ma rozkład jednopunktowy (rozkład zdegenerowany), jeżeli jej funkcja prawdopodobieństwa jest postaci p(x 1 ) = 1, dla x 1 W X = {x 1 }. 3
Rozkład równomierny Zmienna losowa X ma rozkład równomierny, jeżeli jej funkcja prawdopodobieństwa jest postaci p(x i ) = 1/n, dla x i W X = {x 1, x 2,..., x n }. Jest to zatem rozkład zmiennej losowej mającej skończoną liczbę punktów skokowych x i i równe skoki p i = 1/n. Rozkład zero jedynkowy, in. rozkład Bernoulliego B(1, p) Zmienna losowa X ma rozkład zero jedynkowy z parametrem p, p (0, 1), jeżeli jej funkcja prawdopodobieństwa jest postaci p(0) = q, p(1) = p, gdzie q = 1 p. Jest to zatem rozkład zmiennej losowej mającej dwa punkty skokowe x 1 = 0 oraz x 2 = 1. Rozkład dwumianowy B(n, p) Zmienna losowa X ma rozkład dwumianowy B(n, p) (in. Bernoulliego, binomialny) z parametrami n i p, jeżeli jej funkcja prawdopodobieństwa p k = P (k; n, p) = P (X = k) jest postaci P (k; n, p) = dla k = 0, 1, 2,..., n, gdzie q = 1 p. ( ) n p k q n k, k Zmienną losową o rozkładzie dwumianowym z parametrami n i p można interpretować jako liczbę sukcesów w n próbach Bernoulliego z prawdopodobieństwem sukcesu p. Fakt 3 Jeżeli zmienna losowa X ma rozkład dwumianowy B(n, p) oraz (n + 1)p jest liczbą całkowitą, to zmienna X ma dwie wartości modalne (n + 1)p oraz (n + 1)p 1; jeżeli natomiast (n + 1)p nie jest liczbą, to wartość modalna zmiennej losowej X wynosi [(n + 1)p], gdzie [a] oznacza największą liczbę całkowitą nie przekraczającą a. Rozkład ujemny dwumianowy (Pascala) N B(r, p) Zmienna losowa X ma rozkład ujemny dwumianowy N B(r, p) (rozkład Pascala) z parametrami (r, p), r N, p (0, 1), jeżeli jej funkcja prawdopodobieństwa p k = P (k; r, p) = P (X = k) jest postaci ( ) r + k 1 P (k; r, p) = p k q r, r 1 dla k = 0, 1,..., gdzie q = 1 p. Zmienną losową o rozkładzie ujemnym dwumianowym z parametrami r i p można interpretować jako liczbę sukcesów w próbach Bernoulliego z prawdopodobieństwem sukcesu 4
p do momentu uzyskania r-tej porażki. W przypadku, gdy r = 1, rozkład ujemny dwumianowy nazywany jest rozkładem geometrycznym z parametrem p. Rozkład hipergeometryczny H(N, M, n) Zmienna losowa X ma rozkład hipergeometryczny H(N, M, n) z parametrami (N, M, n), gdzie N, M, n są liczbami naturalnymi oraz M N i n N, jeżeli jej funkcja prawdopodobieństwa p k = P (k; N, M, n) = P (X = k) jest postaci P (k; N, M, n) = dla k = max{0, n + M N},..., min{n, M}. ( )( ) M N M k n k ( ), N n Zmienna losowa X o rozkładzie hipergeometrycznym ma następującą interpretację: jest ona możliwą liczbą elementów mających wyróżnioną cechę A wśród n elementów wylosowanych bez zwracania ze zbioru N elementów, wśród których przed rozpoczęciem losowania znajdowało się M elementów mających cechę A. Twierdzenie 1 Jeżeli N, M, ale tak, że M N p, p (0, 1), wtedy rozkład hipergeometryczny z parametrami (N, M, n) jest zbieżny do rozkładu dwumianowego z parametrami (n, p). Wniosek 1 Z powyższego twierdzenia wynika następujące przybliżenie rozkładu hipergeometrycznego rozkładem dwumianowym: ( )( ) M N M k n k ( ) N n gdzie p = M/N, q = 1 p. ( ) n p k q n k, k Rozkład Poissona P(λ) Zmienna losowa X ma rozkład Poissona P(λ) z parametrem λ, λ > 0, jeżeli jej funkcja prawdopodobieństwa p k = P (k; λ) = P (X = k) jest postaci λ λk P (k; λ) = e k!, 5
k = 0, 1, 2,.... Twierdzenie 2 Jeżeli X 1, X 2,..., X n,... jest ciągiem niezależnych zmiennych losowych o rozkładzie dwumianowym odpowiednio z parametrami (1, p 1 ), (2, p 2 ),..., (n, p n,... oraz np n λ, gdy n, gdzie λ > 0, to lim n ( n k )p kn(1 p n ) n k λ λk = e k!, k = 0, 1, 2,..., czyli ciąg rozkładów dwumianowych jest zbieżny do rozkładu Poissona. Wniosek 2 Z powyższego twierdzenia, dla dużych n, wynika następujące przybliżenie Poissona rozkładu dwumianowego: ( n )p k (1 p) n k λ λk e k k!, gdzie λ = np. Przybliżenie to jest dla celów praktycznych wystarczająco dokładne, gdy n 50, p 0.1, np 10. Wniosek 3 Rozkład Poissona jest rozkładem granicznym również dla rozkładu hipergeometrycznego. Mianowicie, gdy N, M, n, ale tak, że M N 0 i nm N λ, λ > 0, wtedy P (k; N, M, n) P (k; λ). Wynika stąd następujące przybliżenie Poissona rozkładu hipergeometrycznego: ( )( ) M N M k n k ( ) e N n λ λk 1.3 Dystrybuanta zmiennej losowej i jej własności Definicja 7 Dystrybuantą F X (x) zmiennej losowej X nazywamy funkcję określoną na zbiorze liczb rzeczywistych następującym wzorem F X (x) = P (X x). Jeżeli nie ma wątpliwości z jaką zmienną losową mamy do czynienia, to jej dystrybuantę będziemy oznaczali krótko przez F (x) zamiast F X (x). 6 k!.
Fakt 4 Dystrybuanta dowolnej zmiennej losowej X ma następujące własności: 1. 0 F (x) 1, 2. F (x) jest funkcją niemalejącą, 3. lim x F (x) = 0 oraz lim x F (x) = 1, 4. F (x) jest funkcją prawostronnie ciągłą, 5. prawdopodobieństwo P (a < X b) przyjęcia przez zmienną losową X wartości z przedziału (a, b] jest równe przyrostowi wartości dystrybuanty F między punktami a i b, tzn. P (a < X b) = F (b) F (a), 6. prawdopodobieństwo P (X = x 0 ) przyjęcia przez zmienną losową X dowolnej, ustalonej wartości wyraża się za pomocą dystrybuanty F równością: P (X = x 0 ) = F (x 0 ) F (x 0 0), gdzie F (x 0 0) oznacza lewostronną granicę dystrybuanty F w punkcie x 0, czyli F (x 0 0) = lim x x 0 F (x). Twierdzenie 3 Jeżeli G jest dowolną funkcją o wartościach rzeczywistych spełniającą własności: 2, 3, 4, to G jest dystrybuantą pewnej zmiennej losowej. Przykład 6 Dystrybuanta F zmiennej losowej X z przykładu 5 ma następującą postać 0, gdy x < 0, 1/4, gdy 0 x < 1, F (x) = 3/4, gdy 1 x < 2, 1, gdy x 2. 1.4 Zmienne losowe typu ciągłego Definicja 8 Zmienną losową, która przyjmuje nieprzeliczalnie wiele wartości (np. przyjmuje wszystkie wartości z pewnego przedziału albo przedziałów) nazywamy zmienną losową typu ciągłego, jeżeli istnieje nieujemna funkcja f taka, że dystrybuantę zmiennej losowej X można przedstawić w postaci F (x) = x 7 f(t)dt.
Funkcję f nazywamy gęstością zmiennej losowej X (gęstością rozkładu zmiennej losowej X). Z definicji dystrybuanty wynikają następujące własności funkcji gęstości: 1. f(x) 0, dla każdego x R, 2. f(x)dx = 1. Mówimy, że dany jest rozkład prawdopodobieństwa zmiennej losowej X typu ciągłego, gdy dana jest jej dystrybuanta F lub gęstość f. Jeżeli gęstość zmiennej losowej X jest różna od zera tylko w przedziale (a, b), to rozkład nazywamy skoncentrowanym na przedziale (a, b). Wykresem dystrybuanty zmiennej losowej typu ciągłego jest linia ciągła. 1.4.1 Własności zmiennej losowej typu ciągłego 1. Jeżeli x jest punktem ciągłości gęstości f, to F (x) = f(x). 2. Dla każdego c R, P (X = c) = 0. 3. P (a X < b) = P (a < X b) = P (a < X < b) = P (a X b) = F (b) F (a). 4. P (a X < b) = P (a < X b) = P (a < X < b) = P (a X b) = b a f(x)dx. 1.4.2 Niektóre rozkłady zmiennej losowej typu ciągłego Rozkład jednostajny U(a, b) na odcinku [a, b] Zmienna losowa ma rozkład jednostajny U(a, b) na odcinku [a, b], jeżeli jej funkcja gęstości wyraża się wzorem 1 f(x) = b a, gdy x [a, b], 0, gdy x / [a, b]. Dystrybuanta rozkładu jednostajnego na odcinku [a, b] wyraża się wzorem 0, gdy x a F (x) = x a b a, gdy a < x b, 1, gdy x > b. 8
Rozkład wykładniczy E(λ) Zmienna losowa ma rozkład wykładniczy E(λ) z parametrem λ, jeżeli jej funkcja gęstości wyraża się wzorem 1 f(x) = λ exp{ x λ }, gdy x > 0, 0, gdy x 0. Dystrybuanta rozkładu E(λ) wyraża się wzorem 1 exp{ F (x) = λ x }, gdy x > 0, 0, gdy x 0. Rozkład normalny N (µ, σ 2 ) Zmienna losowa ma rozkład normalny N (µ, σ 2 ) z parametrami µ R i σ (0, ), jeżeli jej funkcja gęstości wyraża się wzorem f(x) = 1 [ ] (x µ)2 exp. 2πσ 2σ 2 Rozkład normalny N (0, 1) nazywamy standardowym rozkładem normalnym. Nie istnieje jawna postać dystrybuanty rozkładu normalnego. Fakt 5 Jeżeli zmienna losowa X ma rozkład normalny N (µ, σ 2 ), to zmienna losowa Y = X µ ma rozkład N (0, 1) (standardowy rozkład normalny). Powyższe przekształcenie zmiennej losowej X nazywamy standaryzacją zmiennej σ losowej. Wniosek 4 Jeżeli zmienna losowa X ma rozkład normalny N (µ, σ 2 ), to ( X µ P (X x) = P σ x µ ) = Φ σ ( x µ gdzie Φ oznacza dystrybuantę zmiennej losowej o standardowym rozkładzie normalnym. σ ), Wartości dystrybuanty standardowego rozkładu normalnego są stablicowane. Przykład 7 Niech X będzie zmienną losową o rozkładzie normalnym N (1, 4). Wówczas ( X 1 P (X 2) = P 2 2 1 ) ( 1 = Φ = 0, 6915, 2 2) gdzie Φ oznacza dystrybuantę zmiennej losowej o standardowym rozkładzie normalnym. 9
1.5 Charakterystyki zmiennej losowej Definicja 9 Wartością oczekiwaną (in. wartością przecietną lub średnią) zmiennej losowej X typu skokowego, przyjmującej wartości x 1, x 2,... odpowiednio z prawdopodobieństwami p 1, p 2,..., nazywamy wartość E(X) = i x i p i, jeżeli powyższa suma jest bezwzględnie zbieżna. Przykład 8 Wartość oczekiwana zmiennej losowej X z przykładu 5 jest równa E(X) = 0 1/4 + 1 1/2 + 2 1/4 = 1. Przykład 9 Można pokazać, że wartość oczekiwana zmiennej losowej X o rozkładzie dwumianowym B(n, p) jest równa E(X) = np. Definicja 10 Wartością oczekiwaną (in. wartością przecietną lub średnią) zmiennej losowej X typu ciągłego o funkcji gęstości f nazywamy wartość E(X) = jeżeli powyższa całka jest bezwzględnie zbieżna. xf(x)dx, Przykład 10 Można pokazać, że wartość oczekiwana zmiennej losowej X o rozkładzie normalnym N (µ, σ 2 ) jest równa E(X) = µ. Fakt 6 Wartość oczekiwana ma następujące własności 1. dla dowolnej liczby rzeczywistej a E(aX) = ae(x), 2. dla dowolnej liczby rzeczywistej a E(X + a) = E(X) + a, 3. jeżeli istnieją wartości oczekiwane E(X) i E(Y ), to E(X + Y ) = E(X) + E(Y ). 10
Wartości oczekiwane zmiennych losowych są szczególnymi przypadkami tzw. momentów zwykłych, które definiowane są następująco: Definicja 11 Momentem zwykłym rzędu k zmiennej losowej X typu skokowego, przyjmującej wartości x 1, x 2,... odpowiednio z prawdopodobieństwami p 1, p 2,..., nazywamy wartość E(X) = i x k i p i, jeżeli powyższa suma jest bezwzględnie zbieżna. Definicja 12 Momentem zwykłym rzędu k zmiennej losowej X typu ciągłego o funkcji gęstości f nazywamy wartość E(X) = x k f(x)dx, jeżeli powyższa całka jest bezwzględnie zbieżna. Definicja 13 Wariancją zmiennej losowej X typu skokowego, przyjmującej wartości x 1, x 2,..., odpowiednio z prawdopodobieństwami p 1, p 2,..., nazywamy wartość Var(X) = i (x i E(X) 2 p i, jeżeli powyższa suma jest bezwzględnie zbieżna. Przykład 11 Można pokazać, że wariancja zmiennej losowej X o rozkładzie dwumianowym B(n, p) jest równa E(X) = np(1 p). Definicja 14 Wariancją zmiennej losowej X typu ciągłego o funkcji gęstości f nazywamy wartość Var(X) = (x E(X)) 2 f(x)dx, jeżeli powyższa całka jest bezwzględnie zbieżna. Przykład 12 Można pokazać, że wariancja zmiennej losowej X o rozkładzie normalnym N (µ, σ 2 ) jest równa E(X) = σ 2. Uwaga 1 Wariancję zmiennej losowej X często wyznacza się ze wzoru Var(X) = E(X 2 ) (E(X)) 2. 11
Fakt 7 Jeżeli X jest zmienną losową, dla której E(X 2 ) <, to istnieje Var(X) oraz 1. 2. 3. Var(X) 0, Var(cX) = c 2 Var(X), Var(X + a) = Var(X). 12