Wykład 12: Sumowanie niezależnych zmiennych losowych i jego związek ze splotem gęstości i transformatami Laplace a i Fouriera. Prawo wielkich liczb.

Transkrypt

1 Rchuek prwdopodobieństw MA064 Wydził Elektroiki, rok kd. 2008/09, sem. leti Wykłdowc: dr hb. A. Jurlewicz Wykłd 2: Sumowie iezleżych zmieych losowych i jego związek ze splotem gęstości i trsformtmi Lplce i Fourier. rwo wielkich liczb. Fkt. Jeżeli zmiee losowe X i Y są iezleże orz ich wrtości oczekiwe i wricje istieją, przy czym wricje są iezerowe, to EXY = EXEY stąd orz ρ XY = 0. D 2 (X + Y ) = D 2 X + D 2 Y Ztem jeśli zmiee losowe o skończoych i iezerowych wricjch są iezleże, to są też ieskorelowe. Implikcj odwrot ie jest prwdziw. rzykłdy do zd.. Sum iezleżych zmieych losowych. X i Y to iezleże zmiee losowe odpowiedio o dystrybutch F X (x) i F Y (y). Wówczs Z = X + Y m rozkłd o dystrybucie F X+Y (z) = Jest to tzw. splot dystrybut (mir). F X (z y)df Y (y). Jeśli X i Y mją rozkłdy ciągłe o gęstościch odpowiedio f X (x) i f Y (y), to Z = X + Y też m rozkłd ciągły o gęstości f X+Y (z) = Jest to zy m splot gęstości. f X (z y)f Y (y)dy = (f X f Y )(z). Wiemy, że ogół wyzczeie splotu jest techiczie trude. odto wiemy, że trsformt Fourier splotu fukcji to iloczy trsformt Fourier tych fukcji. odobą włsość m trsformt Lplce.

2 Defiicj. Fukcj chrkterystycz ϕ X (t), t R, rozkłdu zmieej losowej X o dystrybucie F X (x) to e itx p, T ϕ X (t) = Ee itx = e itx df X (x) = e itx f(x)dx, gdy X m rozkłd dyskrety zdy ciągiem {(x, p ), T}; gdy X m rozkłd ciągły o gęstości f(x). Iczej mówiąc, fukcj chrkterystycz rozkłdu zmieej losowej X to trsformt Fourier-Lebesgue dystrybuty tego rozkłdu. W przypdku rozkłdu ciągłego, fukcj chrkterystycz to z m już trsformt Fourier gęstości w pukcie ω = t. Fkt. Fukcj chrkterystycz zwier pełą iformcję o rozkłdzie zmieej losowej X. Ie trsformty: Trsformt Lplce -Lebesgue. eł iformcj o rozkłdzie ieujemej zmieej losowej X, tz. tkiej, że (X 0) =, zwrt jest tkże w trsformcie Lplce -Lebesgue ψ X (t), t 0, dystrybuty F X (x): e tx p, T ψ X (t) = Ee tx = e tx df (x) = e tx f(x)dx, Fukcj tworząc. gdy X m rozkłd dyskrety zdy ciągiem {(x, p ), T}; gdy X m rozkłd ciągły o gęstości f(x). eł iformcj o rozkłdzie dyskretej zmieej losowej X przyjmującej tylko wrtości turle zwrt jest tkże w fukcji tworzącej g(s) gdzie p = (X = ) dl = 0,,... Fkt. g(s) = Es X = s p, 0 < s, =0 Jeśli X i Y to iezleże zmiee losowe o fukcjch chrkterystyczych odpowiedio ϕ X (t), ϕ Y (t), to wówczs dl kżdego t ϕ X+Y (t) = ϕ X (t)ϕ Y (t). (Alogiczą włsość mją trsformt Lplce i fukcj tworząc.) rzykłdy do zd..2 2

3 Zbieżości ciągu zmieych losowych z prwdopodobieństwem i stochstycz. Defiicj. Ciąg zmieych losowych X, X 2,... jest zbieży z prwdopodobieństwem (i. prwie pewo) do zmieej losowej X, jeżeli Ozczeie: X X, X (ω : lim X (ω) = X(ω)) =. p.. X, lim X = X z prwd.. Uwg: Ciąg zbieży puktowo jest zbieży z prwdopodobieństwem. (Ciąg X, X 2,... jest zbieży puktowo do X, jeżeli lim X (ω) = X(ω) dl kżdego ω Ω.) Zbieżość stochstycz: Defiicj. Ciąg zmieych losowych X, X 2,... jest zbieży stochstyczie (i. według prwdopodobieństw) do zmieej losowej X, jeżeli Ozczeie: X Fkt. () Jeżeli X X, to X (b) Jeżeli X ɛ>0 X, lim X = X. X. ( X X ɛ) 0. X, to istieje podciąg (X k ) cigu (X ), tki że X k X. 3

4 rw wielkich liczb (WL) Defiicj. Niech X, X 2,... będzie ciągiem zmieych losowych o skończoych wrtościch oczekiwych EX = m. Niech S = X + X X, = m + m m. Mówimy, że ciąg (X ) spełi słbe prwo wielkich liczb (SWL), gdy S = (X k m k ) 0. k= Mówimy, że ciąg te spełi moce prwo wielkich liczb (MWL), gdy Oczywiście MWL = SWL. S 0. WL dl ciągów zmieych losowych o jedkowym rozkłdzie Twierdzeie Chiczy. Niech (X ) będzie ciągiem iezleżych zmieych losowych o jedkowym rozkłdzie, przy czym E X <. Wtedy ciąg te spełi SWL, które w tym przypdku moż zpisć w postci S = X k m = EX. k= MWL Kołmogorow. Niech (X ) będzie ciągiem iezleżych zmieych losowych o jedkowym rozkłdzie. Ciąg te spełi MWL, które w tym przypdku moż zpisć w postci S = wtedy i tylko wtedy, gdy E X <. k= X k m = EX. 4

5 Szczególy przypdek: Jeżeli (X ) to ciąg iezleżych zmieych losowych o jedkowym rozkłdzie zerojedykowym B(, p), tz. (X = ) = p = (X = 0), to S m rozkłd Beroulliego B(, p), tki jk rozkłd ilości sukcesów w próbch Beroulliego z prwdopodobieństwem sukcesu p, m = EX = p. rwo wielkich liczb Beroulliego, twierdzeie Borel: Niech S będzie liczbą sukcesów w próbch Beroulliego z prwdopodobieństwem sukcesu p. Wtedy zchodzi WL Beroulliego (XVII/XVIII w.) (SWL) S p. twierdzeie Borel (pocz. XX w.) (MWL) S p. Iterpretcj: Częstość występowi sukcesu w próbch Beroulliego przybliż przy dużym prwdopodobieństwo p sukcesu w pojedyczej próbie. Odpowid to obserwcjom z tury, że częstość zdrzei losowego stbilizuje się pewym poziomie. rzykłdy do zd..3 5

6 rzykłdy zstosowń WL Metod Mote Crlo obliczi cłek ozczoych: Niech X, X 2,... X będzie ciągiem iezleżych zmieych losowych o jedkowym rozkłdzie jedostjym przedzile [, b] orz iech f będzie fukcją rzeczywistą tką, że Ef(X ) istieje i jest skończo. rzy powyższych złożeich f(x ), f(x 2 ),... f(x ) jest tkże ciągiem iezleżych zmieych losowych o jedkowym rozkłdzie, przy czym istieje wrtość oczekiw Ef(X ). odto Ef(X ) = b b k= f(x)dx. Z MWL Kołmogorow mmy f(x k ) z pr. Ef(X ) = b f(x)dx. b Możemy ztem do obliczi przybliżoej wrtości cłki ozczoej b stępujący lgorytm: f(x)dx zstosowć (i) losujemy iezleżie liczby u, u 2,..., u z rozkłdu jedostjego U[0, ]; (ii) przeksztłcmy x k = + (b )u k dl k =, 2,..., otrzymując w te sposób próbkę z rozkłdu U(, b); (iii) jko przybliżoą wrtość cłki przyjmujemy b f(x)dx b f(x k ). k= rzykłdowy progrm w Mtlbie fuctio clkowiemotecrlo N=0000; %N - ilość prób Mote Crlo %(im wieksze N, tym wyik przyblizoy blizszy rzeczywistej wrtosci clki) =-; % - pocztek przedzilu clkowi b=; %b - koiec przedzilu clkowi %geerujemy x, x 2,..., x N z rozkłdu jedostjego przedzile (, b) x=+(b-)*rd(,n); %liczymy wrtości fukcji podcłkowej f(x ), f(x 2 ),..., f(x N ), gdzie f(x) = x 2 f=sqrt(-x.ˆ2); %obliczmy przybliżoą wrtość cłki ze wzoru b k= f(x k ) clk=(b-)/n*sum(f) Uwg: b f(x)dx = x2 dx = π, Kilk otrzymych wyików przybliżoych:,5725;,5680;,5736;,

7 Dystrybut empirycz: Rozwżmy ciąg X, X 2,... X iezleżych zmieych losowych o jedkowym rozkłdzie opisym dystrybutą F (x). Ciąg te iterpretujemy jko opis wyików iezleżych pomirów pewej wielkości fizyczej X, dokoywych w tych smych wrukch fizyczych. Wrtości x, x 2,... x zmieych losowych w tym ciągu to wyiki kokretych tkich pomirów. Ciąg X, X 2,... X zywmy próbą prostą. Niech S (x; X, X 2,... X ) ozcz ilość elemetów próby prostej, których wrtość jest miejsz iż x. F (x; X, X 2,... X ) = S (x; X, X 2,... X ) (lbo F (x; x, x 2,... x )) zywmy dystrybutą empiryczą. Zuwżmy, że S (x; X, X 2,... X ) ozcz ilość tych X i, których wrtość jest miejsz iż x. Jest to ztem ilość sukcesów w próbch Beroulliego, gdzie sukces w itej próbie to zdrzeie {X i < x} i p = (X i < x) = F (x) iezleżie od i. Ztem S (x; X, X 2,... X ) m rozkłd Beroulliego B(, p = F (x)). Z tw. Borel otrzymujemy, że F (x; X, X 2,... X ) = S (x; X, X 2,... X ) p = F (x). Iczej mówiąc, dl dużych, dl prwie kżdej wrtości (x, x 2,... x ) wektor losowego (X, X 2,... X ) mmy F (x; x, x 2,... x ) F (x), czyli dystrybut empirycz jest w przybliżeiu rów dystrybucie teoretyczej F. = rzykłd: Niebieski wykres: F (x) = e x dl x > 0, czerwoy wykres: relizcj dystrybuty empiryczej. 0 = =