P ( i I A i) = i I P (A i) dla parami rozłącznych zbiorów A i. F ( ) = lim t F (t) = 0, F (+ ) = lim t + F (t) = 1.

Transkrypt

1 Podstawy teorii miary probabilistyczej. Zbiory mierzale σ ciało zbiorów Załóżmy, że mamy jakiś zbiór Ω. Niech F będzie taką rodzią podzbiorów Ω, że: Ω F A F A F i I A i F i I A i F Wtedy rodzię F azywamy σ ciałem zbiorów. Gdy daa jest pewa rodzia A podzbiorów zbioru Ω, σ ciałem geerowaym przez tą rodzię, azywamy ajmiejsze (w sesie zawieraia) σ ciało zawierające A i ozaczamy σ(a). Moża udowodić, że σ(a) jest przekrojem wszystkich σ ciał zawierających A. Gdy A ma elemetów i są oe parami rozłącze, oraz spełiają waruek i= A i = Ω to σ(a) ma elemetów.. Zbiory borelowskie Niech Ω =. Wówczas σ ciało geerowae przez wszystkie zbiory otwarte zawarte w ozaczmy przez B() i azywamy rodzią zbiorów borelowskich. odzia ta zawiera w szczególości wszystkie przedziały (a, b). Fukcję f : azywamy fukcją borelowską, gdy przeciwobrazy zbiorów postaci (, a) są borelowskie. W szczególości wszystkie fukcje ciągłe, są borelowskie (ale ie wszystkie fukcje borelowskie są ciągłe)..3 Miara probabilistycza Niech day będzie pewie zbiór Ω i σ ciało F. Fukcję P : F +, spełiającą: P ( ) = 0, P ( i I A i) = i I P (A i) dla parami rozłączych zbiorów A i. azywamy miarą. Jeśli dodatkowo spełioy jest waruek: P (X) = to P azywamy miarą probabilistyczą lub prawdopodobieństwem. Trójkę (Ω, F, P ) azywamy przestrzeią probabilistyczą. ozkład prawdopodobieństwa. ozkład dyskrety Niech (X, F, P ) będzie przestrzeią probabilistyczą. Mówimy, że rozkład prawdopodobieństwa P jest dyskrety, jeśli istieje co ajwyżej przeliczaly zbiór A F taki, że P (A) =.. Dystrybuata rozkładu prawdopodobieństwa ozpatrzmy przestrzeń probabilistyczą (, B(), P ). Fukcję F :, daą wzorem: F (t) = P ((, t)) azywamy dystrybuatą rozkładu P. Dystrybuata posiada astępujące własości: t 0 F (t), F jest lewostroie ciągła, F jest iemalejąca, F ( ) = lim t F (t) = 0, F (+ ) = lim t + F (t) =. Pukty ieciągłości (pukty skokowe) F są tzw. ośikami prawdopodobieństwa tz. prawdopodobieństwo każdego takiego puktu jest iezerowe. Jeśli rozkład prawdopodobieństwa jest dyskrety, to dystrybuata jest poadto stała między puktami skokowymi..3 ozkład ciągły Mówimy, że miara probabilistycza P określoa a (, B()) jest typu ciągłego, gdy istieje fukcja f :, taka, że P (A) = f(x)dx dla dowolego A B(). Fukcję f azywamy gęstością miary P. A

2 Własości gęstości miary probabilistyczej f(x)dx =, f(x) 0 prawie wszędzie (czyli zbiór puktów w których to ie jest prawda, ma miarę rówą 0). Każda fukcja f : która spełia te własości jest gęstością pewego rozkładu prawdopodobieństwa. Niech f będzie gęstością, a F dystrybuatą. Wtedy zachodzi: F (x) = P ((, x)) = x f(t)dt Dystrybuata rozkładu typu ciągłego jest fukcją ciągłą. W puktach ciągłości f istieje pochoda dystrybuaty i zachodzi: f(x) = F (x). Uwaga. Nie każda ciągła dystrybuata jest dystrybuatą rozkładu typu ciągłego. Istieją rozkłady które ie są ai ciągłe ai dyskrete. 3 Zmiea losowa Zmieą losową azywamy dowolą fukcję X : Ω taką, że x ω : X(ω) < x} F. W przypadku gdy F = Ω, dowola fukcja X : Ω jest zmieą losową. 3. Defiicje podstawowe Niech daa będzie przestrzeń probabilistycza (Ω, F, P ), oraz pewa zmiea losowa X. Wówczas fukcja P X (A) = P (X (A)) jest miarą probabilistyczą, oraz (, B(), P X ) jest przestrzeią probabilistyczą. Miarę P X azywamy prawdopodobieństwem geerowaym przez zmieą losową X. Mając miarę P X odpowiadającą pewej zmieej losowej X możemy więc zdefiiować pojęcie dystrybuaty zmieej losowej. Dystrybuatą zmieej losowej X azywamy fukcję F X : daą wzorem : 3. Dyskreta zmiea losowa F X (t) = P X ((, t)) = P (X (, t)) = P (X < t). Zmieą losową X azywamy zmieą typu dyskretego, gdy istieje co ajwyżej przeliczaly zbiór B B(), taki, że P X (B) =. 3.3 Ciągła zmiea losowa Zmieą losową X zmieą typu ciągłego, gdy istieje gęstość rozkładu prawdopodobieństwa P X. 3.4 Fukcja zmieej losowej Jeśli X jest zmieą losową, a g fukcją borelowską, to złożeie Y = g X jest rówież zmieą losową. Poadto zachodzi: P Y (B) = P g X (B) = P (ω : g(x(ω)) B}) = P (ω : X(ω) g (B)}) = P X (g (B)) Poadto jeśli X jest typu ciągłego to mamy: F Y (y) = x:g(x)<y} f X (x)dx. Jeśli dodatkowo, wiemy że g jest różiczkowala i ściśle rosąca (g (x) 0), to: oraz F Y (y) = y g ( ) (g (t)) f X (g (t))dt f Y (y) = f X (g (y))(g (y)) = f X (g (y)) g (g (y)). 3.5 Niezależe zmiee losowe Zmiee losowe X, X,..., X są iezależe jeżeli dla dowolych zbiorów borelowskich B, B,..., B zachodzi: P (X = B X = B... X = B ) = P (X = B )P (X = B ) P (X = B ) Wzór poday jest a kilka sposobów stosuje się zamieie kilka rówoważych form zapisu.

3 3.6 Charakterystyki zmieych losowych 3.6. Wartość oczekiwaa Wartością oczekiwaą zmieej losowej X azywamy liczbę EX. W przypadku, gdy X jest zmieą typu ciągłego wartość oczekiwaa ma wartość: EX = i I x i p i. o ile szereg jest bezwzględie zbieży (jeśli ie jest to EX ie istieje). W przypadku, gdy X jest zmieą typu ciągłego o gęstości f, wartość oczekiwaa wyraża się wzorem: EX = xf(x)dx i istieje, gdy całka jest zbieża. Własości wartości oczekiwaej X 0 EX 0 EX E X dla a, b zachodzi E(aX + by ) = aex + bey dla a zachodzi Ea = a E(X EX) = 0 E(XY ) = EX EY, gdy X i Y są iezależe Wartość oczekiwaa z fukcji zmieej losowej Jeśli ϕ jest fukcją borelowską, a zmiea losowa X jest typu dyskretego, to: Eϕ(X) = ϕ(x i )P (X = x i ) i I a gdy X jest typu ciągłego, o gęstości f, to: Eϕ(X) = ϕ(x)f(x)dx 3.6. Wariacja Wariacją zmieej losowej X azywamy liczbę V ar(x) daą wzorem: V ar(x) = EX (EX). W przypadku zmieej losowej X typu dyskretego zachodzi wzór: V ar(x) = i I (x i EX) p i. Własości wariacji V ar(x) 0 V ar(cx) = c V ar(x) dla c V ar(x + c) = V ar(x) V ar(x) = 0 c P (X = c) = V ar(x ± Y ) = V ar(x) + V ar(y ) gdy X i Y są iezależe Liczbę V arx azywa się czasem odchyleiem stadardowym i ozacza przez σ(x) Kowariacja i współczyik korelacji Niech X, Y będą zmieymi losowymi. Liczbę cov(x, Y ) = E[(X EX)(Y EY )] azywamy kowariacją zmieych X i Y. Kowariację możemy wyliczyć rówież ze wzoru: cov(x, Y ) = EXY EXEY. Zauważmy, że gdy X = Y to cov(x, Y ) = cov(x, X) = V ar(x). TW. cov(x, Y ) V ar(x)v ar(y ) Poadto zachodzi: cov(ax +b, cy +d) = ac cov(x, Y ), cov(a X +a X, a 3 X 3 +a 4 X 4 ) = 4 i= j=3 a ia j cov(x i, X j ). cov(x,y ) Liczbę ρ(x, Y ) = azywamy współczyikiem korelacji zmieych X i Y. V ar(x)v ar(y ) Gdy ρ(x, Y ) = 0, to mówimy, że zmiee są ieskorelowae. Gdy ρ(x, Y ) = ± to P (X = ay +b) = dla pewych a, b. 3

4 3.6.4 Ie charakterystyki liczbowe Zmiea typu dyskretego Momet zwykły rzędu r α r = EX r = i I xr i p i Momet cetraly rzędu r µ r = E(X α ) r = i I (x i α ) r p i Mediaa każda liczba x 0,5 spełiająca waruki F (x 0,5 ) 0, 5 lim x x0,5 F (x); x i<x 0,5 p i 0, 5 x i x 0,5 p i Kwatyl rzędu p każda liczba x p, 0 < p < spełiająca waruki F (x p ) p lim x xp F (x); x i<x p p i p x i x p p i Domiata m 0 pukt skokowy x k, róży od mi(x i ) i max(x i ), dla którego p(x k ) osiąga maksimum absolute. Zmiea typu ciągłego Momet zwykły rzędu r α r = EX r = xr f(x)dx Momet cetraly rzędu r µ r = E(X α ) r = (x α ) r f(x)dx Mediaa F (x 0,5 ) = 0, 5 Kwatyl rzędu p F (x p ) = p Domiata m 0 odcięta maksimum absolutego gęstości. 3.7 Fukcja charakterystycza Fukcją charakterystyczą zmieej losowej X azywamy fukcję zespoloą ϕ: C daą wzorem ϕ(t) = Ee itx. W przypadku gdy X jest zmieą losową typu dyskretego, fukcja charakterystycza wyraża się wzorem: ϕ(t) = k p k e itx k W przypadku ciągłej zmieej losowej X o gęstości f mamy atomiast: e itx f(x)dx Własości fukcji charakterystyczej. ϕ(0) =.. t ϕ(t) = ϕ( t), gdzie ϕ( t) ozacza liczbę zespoloą sprzężoą z ϕ( t). 3. t ϕ(t). 4. ϕ jest fukcją jedostajie ciągłą (co w szczególości ozacza, że jest oa ciągła). 5. ϕ jest fukcją rzeczywistą rozkład zmieej losowej X jest symetryczy względem x = Jeśli ϕ X (t) jest fukcją charakterystyczą zmieej losowej X to, fukcją charakterystyczą zmieej Y = ax+b jest fukcja ϕ Y (t) = e itb ϕ X (at). 7. Jeżeli istieje k-ty momet zmieej losowej X o fukcji charakterystyczej ϕ, to ϕ jest k-krotie różiczkowala i zachodzi związek α k = EX k = i k ϕ (k) (0) 8. Fukcja charakterystycza skończoej sumy iezależych zmieych losowych rówa się iloczyowi fukcji charakterystyczych tych zmieych. TW. Niech F będzie dystrybuatą, zaś ϕ fukcją charakterystyczą zmieej losowej X. Wtedy:. Dla a < b takich że, F jest ciągła (w tych puktach) zachodzi lim π e ita e itb ϕ(t)dt = F (b) F (a) it. Jeśli poadto ϕ(t) dt +, to X ma rozkład typu ciągłego, o gęstości f(x) = π e itx ϕ(t)dt. Wiosek. Fukcja charakterystycza jedozaczie wyzacza rozkład zmieej losowej. TW. Jeśli ϕ jest fukcją charakterystyczą zmieej losowej X, okresową o okresie T = π, to X jest zmieą typu dyskretego o wartościach całkowitych oraz P (X = k) = π π π e itk ϕ(t)dt, k Z. 4

5 4 Katalog zmieych losowych 4. Dyskrete ówomiery p i = EX = x+...+x Jedopuktowy P (x 0 ) = EX = x 0 V ar(x) = 0 ϕ(t) = e ita Zero-jedykowy P () = p, P (0) = p = q EX = p V ar(x) = pq ϕ(t) = pe it + q Dwumiaowy (Berouliego) Ozaczeie: B(, p), -liczba prób, p- prawdopodobieństwo sukcesu, P (k) = ( ) k p k q k EX = p V ar(x) = pq ϕ(t) = (pe it + q) Poissoa Ozaczeie: P(λ) Parametr: λ > 0 λ λk P (k) = e k! dla k N EX = λ V ar(x) = λ ϕ(t) = e λ(eit ) Geometryczy Ozaczeie: Geom(p). P () = p, P (0) = p EX = p V ar(x) = p p ϕ(t) = pe it ( p)e it 4. Ciągłe Jedostajy(rówomiery) J((a, b)), gdzie (a, b) przedział x+a b a dla a x b F (x) = 0 dla x < a dla x > b EX = b a b a V ar(x) = (b a) dla a x b 0 dla pozostałych x Dla J((0, a)): ϕ(t) = eiat iat Dla J(( a, a)): ϕ(t) = Wykładiczy si at at Parametr λ > 0 e λx dla x 0 F (x) = 0 dla x < 0 λe λx dla x 0 0 dla pozostałych x ϕ(t) = λ +t Gamma Beta Ozaczeie: Γ(p, α) α p Γ(p) xp e αx dla x > 0 0 dla pozostałych x gdzie Γ(p) = x p e x dx, =,, 3,..., Γ() = 0 ( )! ϕ(t) = ( it α ) p Uwaga: Γ(, α) to rozkład wykładiczy. Uwaga: Γ(, ) to tak zway rozkład χ (chi kwadrat) z stopiami swobody. Parametry: p, q > 0 β(p,q) xp ( x) q x (0, ) 0 w p.p. β(p, q) := Γ(p)Γ(q) Γ(p+q) Laplace a Parametr λ > 0 λ e λ x dla x 5

6 Normaly (Gaussowski) Ozaczeie N(p, σ ), N(0, ) azywamy stadardowym. F (x) = t (t) e dt π = Φ(x) σ π EX = m V ar(x) = σ (x m) e σ dla x Dla stadardowego: ϕ(t) = e t Cauchy ego Parametry θ, λ F (x) = + π arcta ( x θ λ πλ[+( x θ λ ) )] ϕ(t) = e t Wartość oczekiwaa i wariacja są iezdefiiowae ie istieją gdyż całki rozbiegają do ieskończoości. Uwaga. Jeśli X i Y mają stadardowy rozkład ormaly to zmiea X/Y ma rozkład Cauchy ego z parametrami θ = 0 i λ = ) 5 Zmiee losowe wielowymiarowe Wektorem losowym lub zmieą losową wielowymiarową azywamy dowolą fukcję X : Ω, która spełia waruek: B B( )X (B) F, czyli przeciwobraz dowolego zbioru borelowskiego z przestrzei musi ależeć do σ ciała. Każdą fukcję wielowymiarową X : Ω możemy przestawić w postaci: X = (X, X,..., X ), gdzie dla każdego i X i : Ω. Fukcja X jest zmieą losową wielowymiarową każde X i jest ( zwykłą ) zmieą losową. Odwzorowaie ϕ: m azywamy fukcją borelowską gdy przeciwobrazy zbiorów borelowskich z m są zbiorami borelowskim w. Złożeie ϕ X, gdzie X wektor losowy a ϕ fukcja borelowska, jest też wektorem losowym. Wektor losowy jest wektorem typu dyskretego, gdy istieje taki co ajwyżej przeliczaly zbiór B borelowski, że P X (B) =. Wektor losowy jest wektorem typu ciągłego, gdy istieje fukcja f taka, że P X (B) =... f(x)dx, dla dowolego B B borelowskiego. Fukcję tą azywamy gęstością (musi oa spełiać dodatkowe waruki, o czym iżej). 5. Dystrybuata Gdy X : Ω jest wektorem losowym, dystrybuata ma postać: F :, F (t, t,..., t ) = P X ((, t ) (, t )... (, t )). W przypadku gdy = mamy: F (x, y) = P (X < x, Y < y) dla(x, y). Własości Jest lewostroie ciągła i iemalejąca ze względu a każdą zmieą z osoba. x lim y F (x, y) = 0, y lim x F (x, y) = 0 lim x,y F (x, y) = Dla dowolych puktów (x, y ), (x, y ) takich, że x x i y y zachodzi ierówość F (x, y ) F (x, y ) F (x, y ) + F (x, y ) 0 5. Gęstość Własości P X (B) =... B f(x)dx F (t, t,..., t ) = t... t f(t, t,..., t )dt dt... dt f(x, y)dxdy = w puktach ciągłości: f(x,..., x ) = F x(x,...,x ) x... x. Niezależość zmieych: (x,y) F (x, y) = F X (x)f Y (y) lub f(x, y) = f X (x)f Y (y) Zbiory borelowskie w, to σ ciało zbiorów zawierające wszystkie zbiory otwarte z tej przestrzei. Geerowae jest p. przez wszystkie otwarte kostki (iloczyy kartezjańskie przedziałów otwartych). 6

7 5.3 ozkład brzegowy Niech X : Ω wektor losowy o dystrybuacie F. Wówczas fukcje F X (x) = lim y F (x, y) oraz F Y (y) = lim x F (x, y) są dystrybuatami rozkładów a. ozkłady te azywamy brzegowymi. Jeśli dodatkowo wektor losowy posiada gęstość f, to fukcje f X (x) = f(x, y)dy oraz f Y (y) = f(x, y)dx są gęstościami rozkładów brzegowych a. 5.4 Parametry liczbowe Wartość oczekiwaa Jeśli X = (X, X,..., X ) jest wektorem losowym, to wektor liczb (EX, EX,..., EX ) azywamy wartością średią (oczekiwaą) wektora X. Jest oa określoa jeśli wszystkie wartości oczekiwae EX i istieją. Jeśli ϕ: fukcja borelowska, oraz X wektor losowy typu ciągłego, to Eϕ(X) = ϕ(x)f(x)dx. 5.5 Przykłady Gęstości sumy, iloczyu, ilorazu zmieych losowych:. U = X + Y : k (u) = f(x, u x)dx; gdy X, Y -iezależe: k (u) = f (x)f (u x)dx. U = XY : k (u) = f(x, u x ) x dx; gdy X, Y -iezależe: k (u) = f (x)f ( u x ) x dx 3. U = X Y : k (u) = f(uy, y) y dy; gdy X, Y -iezależe: k (u) = f (uy)f (y) y dy Dwuwymiarowy rozkład ormaly f(x, y) = ma gęstość daą wzorem: πσ σ exp [ (x µ ) ρ ( ρ ) σ ρ (x µ )(y µ ) + (y µ ) ]} σ σ σ dla (x, y) gdzie: µ = EX, µ = EY, σ = D X > 0, σ = D Y > 0, ρ współczyik korelacji zm.los. X i Y, przy czym ρ <. 6 Zbieżość ciągów zmieych losowych. Zbieżość z prawdopodobieństwem (prawie a pewo, prawie wszędzie): P (ω : lim if X (ω) X(ω)}) =. z pr. Ozaczeie: X X. (p..). Zbieżość według prawdopodobieństwa: ɛ>0 lim P (ω : X (ω) X(ω) ɛ}) = 0. Ozaczeie: X wg pr. (P ) X. 3. Zbieżość według dystrybuat (zbieżość względem rozkładu, słabo zbieży) ciąg dystrybuat F jest zbieży D do dystrybuaty F w każdym pukcie ciągłości F. Ozaczeie: X X. (s) odzaje zbieżości wymieioe są od ajsiliejszej do ajsłabszej. Ze zbieżości z prawdopodobieństwem wyika zbieżość według prawdopodobieństwa, a z iej wyika zbieżość według dystrybuat. Następujące waruki są rówoważe ze zbieżością z prawdopodobieństwem : ɛ>0 lim k =k X X < ɛ} = ɛ>0 lim k =k X X ɛ} = 0 6. Twierdzeie o ciągłości Ciąg (X ) jest zbieży według rozkładu do X wtedy i tylko wtedy, gdy ciąg fukcji charakterystyczych ϕ jest zbieży w każdym pukcie do fukcji ciągłej ϕ. Takie ϕ jest fukcją charakterystyczą zmieej X. 7

8 7 Prawa wielkich liczb i twierdzeia graicze Słabe prawo wielkich liczb. k= (X k m k ) Niech X będzie ciągiem zmieych losowych, m k = EX k, S = k= X. Jeżeli ciąg zbiega według prawdopodobieństwa do 0 to mówimy, że X spełia słabe prawo wielkich liczb (SPWL). Waruek z defiicji moża rówoważie zapisać: ɛ>0 lim P ( S ES ɛ) = 0. Tw. Czebyszewa Ciąg iezależych zmieych losowych X spełia SPWL, gdy istieją wartości oczekiwae E(X i ) i wariacje σ i zmieych X i istieją i są wspólie ograiczoe (tz. σ V ar(s ) σ ). Tw. Markowa Ciąg zmieych losowych X spełia SPWL, gdy istieją wartości oczekiwae E(X i ) i wariacje σ i zmieych X i oraz lim V ar(s ) = 0. Wiosek Jeśli X ciąg iezależych zmieych losowych o jedakowym rozkładzie, dla którego istieje wariacja, to ciąg te spełia SPWL. Tw. Chiczya Ciąg iezależych zmieych losowych o jedakowych rozkładach i wspólej wartości oczekiwaej spełia SPWL. Moce prawo wielkich liczb. X jest ciągiem zmieych losowych, m k = EX k. Ciąg X spełia moce prawo k= (X k m k ) wielkich liczb (MPWL), gdy ciąg zbiega do 0 z prawdopodobieństwem jede. Uwaga. Jeśli ciąg spełia MPWL to spełia też SPWL. Tw. Kołomogorowa Jeśli X spełia MPWL. są iezależe, V ar(x ) istieją oraz szereg = V ar(x) jest zbieży, to (X ) Wiosek Jeśli (X ) jest ciągiem iezależych zmieych losowych o jedakowym rozkładzie i V ar(x ) = σ < +, to X spełia MPWL. Wiosek Jeśli X spełia założeia tw. Czybyszewa to spełia MPWL. Cetrale twierdzeie graicze Lideberga-Levy ego. Jeżeli X } jest losowym ciągiem iezależych zmieych o jedakowym rozkładzie, o wartości przeciętej α i skończoej wariacji σ > 0, to ciąg (F ) dystrybuat stadaryzowaych średich arytmetyczych X (stadaryzowaych sum i= X i) Y = X α σ zbieży do dystrybuaty Φ rozkładu N(0, ): lim F (y) = π y e t dt Φ(y) = i= Xi α σ jest 8