M. Beśka, Statystyka matematyczna, wykład 1 1 1 Przestrzene statystyczne, statystyk 1.1 Rozkłady zmennych losowych Nech Ω, F, P ) będze ustaloną przestrzeną probablstyczną, a X : Ω IR zmenną losową na nej. Rozkładem zmennej losowej X nazywamy marę probablstyczną µ = µ X na IR, BIR)) daną wzorem µ X A) = P X A} = P X 1 A)), A BIR). Jeśl µ jest marą probablstyczną na IR, BIR)), to łatwo zauważyć, że na przestrzen probablstycznej IR, BIR), µ) zmenna losowa Xω) = ω, ω IR ma rozkład µ. Zatem każda mara probablstyczna na IR, BIR)) jest rozkładem pewnej zmennej losowej. Stąd take mary będzemy nazywać rozkładam. Przypomnjmy znane z wykładu z teor mary twerdzene Twerdzene 1.1 O rozkładze Lebesgue a) Nech ν µ będą σ-skończonym maram na przestrzen merzalnej X, A). Wtedy stneją jedyne mary ν ac ν s take, że ν = ν ac + ν s oraz ν ac µ ν s µ. Twerdzene o rozkładze Lebesgue a zastosujemy do dowodu następującego wnosku. Wnosek 1.2 Nech µ będze rozkładem na IR, BIR)). Wtedy stneją jednoznaczne wyznaczone rozkłady µ ac, µ d, µ c na IR, BIR)) oraz lczby 0 α ac, α d, α c 1, α ac +α d +α c = 1 take, że ) µ = α ac µ ac + α d µ d + α c µ c ; ) µ ac λ, λ - mara Lebesgue a; ) Rozkład µ d jest dyskretny tzn. stneje co najwyżej przelczalny zbór S IR jest oczywste, że S BIR)) tak, że µ d x}) > 0 dla x S oraz µ d S ) = 0. v) Rozkład µ c jest cągły tzn. µ c x}) = 0 dla x IR) oraz µ c λ. Dowód. Na mocy twerdzena 1.1 stneją mary µ 1 µ 2 na IR, BIR)) take, że µ = µ 1 + µ 2, µ 1 λ, µ 2 λ. Oznaczmy S = x IR : µ 2 x}) 0}.
M. Beśka, Statystyka matematyczna, wykład 1 2 Poneważ µ 2 jest skończona, węc S jest co najwyżej przelczalny. Określmy Wtedy µ d A) = µ 2A S), A BIR), µ ca) = µ 2 A S ), A BIR). µ = µ 1 + µ d + µ c. Oznaczmy α ac = µ 1 IR), α d = µ d IR), α c = µ cir) oraz Dowód wnosku został zakończony. µ ac = 1 α ac µ 1 oraz µ ac 0 gdy α ac = 0; µ d = 1 α d µ d oraz µ d 0 gdy α d = 0; µ c = 1 α c µ c oraz µ c 0 gdy α c = 0. Powyższy wnosek pozwala nam wyróżnć pewne klasy rozkładów A) Rozkłady absolutne cągłe. To take rozkłady µ na IR, BIR)), które są absolutne cągłe względem mary Lebesgue a λ co zapsujemy µ λ. Przypomnjmy teraz twerdzene Radona-Nkodyma w ogólnej postac). Twerdzene 1.3 Radona-Nkodyma) Nech X, A) będze przestrzeną merzalną, a µ ν maram na nej. Załóżmy, że µ jest marą σ-skończoną, a ν marą absolutne cągłą względem µ tzn. ν µ. Wtedy stneje neujemna funkcja merzalna h taka, że 1.1) νe) = hx) µx), E A lub krótko ν = hµ). E Jeśl stneje druga neujemna merzalna funkcja g spełnająca 1.1) to h = g, µ - p.w. Ponadto h jest skończene całkowalna wtedy tylko wtedy, gdy ν jest marą skończoną, a jest µ - p.w skończona wtedy tylko wtedy, gdy ν jest σ-skończona. Korzystając teraz w naszej sytuacj z twerdzena Radona-Nkodyma wnoskujemy, że stneje funkcja borelowska f : IR [0, ) taka, że 1.2) µa) = fx) dλx), A BIR). A
M. Beśka, Statystyka matematyczna, wykład 1 3 Podstawając w 1.2) A := IR otrzymujemy 1.3) 1 = µir) = R fx) dλx). Funkcję f nazywamy gęstoścą rozkładu µ. Tak węc każdemu rozkładow µ na IR, BIR)) takemu, że µ λ odpowada neujemna funkcja borelowska spełnająca warunek unormowana) 1.3). Odwrotne, mając nujemną funkcję borelowską spełnającą warunek 1.3) możemy przy pomocy 1.2) określć rozkład µ na IR, BIR)) tak, że µ λ. Wdzmy węc, że stneje wzajemne jednoznacza odpowedność mędzy rozkładam na IR, BIR)) absolutne cągłym względem mary Lebesgue a, a gęstoścam. Do tej klasy rozkładów należą m.n. rozkład normalny, rozkład wykładnczy, rozkład gamma, rozkład beta, rozkład Cauchy ego, rozkład jednostajny nne. B) Rozkłady dyskretne. Przypomnamy, że rozkład µ nazywamy dyskretnym jeśl stneje co najwyżej przelczalny zbór S IR tak, że µx}) > 0 dla x S oraz µs ) = 0. Nech S = x } I. Wtedy µ = I p δ x, gdze p = µx }) > 0, I. Zauważmy równeż, że warunek unormowana) 1 = µir) = I p. Dla A BIR) mamy µa) = I p δ x A) = x A p. Omawane rozkłady dyskretne µ są absolutne cągłe względem mary lczącej na S. Dokładnej µ ν, gdze ν = δ x. I Mara lcząca ν jest tu σ - skończona, możemy węc zastosować twerdzene Radona- Nkodyma. Zatem µa) = fx) dνx), A BIR), gdze fx) = A p, gdy x = x dla pewnego I, 0 gdy x x dla każdego I. Funkcję f nazywamy w tym przpadku gęstoścą rozkładu µ wzgledem mary lczącej ν lub funkcją prawdopodobeństwa. Do klasy tych rozkładów należą m.n. rozkład zerojedynkowy, rozkład dwumanowy, rozkład Possona, rozkład geometryczny, rozkład równomerny nne.
M. Beśka, Statystyka matematyczna, wykład 1 4 C) Rozkłady cągłe sngularne względem mary Lebesgue a. W zastosowanach statystycznych rozkłady tego typu ne pojawają sę. Służą raczej do rozważań teoretycznych. Rzadko też pojawają sę rozkłady będące kombnacjam wypukłym rozkładów z rozważanych klas. 1.2 Dystrybuanty, uogólnona dystrybuanta odwrotna Innym równoważnym z rozkładem) obektem zwązanym że zmenna losową X jest dystrybuanta tej zmennej losowej lub jej rozkładu µ X ). Manowce funkcję F x) = F X x) = P X x} = µ X, x]), x IR nazywamy dystrybuantą zmennej losowej X. następujące własnośc: Dystrybuanta zmennej losowej posada ) F : IR [0, 1]; ) Dystrybuanta F jest funkcją nemalejącą; ) Dystrybuanta F jest funkcją co najmnej prawostronne cągłą; v) lm x + F x) = 1 tj. F + ) = 1 oraz lm x F x) = 0 tj. F ) = 0; v) P a < X b} = F b) F a), a < b, a, b IR; v) P X = x} = F x) F x ). Z własność v) wynka od razu, że P X = x} = 0 wtedy tylko wtedy, gdy F jest cągła w punkce x. Zauważmy też, że stneje wzajemne jednoznaczna odpowedność mędzy dystrybuantam a rozkładam. Można też wykazać, że każda funkcja F, która spełna warunk od ) do v) jest dystrybuantą pewnej zmennej losowej pewnego rozkładu). Defncja 1.4 Nech F będze dystrybuantą.uogólnona dystrybuantą odwrotną nazywamy funjcję numeryczną F 1 : [0, 1] [, + ] określoną wzorem F 1 u) = nfx IR : F x) u}, u [0, 1]. Zauważmy, że zawsze F 1 0) = oraz F 1 1) = + x R F x) < 1. Ponadto dla każdego u 0, 1) mamy < F 1 u) < +. Dalsze własnośc uogólnonej dystrybuanty odwrotnej zostały zebrane w lemace
M. Beśka, Statystyka matematyczna, wykład 1 5 Lemat 1.5 Nech F będze dystrybuantą, a F 1 jej uogólnoną dystrybuantą odwrotną. Wtedy ) Dla każdego x IR oraz każdego u [0, 1] zachodz równoważność F x) u x F 1 u) lub równoważne F x) < u x < F 1 u); ) F F 1 0)) = 0, F F 1 1)) = 1; ) Dla x IR mamy F 1 F x)) x; v) Dla u [0, 1] mamy F F 1 u)) u; v) Uogólnona dystrybuanta odwrotna F 1 jest nemalejąca lewostronne cągła w przedzale 0, 1]; v) Dla ustalonego x IR zachodz równość F 1 F x)) = x wtedy tylko wtedy, gdy x jest lewostronnym punktem wzrostu F tj. Dla każdego ε > 0 mamy F x) F x ε) > 0; v) Dla ustalonego u 0, 1) zachodz równość F F 1 u)) = u wtedy tylko wtedy, gdy u jest prawostronnym punktem wzrostu F 1 tj. Dla każdego ε > 0 u + ε < 1) zachodz następująca nerówność F 1 u + ε) F 1 u) > 0. Dowód. ) Z uwag poczynonej po defncj 1.4 wynka, że jeśl F 1 u) = to równoważność jest oczywsta. Zatem możemy założyć, że F 1 u) <. Wtedy dowód mplkacj " "wynka z defncj kresu dolnego. W drugą stronę. Załóżmy, że x F 1 u). Z defncj kresu dolnego stneje cąg x n } n 1 x IR : F x) u} tak, że 1.4) x n F 1 u), gdy n. Z defncj cągu x n } n 1 mamy F x n ) u dla n 1. Stąd, z prawostronnej cągłośc F z 1.4) otrzymujemy przy n 1.5) F F 1 u)) u. Z założena x F 1 u). Zatem z monotoncznosc F z 1.5) dostajemy F x) F F 1 u)) u. ) Mamy F F 1 0)) = F ) = 0. Gdy F 1 1) = +, to F F 1 1)) = F + ) = 1. Gdy F 1 1) = x 0 IR, to dla każdego ε > 0 stneje x IR tak, że F x) 1 oraz x < x 0 + ε. Stąd F x 0 + ε) = 1. Przechodząc z ε 0 oraz korzystając z prawostronnej cągłośc F otrzymujemy F x 0 ) = 1. Zatem F F 1 1)) = F x 0 ) = 1. ) Dowód wynka z ) podstawając u := F x). v) Dla u = 0 u = 1 dowód wynka z ). Dla u 0, 1) wzór został udowodnony w dowodze ) patrz 1.5)).
M. Beśka, Statystyka matematyczna, wykład 1 6 v) Dla u 1, u 2 [0, 1] takch, że u 1 < u 2 mamy Stąd z defncj kresu dolnego x IR : F x) u 2 } x IR : F x) u 1 }. F 1 u 1 ) = nfx IR : F x) u 1 } nfx IR : F x) u 2 } = F 1 u 2 ), co dowodz monotoncznośc F 1. Nech u 0, 1] będze take, że F 1 u) <. Załóżmy, że F 1 ne jest lewostronne cagłe w u. Wtedy F 1 u δ) < x < F 1 u). Z ) dostajemy x R Przechodząc z δ 0 dostajemy δ>0 u δ F x) < u. u F x) < u, co daje sprzeczność. Został nam do rozważena przypadek F 1 1) =. Wtedy jak wemy dla każdego x IR mamy F x) < 1. Gdyby granca lm F 1 u) = x 0 IR u 1 stneje z monotoncznośc F 1 ) była skończona, to poneważ F 1 jest nemalejąca, węc F 1 u) x 0. Stąd z ) mamy u 0, 1) u 0, 1) u F x 0 ) < 1. Borąc u 1 dostajemy 1 F x 0 ) < 1, co daje sprzeczność. v) " " Załóżmy, że x ne jest lewostronnym punktem wzrostu F tj. F x) F x ε) = 0. Wtedy z ) mamy ε>0 F 1 F x)) = F 1 F x ε)) x ε < x. " " Załóżmy, że F 1 F x)) < x. Wtedy stneje ε > 0 take, że F 1 F x)) < x ε < x.
M. Beśka, Statystyka matematyczna, wykład 1 7 Stąd z v) mamy F x) F F 1 F x))) F x ε) F x). Stąd F x) = F x ε), czyl x ne jest lewostronnym punktem wzrostu F. v) " " Załóżmy, że x ne jest prawostronnym punktem wzrostu F 1 tj. F 1 u + ε) F 1 u) = 0. Wtedy z v) mamy ε>0 u+ε<1 F F 1 u) = F F 1 u + ε)) u + ε > u. " " Załóżmy, że F F 1 u)) > u. Wtedy stneje ε > 0 take, że Stąd z ) mamy 1 F F 1 u)) > u + ε > u. F 1 u) F 1 F F 1 u))) F 1 u + ε) F 1 u). Stąd F 1 u) = F 1 u + ε), czyl u ne jest prawostronnym punktem wzrostu F 1. Uwaga. Jeśl dystrybuanta F jest cągła, to każdy punkt u 0, 1) jest prawostronnym punktem wzrostu F 1. Rzeczywśce, załóżmy, że u 0, 1) ne jest prawostronnym punktem wzrostu F 1 tj. stneje ε > 0 take, że u + ε < 1 oraz F 1 u + ε) = F 1 u). Z własnośc dystrybuanty 0, 1) F IR). Stąd u = F x 1 ), u + ε = F x 2 ). x 1,x 2 R Nech p 0, 1) będze take, że 1.6) F x 1 ) = u < p < u + ε = F x 2 ). Z własnośc Darbouxa stneje x IR tak, że F x) = p. Stąd z 1.6) mamy Stosując teraz lemat 1.5) dostajemy F x 1 ) = u < F x) < u + ε = F x 2 ). F 1 u) x < F 1 u + ε), co daje sprzeczność z założenem. Z powyższej uwag oraz z lematu 1.5 dostajemy
M. Beśka, Statystyka matematyczna, wykład 1 8 Wnosek 1.6 Jeśl dystrybuanta F jest cągła, to F F 1 u)) = u. u [0, 1] Uwaga. Zauważmy, że jeśl F 1 u), u 0, 1) jest punktem cągłośc F to F F 1 u)) = u. Rzczywśce, nech F F 1 u)) > u. Wtedy stneje ε > 0 take, że F F 1 u)) > u + ε > u. Ponadto dla cągu x n } n 1 takego, że x n < F 1 u), n 1, x n F 1 u) mamy F x n ) F F 1 u)) > u + ε. Z drugej strony F x n ) < u dla n 1, czyl lm n F x n ) u co daje sprzeczność. Twerdzene 1.7 Jeśl F = F X jest cągłą dystrybuantą zmennej losowej X, to zmenna losowa Y = F X) ma rozkład jednostajny na przedzale 0, 1). Dowód. Zauważmy, że F Y y) = P Y y} = P F X) y} = 0, dla y < 0, 1, dla y 1. Załóżmy, węc że 0 y < 1. Wtedy korzystając z lematu 1.5 ), z cągłośc F oraz z wnosku 1.6 dostajemy P F Y y) = P Y y} = P F X), y]} = P F X) n=1 n=1, y + 1 )} = n F X) < y+ 1 }) = lm n P F X) < y+ 1 } L.1.5) = lm X n n P < F 1 y+ 1 )} = n n lm X P F 1 y + 1 )} = lm F n n F 1 y + 1 )) W n.1.6 = lm y + 1 ) = y. n n n n Zatem 0, gdy y < 0, F Y y) = y, gdy 0 y < 1, 1, gdy y 1, czyl jest dystrybuantą rozkładu jednostajnego na przedzale 0, 1).
M. Beśka, Statystyka matematyczna, wykład 1 9 Twerdzene 1.8 Nech X będze zmenną losową o dystrybuance F. Wtedy 1.7) P F 1 F X)) = X} = 1. Dowód. Na mocy lematu 1.5 ) wystarczy wykazać, że P F 1 F X)) < X } = µ X x IR : F 1 F x)) < x} = 0. Korzystając z gestośc zboru Q lczb wymernych w IR, monotoncznośc F oraz z lematu 1.5 ) możemy napsać 1.8) x IR : F 1 F x)) < x } = x IR : F 1 F x)) < q < x } q Q x > q : F x) F q) } = x > q : F x) = F q) }. q Q Jeśl x > q : F x) = F q) } = to oczywśce µ X x > q : F x) = F q) }) = 0. Nech węc x > q : F x) = F q) }. Oznaczmy q Q x s = sup x > q : F x) = F q) }. Jeśl x s = + to x > q : F x) = F q) } = q, + ). Zatem µ X x > q : F x) = F q) }) = µ X q, + )) = F + ) F q) = 0. Nech węc x s < + oznaczmy przez ContF ) zbór punktów cągłośc dystrybuanty F. Wtedy q, xs ), gdy x 1.9) x > q : F x) = F q) } = s ContF ), q, x s ], gdy x s ContF ). Rzeczywśce, załóżmy, że x s ContF ) tj. F x s ) > F x s ). Wykażemy równość x > q : F x) = F q) } = q, x s ). Nech t > q oraz F t) = F q). Z defncj kresu górnego wynka, że t x s. Gdyby t = x s to F x s ) = F t) = F q) = F x s ) co jest sprzeczne z założenem, że F x s ) > F x s ), węc t < x s. Zatem t q, x s ). W drugą stronę. Nech q < t < x s. Z defncj kresu górnego stneje u > q dla którego F u) = F q) oraz take, że u > t. Stąd F u) F t). Poneważ z założena t > q, węc mamy równeż F t) F q). Ostateczne otrzymujemy F u) F t) F q) = F u). Stąd F u) = F t) = F q). Zatem t x > q : F x) = F q) }.
M. Beśka, Statystyka matematyczna, wykład 1 10 Załóżmy teraz, że x s ContF ) tj. F x s ) = F x s ). Wykażemy równość x > q : F x) = F q) } = q, x s ]. Nech t > q oraz F t) = F q). Wtedy t x s. Zatem t q, x s ]. W drugą stronę. Nech q < t x s. Jeśl t = x s, to poneważ F t) = F x s ) = F x s ) = F q), węc t x > q : F x) = F q) }. Gdy natomast t < x s to powtarzamy rozumowane z dowodu powyżej. Dowód 1.9) został zakończony. Korzystając z tej równośc mamy µ X x > q : F x) = F q) }) µx q, x = s )) = F x s ) F q) = 0, gdy x s ContF ), µ X q, x s ]) = F x s ) F q) = F x s ) F q) = 0, gdy x s ContF ). Zatem jak wdać w każdym przypadku dostajemy µ X x > q : F x) = F q) }) = 0. Stosując teraz 1.8) dostajemy ostateczne µ X x IR : F 1 F x)) < x }) q Q µ X x > q : F x) = F q) }) = 0, co kończy dowód twerdzena. 1.3 Przestrzeń prób, przestrzeń statystyczna, próba losowa prosta Obserwując jakeś zjawsko losowe charakteryzujące pewna zborowość nazywaną w statystyce populacją) możemy je modelować pewną zmenną losową X, której wartoścam są wszystke możlwe obserwowalne wynk badanego zjawska losowego. Tę zmenną losową nazywać będzemy cechą. Przez X będzemy oznaczać zbór wszystkch możlwych wartośc cechy X. Na ogół będzemy zakładać, że X IR d gdze d 1. Do rozważań teoretycznych potrzebna będze σ-algebra na X. Na ogół będze to σ-algebra zborów borelowskch na X będzemy ją oznaczać przez B = BX ). Przestrzeń merzalną X, B) bedzemy nazywać przestrzeną prób ndukowaną cechą X. Rozkład cechy X jest neznany. Celem wnoskowana statystycznego jest dostarczene nformacj o neznanym rozkładze cechy X lub o jej neznanych wartoścach parametrów na podstawe obserwacj cechy X tj. obserwacj zjawska losowego). Rodznę możlwych rozkładów cechy X będzemy oznaczać przez P = µ θ } θ Θ. Uporządkowana trójkę X, B, P), gdze P = µ θ } θ Θ nazywamy przestrzeną statystyczną lub modelem statystycznym) ndukowaną cechą X. Przykładem takej przestrzen może być: X = 0, 1}, B = 2 X P = µ θ } θ Θ, gdze Θ = 0, 1), µ θ = θδ 1 + 1 θ)δ 0, θ Θ. Defncja 1.9 Mówmy, że przestrzen statystyczna X, B, P) jest produktem przestrzen statystycznych X, B, P ), = 1, 2,..., n jeśl X = X 1 X n, B = B 1 B n, P = µ 1,θ µ n,θ : µ,θ P, = 1, 2,..., n, θ Θ}.
M. Beśka, Statystyka matematyczna, wykład 1 11 Jasne jest, że jeśl X, B, P ) jest ndukowana przez cechę X dla = 1, 2,..., n, to X, B, P) jest ndukowana przez wektor losowy X = X 1,..., X n ) nezależnych zmennych losowych X } 1 n. W szczegolnośc, gdy X, B, P ) =... = X n, B n, P n ) to przestrzeń statystyczna nzywana w tym przypadku produktową przestrzena statystyczną) X, B, P) := X, B, P) n := X n, B n, P n ) jest ndukowana przez wektor losowy X = X 1,..., X n ) nezależnych zmennych losowych X } 1 n o takm samym rozkładze tzn. µ X1 =... = µ Xn Tak wektor losowy będzemy nazywać próbą losową prostą. Ma ona nastepujaca nterpretację: Dokonujemy n-krotnej nezależnej) obserwacj badanego zjawska losowego którego cechą jest X. Wartoścam zmennej losowej X 1 są wszystke możlwe wynk perwszej obserwacj, X 2 drugej obserwacj td. Z nezależnośc obserwacj wynka, że zmenne losowe X 1,..., X n są nezależne. Poneważ dokonujemy n - krotnej obserwacj tego samego zjawska zakładamy tu, że obserwacja ne wpływa na samo zjawsko), którego cechą jest zmenna losowa X, węc µ X = µ X1 =... = µ Xn. Jeśl x 1 będze wynkem perwszej obserwacj, x 2 drugej ogólne x bedze wynkej - tej obserwacj, to wektor x = x 1, x 2,..., x n ) będzemy nazywać realzacją próby losowej prostej lub krótko próbką. Defncja 1.10 Nech X, B, P) będze przestrzeną statystyczną, a Y, A) przestrzeną merzalną. Wtedy merzalne odwzorowane T : X Y nazywamy statystyką na przestrzen X, B, P). Zauważmy, że statystyka T jest odwzorowanem merzalnym tj. T 1 A) B. Ponadto σ-algebrę A A B 0 = T 1 A) = T 1 A) : A A} B nazywamy σ-algebrą ndukowaną przez statystykę T. Na ogół w naszych rozważanach przestrzeń statystyczna X, B, P) będze przestrzeną produktową tj. ndukowaną przez próbę losowa prostą X = X 1,..., X n ) określoną na pewnej przestrzen probablstycznej Ω, F, P ). Możemy węc dokonać złożena T = T X) wtedy statystyka T jest zmenną losową na przestrzen Ω, F, P ). Dokładnej mamy następujący dagram Ω, F) X X, B) T Y, A).
M. Beśka, Statystyka matematyczna, wykład 1 12 Gdy będzemy psać T = T x) to statystykę T traktujemy jako odwzorowane na przestrzen statystycznej X, B, P). Jeśl T : X, B) Y, A) jest statystyką, to możemy określć rozkłady µ T θ A) = µ θt 1 A)), A A. Wtedy Y, A, P T ), gdze P T = µ T θ } θ Θ nazywamy przestrzeną statystyczną ndukowaną przez statystykę T. Defncja 1.11 Nech T 1 T 2 będą statystykam określonym na X, B, P) o wartoścach w Y 1, A 1 ), Y 2, A 2 ) odpowedno. Statystyk T 1 T 2 nazywamy równoważnym jeśl T1 1 A 1 ) = T2 1 A 2 ). 1.4 Dystrybuanta empryczna Nech X = X 1,..., X n ) będze próbą losowa prostą z cechy X o o dystrybuance F. Defncja 1.12 Dystrybuantą empryczna z próby losowej prostej X = X 1,..., X n ) nazywamy statystykę 1.10) F n x; X) = 1 n I, x] X ), =1 x IR. Podstawowe własnośc dystrybuanty emprycznej ) Mamy równoważność: F x) = 1 F n x; X) = 1, P - p.w.; ) Mamy równoważność: F x) = 0 F n x; X) = 0, P - p.w.; ) Jeśl 0 < F x) < 1, to nf n x; X) ma rozkład dwumanowy Bernoullego) o parametrach p = F x) n IN; v) E [ F n x; X) ] = F x), x IR; v) P lm n F n x; X) = F x) } = 1, x IR; v) P lm n F n x ; X) = F x ) } = 1, x IR; v) Dla x IR takego, że 0 < F x) < 1 zachodz następujące centralne twerdzene granczne n F n x; X) F x) F x)1 F x)) D N0, 1). n Krótke uzasadnene powyższych własnośc. Własnośc ) oraz ) wynkają bezposredno z defncj dystrybuany emprycznej wzór 1.10)), bowem P F n x; X) = 1} = P I, x] X ) = 1} = P X x} = F x), = 1, 2,..., n,
M. Beśka, Statystyka matematyczna, wykład 1 13 P F n x; X) = 0} = P I, x] X ) = 0} = P X > x} = 1 F x), = 1, 2,..., n. Równeż ze wzoru powyżej wynka, że nf n x; X), gdy 0 < F x) < 1 jest sumą nezależnych zmennych losowych o rozkładze zero-jedynkowym z parametrem. Własność v) wynka z ) wlasnośc rozkładu dwumanowego. Własność v) to szczególny przypadek mocnego prawa welkch lczb Kołmogorowa. Własność v) wynka z F n x; X) F n x ; X) = 1 n oraz z mocnego prawa welkch lczb, bo F n x ; X) = F n x; X) 1 n =1 I x} X ) =1 I x} X ) n F x) P X = x} = F x ), P p.w., ponważ P X = x} = F x) F x ). Ostatna własność jest szczególnym przypadkem centralnego twerdzena grancznego Mover a-laplace a. Twerdzene 1.13 Podstawowe twerdzene statyst. mat. Glwenko-Cantell)) Nech X = X 1,..., X n ) będze próbą losowa prostą z cechy X o o dystrybuance F. Oznaczmy D n = sup F n x; X) F x), n 1. x R Wtedy tzn. D n n 0, P p.w. P lm n D n = 0 } = 1. Dowód. Nech M IN będze ustalone. Oznaczmy x k,m = F 1 k ), k = 0, 1, 2,..., M, M + 1. M ) Zauważmy, że x 0,M = F 1 0) = oraz x M+1,M = F 1 M+1 M = +. Oznaczmy I 0 = x 0,M, x 1,M ) =, x 1,M ) oraz I k = [x k,m, x k+1,m ), k = 1, 2,..., M. Wtedy rodzna I k } 0 k M jest rozbcem prostej IR. Zauważmy, że dla x I k, k = 0, 1,..., M mamy 1.11) F n x k,m ; X) F n x; X) F n x k+1,m ; X) oraz 1.12) F x k,m ) F x) F x k+1,m ).
M. Beśka, Statystyka matematyczna, wykład 1 14 Wykażemy, że dla k = 0, 1,..., M zachodzą nerównośc 1.13) 0 F x k+1,m ) F x k,m) 1 M. W tym celu rozważymy trzy przypadk 1) Gdy k = 0. Wtedy F x 1,M ) F x 0,M) = F x 1,M ) F ) = F x 1,M ) = lm F y). y x 1,M y<x 1,M Poneważ zatem y < x 1,M = F 1 1 ) M F x 1,M ) F x 0,M) F y) < 1 M, 1 lm y x 1,M M = 1 M. y<x 1,M 2) Gdy k = M. 3) Gdy 1 k M 1. F x k+1,m ) F x k,m) = F x M+1,M ) F x M,M) = 1 F F 1 1)) = 1 1 = 0 1 M. lm F y) F F 1 k )) k + 1 lm y x k+1,m M y x k+1,m M k ) = 1 M M, y<x k+1,m y<x k+1,m bo F F 1 )) k M k M oraz y < x k+1,m = F 1 k + 1 M ) F y) < k + 1 M. Dowód 1.13) został zakończony. Korzystajac teraz z 1.11), 1.12) 1.13) dla x I k, k = 0, 1,..., M dostajemy F n x; X) F x) F n x k+1,m ; X) F x k,m) F n x k+1,m ; X) F x k+1,m ) + 1 M Podobne otrzymujemy oszacowane z dołu F n x k+1,m ; X) F x k+1,m ) + 1 M. F n x; X) F x) F n x k,m ; X) F x k+1,m ) F nx k,m ; X) F x k,m ) 1 M F n x k,m ; X) F x k,m ) 1 M.
M. Beśka, Statystyka matematyczna, wykład 1 15 Z tych dwóch oszacowań wynka, że dla x I k, k = 0, 1,..., M mamy F n x; X) F x) max F n x k+1,m ; X) F x k+1,m ), F nx k,m ; X) F x k,m ) } + 1 M. Stąd przyjmując oznaczena 1) n,m = max F nx k,m ; X) F x k,m ), 2) 0 k M n,m = możemy napsać oszacowane max F nx 0 k M k+1,m ; X) F x k+1,m ) D n = sup F n x; X) F x) max 1) n,m, 2) n,m } + 1 x R M. Z własnośc dystrybuanty emprycznej F n x k,m ; X) n F x k,m), P p.w. oraz F n x k+1,m ; X) F n x k+1,m ), P p.w. Zatem 1) n,m 0 oraz 2) n n,m 0, P p.w. n Ostateczne, wec dla dowolnego M IN mamy 0 lm sup D n 1 n M, Stąd lm D n = 0, n Dowód twerdzena został zakończony. P p.w. P p.w. Uwaga. W 1956 roku Dvoretzky, Kefer Wolfowtz wykazal, że przy założenach jak w podstawowym twerdzenu statystyk stneje stała K, która ne zależy od ε > 0 n F taka, że P sup x R n Fn x; X) F x) > ε} K e 2ε2, n 1. W 1990 roku Massart wykazał, że K = 2 jest to najlepsza stała. Korzystając teraz z tych uwag możemy napsać P F n x; X) F x) > ε } 2 e 2ε2, n 1. n sup x R Przyjmując δ = ε/ n możemy powyższą nerówność zapsać w postac } P F n x; X) F x) > δ 2 e 2nδ2, n 1. sup x R
M. Beśka, Statystyka matematyczna, wykład 1 16 Poneważ n=1 2 e 2nδ2 < tzn. szereg ten jest zbeżny, węc z lematu Borel-Cantellego dostajemy D n = sup F n x; X) F x) 0, P p.w. x R n Co daje nny dowód podstawowego twerdzena statystyk matematycznej. 1.5 Statystyk pozycyjne, kwantyle z próby Nech X = X 1,..., X n ) będze próbą losowa prostą z cechy X o o dystrybuance F. Dla ω Ω możemy napsać X 1) ω) X 2) ω)... X k) ω)... X n) ω). Wtedy X k) nazywamy k-tą statystyką pozycyjną. Zauważmy, że X 1) = mn 1 n X, X n) = max 1 n X, k ) X k) = Fn 1 n ; X, k = 1,..., n. Będzemy staral sę wyznaczyc wzór na dystrybuantę k-tej statystyk pozycyjnej. Poneważ F n x; X) k k ) n X k) = Fn 1 n ; X x, węc F k,n x) = P X k) x} = P F n x; X) k/n} = =k ) n F ) ) n. x) 1 F x) Okazuje sę, że możemy pozbyć sę znaku sumy w powyższym wzorze, wystarczy skorzystać z lematu Lemat 1.14 Nech p [0, 1] oraz n IN. Wtedy dla 1 k n mamy ) ) n n 1 p p 1 p) n = n t k 1 1 t) n k dt. k 1 0 =k Dowód. Nech p [0, 1] oznaczmy Sp) = =k ) n p 1 p) n. Wyznaczmy pochodną względem p) welomanu Sp). Mamy ) n [p S p) = 1 1 p) n n )p 1 p) n 1] = =k
M. Beśka, Statystyka matematyczna, wykład 1 17 Poneważ n n =k ) = n =k S p) = n ) n p 1 1 p) n n 1 1) oraz n =k ) n 1 p 1 1 p) n n 1 n 1 =k ) = n ) n = n n ) n n )p 1 p) n 1. n 1 ) n 1 = n n =k n 1 ), węc ) n 1 n 1 ) n 1 p 1 1 p) n n p 1 p) n 1 = 1 ) ) n 1 n 1 p 1 1 p) n = n p k 1 1 p) n k. 1 k 1 =k+1 Całkując teraz na przedzale [0, p] otrzymaną rowność stronam otrzymujemy p ) n 1 p Sp) = Sp) S0) = S t) dt = n t k 1 1 t) n k dt. k 1 Dowód lematu został zakończony. 0 Korzystając z powyższego lematu dostajemy ostateczny wzor na dystrybuantę k-tej statystyk pozycyjnej. 1.14) F k,n x) = =k dla x IR. W szczególnośc ) ) n F ) ) n n 1 F x) x) 1 F x) = n k 1 F 1,n x) = 1 [ 1 F x) ] n, Fn,n x) = [ F x) ] n, x IR. 0 0 t k 1 1 t) n k dt Wnosek 1.15 Nech X = X 1,..., X n ) będze próbą losową prostą z cechy, której rozkład ma gęstość f względem mary Lebesgue a). Wtedy gęstość f k,n k-tej statystyk pozycyjnej wyraża sę wzorem ) n 1 F ) k 1 ) n kfx), f k,n x) = n x) 1 F x) x IR. k 1 Dowód. Wynka ze wzoru 1.14) poprzez zróżnczkowane dystrybuanty F k,n. Defncja 1.16 Kwantylem rzędy p 0, 1) rozkładu zmennej losowej X o dystrybuance F nazywamy lczbę x p = F 1 p). Kwantyl rzędu 1/2 nazywamy medaną.
M. Beśka, Statystyka matematyczna, wykład 1 18 Z lematu 1.5 wynka, że jeśl x p = F 1 p), to F x p ) = F F 1 p)) p. Ponadto z defncj uogólnnej dystrybuanty odwrotnej własnośc kresu dolnego mamy dla każdego ε > 0 nerówność F x p ε) < p. Przechodząc z ε 0 dostajemy F x p ) p. Stąd kwantyl x p spełna nerównośc F x p ) p F x p ). Jak łatwo zauważyć jest to najmnejsza lczba x p która spełna te nerównośc. Defncja 1.17 Nech X = X 1,..., X n ) będze próbą losową prostą z cechy X o dystrybuance F. Kwantylem rzędu p 0, 1) z próby X nazywamy statystykę Z p,n X) = Fn 1 p ; X). Kwantyl z próby rzędu 1/2 nazywamy medaną z próby. Kwantyle z proby możemy wyrazć za pomocą statystyk pozycyjnych, manowce Xnp), gdy np IN, Z p,n X) = X [np]+1), gdy np IN, gdze [np] oznacza część całkowtą z lczby np. Przypadek np IN był już uzasadnany przy statystykach pozycyjnych). Gdy np IN, to stneje k IN take, że k n < p < k+1 n. Stąd z defncj dystrybuany emprycznej wynka, że Fn 1 p; X) = X k+1). Z drugej strony, poneważ k < np < k + 1, węc k + 1 = [np] + 1. Zatem Z p,n X) = F 1 n p ; X) = X k+1) = X [np]+1). Nekedy ze względu na symetrę wygodne jest defnować medanę z próby nastepująco X n+1 ), gdy n = 2k 1, k IN, 2 m e X) = 1 2 X n/2) + X n/2+1) ), gdy n = 2k, k IN. Przypomnjmy prosty fakt charakteryzujący zbeżność P - p.w. Lemat 1.18 Nech X n } n 1 będze cągem zmennych losowych. Wtedy X n n P X, P p.w. sup X n X 0. n k n Dowód. Ustalmy ε > 0. Wtedy z defncj zbeżnośc według prawdopodobeństwa cągłośc prawdopodobeństwa względem cągów zstępujących otrzymujemy } 0 = lm P sup X n X > ε = lm P Xn X > ε }) = k n k k n k P k=1 n k Xn X > ε }) = P lm sup Xn X > ε }). n Stąd z dowolnośc ε > 0 dostajemy tezę. Dowód lematu jest zakończony.
M. Beśka, Statystyka matematyczna, wykład 1 19 Twerdzene 1.19 Nech X = X 1,..., X n ) bedze próbą losową prostą z populacj w której cecha X ma dystrybuantę F nech p 0, 1). Jeśl x p jest jedynym rozwązanem nerównośc F x ) p F x), to 1.15) Z p,n X) n x p, P p.w. Dowód. Jak wadomo z lematu 1.18 zbeżność w 1.15) jest równoważna zbeżnośc } P Z p,n X) x p > ε 0. k ε>0 sup n k Ustalmy ε > 0. Z jednoznacznośc x p mamy nerównośc Z mocnego prawa welkch lczb dostajemy Zbeżnośc te są równoważne 1.16) η>0 F x p ε) < p < F x p + ε). F n x p ε; X) n F x p ε), P p.w., F n x p + ε; X) n F x p + ε), P p.w. lm P Fn x p ε; X) F x p ε) η }) = 1, k n=k 1.17) η>0 lm P Fn x p + ε; X) F x p + ε) η }) = 1. k n=k Oznaczmy δ 1 = p F x p ε) > 0, δ 2 = F x p + ε) p > 0. Nech η < mnδ 1, δ 2 } oraz nech 1.18) F n x p ε; X) F x p ε) η dla n k 1.19) F n x p + ε; X) F x p + ε) η dla n k. Wtedy 1.20) F n x p ε; X) < p < F n x p + ε; X), dla n k.
M. Beśka, Statystyka matematyczna, wykład 1 20 Rzeczywśce, dowód 1.20) wynka z F n x p ε; X) 1.18 η + F x p ε) η<δ 1 < p F x p ε) + F x p ε) = p = F x p + ε) δ 2 < F x p + ε) η 1.19 F n x p + ε; X). Korzystając z 1.18), 1.19) oraz z1.20) dostajemy Fn x p ε; X) F x p ε) η } n=k Fn x p + ε; X) F x p + ε) η } n=k Fn x p ε; X) < p < F n x p + ε; X) }. n=k Stąd, z 1.16) z 1.17) dostajemy co mplkuje lm P Fn x p ε; X) < p < F n x p + ε; X) }) = 1, k n=k lm P xp ε Fn 1 p; X) x p + ε }) = 1. k n=k Poneważ z defncj Z p,n X) = Fn 1 p; X), węc powyższa równość jest równoważna tzn. lm P Zp,n X) x p ε }) = 1 k n=k P sup n k To natomast jak już wemy) jest równoważne } Z p,n X) x p > ε 0. k Z p,n X) n x p, P p.w. Dowód twerdzena został zakończony.