Modele probabilistyczne zjawisk losowych

Transkrypt

1 Statystyka-matematycza-II Wykład Modele probabilistycze zjawisk losowych Pojęcia podstawowe: Zdarzeia elemetare: ajprostsze zdarzeie mogące być wyróżioe dla daego doświadczeia losowego. Ω - zbiór zdarzeń elemetarych. Zdarzeie losowe: dowoly podzbiór zbioru zdarzeń elemetarych Ω Rodzia zdarzeń losowych (σ-ciało podzbiorów zbioru zdarzeń elemetarych Ω) F - rodzia podzbiorów zdarzeń elemetarych taka, że F Ω jeżeli A F i B F, to A B F jeżeli A F i B F, to A B F jeżeli A F, to A F Prawdopodobieństwo zdarzeia losowego A : fukcja rzeczywista P(A) a rodziie zdarzeń F, taka że ) dla każdego A F, P( A) 0 ) P(Ω)= 3) dla zdarzeń parami rozłączych PA ( A...) = PA ( ) + PA ( ) +...

2 Statystyka-matematycza-II Wykład Przestrzeń probabilistycza: trójka uporządkowaa (Ω, F, P). Określając przestrzeń probabilistyczą określamy model probabilistyczy daego zjawiska. Zmiea losowa Niech daa będzie przestrzeń probabilistycza (Ω, F, P). Fukcję X określoą a przestrzei zdarzeń elemetarych Ω, o wartościach rzeczywistych oraz taką, że dla każdego t R zbiór { ω Ω: X( ω) < t } jest zdarzeiem (czyli ależy do F ) będziemy azywać zmieą losową. Iterpretacja: Zmiea losowa jest to fukcja przyporządkowująca podzbiorom zbioru zdarzeń elemetarych (zdarzeiom losowym) odpowiedie podzbiory liczb rzeczywistych. Zmiee losowe ozaczamy dużymi literami; a przykład X. To, co zaobserwujemy w kokretym doświadczeiu azywamy realizacją zmieej losowej i ozaczamy małą literą; a przykład x.

3 Statystyka-matematycza-II Wykład 3 Przykłady zmieych losowych: Przykład (zmiea skokowa skończoy zbiór wartości) Badaie jakości wyrobów. Każdy baday wyrób oceiamy jako zgody lub iezgody (wadliwy) z wymagaiami. Określmy zmieą X ( ω) jeśli ω wyrób jest iezgody = 0 jeśli ω wyrób jest zgody Przykład (zmiea ciągła ieskończoy zbiór wartości ) Badaiu podlega roczy zysk różych firm. Firmy pobierae są do badań w sposób losowy. Zmiea losowa X przyjmuje dowole wartości rzeczywiste (model!!!), przy czym dla poszczególych wylosowaych firm wartości te są a ogół róże. Przykład 3 (zmiea skokowa ieskończoy, ale przeliczaly zbióór wartości) Operator telefoiczej sieci komórkowej aalizuje dzieą liczbę połączeń. Niech Ω={ω,ω,...} gdzie ω ι ozacza zdarzeie elemetare polegające a zaobserwowaiu i połączeń. Dziea liczba połączeń opisaa jest zmieą losową X( ω ) = i, i= 0K,,, i

4 Statystyka-matematycza-II Wykład 4 Rozkład prawdopodobieństwa Rozkład prawdopodobieństwa zmieej losowej X jest fukcją, która każdemu podzbiorowi możliwych wartości tej zmieej przypisuje liczbę z domkiętego przedziału [0,]. Rozkład prawdopodobieństwa jest jedozaczie określoy fukcją, którą azywamy dystrybuatą zmieej losowej X defiiowaą jako F( x) = P ({ ω Ω : X ( ω ) < x}) = P ( X < x) Własości dystrybuaty:. 0 F( x), dla dowolych x R. F( ) = 0, F( ) = 3. F( x) F( y), jeśli tylko x < y 4. F ( x ) = F ( x ), gdzie F ( x ) ozacza graicę lewostroą Fw pukcie x(ciągłość lewostroa) Uwaga: Jeśli jakaś fukcja F ma własości ) - 4), to jest oa dystrybuatą jakiejś zmieej losowej

5 Statystyka-matematycza-II Wykład 5 Dystrybuata dyskretej (skokowej) zmieej losowej X daa jest zależością: F( x) = P( X = x i ) x i < x gdzie P( X = x ) = P({ ω Ω: X( ω ) = x }) = p, dla x W i i i i p i =, i jest tzw. fukcją prawdopodobieństwa. Dystrybuata ciągłej zmieej losowej X daa jest zależością: F ( x ) = x f ( x )dx gdzie ieujema fukcja f(x), określoa i całkowala do jedyki a całej osi jest fukcją gęstości (gęstością) zmieej losowej X.

6 Statystyka-matematycza-II Wykład 6 Przykłady rozkładów prawdopodobieństwa a) Rozkład dwupuktowy X = 0, zdarzeie ie zaszło, zdarzeie zaszło P( X = ) = p, P( X = 0) = p, 0 p b) Rozkład dwumiaowy (Berouillego) PX k k p k p k ( = ) = ( ), 0 p, k = 0,,..., gdzie k = k!! ( k)! L ( ), 0!! = = c) Rozkład Poissoa k λ P( X k) k! e λ = =, λ > 0, k = 0,..., d) Rozkład geometryczy k P( X = k) = p( p), k =,, K

7 Statystyka-matematycza-II Wykład 7 e) Rozkład jedostajy (rówomiery). f( x) =, 0 x 0, x < 0 lub x > f) Rozkład ormaly (Gaussa) f ( x ) = exp σ π x µ F( x ) = Φ σ Φ( x ) = π x exp ( x µ ) σ z dz, σ > 0

8 Statystyka-matematycza-II Wykład 8 g) Rozkład wykładiczy f ( x ) = λx λe 0,, x x < 0 0

9 Statystyka-matematycza-II Wykład 9 Charakterystyki liczbowe (parametry) rozkładów zmieych losowych E( X ) = E( X ) = E ( i = i = x x i i P( X P( X X ) = xf ( x ) dx Wartość oczekiwaa = = x x i i ) ) Wariacja VX ( ) = [ x EX ( )] PX ( = x) i= i VX ( ) = [ x EX ( )] PX ( = x) i= i VX ( ) = [ x EX ( )] fxdx ( ) i i VX ( ) = EX ( ) [ EX ( )] Odchyleie stadardowe σ X = σ = V( X)

10 Statystyka-matematycza-II Wykład 0 Wioskowaie statystycze o zjawiskach losowych Przestrzeń statystycza Niech Ω ozacza przestrzeń zdarzeń elemetarych związaych z jakimś eksperymetem losowym. Wyik eksperymetu losowego możemy opisać trójką (Ω,F,P) zwaą przestrzeią statystyczą, gdzie P={P θ, θ Θ} jest rodzią rozkładów prawdopodobieństwa opisującą wyik eksperymetu., a Θ jest jakąś przestrzeią parametrów. Zazwyczaj ie zamy rodziy rozkładów prawdopodobieństwa opisujących day eksperymet losowy. Dokoujemy jedak często pewego założeia, że jest to rodzia określoego typu (p. rodzia rozkładów ormalych) ideksowaa parametrem, którego wartość ależy do pewej przestrzei Θ R k. Mówimy wówczas, że eksperymet opisay jest k-wymiarowym modelem parametryczym. Jeżeli ie precyzujemy rodziy rozkładów prawdopodobieństwa (przestrzeń Θ ie może być przedstawioa jako podzbiór R k ), to mówimy, że eksperymet opisay jest modelem ieparametryczym.

11 Statystyka-matematycza-II Wykład Eksperymet statystyczy X - obserwowaa zmiea losowa Obserwujemy próbę losową o liczości elemetów. X,X,...X Jeżeli tworzące próbę zmiee losowe X,X,...X są iezależe i mają te sam rozkład, to taką próbę azywamy próbą losową prostą. Niech T=t(X,X,...X ) będzie pewą fukcją, której argumetami będą wyiki eksperymetu losowego. Fukcję tę będziemy azywać statystyką. Poieważ wyiki eksperymetu losowego są zmieymi losowymi każda statystyka jest też zmieą losową o rozkładzie prawdopodobieństwa uzależioym od rozkładu prawdopodobieństwa obserwowaej zmieej losowej X. Przykłady statystyk a) Średia X = b) Wariacja Jeżeli wartość θ jest iezaa, to wariacją azywamy statystykę S = i= X ( X i X ) i= i

12 Statystyka-matematycza-II Wykład Zadaia statystyki Estymacja puktowa parametrów rozkładu prawdopodobieństwa Estymacja puktowa - oszacowaie iezaego parametru θ a podstawie obserwacji uzyskaych w rezultacie wykoaia eksperymetu losowego. Oszacowaie podae jest jako kokreta wartość θ Θ. Niech T=t(X,X,...X ) będzie pewą fukcją, której argumetami będą wyiki eksperymetu losowego. Zakładamy, że obserwowaa w eksperymecie zmiea losowa X ma rozkład prawdopodobieństwa zależy od pewego parametru θ Θ. Każdą statystykę T=t(X,X,...X ), która przyjmuje wartości z przestrzei parametrów Θ będziemy azywać estymatorem parametru θ Θ.

13 Statystyka-matematycza-II Wykład 3 Własości estymatorów a) Zgodość Niech X,X,... będzie ciągiem iezależych zmieych losowych o tym samym rozkładzie zależym od parametru rzeczywistego θ Θ. Niech θ =θ (X,X,...X ) będzie estymatorem parametru θ Θ otrzymaym a podstawie obserwacji próby losowej X,X,...X. Mówimy, że estymator θ jest zgody, jeżeli dla każdego ε>0 lim P ( θ ε ) = 0 θ Własość zgodości ozacza, że dla dostateczie dużych liczości próby estymator przyjmuje z dużym prawdopodobieństwem wartości bliskie estymowaemu parametrowi θ.

14 Statystyka-matematycza-II Wykład 4 b) Nieobciążoość Niech θ =θ (X,X,...X ) będzie estymatorem parametru θ Θ otrzymaym a podstawie obserwacji próby losowej X,X,...X.. Jeżeli E ( θ (( X, X, K )) = θ X to mówimy, że estymator θ jest ieobciążoy. Obciążeiem estymatora θ azywamy wielkość = ( θ ) θ b ( θ ) E. Jeżeli dla każdego θ Θ obciążeie estymatora θ dąży do zera, przy, to estymator θ będziemy azywać estymatorem asymptotyczie ieobciążoym. c) Efektywość Może być wiele estymatorów daego parametru θ, a spośród ich może być wiele estymatorów ieobciążoych. Estymatory te możemy porówywać między sobą porówując ich wariacje. Estymator ieobciążoy o ajmiejszej wariacji, o ile taki istieje, azywamy estymatorem efektywym. Jeżeli własość efektywości uzyskujemy wtedy, gdy, to ieobciążoy estymator θ będziemy azywać estymatorem asymptotyczie efektywym.

15 Statystyka-matematycza-II Wykład 5 Estymacja metodą ajwiększej wiarogodości Estymujemy iezay parametr θ rozkładu prawdopodobieństwa zmieej losowej X. Przez p(x,θ) ozaczmy odpowiedio gęstość rozkładu prawdopodobieństwa zmieej losowej X, w przypadku, gdy jest oa typu ciągłego, albo też fukcję prawdopodobieństwa, w przypadku, gdy zmiea losowa X jest typu skokowego. W przypadku obserwacji zmieej losowej X w próbie losowej o liczości tworzymy astępującą fukcję wiarogodości eksperymetu LX (, X, K, X, θ) = px (, θ) px (, θ) LpX (, θ) Poszukujemy takiego estymatora $ θ iezaego parametru θ, dla którego fukcja wiarogodości osiąga ajwiększą wartość. Uzyskae w te sposób estymatory iezaych parametrów rozkładu prawdopodobieństwa azywamy estymatorami ajwiększej wiarogodości. Są oe przyajmiej asymptotyczie ieobciążoe oraz asymptotyczie ajefektywiejsze.

16 Statystyka-matematycza-II Wykład 6 Estymatory ajwiększej wiarogodości parametrów rozkładu ormalego $µ = X = X i i= σ$ = S = ( X µ $ i ) i= Estymatorem wariacji σ w rozkładzie ormalym jest Moża wykazać, że ˆ σ = S = i = E( ) ( Xi ˆ µ ) $σ = σ Wobec tego, moża uzyskać skorygoway estymator wariacji w rozkładzie ormalym ( X i µ $ ) σ$ σ$ i= 0 = S0 = =, który jest estymatorem ieobciążoym wariacji σ.

17 Statystyka-matematycza-II Wykład 7 W przypadku koieczości ocey odchyleia stadardowego korzystamy ze skorygowaego odchyleia stadardowego w próbie σ$ = S = 0 0 jako estymatora parametru σ. ( X µ $ i ) i= $µ Estymator jest ieobciążoym estymatorem parametru µ, atomiast estymator $σ 0 jest obciążoym estymatorem parametru σ. Obciążeie to jest fukcją liczości próby i maleje do zera, gdy dąży do ieskończoości.

18 Statystyka-matematycza-II Wykład 8 Estymacja przedziałowa parametrów rozkładów prawdopodobieństwa Przedziały ufości Niech będzie daa próba losowa (X,X,...,X ), której rozkład zależy od pewego parametru rzeczywistego θ Θ. Przedziałem ufości dla parametru θ Θ a poziomie ufości β (0<β<) azywamy przedział (θ,θ ), spełiający waruki: θ = θ (X,X,...,X ) oraz θ = θ (X,X,...,X ) są fukcjami próby losowej (X,X,...,X ), które ie zależą od θ; dla każdego θ Θ, P ( θ ( X,, X ) < θ < θ ( X, K, X )) = β K Graice przedziału losowego (θ,θ ) są zmieymi losowymi, takimi że prawdopodobieństwo pokrycia przedziałem (θ,θ ) iezaego parametru θ wyosi β. Ozacza to, że w przypadku wykoaia wielu eksperymetów mających a celu oszacowaie przedziałowe parametru θ w 00β% przypadkach wyzaczoy przedział ufości będzie zawierał θ. Istieje wiele przedziałów ufości spełiających powyższe waruki. Iteresuje as zawsze zalezieie takiego przedziału, którego długość l = θ (X,X,...,X )-θ (X,X,...,X ) jest ajmiejsza.

19 Statystyka-matematycza-II Wykład 9 Weryfikacja hipotez statystyczych (testowaie hipotez statystyczych) Hipotezy statystycze Niech będzie daa przestrzeń statystycza (Ω,F,P), gdzie P={P θ,θ Θ} jest rodzią rozkładów prawdopodobieństwa opisującą wyik eksperymetu, a Θ jest jakąś przestrzeią parametrów przy czym Θ Θ =Θ, Θ Θ =. Stwierdzeie (hipotezę statystyczą) θ Θ będziemy azywać hipotezą zerową i będziemy zapisywać H: θ Θ, zaś stwierdzeie (hipotezę statystyczą) θ Θ będziemy azywać hipotezą alteratywą (dla hipotezy H) i będziemy zapisywać K: θ Θ. Hipotezę statystyczą azywamy prostą, gdy zbiory Θ oraz Θ zawierają dokładie po jedym elemecie, w przeciwym razie mówimy o hipotezie złożoej.

20 Statystyka-matematycza-II Wykład 0 Test statystyczy Testem statystyczym azywamy procedurę postępowaia, która możliwym realizacjom próby losowej (X,X,...,X ) określoej a przestrzei statystyczej (Ω,F,P) przypisuje decyzje odrzuceia (albo przyjęcia) weryfikowaej hipotezy. W celu zbudowaia testu statystyczego kostruujemy dwa dopełiające się zbiory W i W (W W =, W W =R) oraz pewą statystykę T=T(X,X,...,X ) zwaą statystyką testową. Decyzje podejmujemy w astępujący sposób: jeżeli T=T(X,X,...,X ) W, to H odrzucamy; jeżeli T=T(X,X,...,X ) W, to H przyjmujemy. Zbiór W azywamy zbiorem krytyczym (zbiorem odrzuceń hipotezy H), a zbiór W azywamy zbiorem przyjęć. Jeżeli weryfikowaą hipotezę ie odrzucamy, to bezpiecziej jest powiedzieć, że ie ma podstaw do jej odrzuceia, iż mówić o przyjęciu hipotezy alteratywej.

21 Statystyka-matematycza-II Wykład Błędy decyzji statystyczych odrzucamy weryfikowaą hipotezę H, gdy jest oa prawdziwa; jest to tzw. błąd pierwszego rodzaju; przyjmujemy weryfikowaą hipotezę H, gdy jest oa fałszywa; jest to tzw. błąd drugiego rodzaju. Błęde decyzje statystycze podejmowae są z określoymi prawdopodobieństwami azywaymi, odpowiedio, prawdopodobieństwem błędu pierwszego rodzaju oraz prawdopodobieństwem błędu drugiego rodzaju. Zwykle ustalamy dopuszczalą wielkość prawdopodobieństwa błędu pierwszego rodzaju, którą azywamy poziomem istotości α. Wśród testów spełiających wymagaie określoe poziomem istotości poszukujemy takiego, by zmiimalizowae zostało prawdopodobieństwo błędu drugiego rodzaju.

22 Statystyka-matematycza-II Wykład Testy zgodości Testy zgodości służą do weryfikacji hipotez o postaci rozkładu prawdopodobieństwa. Na podstawie wyików badaia próby losowej X,X,...,X, której elemety mają rozkład prawdopodobieństwa o dystrybuacie F weryfikujemy hipotezę H: F = F 0 gdzie F 0 jest zadaą dystrybuatą. Testy zgodości są a ogół testami ieparametryczymi, gdyż alteratywa ma zwykle postać: K: F F 0. Test zgodości chi-kwadrat Pearsoa Przyjmijmy, że wyiki obserwacji próby losowej zostały pogrupowae w k rozłączych klas, o liczościach,,..., k, przy czym k =. Należy teraz przyjąć założoy rozkład prawdopodobieństwa i dla tego rozkładu wyzaczyć prawdopodobieństwa p, p,..., p k, że obserwowaa zmiea losowa przyjmie wartość z daej klasy. k ( p ) i i χ P = i= pi Jeżeli spełioy jest waruek mi(,,..., k )>5 i liczość próby jest duża (p. 00), to w przypadku słuszości weryfikowaej hipotezy rozkład prawdopodobieństwa statystyki χ P jest rozkładem chi-kwadrat o k- stopiach swobody. Hipotezę o zgodości obserwacji z założoym rozkładem prawdopodobieństwa odrzucamy, gdy χ P > χ α,k gdzie χ α,k jest kwatylem rzędu -α w rozkładzie chi-kwadrat o k- stopiach swobody (tablice).

23 Statystyka-matematycza-II Wykład 3 Test zgodości Kołmogorowa Test zgodości Kołmogorowa wykorzystuje się w przypadku weryfikowaia hipotez dla rozkładów zmieych losowych ciągłych. Niech F 0 (s) będzie założoą dystrybuatą (hipotetyczą), a F (s) zaobserwowaą w próbie losowej X,X,...,X dystrybuatą empiryczą. F( s) = I(, s) ( Xi) i= Statystyką testową jest statystyka Kołmogorowa D = sup F ( s) F ( s) < s< Hipotezę o zgodości z założoym rozkładem prawdopodobieństwa odrzuca się, gdy zachodzi ierówość D >d (-α), gdzie d (-α) jest kwatylem rzędu -α (stablicowaym) rozkładu prawdopodobieństwa statystyki D. Dla dużych liczości próby 00 hipotezę o zgodości z założoym rozkładem prawdopodobieństwa odrzuca się, gdy zachodzi ierówość D > λ α /, gdzie λ -α jest kwatylem rzędu -α (stablicowaym) rozkładu prawdopodobieństwa statystyki λ-kołmogorowa. 0

24 Statystyka-matematycza-II Wykład 4 Związek weryfikacji hipotez statystyczych z estymacją przedziałową Hipotezy statystycze weryfikuje się (testuje) a poziomie istotości α. Przy budowie testu moża wykorzystać pojęcie przedziału ufości. Hipotezę statystyczą a daym poziomie istotości α weryfikuje się porówując hipotetyczą (wymagaą) wartość parametru rozkładu prawdopodobieństwa z wyzaczoym a podstawie obserwacji z próbki PRZEDZIAŁEM UFNOŚCI a poziomie ufości β= α dla tego parametru. Weryfikacja hipotezy typu H: µ = µ 0. Przyjęcie hipotezy: µ 0 (µ,µ ) Odrzuceie hipotezy: µ 0 {(,µ ) (µ, )} Wykorzystujemy dwustroy przedział ufości dla parametru µ a poziomie ufości β

25 Statystyka-matematycza-II Wykład 5 Weryfikacja hipotezy typu H: µ µ 0. Hipoteza ta jest rówoważa astępującemu problemowi decyzyjemu: H: µ = µ 0 K: µ > µ 0 Przyjęcie hipotezy: Odrzuceie hipotezy: µ 0 (µ d, ) µ 0 (µ d, ) Wykorzystujemy jedostroy (góry) przedział ufości dla parametru µ a poziomie ufości β Weryfikacja hipotezy typu H: µ µ 0. Hipoteza ta jest rówoważa astępującemu problemowi decyzyjemu: H: µ = µ 0 K: µ < µ 0 Przyjęcie hipotezy: µ 0 (,µ g ) Odrzuceie hipotezy: µ 0 (,µ g ) Wykorzystujemy jedostroy (doly) przedział ufości dla parametru µ a poziomie ufości β