WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności

Transkrypt

1 WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9

2 EFEKTYWNOŚĆ ESTYMATORÓW, próba skończona X = (X 1, X,..., X n )-obserwowana zmienna losowa o rozkładzie zależnym od parametru θ ĝ(x ) estymator nieobciążony parametru g(θ) i spełnione założenia jak przy nierówności informacyjnej Efektywnością bezwzględną estymatora ĝ(x ) nazywamy funkcję eff θ (ĝ(x )) = (g (θ)) I n (θ)var θ (ĝ(x )) = jeżeli eff θ (ĝ(x )) = 1, to ĝ(x ) = ENMW (g(θ)) Niech ĝ 1 (X ), ĝ (X ) będą dwoma estymatorami nieobciążonymi parametru g(θ). Efektywnością względną estymatora ĝ 1 (X ) względem ĝ (X ) nazywamy funkcję ef θ (ĝ 1 (X ), ĝ (X )) = Var θ(ĝ ) Var(ĝ 1 ) Jeżeli ef θ (ĝ 1 (X ), ĝ (X )) > 1, to estymator ĝ 1 jest lepszy (w sensie błędu sredniokwadratowego) niż estymator ĝ. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 / 9

3 EFEKTYWNOŚĆ ESTYMATORÓW, przykład X 1, X,..., X n i.i.d z rozkładu EX i = θ i VarX i = σ (θ), n > 1 Estymatory parametru θ: ˆθ 1 = X 1 ˆθ = X Var θ (ˆθ 1 ) = σ (θ) WNIOSEK: ˆθ lepszy niż ˆθ 1 Var θ (ˆθ ) = σ (θ) n ef (ˆθ, ˆθ 1 ) = Var θ(ˆθ 1 ) Var θ (ˆθ ) = n > 1 Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 3 / 9

4 ASYMPTOTYCZNA EFEKTYWNOŚĆ ESTYMATORÓW założenia X 1, X,..., X n,... -ciąg i.i.d. o rozkładzie zależnym od parametru θ ĝ n estymator parametru g(θ) w oparciu o próbę X 1, X,..., X n, asymptotycznie normalny o wariancji asymptotycznej σ (θ) Istnieje informacja Fishera Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 4 / 9

5 ASYMPTOTYCZNA EFEKTYWNOŚĆ ESTYMATORÓW Estymator ĝ n jest estymatorem asymptotycznie efektywnym parametru g(θ) jeżeli σ (θ) = [g (θ)] I 1 1 (θ) ( oczywiście musi istnieć I 1 (θ) i g funkcja różniczkowalna) Estymatory największej wiarogodności są asymptotycznie efektywne Jeśli ĝ 1 i ĝ są dwoma estymatorami asymptotycznie normalnymi funkcji g(θ) o wariancjach asymptotycznych odpowiednio równych σ1 (θ) i σ (θ), to asymptotyczną efektywnością względną nazywamy stosunek as.ef(ĝ 1, ĝ ) = σ (θ) σ 1 (θ). Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 5 / 9

6 PRZYKŁAD X 1, X,..., X n i.i.d Poiss(θ), θ > 0 Chcemy estymować funkcję g(θ) = e θ = P θ (X 1 = 0) Znamy: ENW (θ) = ENMW (θ) = X, Var θ X = θ n, Rozważamy dwa estymatory: ĝ 1 = e X ĝ = liczba X i, takich że X i = 0 n = 1 n Rozkład asymptotyczny ĝ 1 Wiemy I 1 (θ) = 1 θ ( X θ) n N(0, θ) n 1(X i = 0) i=1 Niech h(t) = e t, wtedy h (t) = e t i z lematu DELTA (e X e θ) n N (0, θe θ) Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 6 / 9

7 PRZYKŁAD, cd Rozkład asymptotyczny ĝ Niech Wtedy oraz Y i = { 1 gdy Xi = 0 0 w pp E θ Y i = e θ i Var θ Y i = e θ (1 e θ ) ĝ = 1 n 1(X i = 0) = 1 n Y i n n i=1 i=1 Z CTG (ĝ e θ) ( ) n N 0, e θ (1 e θ ) Porównujemy wariancje asymptotyczne θ > 0 e θ (1 e θ ) > θe θ = as.ef(ĝ 1, ĝ ) > 1 Estymator ĝ 1 jest bardziej efektywny niż estymator ĝ. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 7 / 9

8 Ostrożny statystyk - Średnia czy mediana X 1, X,..., X n i.i.d. z rozkładu symetrycznego, estymujemy medianę µ Dwa estymatory: średnia ˆµ 1 = X i mediana z próby ˆµ = X [n/]:n Dodatkowe założenie: próba z rozkładu normalnego = as.ef (X [n/]:n, X ) = π < 1 Dodatkowe założenie: próba z rozkładu Laplace a o gęstości p µ,θ (x) = θ exp ( θ x µ ) = as.ef (X [n/]:n, X ) = > 1 A co gdy próba pochodzi z rozkładu Cauchy ego? Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 8 / 9

9 ESTYMACJA PRZEDZIAŁOWA, PRZEDZIAŁY UFNOŚCI X 1, X,..., X n - próbka losowa z rozkładu z nieznanym parametrem θ Przedziałem ufności dla parametru θ na poziomie ufności 1 α nazywamy przedział [θ(x 1, X,..., X n ), θ(x 1, X,..., X n )], którego końce są statystykami (funkcjami obserwowanej zmiennej losowej) i który spełnia warunek ) θ P θ (θ(x 1, X,..., X n ) θ θ(x 1, X,..., X n ) 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 9 / 9

10 Przykład, symulacje Przedstawmy 0 przedziałów ufności dla 0 wysymulowancyh 5- elementowych próbek z rozkładu normalnego o wartości oczekiwanej 10 [9.7979; ] 1 [9.7649; ] 1 [9.5838; ] 1 [9.5760; ] 1 [9.78; ] 1 [9.5948; ] 1 [9.573; ] 1 [9.9565; ] 1 [9.6501; ] 1 [9.785; ] 1 [9.4447; ] 1 [9.641; ] 1 [9.343; ] 1 [9.7749; ] 1 [9.6356; ] 1 [9.6361; ] 1 [9.4945; ] 1 [10.063; ] 0 [9.7108; ] 1 [9.973; ] 1 Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 10 / 9

11 Przedział ufności, interpretacja α - mała liczba np. 0,1, 0,05, 0,01. Warunek P θ (θ [θ, θ]) = 1 α należy rozumieć tak: losowy przedział [θ, θ] pokrywa nieznaną liczbę θ z dużym prawdopodobieństwem. Pojęcie przedziału ufności precyzuje ideę estymacji z określoną dokładnością. Zamiast pojedynczego oszacowania nieznanego parametru, podajemy dolną i górną granicę oszacowania. Nie możemy gwarantować, że parametr leży na pewno między tymi granicami, ale możemy wymagać by tak było z odpowiednio dużym prawdopodobieństwem. Przedział ufności zależy od rozkładu prawdopodobieństwa w modelu Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 11 / 9

12 Przedział ufności, konstrukcja Szukamy zmiennych losowych zależnych od próby i funkcji parametrów, których rozkłady nie zależą od wartości nieznanych parametrów tzw. funkcji centralnych. Niech U = U(X 1, X,..., X n ) funkcja centralna, szukamy przedziału ufności postaci [a, b] t.że P(a < U < b) = 1 α Przekształcamy nierówność a < U < b otrzymując przedział dla parametru Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9

13 Przedziały ufności - rozważane modele Model I (rozkład normalny, wariancja znana): przedział ufności dla wartości oczekiwanej, Model II (rozkład normalny, wariancja nieznana): przedział ufności dla wartości oczekiwanej, Model II (rozkład normalny, wariancja nieznana): przedział ufności dla wariancji Model III (postać funkcyjna rozkładu nieznana, skończona wartość oczekiwana i wariancja, przedział asymptotyczny): przedział ufności dla wartości oczekiwanej Model IV (rozkład dwumianowy, przedział asymptotyczny): przedział ufności dla odsetka Model asymptotyczny: przedział ufności dla parametru oparty o ENW Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 13 / 9

14 Przedział ufności dla wartości oczekiwanej - Model I X 1, X,..., X n i.i.d. z rozkładu N(µ, σ ), µ R nieznane, σ > 0 znane. ENW (µ) = EMM(µ) = X - estymator punktowy X N(µ, σ n ) = U = X µ σ n N(0, 1), U - funkcja centralna szukamy z, tak aby z = u 1 α - kwantyl rzędu 1 α ( ) X µ P n z = 1 α σ Rozwiązujemy nierówność (wyznaczamy µ) Przedział [ X u 1 α w rozkładzie normalnym N(0, 1) X µ σ n u1 α σ n, X + u 1 α ] σ n jest przedziałem ufności dla parametru µ na poziomie ufności 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 14 / 9

15 Model I, własności przedziału ufności Długość przedziału ufności σ d = u 1 α n d nazywamy błędem oszacowania 1 α rośnie = d rośnie n rośnie = d maleje Aby otrzymać przedział z maksymalnym błędem d 0 na zadanym poziomie ufności 1 α należy wziąć próbę losową o liczebności n ( u 1 α σ d 0 ) Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 15 / 9

16 Przykład W losowo wybranej grupie 10 samochodów marki Skoda przeprowadzono badanie zużycia benzyny. Okazało się, że średnie zużycie benzyny (w l/100 km) dla tej grupy wyniosło 8,1. Zakładamy, że badana cecha ma rozkład normalny o znanym odchyleniu standardowym równym 0,8. Realizacja przedziału ufności dla wartości oczekiwanej na poziomie ufności 0, 99 jest równa [8, 1, 58 0,8 10 ; 8, 1 +, 58 0,8 10 ] = [7, 4; 8, 8] Jak liczną próbę należałoby zbadać, aby długość przedziału ufności była mniejsza niż 1? ) n > = 17, 04 (,58 0,8 0,5 Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 16 / 9

17 Przedział ufności dla wartości oczekiwanej - Model II X 1, X,..., X n i.i.d. z rozkładu N(µ, σ ), µ R nieznane, σ > 0 nieznane. X - estymator punktowy parametru µ S = 1 ni=1 n 1 (X i X ) - estymator punktowy parametru σ T = X µ S n tn 1, T - funkcja centralna, t n 1 - rozkład t-studenta z n 1 stopniami swobody Analogicznie, jak poprzednio szukamy liczby z tak aby ( ) X µ P n z = 1 α S z = t(α, n 1) - wartość krytyczna rzędu α, lub równoważnie kwantyl rzędu 1 α w rozkładzie t-studenta z n 1 stopniami swobody Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 17 / 9

18 Przedział ufności dla wartości oczekiwanej - Model II, cd. Rozwiązujemy nierówność (wyznaczamy µ) X µ n t(α, n 1) S Przedział [ X t(α, n 1) n S, X + t(α, n 1) n S ] jest przedziałem ufności dla parametru µ na poziomie ufności 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 18 / 9

19 Dwuetapowa procedura Steina Pozwala wyznaczyć liczebność próbki potrzebną do uzyskania przedziału o danej długości nie większej niż d Pobieramy wstępną próbke o licznosci n 0 i wyznaczamy S 0 = 1 n 0 1 n0 Wyznaczamy k = i=1 (X i X ) ( S0 t(α,n 0 1) d Jeśli n 0 > k budujemy przedział [ X 0 t(α, n 0 1) S 0, X 0 + t(α, n 0 1) S ] 0 n0 n0 ) Jeśli n 0 < k dolosowujemy n 1 > k n 0 obserwacji i budujemy przedział [ X t(α, n 0 1) S 0, X + t(α, n 0 1) S ] 0 n n gdzie n = n 0 + n 1 i X średnia z wszystkich obserwacji Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 19 / 9

20 Przedział ufności dla wariancji - Model II (n 1)S σ χ n 1 χ n 1 - funkcja centralna - rozkład chi kwadrat z n 1 stopniami swobody Szukamy liczb a, b tak, aby ( (n 1)S P a σ b ) = 1 α a = χ (1 α, n 1) - wartość krytyczna rzędu 1 α lub równoważnie kwantyl rzędu α w rozkładzie chi kwadrat z n 1 stopniami swobody b = χ ( α, n 1) - wartość krytyczna rzędu α lub równoważnie kwantyl rzędu 1 α w rozkładzie chi kwadrat z n 1 stopniami swobody Rozwiązujemy nierówności (wyznaczamy σ ) χ (1 α (n 1)S, n 1) σ χ ( α, n 1) Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 0 / 9

21 Przedział ufności dla wariancji - Model II, cd. Przedział [ (n 1)S (n 1)S ] χ ( α, n 1), χ (1 α, n 1) jest przedziałem ufności dla parametru σ na poziomie ufności 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9

22 ASYMPTOTYCZNE PRZEDZIAŁY UFNOŚCI X 1, X,..., X n,... i.i.d. z rozkładu P θ, θ Θ nieznany parametr [g n, g n ] - przedział ufności dla funkcji g(θ) w oparciu o próbę X 1, X,..., X n, w efekcie mamy ciąg przedziałów Przedział [g n, g n ] nazywamy asymptotycznym (przybliżonym) przedziałem ufności na poziomie ufności 1 α ( ) θ Θ lim P θ g(θ) [g n + n, g n ] = 1 α Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 / 9

23 Przedział ufności dla wartości oczekiwanej - Model III X 1, X,..., X n i.i.d. z dowolnego rozkładu o skończonej wartości oczekiwanej i wariancji, zakładamy, że n duże (n > 50) Cel: przedział ufności dla wartości oczekiwanej EX i = µ. Korzystamy z CTG przy n + X µ n N(0, 1) S Postępujemy analogicznie jak w modelu I Przedział [ X u 1 α S n, X + u 1 α ] S n jest asymptotycznym (przybliżonym) przedziałem ufności dla parametru µ na poziomie ufności 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 3 / 9

24 Asymptotyczne przedziały ufności w oparciu o ENW Niech X 1, X,..., X n i.i.d. z rozkładu o gęstości f θ (x), θ - nieznany parametr Niech ˆθ n = ENW (θ) i ˆθ n ma asymptotyczny rozkład normalny z wariancją asymptotyczną I 1 (θ). Wtedy ˆθ n N(θ, (ni (θ)) 1 ) dla dużych n. Jeśli dodatkowo I (ˆθ n ) jest estymatorem zgodnym funkcji I (θ), to (ˆθ n θ) ni (ˆθ n ) N(0, 1). Asymptotyczny przedział ufności dla θ na poziomie ufności 1 α ma postać 1 1 ˆθ n u 1 α, ˆθ n + u 1 α. ni (ˆθ n ) ni (ˆθ n ) Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 4 / 9

25 Asymptotyczne przedziały ufności w oparciu o ENW, cd. Przedział ufności dla funkcji g(θ) (różniczkowalnej i g (θ) 0) ENW (g(θ)) = g(enw (θ)) = g(ˆθ n ) g(ˆθ n ) N(g(θ), [g (θ)] (ni (θ)) 1 ) dla dużych n. Jeśli I (ˆθ n ) i g (ˆθ n ) - estymatory zgodne funkcji I (θ) i g (θ), to ( g(ˆθ n ) g(θ) ) ni (ˆθ n ) N(0, 1). [g (ˆθ n )] Asymptotyczny przedział ufności dla g(θ) na poziomie ufności 1 α ma postać g(ˆθ n ) u 1 α g (ˆθ n ), g(ˆθ n ) + u 1 α ni (ˆθ n ) g (ˆθ n ) ni (ˆθ n ). Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 5 / 9

26 Stabilizacja wariancji Możemy dobrać funkcję g tak by ( 1 [g (θ)] I (θ)) = c = const Wtedy asymptotyczny przedział ufności dla g(θ) jest równy [ ] c c g(ˆθ n ) u 1 α, g(ˆθ n ) + u n 1 α. n UWAGA: Długość tego przedziału nie zależy od wartości obserwacji. I stąd otrzymujemy przedział ufności również dla θ. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 6 / 9

27 Przedział ufności dla odsetka - Model IV Wykonujemy n niezależnych doświadczeń typu sukces - porażka (np. sondaż opinii publicznej - pytanie o preferowanie pewnej wielkości lub nie, kontrola jakości - pojawienie się braku lub nie), n duże. Obserwowana zmienna losowa Y ma rozkład dwupunktowy P(Y = 1) = p P(Y = 0) = 1 p p (0, 1) - prawdopodobieństwo sukcesu w pojedynczym doświadczeniu, nieznany parametr nazywany też wskaźnikiem struktury Niech X oznacza liczbę sukcesów w n próbach X bin(n, p) ˆp = ENW (p) = X n (ˆp p) n N(0, p(1 p)) Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 7 / 9

28 Przedział ufności dla odsetka - Model IV, cd. przy n + ˆp p ˆp(1 ˆp) n N(0, 1) Zatem (porównaj model I lub przedziały ufności w oparciu o ENW) Przedział [ ˆp u 1 α ] ˆp(1 ˆp) ˆp(1 ˆp), ˆp + u n 1 α n jest przybliżonym przedziałem ufności dla parametru p na poziomie ufności 1 α. Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 8 / 9

29 Przedział ufności dla odsetka, błąd oszacowania d = u 1 α ˆp(1 ˆp) n - błąd oszacowania przedziału ufności Zauważmy, że dla każdego ˆp (0, 1) zachodzi Zatem dla każdego ˆp ˆp(1 ˆp) 1 ( 1 1 ) = d u 1 α n Aby otrzymać przedział z maksymalnym błędem d 0 należy wziąć próbę losową o liczebności ( ) 1 n u 1 α d 0 Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 9 / 9