Wykład 6 Estymatory efektywne. Własności asymptotyczne estymatorów Wrocław, 30 listopada 2016r
Powtórzenie z rachunku prawdopodobieństwa
Zbieżność Definicja 6.1 Niech ciąg {X } n ma rozkład o dystrybuancie F n (t), a zmienna losowa X ma rozkład o dystrybuancie F (t). Ciąg zmiennych losowych X 1, X 2,... jest zbieżny według rozkładu (słabo zbieżny) do zmiennej losowej X, jeżeli lim F n(t) = P F (t), n dla każdego t, w którym funkcja F (t) jest ciągła. Uwaga Zbieżność według rozkładu oznaczamy przez P (równoważnie d).
Zbieżność Definicja 6.2 Ciąg zmiennych losowych X 1, X 2,... jest zbieżny z prawdopodobieństwem 1 (prawie na pewno) do zmiennej losowej X, jeżeli P(ω : lim X n(ω) P1 = X (ω)) = 1. n Uwaga Zbieżność z prawdopodobieństwem jeden oznaczamy przez P1 (równoważnie p.n.).
Estymatory zgodne
Estymatory zgodne Definicja 6.3 Ciąg estymatorów ˆθ n parametru θ nazywamy zgodnym, gdy dla każdego θ Θ. Definicja 6.4 P lim ˆθ n = θ, n Ciąg estymatorów ˆθ n parametru θ nazywamy mocno zgodnym, gdy dla każdego θ Θ. P1 lim ˆθ n = θ, n
Estymatory zgodne - Przykład 6.1 Niech X 1, X 2,, X n będzie próbą z rozkładu o dystrybuancie F. Dystrybuanta empiryczna postaci: F n (t, X) = 1 n n I (,t] (X i ) jest estymatorem nieobciążonym, mocno zgodnym wartości F (t) dla każdego t. i=1
Estymatory efektywne
Estymatory efektywne Definicja 6.5 (Warunki regularności Cramera - Rao) 1 {x : f (x, θ) > 0} nie zależy od θ. 2 Istnieją pochodne f (x, θ) ; θ 2 f (x, θ) θ 2 ; 3 f (x, θ) θ 3 dla każdego θ i µ p.w. i ponadto można obliczać te pochodne pod znakiem całki, tzn.: d f (x, θ)dµ(x) = dθ X X d 2 dθ 2 f (x, θ)dµ(x) = X X θ f (x, θ)dµ(x) = E θ 2 f (x, θ)dµ(x) = 0 θ2 [ ] log f (x, θ) = 0 θ
Estymatory efektywne Definicja (Warunki regularności Cramera - Rao) 3. Istnieje i jest dodatnia całka I (θ) = X [ log f (x, θ) θ ] 2 [ ] log f (x, θ) 2 f (x, θ)dµ(x) = E θ, θ dla każdego θ Θ. Całkę tą będziemy nazywać Informacją Fishera 4. Dla każdego θ Θ i µ - p.w. x [ 3 ] log f (x, θ) θ 3 M(x), przy czym E θ [M(x)] < M 0, gdzie M 0 nie zależy od θ.
Estymatory efektywne Twierdzenie 6.1 (Cramér - Rao - Frechát - Nierówność informacyjna) Niech X = (X 1, X 2,, X n ) będzie próbą z rozkładu o gęstości f (x, θ), θ Θ spełniającą warunki regularności Craméra - Rao. Niech T (X) będzie estymatorem różniczkowalnej funkcji g(θ), a b(θ) = E θ (T (X)) g(θ). Wówczas: ( E θ [T (X) g(θ)] 2) [g (θ) + b (θ)] 2 ni (θ) W szczególności gdy T jest estymatorem nieobciążonym oraz g(θ) = θ: Var θ [T (X)] 1 ni (θ)
Estymatory efektywne Definicja 6.6 Nieobciążony estymator T funkcji parametrycznej g(θ), którego wariancja równa jest dolnemu ograniczeniu Craméra - Rao dla każdego θ Θ nazywamy estymatorem efektywnym w sensie Craméra - Rao.
Estymatory efektywne - Przykład 6.2 Niech X 1, X 2,..., X n będzie próbą z rozkładu normalnego N(µ, σ 2 ), σ 2 - znane. Gęstość zmiennej losowej w tym rozkładzie jest: f (x; µ, σ 2 ) = 1 2πσ e 1 2σ 2 (x µ)2. Wiemy, że X - nieobciążony estymator parametru µ. E( X ) = µ Var( X ) = σ2 n Niech teraz g(µ) = µ. Obliczmy log f (x; µ, σ 2 ) µ ( = log( (2π)σ) 1 (x µ) 2) 2σ 2 = x µ µ σ 2
Estymatory efektywne - Przykład 6.2 cd. Wyznaczmy teraz Informację Fishera: ( [X ] ) µ 2 I (µ) = E σ 2 = 1 σ 4 E[X EX ]2 = 1 σ2 Var(X ) = σ4 σ 4 = 1 σ 2 Z Twierdzenia Cramér - Rao - Frechát: Var( X ) 1 n 1 σ 2 = σ2 n. Wariancja osiąga dolne ograniczenie Craméra - Rao.
Estymatory efektywne - Przykład 6.3 Niech X 1, X 2,..., X n będzie próbą z rozkładu Poisona Poi(λ). Gęstość zmiennej losowej w tym rozkładzie jest postaci f (x; λ) = λx x! e λ Wiemy, że X - nieobciążony estymator parametru λ. E( X ) = λ Var( X ) = λ n Obliczmy log f (x; λ) λ = (x log λ log(x!) λ) λ = x λ 1
Estymatory efektywne - Przykład 6.3 cd. Wyznaczmy teraz Informację Fishera: ( [X ] ) λ 2 I (λ) = E = 1 λ λ 2 E[X EX ]2 = 1 λ 2 λ = 1 λ Następnie: Var( X ) = λ n = 1 ni (λ) Wariancja osiąga dolne ograniczenie Craméra - Rao.
Własności asymptotyczne estymatorów
Asymptotyczna nieobciążoność Definicja 6.7 Estymator T (X) nazywamy asymptotycznie nieobciążonym estymatorem parametru θ, gdy lim b T (θ) = 0 n
Asymptotyczna nieobciążoność - Przykład 6.4 Niech X 1, X 2,..., X n będzie daną próbą losową. Funkcja S 2 0 = 1 n n (X i X ) 2, i=1 jest obciążonym estymatorem wariancji σ 2. Obciążenie tego estymatora jest równe b(σ 2 ) = σ2 n. Dla każdego σ > 0 ( ) lim σ2 = 0. n n Stąd S0 2 jest astymptotycznie nieobciążonym estymatorem wariancji.
Asymptotyczna normalność Definicja 6.8 Ciąg estymatorów (T n ), n = 1, 2,..., jest asymptotycznie normalny AN (µ n, σ 2 n), jeżeli istnieją ciągi liczbowe (µ n ), (σ n ), n = 1, 2,..., takie, że T n µ n σ n N (0, 1), tzn. rozkład statystyki T n jest rozkładem asymptotycznie normalnym AN (µ n, σ 2 n)
Asymptotyczna normalność - Przykład 6.5 Dystrybuanta empiryczna postaci: F n (t, X) = 1 n n I (,t] (X i ) jest asymptotycznie normalnym estymatorem wartości F (t) dla każdego t, ponieważ i=1 n(fn (t) F (t)) N (0, F (t)(1 F (t))) według rozkładu. Dowód : na ćwiczeniach.
Asymptotyczna efektywność Niech X 1, X 2,..., X n będzie daną próbą i niech T n = T (X) będzie estymatorem funkcji parametrycznej g(θ). Załóżmy, że ciąg estymatorów (T n ), n = 1, 2,... jest asymptotycznie normalny ze średnią g(θ) i wariancją asymptotyczną ν(θ)/n, tj.: AN (g(θ), ν(θ)/n), ν(θ) > 0. Definicja 6.8 Ciąg estymatorów (T n ), n = 1, 2,... parametru g(θ) nazywamy astmptotycznie efektywnym, jeżeli jest asymptotycznie normalny ( AN g(θ), [g (θ)] 2 ), ni (θ) tzn. jego wariancja asymptotyczna jest równa dolnemu ogramiczeniu Cramára-Rao.
Asymptotyczna efektywność Definicja 6.9 Estymator (T n ), n = 1, 2,... parametru θ nazywamy nadefektywnym, jeżeli jest asymptotycznie normalny dla wszystkich θ Θ, z wariancją asymptotyczną nie przekraczającą dla żadnej wartości parametru θ dolnego ograniczenia Cramára - Rao i mniejszą od tej wartości dla co najmniej jednej wartości parametru.
Literatura: Bartoszewicz J.,Wykłady ze statystyki matematycznej, PWN, Warszawa 1989. Gajek L., Kałuszka M.,Wnioskowanie statystyczne, WNT, Warszawa 2000, wyd. IV. Krysicki W., Bartos J., Dyczka W., Krówlikowska K., Wasilewski M., Rachunek Prawdopodobieństwa i Statystyka Matematyczna w Zadaniach, część II, PWN, 2012 Magiera M, Modele i metody statystyki matematycznej, część II, wnioskowanie statystyczne, Wrocław, 2007