Estymatory ieobciążoe o miimalej wariacji Model statystyczy (X, {P θ, θ Θ}); g : Θ R 1 Zadaie: oszacować iezaą wartość g(θ) Wybrać takie δ(x 1, X 2,, X ) by ( θ Θ) ieobciążoość E θ δ(x 1, X 2,, X ) = g(θ) miimala wariacja D 2 θ(δ) = E θ (δ(x 1, X 2,, X ) g(θ)) 2 = mi Twierdzeie 61 (Rao Blackwella) Jeżeli ĝ jest estymatorem ieobciążoym i jeżeli T jest statystyką dostateczą zupełą, to E θ (ĝ T ) jest rówież estymatorem ieobciążoym o jedostajie ie większej wariacji iż wariacja estymatora ĝ Twierdzeie 62 Jeżeli T jest statystyką dostateczą zupełą i jeżeli dla daej fukcji g istieje fukcja ĝ taka, że ( θ Θ) E θ ĝ(t ) = g(θ), to ĝ(t ) jest ENMW [g(θ)] W Z Statmat 61
Przykład (Model dwumiaowy) Model pojedyczej obserwacji X: ({0, 1}, {D(θ), θ [0, 1]}) Rodzia {D(θ), θ [0, 1]} jest rodzią wykładiczą: p θ (x) = exp { x log θ 1 θ Statystyka dostatecza: T (x) = x Model dla próby X 1, X 2,, X : } + log(1 θ), x = 0, 1 ({0, 1}, {D(θ), θ [0, 1]}) Statystyka dostatecza: T = X i Model dla statystyki T ({0, 1,, }, {B (, θ), θ [0, 1]}) W Z Statmat 62
Estymacja parametru θ Fukcja g: g(θ) = θ ENMW [θ] = T Estymacja wariacji θ(1 θ) Fukcja g: g(θ) = θ(1 θ) Wyzaczyć ĝ taką, że θ Θ E p ĝ(t ) = ( ) ĝ(t) θ t (1 θ) t = θ(1 θ) t t=0 (Wskazówka: v = θ/(1 θ)) ENMW [θ(1 θ)] ==?= T ( T ) ( 1) W Z Statmat 63
Przykład (Model Poissoa) Model pojedyczej obserwacji X: ({0, 1, 2, }, {P o(θ), θ R + }) Rodzia {P o(θ), θ R + } jest rodzią wykładiczą: p θ (x) = exp { x log θ θ} x!, x = 0, 1, 2, Statystyka dostatecza: T (x) = x Model dla próby X 1, X 2,, X : ({0, 1, 2 }, {P o(θ), θ R + }) Statystyka dostatecza: T = X i Model dla statystyki T ({0, 1, 2, }, {P o (θ), θ R + }) W Z Statmat 64
Estymacja parametru θ Fukcja g: g(θ) = θ ENMW [θ] = T Estymacja λ = e θ = P θ {X = 0} Niech Y j = { 1, jeżeli Xj = 0, 0, jeżeli X j > 0 oraz λ = 1 j=1 Y j Estymator λ jest ieobciążoy, gdyż E θ Y j = 1 P θ {X = 0} + 0 P θ {X > 0} Poieważ T jest dostatecza i zupeła, więc ˆλ = E θ (λ T ) jest ENMW [λ] E θ (λ T = t) = E θ 1 Y j T = t j=1 = E θ (Y 1 T = t) = P θ {X 1 = 0 T = t} = P θ {X 1 = 0, X 2 = x 2,, X = x T = t} x 2 + +x=t = W Z Statmat 65
P θ {X 1 = x 1, X 2 = x 2,, X = x T = t} = P θ{x 1 = x 1, X 2 = x 2,, X = x, T = t} P θ {T = t} = { 0, jeżeli xi t jeżeli x i = t θ x 1 + x e θ x 1!x! t! (θ) t e θ, = Poieważ { 0, jeżeli xi t jeżeli x i = t t! t x 1!x!, (α 1 + + α ) t = x 1 + +x =t t! x 1! x! αx 1 1 αx więc Zatem = x 1 + +x =t x 2 + +x =t t! x 1! x! = t t! t x 2! x! = ( 1)t t Czyli ˆλ = ( 1 1 ) T W Z Statmat 66
Porówaie wariacji estymatorów λ oraz ˆλ D 2 θλ = λ(1 λ) = e θ (1 e θ ) E θˆλ2 = = t=0 [ ( 1 1 ) ] t 2 (θ) t t! ] t θ t=0 [ ( 1) 2 = e (2+ 1 )θ t! t=0 e θ [ ( 1) 2 t! ] t θ e θ e ( 1)2 θ = e (2+ 1 )θ D 2 θ ˆλ = e (2 1 )θ e 2θ = λ ( 2 1 ) λ 2 D 2 λ λ D 2 λˆλ λ W Z Statmat 67
Niech ε > 0 P λ { λ λ < ε} =? P λ { ˆλ λ < ε} =? P λ { λ λ < ε} = P λ {(λ ε) < } Y i < (λ + ε) Y i B (, λ = e θ) P λ { ˆλ λ < ε} = P λ { log(λ + ε) log(1 1 ) < X i < } log(λ ε) log(1 1 ) X i P o (θ = log λ) W Z Statmat 68
λ P λ { ˆλ λ < ε} P λ { λ λ < ε} ε = 005; = 50 01 09793 07661 02 08358 06235 03 07275 05593 04 06256 05291 05 06052 05201 06 05719 05291 07 05912 05593 08 06240 06235 09 08092 07661 ε = 001; = 50 01 03590 01850 02 02197 01398 03 02036 01223 04 01176 01146 05 01350 01123 06 01567 01146 07 01879 01223 08 01192 01398 09 01743 01849 W Z Statmat 69
Przykład (Model gaussowski) Model pojedyczej obserwacji X: ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) Rodzia { N ( µ, σ 2), θ = (µ, σ 2 ) R R + } jest wykładicza f µ,σ (x) = { exp 1 2σ 2 x2 + µ σ 2 x ( µ 2 ( 2σ 2 + log σ ) )} 2π Statystyka dostatecza: (T 1 (x), T 2 (x)) = (x, x 2 ) Model dla próby X 1, X 2,, X : ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) = ( R, { N ( µ1, σ 2 I ), θ = (µ, σ 2 ) R R + }) Statystyka dostatecza: (T 1, T 2 ) = ( X i, X 2 i ) Niech X = 1 X i, S 2 = (X i µ) 2, µ zae, (X i X) 2, µ ie zae W Z Statmat 610
Zmiea losowa S 2 /σ 2 ma rozkład chi kwadrat z ν stopiami swobody: ν = E µ,σ S α = {, µ zae, 1, µ ie zae gdzie K ν,α = Γ ( ) ( ν α 2 / 2 σ α, ν + α > 0, K ν,α, ν + α 0, )) 2 Γ ( ν+α 2 Jeżeli µ oraz σ ie są zae, to ENMW [µ] ==?= X ENMW [σ 2 ] ==?= 1 1 S2 ENMW [σ] ==?= Γ ( ) 1 2 ( 2Γ )S 2 ENMW [ µ σ ] ==?= ( 2Γ 1 ) 2 Γ ( 2 1) X S W Z Statmat 611
Defiicja 61 Ilością iformacji o θ zawartą w X azywamy wielkość I θ = E θ [{ log p θ (X)/ θ} 2 ] Twierdzeie 63 (Nierówość Cramera Rao) Niech {P θ : θ Θ} będzie rodzią rozkładów, iech θ będzie parametrem liczbowym i iech Θ będzie przedziałem a prostej Zakładamy, że dla każdego θ rozkład P θ ma gęstość p θ Jeżeli spełioe są pewe waruki regularości, to ierówość D 2 θθ I 1 θ spełioa jest dla każdego estymatora ieobciążoego θ parametru θ Defiicja 62 Liczbę eff(θ ) = I 1 θ Dθ 2θ azywamy efektywością estymatora θ Lemat Jeżeli spełioe są waruki regularości, to [ ] I θ = E θ 2 θ 2 log p θ(x) W Z Statmat 612
Przykład (Model gaussowski) Model dla próby X 1, X 2,, X : ( R, { N ( µ1, σ 2 I ), µ R }) Obliczamy I µ ( ) { 1 p µ (x) = σ exp 1 2π 2σ 2 log p µ (x) = log Zatem ( σ ) 2π µ log p µ(x) = 1 σ 2 } (X i µ) 2 1 2σ 2 (X i µ) 2 (X i µ) 2 µ 2 log p µ(x) = σ 2 I µ = σ 2 Poieważ D 2 X = σ 2 /, więc eff( X) = 1 W Z Statmat 613
Przykład Model pojedyczej obserwacji X: ({1, 2, }, {P θ : θ > 0}) P θ {X = x} = θ x e θ x!(1 e θ ) Zadaie: oszacować e θ a podstawie jedej obserwacji T (X) jest ENMW [e θ ], jeżeli θ x e θ T (x) x!(1 e θ ) = e θ x=1 Rozwiązaie: T (x) = ( 1) x+1 W Z Statmat 614
Przykład Model pojedyczej obserwacji X: (Z, {P θ : θ Z}) P θ {X = θ 1} = P θ {X = θ} = P θ {X = θ + 1} = 1 3 Estymator ieobciążoy: ˆθ(X) = X Wariacja: D 2 ˆθ ==?= 2/3 Niech a 0 + a 1 + a 2 = 0 oraz δ(x) = Niech θ (X) = X + δ(x) E θ θ = θ ( θ Θ) a 0, mod(x; 3) = 0 a 1, mod(x; 3) = 1 a 2, mod(x; 3) = 2 Dθθ 2 ==?= ((a 2 1) 2 + a 2 0 + (a 1 + 1) 2 )/3, mod(θ; 3) = 0 ((a 0 1) 2 + a 2 1 + (a 2 + 1) 2 )/3, mod(θ; 3) = 1 ((a 1 1) 2 + a 2 2 + (a 0 + 1) 2 )/3, mod(θ; 3) = 2 W Z Statmat 615
0 1 2 3 4 5 6 7 8 9 10 : D 2 θ ˆθ : D 2 θ θ (a 0 = 05, a 1 = 05, a 2 = 1) Wiosek: ie istieje ENMW [θ] W Z Statmat 616