Spis treści Spis treści 1 Wstęp 1 1.1 Statystyka matematyczna...................... 1 1.2 Literatura.............................. 1 1.3 Model statystyczny......................... 2 1.4 Preliminaria............................. 3 2 ENMW 11 2.1 Określenie.............................. 11 2.2 Twierdzenie Rao-Blackwella.................... 11 2.3 Model dwupunktowy........................ 12 2.4 Model Poissona........................... 14 2.5 Model gaussowski.......................... 18 2.6 Nierówność Cramera-Rao..................... 20 2.7 Antyprzykłady........................... 21 3 ENW 23 3.1 Przykład wstępny.......................... 23 3.2 Określenie.............................. 24 3.3 Model dwupunktowy........................ 25 3.4 Model Poissona........................... 26 3.5 Model gaussowski.......................... 29 3.6 Asymptotyka............................ 31 3.7 Inne przykłady........................... 31 4 EMNK 35 4.1 Przykład wstępny.......................... 35 4.2 Określenie.............................. 37 4.3 Model liniowy............................ 38 4.4 Przykłady.............................. 39 4.5 Własności.............................. 41 4.6 Estymacja wariancji......................... 41 4.7 Własności probabilistyczne..................... 44 1
1 Wstęp 1.1 Statystyka matematyczna STATYSTYKA nauka poświęcona metodom badania (analizowania) zjawisk masowych; polega na systematyzowaniu obserwowanych cech ilościowych i jakościowych oraz przedstawianiu wyników w postaci zestawień tabelarycznych, wykresów, itp.; posługuje się rachunkiem prawdopodobieństwa. STATYSTYKA MATEMATYCZNA dział matematyki stosowanej oparty na rachunku prawdopodobieństwa; zajmuje się badaniem zbiorów na podstawie znajomości własności ich części. Encyklopedia Popularna PWN, Warszawa 1982 1.2 Literatura Literatura Silvey S. D. 1978: Wnioskowanie statystyczne, PWN Warszawa Zieliński R. 1990: Siedem wykładów wprowadzających do statystyki matematycznej, http://www.impan.pl/ rziel/books.html Jaworski S., Zieliński W. 2012: Zbiór zadań z rachunku prawdopodobieństwa i statystyki matematycznej, http://wojtek.zielinski.statystyka.info/dydaktyka.htm 2
Literatura Krzyśko M. 1994 Statystyka matematyczna, UAM Poznań Krzyśko M. 1997 Statystyka matematyczna, Część II, UAM Poznań Rao C. R. 1982: Modele liniowe statystyki matematycznej, PWN, Warszawa Rao C. R. 1994: Statystyka i prawda, PWN, Warszawa Zieliński R., Zieliński W. 1990 Tablice statystyczne, PWN Warszawa Zieliński W. 2001, Tablice Statystyczne, Wyd. V poprawione i uzupełnione, Fundacja Rozwój SGGW 1.3 Model statystyczny Model statystyczny: przykład 1 Model probabilistyczny Rzucamy n krotnie symetryczna monetą. Model statystyczny Rzucamy n krotnie jakaś monetą. ({0, 1,..., n}, Bin (n, 0.5)) ({0, 1,..., n}, {Bin (n, θ), θ [0, 1]}) Model statystyczny: przykład 2 Model probabilistyczny W pewnym gatunku owadów jest 40% osobników męskich. Owady chwytamy do uzyskania ustalonej liczby k osobników męskich. ({k, k + 1, k + 2,...}, NB (k, 0.4)) Model statystyczny W pewnym gatunku owadów jest pewien odsetek osobników męskich. Owady chwytamy do uzyskania ustalonej liczby k osobników męskich. ({k, k + 1, k + 2,...}, {NB (k, θ), θ [0, 1]}) 3
Model statystyczny: przykład 3 Model probabilistyczny Z grupy N osób wśród których jest znana liczba M kobiet losujemy n osób. ({0, 1,..., M}, H (N, n, M)) Model statystyczny Z grupy N osób wśród których jest nieznana liczba M kobiet losujemy n osób. ({0, 1,..., M}, {H (N, n, M), M {0, 1,..., N}}) Model statystyczny Określenie (X, B, {P θ, θ Θ}) Problemy Ile wynosi θ? (estymacja) W zbiorze Θ wyróżniony jest podzbiór Θ 0. Czy θ Θ 0? (weryfikacja hipotez statystycznych) Model statystyczny Idea wnioskowania statystycznego 1.4 Preliminaria Próba Określenie niezależne zmienne losowe X 1, X 2,..., X n o jednakowym rozkładzie P θ z dystrybuantą F θ i gęstością p θ Dystrybuanta empiryczna F n (t) = #{1 j n : X j t} n 4
Dystrybuanta empiryczna Ważne fakty Dla każdego t R zachodzi E θ F n (t) = F θ (t) Dla każdego t R zachodzi P θ {lim n F n (t) = F θ (t)} = 1 Dla każdego t R rozkład zmiennej losowej F n (t) F θ (t) n Fθ (t)(1 F θ (t)) dąży do rozkładu N(0, 1) przy n Dystrybuanta empiryczna Podstawowe twierdzenie statystyki matematycznej Jeżeli próba X 1, X 2,..., X n pochodzi z rozkładu F θ, to zmienna losowa D n = dąży do zera z prawdopodobieństwem 1. Dystrybuanta empiryczna sup F n (t) F θ (t) <t< Podstawowe twierdzenie statystyki matematycznej - ilustracja ({0, 1,..., 20}, {Bin (20, θ), θ [0, 1]}) Dystrybuanty dla θ = 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 5
Dystrybuanta empiryczna Podstawowe twierdzenie statystyki matematycznej - ilustracja Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Próba: 9, 10, 13, 9, 10, 11, 5, 5, 12, 9 F 10 (t) = #{1 j 10 : X j t} 10 0, t < 5, 2/10, t < 9, 5/10, t < 10, = 7/10, t < 11, 8/10, t < 12, 9/10, t < 12, 1, t 13, Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 6
Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 100 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 1000 Statystyka 7
Określenie odwzorowanie T : (X, {P θ, θ Θ}) R k Statystyka jest zmienną losową! Estymator Statystykę taką, że T (X ) = Θ nazywamy estymatorem parametru θ Oznaczenie: ˆθ Funkcja straty Określenie Funkcja taka, że L : Θ Θ R + ( θ Θ) L(θ, θ) = 0 8
Zadanie Znaleźć taki estymator ˆθ, który minimalizuje stratę L(ˆθ(x), θ) dla wszystkich θ Θ Typowo: minimalizacja E θ L(ˆθ(X), θ) Kwadratowa funkcja straty Określenie Funkcja Θ Θ (ϑ, θ) L(ϑ, θ) = (ϑ θ) 2 R + Bład średniokwadratowy estymatora ˆθ R θ (ˆθ) = E θ (ˆθ(X) θ) 2 = E θ (ˆθ(X) E θ ˆθ(X)) 2 + (E θ ˆθ(X) θ) 2 = D 2 θ ˆθ(X) + (E θ ˆθ(X) θ) 2 Estymator nieobciażony Określenie E θ ˆθ = θ ( θ Θ) Bład średniokwadratowy estymatora ˆθ Jeżeli E θ ˆθ = θ ( θ Θ), to R θ (ˆθ) = Dθ 2ˆθ 9
Dostateczność Określenie Statystyka T jest dostateczna, jeżeli rozkład warunkowy P θ { T = t} nie jest zależny od θ dla wszystkich θ Θ. Dostateczność Przykład ({0, 1}, {D (θ), θ [0, 1]}) Wnioskujemy o parametrze θ na podstawie próby X 1, X 2,..., X 5. Próba 1: X 1 = 1, X 2 = 1, X 3 = 1, X 4 = 0, X 5 = 0 Próba 2: X 1 = 1, X 2 = 0, X 3 = 1, X 4 = 0, X 5 = 1 Próba 3: X 1 = 0, X 2 = 1, X 3 = 0, X 4 = 1, X 5 = 1 Dostateczność Przykład cd Prawdopodobieństwa realizacji poszczególnych prób: P θ {Próba 1} = θ 3 (1 θ) 2 P θ {Próba 2} = θ 3 (1 θ) 2 P θ {Próba 3} = θ 3 (1 θ) 2 Dostateczność Przykład cd Istotna informacja: X 1 + X 2 + X 3 + X 4 + X 5 (=== ozn T ) P θ {X 1 =x 1,X 2 =x 2,X 3 =x 3,X 4 =x 4,X 5 =x 5 T =t} { 1/ ( 5 = t), jeżeli x1 + x 2 + x 3 + x 4 + x 5 = t, 0, w przeciwnym przypadku. T = 5 X i jest dostateczna dla wnioskowania o θ 10
Dostateczność Twierdzenie o faktoryzacji Statystyka T jest dostateczna dla rodziny rozkładów {P θ : θ Θ} wtedy i tylko wtedy, gdy gęstość p θ (x) może być przedstawiona w postaci gdzie funkcja h nie zależy od θ. Dostateczność p θ (x) = g θ {T (x)}h(x), Minimalna statystyka dostateczna Statystykę dostateczną T nazywamy minimalną statystyką dostateczną, jeżeli dla każdej statystyki dostatecznej S istnieje funkcja h taka, że T = h(s) Zupełność Statystyka T jest zupełna, jeżeli dla wszystkich θ Θ zachodzi E θ h(t ) = 0, to h 0 Rodziny wykładnicze Określenie Rodzina rozkładów prawdopodobieństwa {P θ : θ Θ} nazywa się rodziną wykładniczą, jeżeli każdy rozkład P θ ma gęstość p θ o postaci { k } p θ (x) = exp c j (θ)t j (x) b(θ) h(x), j=1 gdzie T 1 (x), T 2 (x),..., T k (x) są liniowo niezależnymi funkcjami oraz {(c 1 (θ), c 2 (θ),..., c k (θ)) : θ Θ} jest pewnym k wymiarowym zbiorem w R k. Rodziny wykładnicze Twierdzenie Jeżeli {P θ : θ Θ} oraz Θ R k jest rodziną wykładniczą rozkładów z gęstościami { k } p θ (x) = exp c j (θ)t j (x) b(θ) h(x), j=1 to (T 1 (x), T 2 (x),..., T k (x)) jest (k wymiarową) minimalną statystyką dostateczną zupełną. 11
2 ENMW 2.1 Określenie Estymatory nieobciażone o minimalnej wariancji Problem Model statystyczny (X, B, {P θ, θ Θ}) Niech g : Θ R 1 będzie znaną funkcją Zadanie: oszacować nieznaną wartość g(θ) Estymatory nieobciażone o minimalnej wariancji Estymator wielkości g(θ) Wybrać takie δ(x 1, X 2,..., X n ) by ( θ Θ) E θ δ(x 1, X 2,..., X n ) = g(θ) D 2 θ(δ) = E θ (δ(x 1, X 2,..., X n ) g(θ)) 2 = min 2.2 Twierdzenie Rao-Blackwella Estymatory nieobciażone o minimalnej wariancji Twierdzenie (Rao Blackwella) Jeżeli ĝ jest estymatorem nieobciążonym i jeżeli T jest statystyką dostateczną zupełną, to E θ (ĝ T ) jest również estymatorem nieobciążonym o jednostajnie nie większej wariancji niż wariancja estymatora ĝ. Estymatory nieobciażone o minimalnej wariancji Twierdzenie Jeżeli T jest statystyką dostateczną zupełną i jeżeli dla danej funkcji g istnieje funkcja ĝ taka, że ( θ Θ) E θ ĝ(t ) = g(θ), to ĝ(t ) jest ENMW [g(θ)]. 12
2.3 Model dwupunktowy Model dwupunktowy: estymacja parametru θ Model pojedynczej obserwacji X: ({0, 1}, {D(θ), θ [0, 1]}) Rodzina {D(θ), θ [0, 1]} jest rodziną wykładniczą: p θ (x) = θ x (1 θ) 1 x { } θ = exp x log + log(1 θ), x = 0, 1 1 θ Statystyka dostateczna: T (x) = x Model dwupunktowy: estymacja parametru θ Model dla próby X 1, X 2,..., X n : ({0, 1}, {D(θ), θ [0, 1]}) n n p θ (x 1,..., x n ) = θ x i (1 θ) 1 x i = exp Statystyka dostateczna: T = X i. { log θ 1 θ } x i + log(1 θ) Model dwupunktowy: estymacja parametru θ Model dla statystyki T Funkcja g: g(θ) = θ Ponieważ więc ({0, 1,..., n}, {Bin (n, θ), θ [0, 1]}) E θ T = nθ, ENMW [θ] = T n 13
Model dwupunktowy: estymacja wariancji θ(1 θ) Funkcja g: g(θ) = θ(1 θ) Wyznaczyć ĝ taką, że θ Θ E θ ĝ(t ) = θ(1 θ) Model dwupunktowy: estymacja wariancji θ(1 θ) ( ) n E θ ĝ(t ) = ĝ(t) θ t (1 θ) n t = θ(1 θ) t t=0 ( ) ( ) t n θ (1 θ) n ĝ(t) = θ(1 θ) t 1 θ t=0 ( ) ( ) t ( ) ( ( )) n 2 n θ θ θ ĝ(t) = 1 + t 1 θ 1 θ 1 θ t=0 Model dwupunktowy: estymacja wariancji θ(1 θ) Podstawienie: v = θ/(1 θ) ( ) n ĝ(t) v t = v (1 + v) n 2 t t=0 ( ) n n 2 ( ) n 2 ĝ(t) v t = v t+1 t t t=0 t=0 ENMW [θ(1 θ)] = T (n T ) n(n 1) 14
2.4 Model Poissona Model Poissona: estymacja P θ {X = 0} = e θ Model pojedynczej obserwacji X: ({0, 1, 2,...}, {P o(θ), θ R + }) Rodzina {P o(θ), θ R + } jest rodziną wykładniczą: p θ (x) = θx x! e θ Statystyka dostateczna: T (x) = x = exp {x log θ θ} 1, x = 0, 1, 2,... x! Model Poissona: estymacja P θ {X = 0} = e θ Model dla próby X 1, X 2,..., X n : ({0, 1, 2,...}, {P o(θ), θ R + }) n p θ (x 1,..., x n ) = n = exp Statystyka dostateczna: T = X i. θ x i x i! e θ { log θ } 1 x i nθ xi! Model Poissona: estymacja P θ {X = 0} = e θ Model dla statystyki T Funkcja g: g(θ) = e θ === ozn λ estymator nieobciążony λ ˆλ = E(λ T ) ({0, 1, 2,...}, {P o (nθ), θ R + }) 15
Model Poissona: estymacja P θ {X { = 0} = e θ 1, jeżeli X j = 0, Y j = 0, jeżeli X j > 0. Estymator λ jest nieobciążony λ = 1 n j=1 E θ Y j = 1 P θ {X = 0} + 0 P θ {X > 0} = e θ Y j Model Poissona: estymacja P θ {X = 0} = e θ Wyznaczamy ˆλ = E θ (λ T ) ( ) E θ (λ 1 T = t) = E θ Y j T = t n j=1 = E θ (Y 1 T = t) = P θ {X 1 = 0 T = t} = P θ {X 1 = 0, X 2 = x 2,..., X n = x n T = t} x 2 + +xn=t === ozn Model Poissona: estymacja P θ {X = 0} = e θ P θ {X 1 = x 1, X 2 = x 2,..., X n = x n T = t} = P θ{x 1 = x 1, X 2 = x 2,..., X n = x n, T = t} P θ {T = t} { 0, jeżeli xi t = = θ x 1 + xn e nθ t! x 1!...x n!, jeżeli x (nθ) t e nθ i = t { 0, jeżeli x i t t!, n t x 1!...x n! jeżeli x i = t 16
Model Poissona: estymacja P θ {X = 0} = e θ Ponieważ (α 1 + + α n ) t t! = x 1!... x n! αx 1 1 αn xn więc x 1 + +x n=t x 1 + +x n=t t! x 1!... x n! = nt Model Poissona: estymacja P θ {X = 0} = e θ Zatem t! = n t x 2!... x n! Czyli x 2 + +x n=t ˆλ = ( 1 1 ) T n = (n 1)t n t Model Poissona: Dλˆλ 2 vs Dλ 2λ Dλˆλ 2 = E λˆλ2 λ 2 [ ( E θˆλ2 = 1 1 ) ] t 2 (nθ) t e nθ = e nθ n t! t=0 = e nθ e (n 1)2 n θ = e (2+ n)θ 1 [ (n 1) 2 n t=0 t! ] t θ Model Poissona: D 2 λˆλ D 2 λˆλ = λ (2 1 n) λ 2 Model Poissona: D 2 λ λ D 2 λλ = λ(1 λ) n 17
Model Poissona: D 2 λˆλ vs D 2 λ λ Model Poissona: estymacja P θ {X = 0} = e θ Niech ε > 0 P λ { λ λ < ε} =? P λ { ˆλ λ < ε} =? λ = 1 Y i ; Y i Bin ( n, λ = e θ) n ( ˆλ = 1 n) 1 T ; T = X i P o (nθ = n log λ) Model Poissona: estymacja P θ {X = 0} = e θ (ε = 0.05; n = 50) 18
λ P λ { λ λ < ε} P λ { ˆλ λ < ε} 0.1 0.7661 0.9793 0.2 0.6235 0.8358 0.3 0.5593 0.7275 0.4 0.5291 0.6256 0.5 0.5201 0.6052 0.6 0.5291 0.5719 0.7 0.5593 0.5912 0.8 0.6235 0.6240 0.9 0.7661 0.8092 2.5 Model gaussowski Model gaussowski: estymacja parametrów Model pojedynczej obserwacji X: ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) Rodzina {N (µ, σ 2 ), θ = (µ, σ 2 ) R R + } jest wykładnicza Model gaussowski: estymacja { parametrów f µ,σ (x) = 1 σ 2π exp 1 ( ) } 2 x µ 2 σ { = exp 1 2σ 2 x2 + µ ( µ 2 ( σ x 2 2σ + log σ ) )} 2π 2 Statystyka dostateczna: (T 1 (x), T 2 (x)) = (x, x 2 ) Model gaussowski: estymacja parametrów Model dla próby X 1, X 2,..., X n : ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) n = ( R n, { N n ( µ1n, σ 2 I n ), θ = (µ, σ 2 ) R R + }) Statystyka dostateczna: (T 1, T 2 ) = ( X i, X 2 i ) 19
Model gaussowski: estymacja parametrów Niech X = 1 X i n (X i µ) 2, µ jest znane, S 2 = (X i X) 2, µ nie jest znane. Model gaussowski: estymacja parametrów Zmienna losowa X ( ) ma rozkład N µ, σ2 n Zmienna losowa S 2 /σ 2 ma rozkład chi kwadrat z ν stopniami swobody: { n, µ jest znane, ν = n 1, µ nie jest znane. Model gaussowski: estymacja parametrów σ α, ν + α > 0, E µ,σ S α = K ν,α, ν + α 0, gdzie K ν,α = Γ ( ) ( ν α 2 / 2 2 Γ ( )) ν+α 2 Model gaussowski: estymacja parametrów Jeżeli µ oraz σ nie są znane, to ENMW [µ] = X ENMW [σ 2 ] = 1 n 1 S2 20
ENMW [σ] = Γ( n 1 2 ) 2Γ( n 2 ) S ENMW [ ] µ 2Γ( σ = n 1 2 ) X Γ( n 1) S 2 2.6 Nierówność Cramera-Rao Estymatory nieobciażone o minimalnej wariancji Informacja Ilością informacji o θ zawartą w X nazywamy wielkość I θ = E θ [{ log p θ (X)/ θ} 2 ] Estymatory nieobciażone o minimalnej wariancji Nierówność Cramera-Rao Niech {P θ : θ Θ} będzie rodziną rozkładów, niech θ będzie parametrem liczbowym i niech Θ będzie przedziałem na prostej. Zakładamy, że dla każdego θ rozkład P θ ma gęstość p θ. Jeżeli spełnione są pewne warunki regularności, to nierówność D 2 θθ I 1 θ spełniona jest dla każdego estymatora nieobciążonego θ parametru θ Estymatory nieobciażone o minimalnej wariancji Efektywność Liczbę nazywamy efektywnościa estymatora θ eff(θ ) = I 1 θ Dθ 2θ Lemat Jeżeli spełnione są warunki regularności, to [ ] I θ = E θ 2 θ log p θ(x) 2 21
Model gaussowski Obliczamy I µ ( ) { n 1 p µ (x) = σ exp 1 2π 2σ 2 } (X i µ) 2 ( log p µ (x) = n log σ ) 2π 1 2σ 2 (X i µ) 2 Model gaussowski Zatem Ponieważ D 2 X = σ 2 /n, więc µ log p µ(x) = 1 σ 2 (X i µ) 2 µ 2 log p µ(x) = n σ 2 I µ = n σ 2 eff( X) = 1 2.7 Antyprzykłady Zły estymator - ucięty rozkład Poissona Model pojedynczej obserwacji X: ({1, 2,...}, {P θ : θ > 0}) P θ {X = x} = θ x e θ x!(1 e θ ) Zadanie: oszacować e θ na podstawie jednej obserwacji 22
Zły estymator - ucięty rozkład Poissona T (X) jest ENMW [e θ ], jeżeli θ x e θ T (x) x!(1 e θ ) = e θ Rozwiązanie: x=1 T (x) = ( 1) x+1 Nie istnieje ENMW Model pojedynczej obserwacji X: (Z, {P θ : θ Z}) P θ {X = θ 1} = P θ {X = θ} = P θ {X = θ + 1} = 1 3 Estymator nieobciążony: ˆθ(X) = X Wariancja: D 2ˆθ = 2/3 Nie istnieje ENMW Niech a 0 + a 1 + a 2 = 0 oraz a 0, mod(x; 3) = 0 δ(x) = a 1, mod(x; 3) = 1 a 2, mod(x; 3) = 2 Niech θ (X) = X + δ(x) Nie istnieje ENMW E θ θ = θ ( θ Θ) ((a 2 1) 2 + a 2 0 + (a 1 + 1) 2 )/3, mod(θ; 3) = 0 Dθθ 2 = ((a 0 1) 2 + a 2 1 + (a 2 + 1) 2 )/3, mod(θ; 3) = 1 ((a 1 1) 2 + a 2 2 + (a 0 + 1) 2 )/3, mod(θ; 3) = 2 23
Nie istnieje ENMW θ Dθ 2ˆθ = 2/3 Dθ 2θ a 0 = 0.5, a 1 = 0.5, a 2 = 1 0 0.6667 2.1667 1 0.6667 0.1667 2 0.6667 1.1667 3 0.6667 2.1667 4 0.6667 0.1667 5 0.6667 1.1667 3 ENW 3.1 Przykład wstępny EN W : przykład wstępny Wykonano 50 rzutów nieznaną monetą i otrzymano 32 orły. Jakie jest prawdopodobieństwo wyrzucenia orła w pojedynczym rzucie? EN W : przykład wstępny Model statystyczny rzutów monetą ({0, 1,..., 50}, {Bin (50, θ), θ [0, 1]}) Prawdopodobieństwo uzyskania 32 orłów w 50 rzutach ( ) 50 p θ (32) = θ 32 (1 θ) 50 32 32 Dla jakiego θ uzyskanie 32 orłów jest najbardziej prawdopodobne? EN W : przykład wstępny 24
EN W : przykład wstępny Zasada wiarogodności Wybrać tę wartość parametru θ, dla której uzyskanie 32 orłów w 50 rzutach jest najbardziej prawdopodobne tzn. wartość θ maksymalizującą p θ (32) 3.2 Określenie Estymatory największej wiarogodności Wiarogodność Model statystyczny (X, B, {P θ, θ Θ}) Dla ustalonego x X wielkość nazywamy wiarogodnością parametru θ. L(θ; x) = p θ (x) Estymatory największej wiarogodności Estymator Największej Wiarogodności Jeżeli przy każdym ustalonym x X istnieje ˆθ = ˆθ(x) Θ takie, że L(ˆθ; x) L(θ; x) ( θ Θ), to odwzorowanie ˆθ : X Θ nazywamy estymatorem największej wiarogodności. 25
Estymatory największej wiarogodności Twierdzenie Jeżeli h : Θ Θ jest funkcją różnowartościową oraz ˆθ jest ENW [θ], to h(ˆθ) jest ENW [h(θ)]. ENW funkcji parametrycznej Jeżeli h : Θ Θ, to ENW [h(θ)] określamy jako h(ˆθ), gdzie ˆθ jest ENW [θ]. 3.3 Model dwupunktowy Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru θ: L(θ; x 1,..., x n ) = ( ( n )θ t (1 θ) n t t = t Znaleźć ˆθ maksymalizujące wiarogodność (t jest ustalone) Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] ˆθ jest rozwiązaniem równania ) x i dl(θ; x 1,..., x n ) dθ = 0 Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Zamiast L(θ; x 1,..., x n ) = ( n t) θ t (1 θ) n t łatwiej L(θ; x 1,..., x n ) = log L(θ; x 1,..., x n ) ( ) n = log + t log θ + (n t) log(1 θ) t 26
Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Mamy dl dθ = t θ n t 1 θ = 0 ENW [θ] = T n Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ(1 θ)] ENW [θ(1 θ)] = ˆθ(1 ˆθ) gdzie ˆθ = ENW [θ] 3.4 Model Poissona Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru θ: L(θ; x 1,..., x n ) = (nθ)t x 1! x n! e (nθ) ( t = ) x i Znaleźć ˆθ maksymalizujące wiarogodność (t jest ustalone) Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] ˆθ jest rozwiązaniem równania dl(θ; x 1,..., x n ) dθ = 0 27
Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Zamiast L(θ; x 1,..., x n ) = (nθ)t x 1! x e (nθ) n! łatwiej L(θ; x 1,..., x n ) = log L(θ; x 1,..., x n ) = t log n + t log θ log(x i!) nθ Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Mamy dl dθ = t θ n = 0 ENW [θ] = T n Estymator Największej Wiarogodności - przykład Model Poissona: ENW [λ = e θ ] ENW [λ] = e θ(=== ozn λ) gdzie θ = ENW [θ] Estymator Największej Wiarogodności - przykład Model Poissona: ENW [λ] vs ENMW [λ] Ryzyko λ = ENW [λ] Ryzyko ˆλ = ENMW [λ] R λ(λ) = E θ ( λ λ) 2 = E θ λ2 2λE θ λ + λ 2 Rˆλ(λ) = E θ (ˆλ λ) 2 = D 2 θ ˆλ 2 28
Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) ( ) 2 E θ λ2 = e t (nθ) t n e nθ = e nθ (nθe 2 n ) t t! t! t=0 t=0 { ( )} = exp nθ 1 e 2 n = λ n(1 e n 2 ) E θ λ = e t (nθ) t n e nθ = e nθ (nθe 1 n ) t t! t! t=0 t=0 { ( )} = exp nθ 1 e 1 n = λ n(1 e n 1 ) Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) R λ(λ) = λ n(1 e 2 n ) 2λ 1+n(1 e 1 n ) + λ 2 Model Poissona: Rˆλ(λ) Rˆλ(λ) = D 2 λˆλ = λ (2 1 n) λ 2 Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) vs Rˆλ(λ) 29
3.5 Model gaussowski Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru (µ, σ 2 ): ( ) { n 1 L(µ, σ 2 ; x 1,..., x n ) = σ exp 1 2π 2 ( ) } 2 xi µ σ Znaleźć ˆµ i ˆσ 2 maksymalizujące wiarogodność Estymator Największej Wiarogodności - przykład Model gaussowski:enw [µ] i ENW [σ 2 ] (ˆµ, ˆσ 2 ) jest rozwiązaniem równania { L(µ,σ 2 ;x 1,...,x n) µ = 0 L(µ,σ 2 ;x 1,...,x n) σ 2 = 0 Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Zamiast L(θ; x 1,..., x n ) łatwiej L(µ, σ 2 ; x 1,..., x n ) = log L(µ, σ 2 ; x 1,..., x n ) = n log 2π n 2 log σ2 1 2σ 2 (x i µ) 2 Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Mamy { L = 1 n µ σ 2 (x i µ) = 0 L = n 1 + 1 n σ 2 2 σ 2 2σ 4 (x i µ) 2 = 0 30
Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Otrzymujemy ENW [µ] = X ENW [σ 2 ] = 1 ( Xi n X ) 2 Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja wariancji Niech c > 0 oraz ( S 2 (c) = c Xi X ) 2 Ryzyko estymatora S 2 (c): ( R µ,σ 2 c ( Xi X ) ) 2 Dla jakiego c ryzyko jest jednostajnie najmniejsze? Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja ( wariancji ( R µ,σ 2 c Xi X ) ) 2 =E µ,σ 2 [ c ( Xi X ) 2 σ 2 ] 2 = σ 4 [ c 2 (n 2 1) 2c(n 1) + 1 ] Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja wariancji R µ,σ 2(ENMW [σ 2 ]) = 2 n 1 σ4 31
R µ,σ 2(ENW [σ 2 ]) = 2n 1 n 2 σ 4 Estymator o jednostajnie najmniejszym ryzyku 1 n + 1 ( Xi X ) 2 3.6 Asymptotyka Estymator Największej Wiarogodności Twierdzenie Niech p θ (x) spełniają pewne warunki regularności. Jeżeli X 1,..., X n są niezależnymi zmiennymi losowymi o tym samym rozkładzie o gęstości p θ (x), to równanie wiarogodności ma rozwiązanie ˆθ n (x 1,..., x n ) takie, że θ [p θ(x 1 ) p θ (x n )] = 0 Estymator Największej Wiarogodności Twierdzenie ( ) ε > 0 { } lim P θ ˆθn (X 1,..., X n ) θ < ε = 1 n n (ˆθn (X 1,..., X n ) θ) N (0, 1Iθ ). Definicja Estymator ˆθ n spełniający warunek ( ) nazywamy asymptotycznie efektywnym 3.7 Inne przykłady Inne przykłady Rodziny wykładnicze 32
Estymujemy parametr θ jednoparametrowej rodziny wykładniczej p θ (x) = exp{θt (x) b(θ)}. Wiarogodność { } L(θ; x 1,..., x n ) = exp θ T (x i ) nb(θ) Inne przykłady Rodziny wykładnicze Estymator Największej Wiarogodności ˆθ n = ENW [θ] istnieje i jest rozwiązaniem równania 1 T (x i ) = db(θ) n dθ Inne przykłady Rodziny wykładnicze Ponadto { } ε > 0 lim P θ ˆθn θ < ε = 1 n ( ) 1 n (ˆθn θ) N 0, I θ = Dθ 2T Inne przykłady ENW wyznaczony tylko numerycznie Model statystyczny (R +, {P θ : θ R + }) p θ (x) = θx θ 1 exp { x θ} 33
Inne przykłady ENW wyznaczony tylko numerycznie Rozkład próby ( n ) θ 1 { p θ (x 1,..., x n ) = θ x i exp Logarytm wiarogodności x θ i } L(θ; x 1,..., x n ) = n log θ + (θ 1) x i exp {θ log x i } Inne przykłady ENW wyznaczony tylko numerycznie Pochodna dl(θ; x 1,..., x n ) dθ = n θ + x i log x i exp {θ log x i } dl(θ; x 1,..., x n ) lim θ 0 dθ dl(θ; x 1,..., x n ) jest ciągła dθ = +, lim θ + dl(θ; x 1,..., x n ) dθ = Inne przykłady ENW wyznaczony tylko numerycznie Równanie wiarogodności ma rozwiązanie. Istnieje EN W [θ] dl(θ; x 1,..., x n ) dθ = 0 34
Inne przykłady ENW wyznaczony niejednoznacznie Model statystyczny ( { ( R, U θ 1 2, θ + 1 ) }) : θ R 2 Rozkład próby p θ (x 1,..., x n ) = { 1, gdy θ 1 2 x 1,..., x n θ + 1 2, 0, poza tym. Inne przykłady ENW wyznaczony niejednoznacznie Wiarogodność { 1, gdy x n:n 1 2 L(θ; x 1,..., x n ) = θ x 1:n + 1, 2 0, poza tym. x 1:n = min{x 1,..., x n }, x n:n = max{x 1,..., x n } Każda liczba z przedziału [ X n:n 1 2, X 1:n + 1 2] jest ENW [θ]. Inne przykłady ENW nie istnieje (model błędów grubych) Model statystyczny ( R, { Pµ,σ 2 : (µ, σ 2 ) R R + }) 1 p µ,σ 2(x) = (1 ε) exp { 12 } (x 2π µ)2 { 1 + ε σ 2π exp 1 ( ) } 2 x µ 2 σ 35
Inne przykłady ENW nie istnieje (model błędów grubych) Wiarogodność L(µ, σ 2 ; x 1,..., x n ) = Dla każdego M > 0 istnieją (µ, σ 2 ) takie, że n p µ,σ 2(x i ) L(µ, σ 2 ; x 1,..., x n ) > M 4 EMNK 4.1 Przykład wstępny EM N K: przykład wstępny Funkcja Cobba Douglasa W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K nakładem kapitału. Liczby A, α, β są pewnymi stałymi. Ekonomiści interesują się wielkościami A, α i β. EM N K: przykład wstępny Eksperyment W celu oceny nieznanych wielkości A, α, β prowadzone są obserwacje wielkości produkcji Z i przy różnych nakładach L i oraz K i, przy czym zakłada się, że obserwacje te obarczone są efektami losowymi ε i Z i = AL α i K β i + ε i, i = 1,..., n EM N K: przykład wstępny Eksperyment 36
EM N K: przykład wstępny Eksperyment EM N K: przykład wstępny Eksperyment EM N K: przykład wstępny Zasada najmniejszych kwadratów 37
Jako oszacowania nieznanych parametrów A, α, β przyjmuje się takie wartości, przy których błędy losowe są małe ε 2 i = (Z i AL α i K β i )2 = min! 4.2 Określenie Estymator najmniejszych kwadratów Model Obserwujemy zmienne losowe Y 1,..., Y n takie, że EY i = g i (θ), i = 1,..., n θ Θ R k g i : Θ R 1 są znanymi funkcjami Estymator najmniejszych kwadratów Kryterium S(θ) = (Y i g i (θ)) 2 Estymator najmniejszych kwadratów Wielkość ˆθ === ozn EMNK[θ] minimalizująca S(θ) 38
Resztowa suma kwadratów S(ˆθ) = (Y i g i (ˆθ)) 2 4.3 Model liniowy Model liniowy Definicja Modelem liniowym nazywamy model statystyczny, w którym obserwacje Y 1,..., Y n mają postać Y i = β 1 x 1i + + β p x pi + ε i, i = 1,..., n gdzie x ji są ustalonymi liczbami, β j są nieznanymi parametrami modelu, ε i są niezależnymi błędami losowymi takimi, że Eε i = 0 oraz D 2 ε i = σ 2 Model liniowy Zapis macierzowy Y = Xβ + ε. Y = (Y 1,..., Y n ) β = (β 0, β 1,... β p ) ε = (ε 1,..., ε n ) x 11 x p1 x 12 x p2 X =.. x 1n x pn Założenie: macierz X jest pełnego rzędu Model liniowy Resztowa suma kwadratów ( S(β) = Y i ) 2 p β j x ji j=1 = (Y Xβ) (Y Xβ) = Y Y 2β X Y + β X Xβ S(β) β = 2X Y + 2X Xβ 39
Model liniowy Układ równań normalnych X Xβ = XY Estymator najmniejszych kwadratów EMNK[β] = (X X) 1 X Y === ozn ˆβ Uwaga geometryczna Xˆβ jest rzutem Y na {Xβ : β R p } (Y Xˆβ) X = 0 Model liniowy EM N K funkcji liniowej Jeżeli c R p, to EMNK[c β] = c ˆβ Przykład β 1 = [1, 0,, 0]β EMNK[β 1 ] = [1, 0,, 0]ˆβ 4.4 Przykłady Estymacja µ Zadanie Na podstawie obserwacji Y 1,..., Y n oszacować ich wartość oczekiwaną µ. Estymacja µ Model Y i = µ + ε i, i = 1,..., n Zapis macierzowy Estymator Y = [Y 1,..., Y n ], β = µ, X = 1 n EMNK[µ] = (X X) 1 X Y = Ȳ 40
Estymacja µ 1 µ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n1 o wartości oczekiwanej µ 1 oraz Y n1 +1,..., Y n o wartości oczekiwanej µ 2 oszacować µ 1 µ 2 Estymacja µ 1 µ 2 Model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Zapis macierzowy [ ] β 1n1 0 = [µ 1, µ 2 ], X = n1 0 n n1 1 n n1 Estymacja µ 1 µ 2 Estymator wektora β = [µ 1, µ 2 ] EMNK[β] = (X X) 1 X Y [ ] 1 [ n1 0 n1 = Y ] i 0 n n 2 i=n 1 +1 Y i [ 1 n1 n = 1 Y ] i 1 n n n 1 i=n 1 +1 Y i Estymacja µ 1 µ 2 Estymator różnicy µ 1 µ 2 Jeżeli c = [1, 1], to c β = µ 1 µ 2 EMNK[µ 1 µ 2 ] = 1 n 1 Y i 1 n 1 n n 1 Estymator średniej µ 1 Jeżeli c = [1, 0], to c β = µ 1 EMNK[µ 1 ] = 1 n 1 n 1 Y i i=n 1 +1 Y i 41
4.5 Własności Własności EM N K Nieobciażoność EMNK[β] jest estymatorem nieobciążonym o macierzy kowariancji σ 2 (X X) 1 E βˆβ = Eβ (X X) 1 X Y = (X X) 1 X E β Y = (X X) 1 X Xβ = β Własności EM N K Funkcja estymowalna Funkcję parametryczną c β nazywamy estymowalną, jeżeli istnieje jej estymator nieobciążony postaci b Y Twierdzenie Funkcja parametryczna c β jest estymowalna wtedy i tylko wtedy, gdy c ImX Własności EM N K Twierdzenie Gaussa Markowa Jeżeli błędy losowe ε 1,..., ε n są nieskorelowanymi zmiennymi losowymi o zerowej wartości oczekiwanej i takiej samej wariancji, to dla każdej estymowalnej funkcji parametrycznej c β i dla każdego nieobciążonego estymatora liniowego b Y tej funkcji zachodzi D 2 β(c ˆβ) D 2 β(b Y), β R p 4.6 Estymacja wariancji Estymacja wariancji σ 2 Resztowa suma kwadratów( ) 2 p S(ˆβ) = 2 Y i ˆβ j x ji = Y Xˆβ j=1 = (Y Xˆβ) (Y Xˆβ) = (Y X(X X) 1 X Y) (Y X(X X) 1 X Y) = Y (I X (X X) 1 X)(I X(X X) 1 X )Y = Y (I X(X X) 1 X )Y 42
Estymacja wariancji σ 2 Resztowa suma kwadratów E β,σ 2 Y Xˆβ 2 = E β,σ 2Y (I X(X X) 1 X )Y = tre β,σ 2(I X(X X) 1 X )YY = tr { (I X(X X) 1 X )E β,σ 2(YY ) } = σ 2 tr(i X(X X) 1 X ) = (n rzx)σ 2 Estymacja wariancji σ 2 EMNK[σ 2 ] ˆσ 2 = 1 n rzx Y (I X(X X) 1 X )Y Estymacja wariancji σ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n o wartości oczekiwanej µ oszacować ich wariancję σ 2. Estymacja wariancji σ 2 Model Y i = µ + ε i, i = 1,..., n Zapis macierzowy Y = [Y 1,..., Y n ], β = µ, X = 1 n rzx = 1 Estymacja wariancji σ 2 Estymator 43
ˆσ 2 = 1 n 1 Y (I 1 n 1 n1 n)y = 1 {Y Y 1n } n 1 (Y 1 n ) (1 n Y) ( = 1 ) Yi 2 1 2 Y n 1 i n = 1 n 1 ( Yi Ȳ ) 2 Estymacja wariancji σ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n1 o wartości oczekiwanej µ 1 i wariancji σ 2 oraz Y n1 +1,..., Y n o wartości oczekiwanej µ 2 i wariancji σ 2 oszacować σ 2 Estymacja wariancji σ 2 Model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Zapis macierzowy [ ] β 1n1 0 = [µ 1, µ 2 ], X = n1 0 n n1 1 n n1 rzx = 2 Estymacja wariancji σ 2 Estymator 44
[ ] [ ] 1 [ ] (n 2)ˆσ 2 = Y (I ) 1n1 0 n1 n1 0 1 n1 0 n 2 0 n2 1 n2 0 n 2 0 n 1 1 Y n 2 ( ( n 1 = Y i 1 n1 )) 2 Y i + n 1 + ( Y i 1 n 2 ( i=n 1 +1 i=n 1 +1 )) 2 Y i 4.7 Własności probabilistyczne Rozkłady prawdopodobieństwa estymatorów Model Y = Xβ + ε β = (β 0, β 1,... β p ) ε = (ε 1,..., ε n ) N n (0, σ 2 I n ) EMNK s 2 = ˆσ 2 = ˆβ = (X X) 1 X Y 1 n rzx Y (I X(X X) 1 X )Y Rozkłady prawdopodobieństwa estymatorów Twierdzenie Jeżeli Y N n (Xβ, σ 2 I n ) oraz rzx = p, to ˆβ Np (β, σ 2 (X X) 1 ) (ˆβ β) X X(ˆβ β) σ 2 χ 2 p ˆβ jest niezależne od s 2 (n p)s 2 σ 2 χ 2 n p 45