1.1 Statystyka matematyczna Literatura Model statystyczny Preliminaria... 3

Transkrypt

1 Spis treści Spis treści 1 Wstęp Statystyka matematyczna Literatura Model statystyczny Preliminaria ENMW Określenie Twierdzenie Rao-Blackwella Model dwupunktowy Model Poissona Model gaussowski Nierówność Cramera-Rao Antyprzykłady ENW Przykład wstępny Określenie Model dwupunktowy Model Poissona Model gaussowski Asymptotyka Inne przykłady EMNK Przykład wstępny Określenie Model liniowy Przykłady Własności Estymacja wariancji Własności probabilistyczne

2 1 Wstęp 1.1 Statystyka matematyczna STATYSTYKA nauka poświęcona metodom badania (analizowania) zjawisk masowych; polega na systematyzowaniu obserwowanych cech ilościowych i jakościowych oraz przedstawianiu wyników w postaci zestawień tabelarycznych, wykresów, itp.; posługuje się rachunkiem prawdopodobieństwa. STATYSTYKA MATEMATYCZNA dział matematyki stosowanej oparty na rachunku prawdopodobieństwa; zajmuje się badaniem zbiorów na podstawie znajomości własności ich części. Encyklopedia Popularna PWN, Warszawa Literatura Literatura Silvey S. D. 1978: Wnioskowanie statystyczne, PWN Warszawa Zieliński R. 1990: Siedem wykładów wprowadzających do statystyki matematycznej, rziel/books.html Jaworski S., Zieliński W. 2012: Zbiór zadań z rachunku prawdopodobieństwa i statystyki matematycznej, 2

3 Literatura Krzyśko M Statystyka matematyczna, UAM Poznań Krzyśko M Statystyka matematyczna, Część II, UAM Poznań Rao C. R. 1982: Modele liniowe statystyki matematycznej, PWN, Warszawa Rao C. R. 1994: Statystyka i prawda, PWN, Warszawa Zieliński R., Zieliński W Tablice statystyczne, PWN Warszawa Zieliński W. 2001, Tablice Statystyczne, Wyd. V poprawione i uzupełnione, Fundacja Rozwój SGGW 1.3 Model statystyczny Model statystyczny: przykład 1 Model probabilistyczny Rzucamy n krotnie symetryczna monetą. Model statystyczny Rzucamy n krotnie jakaś monetą. ({0, 1,..., n}, Bin (n, 0.5)) ({0, 1,..., n}, {Bin (n, θ), θ [0, 1]}) Model statystyczny: przykład 2 Model probabilistyczny W pewnym gatunku owadów jest 40% osobników męskich. Owady chwytamy do uzyskania ustalonej liczby k osobników męskich. ({k, k + 1, k + 2,...}, NB (k, 0.4)) Model statystyczny W pewnym gatunku owadów jest pewien odsetek osobników męskich. Owady chwytamy do uzyskania ustalonej liczby k osobników męskich. ({k, k + 1, k + 2,...}, {NB (k, θ), θ [0, 1]}) 3

4 Model statystyczny: przykład 3 Model probabilistyczny Z grupy N osób wśród których jest znana liczba M kobiet losujemy n osób. ({0, 1,..., M}, H (N, n, M)) Model statystyczny Z grupy N osób wśród których jest nieznana liczba M kobiet losujemy n osób. ({0, 1,..., M}, {H (N, n, M), M {0, 1,..., N}}) Model statystyczny Określenie (X, B, {P θ, θ Θ}) Problemy Ile wynosi θ? (estymacja) W zbiorze Θ wyróżniony jest podzbiór Θ 0. Czy θ Θ 0? (weryfikacja hipotez statystycznych) Model statystyczny Idea wnioskowania statystycznego 1.4 Preliminaria Próba Określenie niezależne zmienne losowe X 1, X 2,..., X n o jednakowym rozkładzie P θ z dystrybuantą F θ i gęstością p θ Dystrybuanta empiryczna F n (t) = #{1 j n : X j t} n 4

5 Dystrybuanta empiryczna Ważne fakty Dla każdego t R zachodzi E θ F n (t) = F θ (t) Dla każdego t R zachodzi P θ {lim n F n (t) = F θ (t)} = 1 Dla każdego t R rozkład zmiennej losowej F n (t) F θ (t) n Fθ (t)(1 F θ (t)) dąży do rozkładu N(0, 1) przy n Dystrybuanta empiryczna Podstawowe twierdzenie statystyki matematycznej Jeżeli próba X 1, X 2,..., X n pochodzi z rozkładu F θ, to zmienna losowa D n = dąży do zera z prawdopodobieństwem 1. Dystrybuanta empiryczna sup F n (t) F θ (t) <t< Podstawowe twierdzenie statystyki matematycznej - ilustracja ({0, 1,..., 20}, {Bin (20, θ), θ [0, 1]}) Dystrybuanty dla θ = 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 5

6 Dystrybuanta empiryczna Podstawowe twierdzenie statystyki matematycznej - ilustracja Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Próba: 9, 10, 13, 9, 10, 11, 5, 5, 12, 9 F 10 (t) = #{1 j 10 : X j t} 10 0, t < 5, 2/10, t < 9, 5/10, t < 10, = 7/10, t < 11, 8/10, t < 12, 9/10, t < 12, 1, t 13, Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 6

7 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 10 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 100 Dystrybuanta empiryczna Podstawowe twierdzenie - ilustracja n = 1000 Statystyka 7

8 Określenie odwzorowanie T : (X, {P θ, θ Θ}) R k Statystyka jest zmienną losową! Estymator Statystykę taką, że T (X ) = Θ nazywamy estymatorem parametru θ Oznaczenie: ˆθ Funkcja straty Określenie Funkcja taka, że L : Θ Θ R + ( θ Θ) L(θ, θ) = 0 8

9 Zadanie Znaleźć taki estymator ˆθ, który minimalizuje stratę L(ˆθ(x), θ) dla wszystkich θ Θ Typowo: minimalizacja E θ L(ˆθ(X), θ) Kwadratowa funkcja straty Określenie Funkcja Θ Θ (ϑ, θ) L(ϑ, θ) = (ϑ θ) 2 R + Bład średniokwadratowy estymatora ˆθ R θ (ˆθ) = E θ (ˆθ(X) θ) 2 = E θ (ˆθ(X) E θ ˆθ(X)) 2 + (E θ ˆθ(X) θ) 2 = D 2 θ ˆθ(X) + (E θ ˆθ(X) θ) 2 Estymator nieobciażony Określenie E θ ˆθ = θ ( θ Θ) Bład średniokwadratowy estymatora ˆθ Jeżeli E θ ˆθ = θ ( θ Θ), to R θ (ˆθ) = Dθ 2ˆθ 9

10 Dostateczność Określenie Statystyka T jest dostateczna, jeżeli rozkład warunkowy P θ { T = t} nie jest zależny od θ dla wszystkich θ Θ. Dostateczność Przykład ({0, 1}, {D (θ), θ [0, 1]}) Wnioskujemy o parametrze θ na podstawie próby X 1, X 2,..., X 5. Próba 1: X 1 = 1, X 2 = 1, X 3 = 1, X 4 = 0, X 5 = 0 Próba 2: X 1 = 1, X 2 = 0, X 3 = 1, X 4 = 0, X 5 = 1 Próba 3: X 1 = 0, X 2 = 1, X 3 = 0, X 4 = 1, X 5 = 1 Dostateczność Przykład cd Prawdopodobieństwa realizacji poszczególnych prób: P θ {Próba 1} = θ 3 (1 θ) 2 P θ {Próba 2} = θ 3 (1 θ) 2 P θ {Próba 3} = θ 3 (1 θ) 2 Dostateczność Przykład cd Istotna informacja: X 1 + X 2 + X 3 + X 4 + X 5 (=== ozn T ) P θ {X 1 =x 1,X 2 =x 2,X 3 =x 3,X 4 =x 4,X 5 =x 5 T =t} { 1/ ( 5 = t), jeżeli x1 + x 2 + x 3 + x 4 + x 5 = t, 0, w przeciwnym przypadku. T = 5 X i jest dostateczna dla wnioskowania o θ 10

11 Dostateczność Twierdzenie o faktoryzacji Statystyka T jest dostateczna dla rodziny rozkładów {P θ : θ Θ} wtedy i tylko wtedy, gdy gęstość p θ (x) może być przedstawiona w postaci gdzie funkcja h nie zależy od θ. Dostateczność p θ (x) = g θ {T (x)}h(x), Minimalna statystyka dostateczna Statystykę dostateczną T nazywamy minimalną statystyką dostateczną, jeżeli dla każdej statystyki dostatecznej S istnieje funkcja h taka, że T = h(s) Zupełność Statystyka T jest zupełna, jeżeli dla wszystkich θ Θ zachodzi E θ h(t ) = 0, to h 0 Rodziny wykładnicze Określenie Rodzina rozkładów prawdopodobieństwa {P θ : θ Θ} nazywa się rodziną wykładniczą, jeżeli każdy rozkład P θ ma gęstość p θ o postaci { k } p θ (x) = exp c j (θ)t j (x) b(θ) h(x), j=1 gdzie T 1 (x), T 2 (x),..., T k (x) są liniowo niezależnymi funkcjami oraz {(c 1 (θ), c 2 (θ),..., c k (θ)) : θ Θ} jest pewnym k wymiarowym zbiorem w R k. Rodziny wykładnicze Twierdzenie Jeżeli {P θ : θ Θ} oraz Θ R k jest rodziną wykładniczą rozkładów z gęstościami { k } p θ (x) = exp c j (θ)t j (x) b(θ) h(x), j=1 to (T 1 (x), T 2 (x),..., T k (x)) jest (k wymiarową) minimalną statystyką dostateczną zupełną. 11

12 2 ENMW 2.1 Określenie Estymatory nieobciażone o minimalnej wariancji Problem Model statystyczny (X, B, {P θ, θ Θ}) Niech g : Θ R 1 będzie znaną funkcją Zadanie: oszacować nieznaną wartość g(θ) Estymatory nieobciażone o minimalnej wariancji Estymator wielkości g(θ) Wybrać takie δ(x 1, X 2,..., X n ) by ( θ Θ) E θ δ(x 1, X 2,..., X n ) = g(θ) D 2 θ(δ) = E θ (δ(x 1, X 2,..., X n ) g(θ)) 2 = min 2.2 Twierdzenie Rao-Blackwella Estymatory nieobciażone o minimalnej wariancji Twierdzenie (Rao Blackwella) Jeżeli ĝ jest estymatorem nieobciążonym i jeżeli T jest statystyką dostateczną zupełną, to E θ (ĝ T ) jest również estymatorem nieobciążonym o jednostajnie nie większej wariancji niż wariancja estymatora ĝ. Estymatory nieobciażone o minimalnej wariancji Twierdzenie Jeżeli T jest statystyką dostateczną zupełną i jeżeli dla danej funkcji g istnieje funkcja ĝ taka, że ( θ Θ) E θ ĝ(t ) = g(θ), to ĝ(t ) jest ENMW [g(θ)]. 12

13 2.3 Model dwupunktowy Model dwupunktowy: estymacja parametru θ Model pojedynczej obserwacji X: ({0, 1}, {D(θ), θ [0, 1]}) Rodzina {D(θ), θ [0, 1]} jest rodziną wykładniczą: p θ (x) = θ x (1 θ) 1 x { } θ = exp x log + log(1 θ), x = 0, 1 1 θ Statystyka dostateczna: T (x) = x Model dwupunktowy: estymacja parametru θ Model dla próby X 1, X 2,..., X n : ({0, 1}, {D(θ), θ [0, 1]}) n n p θ (x 1,..., x n ) = θ x i (1 θ) 1 x i = exp Statystyka dostateczna: T = X i. { log θ 1 θ } x i + log(1 θ) Model dwupunktowy: estymacja parametru θ Model dla statystyki T Funkcja g: g(θ) = θ Ponieważ więc ({0, 1,..., n}, {Bin (n, θ), θ [0, 1]}) E θ T = nθ, ENMW [θ] = T n 13

14 Model dwupunktowy: estymacja wariancji θ(1 θ) Funkcja g: g(θ) = θ(1 θ) Wyznaczyć ĝ taką, że θ Θ E θ ĝ(t ) = θ(1 θ) Model dwupunktowy: estymacja wariancji θ(1 θ) ( ) n E θ ĝ(t ) = ĝ(t) θ t (1 θ) n t = θ(1 θ) t t=0 ( ) ( ) t n θ (1 θ) n ĝ(t) = θ(1 θ) t 1 θ t=0 ( ) ( ) t ( ) ( ( )) n 2 n θ θ θ ĝ(t) = 1 + t 1 θ 1 θ 1 θ t=0 Model dwupunktowy: estymacja wariancji θ(1 θ) Podstawienie: v = θ/(1 θ) ( ) n ĝ(t) v t = v (1 + v) n 2 t t=0 ( ) n n 2 ( ) n 2 ĝ(t) v t = v t+1 t t t=0 t=0 ENMW [θ(1 θ)] = T (n T ) n(n 1) 14

15 2.4 Model Poissona Model Poissona: estymacja P θ {X = 0} = e θ Model pojedynczej obserwacji X: ({0, 1, 2,...}, {P o(θ), θ R + }) Rodzina {P o(θ), θ R + } jest rodziną wykładniczą: p θ (x) = θx x! e θ Statystyka dostateczna: T (x) = x = exp {x log θ θ} 1, x = 0, 1, 2,... x! Model Poissona: estymacja P θ {X = 0} = e θ Model dla próby X 1, X 2,..., X n : ({0, 1, 2,...}, {P o(θ), θ R + }) n p θ (x 1,..., x n ) = n = exp Statystyka dostateczna: T = X i. θ x i x i! e θ { log θ } 1 x i nθ xi! Model Poissona: estymacja P θ {X = 0} = e θ Model dla statystyki T Funkcja g: g(θ) = e θ === ozn λ estymator nieobciążony λ ˆλ = E(λ T ) ({0, 1, 2,...}, {P o (nθ), θ R + }) 15

16 Model Poissona: estymacja P θ {X { = 0} = e θ 1, jeżeli X j = 0, Y j = 0, jeżeli X j > 0. Estymator λ jest nieobciążony λ = 1 n j=1 E θ Y j = 1 P θ {X = 0} + 0 P θ {X > 0} = e θ Y j Model Poissona: estymacja P θ {X = 0} = e θ Wyznaczamy ˆλ = E θ (λ T ) ( ) E θ (λ 1 T = t) = E θ Y j T = t n j=1 = E θ (Y 1 T = t) = P θ {X 1 = 0 T = t} = P θ {X 1 = 0, X 2 = x 2,..., X n = x n T = t} x 2 + +xn=t === ozn Model Poissona: estymacja P θ {X = 0} = e θ P θ {X 1 = x 1, X 2 = x 2,..., X n = x n T = t} = P θ{x 1 = x 1, X 2 = x 2,..., X n = x n, T = t} P θ {T = t} { 0, jeżeli xi t = = θ x 1 + xn e nθ t! x 1!...x n!, jeżeli x (nθ) t e nθ i = t { 0, jeżeli x i t t!, n t x 1!...x n! jeżeli x i = t 16

17 Model Poissona: estymacja P θ {X = 0} = e θ Ponieważ (α α n ) t t! = x 1!... x n! αx 1 1 αn xn więc x 1 + +x n=t x 1 + +x n=t t! x 1!... x n! = nt Model Poissona: estymacja P θ {X = 0} = e θ Zatem t! = n t x 2!... x n! Czyli x 2 + +x n=t ˆλ = ( 1 1 ) T n = (n 1)t n t Model Poissona: Dλˆλ 2 vs Dλ 2λ Dλˆλ 2 = E λˆλ2 λ 2 [ ( E θˆλ2 = 1 1 ) ] t 2 (nθ) t e nθ = e nθ n t! t=0 = e nθ e (n 1)2 n θ = e (2+ n)θ 1 [ (n 1) 2 n t=0 t! ] t θ Model Poissona: D 2 λˆλ D 2 λˆλ = λ (2 1 n) λ 2 Model Poissona: D 2 λ λ D 2 λλ = λ(1 λ) n 17

18 Model Poissona: D 2 λˆλ vs D 2 λ λ Model Poissona: estymacja P θ {X = 0} = e θ Niech ε > 0 P λ { λ λ < ε} =? P λ { ˆλ λ < ε} =? λ = 1 Y i ; Y i Bin ( n, λ = e θ) n ( ˆλ = 1 n) 1 T ; T = X i P o (nθ = n log λ) Model Poissona: estymacja P θ {X = 0} = e θ (ε = 0.05; n = 50) 18

19 λ P λ { λ λ < ε} P λ { ˆλ λ < ε} Model gaussowski Model gaussowski: estymacja parametrów Model pojedynczej obserwacji X: ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) Rodzina {N (µ, σ 2 ), θ = (µ, σ 2 ) R R + } jest wykładnicza Model gaussowski: estymacja { parametrów f µ,σ (x) = 1 σ 2π exp 1 ( ) } 2 x µ 2 σ { = exp 1 2σ 2 x2 + µ ( µ 2 ( σ x 2 2σ + log σ ) )} 2π 2 Statystyka dostateczna: (T 1 (x), T 2 (x)) = (x, x 2 ) Model gaussowski: estymacja parametrów Model dla próby X 1, X 2,..., X n : ( R, { N ( µ, σ 2 ), θ = (µ, σ 2 ) R R + }) n = ( R n, { N n ( µ1n, σ 2 I n ), θ = (µ, σ 2 ) R R + }) Statystyka dostateczna: (T 1, T 2 ) = ( X i, X 2 i ) 19

20 Model gaussowski: estymacja parametrów Niech X = 1 X i n (X i µ) 2, µ jest znane, S 2 = (X i X) 2, µ nie jest znane. Model gaussowski: estymacja parametrów Zmienna losowa X ( ) ma rozkład N µ, σ2 n Zmienna losowa S 2 /σ 2 ma rozkład chi kwadrat z ν stopniami swobody: { n, µ jest znane, ν = n 1, µ nie jest znane. Model gaussowski: estymacja parametrów σ α, ν + α > 0, E µ,σ S α = K ν,α, ν + α 0, gdzie K ν,α = Γ ( ) ( ν α 2 / 2 2 Γ ( )) ν+α 2 Model gaussowski: estymacja parametrów Jeżeli µ oraz σ nie są znane, to ENMW [µ] = X ENMW [σ 2 ] = 1 n 1 S2 20

21 ENMW [σ] = Γ( n 1 2 ) 2Γ( n 2 ) S ENMW [ ] µ 2Γ( σ = n 1 2 ) X Γ( n 1) S Nierówność Cramera-Rao Estymatory nieobciażone o minimalnej wariancji Informacja Ilością informacji o θ zawartą w X nazywamy wielkość I θ = E θ [{ log p θ (X)/ θ} 2 ] Estymatory nieobciażone o minimalnej wariancji Nierówność Cramera-Rao Niech {P θ : θ Θ} będzie rodziną rozkładów, niech θ będzie parametrem liczbowym i niech Θ będzie przedziałem na prostej. Zakładamy, że dla każdego θ rozkład P θ ma gęstość p θ. Jeżeli spełnione są pewne warunki regularności, to nierówność D 2 θθ I 1 θ spełniona jest dla każdego estymatora nieobciążonego θ parametru θ Estymatory nieobciażone o minimalnej wariancji Efektywność Liczbę nazywamy efektywnościa estymatora θ eff(θ ) = I 1 θ Dθ 2θ Lemat Jeżeli spełnione są warunki regularności, to [ ] I θ = E θ 2 θ log p θ(x) 2 21

22 Model gaussowski Obliczamy I µ ( ) { n 1 p µ (x) = σ exp 1 2π 2σ 2 } (X i µ) 2 ( log p µ (x) = n log σ ) 2π 1 2σ 2 (X i µ) 2 Model gaussowski Zatem Ponieważ D 2 X = σ 2 /n, więc µ log p µ(x) = 1 σ 2 (X i µ) 2 µ 2 log p µ(x) = n σ 2 I µ = n σ 2 eff( X) = Antyprzykłady Zły estymator - ucięty rozkład Poissona Model pojedynczej obserwacji X: ({1, 2,...}, {P θ : θ > 0}) P θ {X = x} = θ x e θ x!(1 e θ ) Zadanie: oszacować e θ na podstawie jednej obserwacji 22

23 Zły estymator - ucięty rozkład Poissona T (X) jest ENMW [e θ ], jeżeli θ x e θ T (x) x!(1 e θ ) = e θ Rozwiązanie: x=1 T (x) = ( 1) x+1 Nie istnieje ENMW Model pojedynczej obserwacji X: (Z, {P θ : θ Z}) P θ {X = θ 1} = P θ {X = θ} = P θ {X = θ + 1} = 1 3 Estymator nieobciążony: ˆθ(X) = X Wariancja: D 2ˆθ = 2/3 Nie istnieje ENMW Niech a 0 + a 1 + a 2 = 0 oraz a 0, mod(x; 3) = 0 δ(x) = a 1, mod(x; 3) = 1 a 2, mod(x; 3) = 2 Niech θ (X) = X + δ(x) Nie istnieje ENMW E θ θ = θ ( θ Θ) ((a 2 1) 2 + a (a 1 + 1) 2 )/3, mod(θ; 3) = 0 Dθθ 2 = ((a 0 1) 2 + a (a 2 + 1) 2 )/3, mod(θ; 3) = 1 ((a 1 1) 2 + a (a 0 + 1) 2 )/3, mod(θ; 3) = 2 23

24 Nie istnieje ENMW θ Dθ 2ˆθ = 2/3 Dθ 2θ a 0 = 0.5, a 1 = 0.5, a 2 = ENW 3.1 Przykład wstępny EN W : przykład wstępny Wykonano 50 rzutów nieznaną monetą i otrzymano 32 orły. Jakie jest prawdopodobieństwo wyrzucenia orła w pojedynczym rzucie? EN W : przykład wstępny Model statystyczny rzutów monetą ({0, 1,..., 50}, {Bin (50, θ), θ [0, 1]}) Prawdopodobieństwo uzyskania 32 orłów w 50 rzutach ( ) 50 p θ (32) = θ 32 (1 θ) Dla jakiego θ uzyskanie 32 orłów jest najbardziej prawdopodobne? EN W : przykład wstępny 24

25 EN W : przykład wstępny Zasada wiarogodności Wybrać tę wartość parametru θ, dla której uzyskanie 32 orłów w 50 rzutach jest najbardziej prawdopodobne tzn. wartość θ maksymalizującą p θ (32) 3.2 Określenie Estymatory największej wiarogodności Wiarogodność Model statystyczny (X, B, {P θ, θ Θ}) Dla ustalonego x X wielkość nazywamy wiarogodnością parametru θ. L(θ; x) = p θ (x) Estymatory największej wiarogodności Estymator Największej Wiarogodności Jeżeli przy każdym ustalonym x X istnieje ˆθ = ˆθ(x) Θ takie, że L(ˆθ; x) L(θ; x) ( θ Θ), to odwzorowanie ˆθ : X Θ nazywamy estymatorem największej wiarogodności. 25

26 Estymatory największej wiarogodności Twierdzenie Jeżeli h : Θ Θ jest funkcją różnowartościową oraz ˆθ jest ENW [θ], to h(ˆθ) jest ENW [h(θ)]. ENW funkcji parametrycznej Jeżeli h : Θ Θ, to ENW [h(θ)] określamy jako h(ˆθ), gdzie ˆθ jest ENW [θ]. 3.3 Model dwupunktowy Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru θ: L(θ; x 1,..., x n ) = ( ( n )θ t (1 θ) n t t = t Znaleźć ˆθ maksymalizujące wiarogodność (t jest ustalone) Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] ˆθ jest rozwiązaniem równania ) x i dl(θ; x 1,..., x n ) dθ = 0 Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Zamiast L(θ; x 1,..., x n ) = ( n t) θ t (1 θ) n t łatwiej L(θ; x 1,..., x n ) = log L(θ; x 1,..., x n ) ( ) n = log + t log θ + (n t) log(1 θ) t 26

27 Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ] Mamy dl dθ = t θ n t 1 θ = 0 ENW [θ] = T n Estymator Największej Wiarogodności - przykład Model dwupunktowy: EN W [θ(1 θ)] ENW [θ(1 θ)] = ˆθ(1 ˆθ) gdzie ˆθ = ENW [θ] 3.4 Model Poissona Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru θ: L(θ; x 1,..., x n ) = (nθ)t x 1! x n! e (nθ) ( t = ) x i Znaleźć ˆθ maksymalizujące wiarogodność (t jest ustalone) Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] ˆθ jest rozwiązaniem równania dl(θ; x 1,..., x n ) dθ = 0 27

28 Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Zamiast L(θ; x 1,..., x n ) = (nθ)t x 1! x e (nθ) n! łatwiej L(θ; x 1,..., x n ) = log L(θ; x 1,..., x n ) = t log n + t log θ log(x i!) nθ Estymator Największej Wiarogodności - przykład Model Poissona: EN W [θ] Mamy dl dθ = t θ n = 0 ENW [θ] = T n Estymator Największej Wiarogodności - przykład Model Poissona: ENW [λ = e θ ] ENW [λ] = e θ(=== ozn λ) gdzie θ = ENW [θ] Estymator Największej Wiarogodności - przykład Model Poissona: ENW [λ] vs ENMW [λ] Ryzyko λ = ENW [λ] Ryzyko ˆλ = ENMW [λ] R λ(λ) = E θ ( λ λ) 2 = E θ λ2 2λE θ λ + λ 2 Rˆλ(λ) = E θ (ˆλ λ) 2 = D 2 θ ˆλ 2 28

29 Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) ( ) 2 E θ λ2 = e t (nθ) t n e nθ = e nθ (nθe 2 n ) t t! t! t=0 t=0 { ( )} = exp nθ 1 e 2 n = λ n(1 e n 2 ) E θ λ = e t (nθ) t n e nθ = e nθ (nθe 1 n ) t t! t! t=0 t=0 { ( )} = exp nθ 1 e 1 n = λ n(1 e n 1 ) Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) R λ(λ) = λ n(1 e 2 n ) 2λ 1+n(1 e 1 n ) + λ 2 Model Poissona: Rˆλ(λ) Rˆλ(λ) = D 2 λˆλ = λ (2 1 n) λ 2 Estymator Największej Wiarogodności - przykład Model Poissona: R λ(λ) vs Rˆλ(λ) 29

30 3.5 Model gaussowski Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Zaobserwowano X 1 = x 1,..., X n = x n. Wiarogodność parametru (µ, σ 2 ): ( ) { n 1 L(µ, σ 2 ; x 1,..., x n ) = σ exp 1 2π 2 ( ) } 2 xi µ σ Znaleźć ˆµ i ˆσ 2 maksymalizujące wiarogodność Estymator Największej Wiarogodności - przykład Model gaussowski:enw [µ] i ENW [σ 2 ] (ˆµ, ˆσ 2 ) jest rozwiązaniem równania { L(µ,σ 2 ;x 1,...,x n) µ = 0 L(µ,σ 2 ;x 1,...,x n) σ 2 = 0 Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Zamiast L(θ; x 1,..., x n ) łatwiej L(µ, σ 2 ; x 1,..., x n ) = log L(µ, σ 2 ; x 1,..., x n ) = n log 2π n 2 log σ2 1 2σ 2 (x i µ) 2 Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Mamy { L = 1 n µ σ 2 (x i µ) = 0 L = n n σ 2 2 σ 2 2σ 4 (x i µ) 2 = 0 30

31 Estymator Największej Wiarogodności - przykład Model gaussowski: ENW [µ] i ENW [σ 2 ] Otrzymujemy ENW [µ] = X ENW [σ 2 ] = 1 ( Xi n X ) 2 Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja wariancji Niech c > 0 oraz ( S 2 (c) = c Xi X ) 2 Ryzyko estymatora S 2 (c): ( R µ,σ 2 c ( Xi X ) ) 2 Dla jakiego c ryzyko jest jednostajnie najmniejsze? Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja ( wariancji ( R µ,σ 2 c Xi X ) ) 2 =E µ,σ 2 [ c ( Xi X ) 2 σ 2 ] 2 = σ 4 [ c 2 (n 2 1) 2c(n 1) + 1 ] Estymator Największej Wiarogodności - przykład Model gaussowski: estymacja wariancji R µ,σ 2(ENMW [σ 2 ]) = 2 n 1 σ4 31

32 R µ,σ 2(ENW [σ 2 ]) = 2n 1 n 2 σ 4 Estymator o jednostajnie najmniejszym ryzyku 1 n + 1 ( Xi X ) Asymptotyka Estymator Największej Wiarogodności Twierdzenie Niech p θ (x) spełniają pewne warunki regularności. Jeżeli X 1,..., X n są niezależnymi zmiennymi losowymi o tym samym rozkładzie o gęstości p θ (x), to równanie wiarogodności ma rozwiązanie ˆθ n (x 1,..., x n ) takie, że θ [p θ(x 1 ) p θ (x n )] = 0 Estymator Największej Wiarogodności Twierdzenie ( ) ε > 0 { } lim P θ ˆθn (X 1,..., X n ) θ < ε = 1 n n (ˆθn (X 1,..., X n ) θ) N (0, 1Iθ ). Definicja Estymator ˆθ n spełniający warunek ( ) nazywamy asymptotycznie efektywnym 3.7 Inne przykłady Inne przykłady Rodziny wykładnicze 32

33 Estymujemy parametr θ jednoparametrowej rodziny wykładniczej p θ (x) = exp{θt (x) b(θ)}. Wiarogodność { } L(θ; x 1,..., x n ) = exp θ T (x i ) nb(θ) Inne przykłady Rodziny wykładnicze Estymator Największej Wiarogodności ˆθ n = ENW [θ] istnieje i jest rozwiązaniem równania 1 T (x i ) = db(θ) n dθ Inne przykłady Rodziny wykładnicze Ponadto { } ε > 0 lim P θ ˆθn θ < ε = 1 n ( ) 1 n (ˆθn θ) N 0, I θ = Dθ 2T Inne przykłady ENW wyznaczony tylko numerycznie Model statystyczny (R +, {P θ : θ R + }) p θ (x) = θx θ 1 exp { x θ} 33

34 Inne przykłady ENW wyznaczony tylko numerycznie Rozkład próby ( n ) θ 1 { p θ (x 1,..., x n ) = θ x i exp Logarytm wiarogodności x θ i } L(θ; x 1,..., x n ) = n log θ + (θ 1) x i exp {θ log x i } Inne przykłady ENW wyznaczony tylko numerycznie Pochodna dl(θ; x 1,..., x n ) dθ = n θ + x i log x i exp {θ log x i } dl(θ; x 1,..., x n ) lim θ 0 dθ dl(θ; x 1,..., x n ) jest ciągła dθ = +, lim θ + dl(θ; x 1,..., x n ) dθ = Inne przykłady ENW wyznaczony tylko numerycznie Równanie wiarogodności ma rozwiązanie. Istnieje EN W [θ] dl(θ; x 1,..., x n ) dθ = 0 34

35 Inne przykłady ENW wyznaczony niejednoznacznie Model statystyczny ( { ( R, U θ 1 2, θ + 1 ) }) : θ R 2 Rozkład próby p θ (x 1,..., x n ) = { 1, gdy θ 1 2 x 1,..., x n θ + 1 2, 0, poza tym. Inne przykłady ENW wyznaczony niejednoznacznie Wiarogodność { 1, gdy x n:n 1 2 L(θ; x 1,..., x n ) = θ x 1:n + 1, 2 0, poza tym. x 1:n = min{x 1,..., x n }, x n:n = max{x 1,..., x n } Każda liczba z przedziału [ X n:n 1 2, X 1:n + 1 2] jest ENW [θ]. Inne przykłady ENW nie istnieje (model błędów grubych) Model statystyczny ( R, { Pµ,σ 2 : (µ, σ 2 ) R R + }) 1 p µ,σ 2(x) = (1 ε) exp { 12 } (x 2π µ)2 { 1 + ε σ 2π exp 1 ( ) } 2 x µ 2 σ 35

36 Inne przykłady ENW nie istnieje (model błędów grubych) Wiarogodność L(µ, σ 2 ; x 1,..., x n ) = Dla każdego M > 0 istnieją (µ, σ 2 ) takie, że n p µ,σ 2(x i ) L(µ, σ 2 ; x 1,..., x n ) > M 4 EMNK 4.1 Przykład wstępny EM N K: przykład wstępny Funkcja Cobba Douglasa W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K nakładem kapitału. Liczby A, α, β są pewnymi stałymi. Ekonomiści interesują się wielkościami A, α i β. EM N K: przykład wstępny Eksperyment W celu oceny nieznanych wielkości A, α, β prowadzone są obserwacje wielkości produkcji Z i przy różnych nakładach L i oraz K i, przy czym zakłada się, że obserwacje te obarczone są efektami losowymi ε i Z i = AL α i K β i + ε i, i = 1,..., n EM N K: przykład wstępny Eksperyment 36

37 EM N K: przykład wstępny Eksperyment EM N K: przykład wstępny Eksperyment EM N K: przykład wstępny Zasada najmniejszych kwadratów 37

38 Jako oszacowania nieznanych parametrów A, α, β przyjmuje się takie wartości, przy których błędy losowe są małe ε 2 i = (Z i AL α i K β i )2 = min! 4.2 Określenie Estymator najmniejszych kwadratów Model Obserwujemy zmienne losowe Y 1,..., Y n takie, że EY i = g i (θ), i = 1,..., n θ Θ R k g i : Θ R 1 są znanymi funkcjami Estymator najmniejszych kwadratów Kryterium S(θ) = (Y i g i (θ)) 2 Estymator najmniejszych kwadratów Wielkość ˆθ === ozn EMNK[θ] minimalizująca S(θ) 38

39 Resztowa suma kwadratów S(ˆθ) = (Y i g i (ˆθ)) Model liniowy Model liniowy Definicja Modelem liniowym nazywamy model statystyczny, w którym obserwacje Y 1,..., Y n mają postać Y i = β 1 x 1i + + β p x pi + ε i, i = 1,..., n gdzie x ji są ustalonymi liczbami, β j są nieznanymi parametrami modelu, ε i są niezależnymi błędami losowymi takimi, że Eε i = 0 oraz D 2 ε i = σ 2 Model liniowy Zapis macierzowy Y = Xβ + ε. Y = (Y 1,..., Y n ) β = (β 0, β 1,... β p ) ε = (ε 1,..., ε n ) x 11 x p1 x 12 x p2 X =.. x 1n x pn Założenie: macierz X jest pełnego rzędu Model liniowy Resztowa suma kwadratów ( S(β) = Y i ) 2 p β j x ji j=1 = (Y Xβ) (Y Xβ) = Y Y 2β X Y + β X Xβ S(β) β = 2X Y + 2X Xβ 39

40 Model liniowy Układ równań normalnych X Xβ = XY Estymator najmniejszych kwadratów EMNK[β] = (X X) 1 X Y === ozn ˆβ Uwaga geometryczna Xˆβ jest rzutem Y na {Xβ : β R p } (Y Xˆβ) X = 0 Model liniowy EM N K funkcji liniowej Jeżeli c R p, to EMNK[c β] = c ˆβ Przykład β 1 = [1, 0,, 0]β EMNK[β 1 ] = [1, 0,, 0]ˆβ 4.4 Przykłady Estymacja µ Zadanie Na podstawie obserwacji Y 1,..., Y n oszacować ich wartość oczekiwaną µ. Estymacja µ Model Y i = µ + ε i, i = 1,..., n Zapis macierzowy Estymator Y = [Y 1,..., Y n ], β = µ, X = 1 n EMNK[µ] = (X X) 1 X Y = Ȳ 40

41 Estymacja µ 1 µ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n1 o wartości oczekiwanej µ 1 oraz Y n1 +1,..., Y n o wartości oczekiwanej µ 2 oszacować µ 1 µ 2 Estymacja µ 1 µ 2 Model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Zapis macierzowy [ ] β 1n1 0 = [µ 1, µ 2 ], X = n1 0 n n1 1 n n1 Estymacja µ 1 µ 2 Estymator wektora β = [µ 1, µ 2 ] EMNK[β] = (X X) 1 X Y [ ] 1 [ n1 0 n1 = Y ] i 0 n n 2 i=n 1 +1 Y i [ 1 n1 n = 1 Y ] i 1 n n n 1 i=n 1 +1 Y i Estymacja µ 1 µ 2 Estymator różnicy µ 1 µ 2 Jeżeli c = [1, 1], to c β = µ 1 µ 2 EMNK[µ 1 µ 2 ] = 1 n 1 Y i 1 n 1 n n 1 Estymator średniej µ 1 Jeżeli c = [1, 0], to c β = µ 1 EMNK[µ 1 ] = 1 n 1 n 1 Y i i=n 1 +1 Y i 41

42 4.5 Własności Własności EM N K Nieobciażoność EMNK[β] jest estymatorem nieobciążonym o macierzy kowariancji σ 2 (X X) 1 E βˆβ = Eβ (X X) 1 X Y = (X X) 1 X E β Y = (X X) 1 X Xβ = β Własności EM N K Funkcja estymowalna Funkcję parametryczną c β nazywamy estymowalną, jeżeli istnieje jej estymator nieobciążony postaci b Y Twierdzenie Funkcja parametryczna c β jest estymowalna wtedy i tylko wtedy, gdy c ImX Własności EM N K Twierdzenie Gaussa Markowa Jeżeli błędy losowe ε 1,..., ε n są nieskorelowanymi zmiennymi losowymi o zerowej wartości oczekiwanej i takiej samej wariancji, to dla każdej estymowalnej funkcji parametrycznej c β i dla każdego nieobciążonego estymatora liniowego b Y tej funkcji zachodzi D 2 β(c ˆβ) D 2 β(b Y), β R p 4.6 Estymacja wariancji Estymacja wariancji σ 2 Resztowa suma kwadratów( ) 2 p S(ˆβ) = 2 Y i ˆβ j x ji = Y Xˆβ j=1 = (Y Xˆβ) (Y Xˆβ) = (Y X(X X) 1 X Y) (Y X(X X) 1 X Y) = Y (I X (X X) 1 X)(I X(X X) 1 X )Y = Y (I X(X X) 1 X )Y 42

43 Estymacja wariancji σ 2 Resztowa suma kwadratów E β,σ 2 Y Xˆβ 2 = E β,σ 2Y (I X(X X) 1 X )Y = tre β,σ 2(I X(X X) 1 X )YY = tr { (I X(X X) 1 X )E β,σ 2(YY ) } = σ 2 tr(i X(X X) 1 X ) = (n rzx)σ 2 Estymacja wariancji σ 2 EMNK[σ 2 ] ˆσ 2 = 1 n rzx Y (I X(X X) 1 X )Y Estymacja wariancji σ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n o wartości oczekiwanej µ oszacować ich wariancję σ 2. Estymacja wariancji σ 2 Model Y i = µ + ε i, i = 1,..., n Zapis macierzowy Y = [Y 1,..., Y n ], β = µ, X = 1 n rzx = 1 Estymacja wariancji σ 2 Estymator 43

44 ˆσ 2 = 1 n 1 Y (I 1 n 1 n1 n)y = 1 {Y Y 1n } n 1 (Y 1 n ) (1 n Y) ( = 1 ) Yi Y n 1 i n = 1 n 1 ( Yi Ȳ ) 2 Estymacja wariancji σ 2 Zadanie Na podstawie obserwacji Y 1,..., Y n1 o wartości oczekiwanej µ 1 i wariancji σ 2 oraz Y n1 +1,..., Y n o wartości oczekiwanej µ 2 i wariancji σ 2 oszacować σ 2 Estymacja wariancji σ 2 Model Y i = x i1 µ 1 + x i2 µ 2 + ε i, i = 1,..., n x i1 = 1, x i2 = 0 dla i = 1,..., n 1 x i1 = 0, x i2 = 1 dla i = n 1 + 1,..., n Zapis macierzowy [ ] β 1n1 0 = [µ 1, µ 2 ], X = n1 0 n n1 1 n n1 rzx = 2 Estymacja wariancji σ 2 Estymator 44

45 [ ] [ ] 1 [ ] (n 2)ˆσ 2 = Y (I ) 1n1 0 n1 n1 0 1 n1 0 n 2 0 n2 1 n2 0 n 2 0 n 1 1 Y n 2 ( ( n 1 = Y i 1 n1 )) 2 Y i + n 1 + ( Y i 1 n 2 ( i=n 1 +1 i=n 1 +1 )) 2 Y i 4.7 Własności probabilistyczne Rozkłady prawdopodobieństwa estymatorów Model Y = Xβ + ε β = (β 0, β 1,... β p ) ε = (ε 1,..., ε n ) N n (0, σ 2 I n ) EMNK s 2 = ˆσ 2 = ˆβ = (X X) 1 X Y 1 n rzx Y (I X(X X) 1 X )Y Rozkłady prawdopodobieństwa estymatorów Twierdzenie Jeżeli Y N n (Xβ, σ 2 I n ) oraz rzx = p, to ˆβ Np (β, σ 2 (X X) 1 ) (ˆβ β) X X(ˆβ β) σ 2 χ 2 p ˆβ jest niezależne od s 2 (n p)s 2 σ 2 χ 2 n p 45