Metody probabilistyczne

Transkrypt

1 Metody probabilistyczne 13. Elementy statystki matematycznej I Wojciech Kotłowski Instytut Informatyki PP / 30

2 Zagadnienia statystki Przeprowadzamy pewien eksperyment losowy, którego wynikiem są dane. Celem jest wyciągnięcie ogólnych wniosków na temat zbiorowości / zjawiska / procesu, z którego dane pochodzą. Wnioskowanie statystyczne jest podstawową metodologią badań w większości nauk (np. w medycynie, psychologii, ekonomii, fizyce eksperymentalnej), jak również stanowi bazę nowoczesnych metod sztucznej inteligencji (uczenie maszynowe) i analizy danych 2 / 30

3 Zagadnienia statystyki przykłady Sondaż wyborczy na próbie losowo wybranych osób celem oszacowania prawdziwego poparcia dla partii w całej populacji kraju Wnioskowanie o zmianach temperatury na podstawie pomiarów ze stacji pogodowych Sprawdzenie, czy istnieje zależność między danymi zjawiskami (np. palenie papierosów a zachorowalność na nowotworowy) Testowanie skuteczności nowego leku poprzez porównanie wyników próby badawczej (podajemy lek) i kontrolnej (podajemy placebo) Szacowanie czasu przejazdu po drogach na podstawie danych z GPS urządzeń mobilnych Badania marketingowe celem kierowania do konsumentów personalizowanych reklam 3 / 30

4 Próba i populacja Populacja (generalna) cała rozważana zbiorowość, np. wszyscy potencjalni wyborcy, wartości temperatur na całym globie, wszyscy możliwi pacjenci, itp. Próba zespół elementów wylosowany z populacji ( dane ), np. wyborcy wybrani do sondażu, wartości temperatur w stacjach pomiarowych, pacjenci wybrani do testowania leku, itp. 4 / 30

5 Próba i populacja Celem wnioskowania statystycznego jest wyciągnięcie wniosków o całej populacji na podstawie losowo wybranej próby 4 / 30

6 Próba i populacja Celem wnioskowania statystycznego jest wyciągnięcie wniosków o całej populacji na podstawie losowo wybranej próby Uwaga: Zakładamy, że próba jest reprezentatywna (każdy element populacji ma równe szanse na wejście do próby) i prosta (każdy element próby losowany niezależnie od pozostałych). 4 / 30

7 Populacja a rozkład prawdopodobieństwa Zwykle interesuje nas tylko konkretna cecha populacja, np. preferencje wyborcze, wysokość zarobków, temperatura, itp. 5 / 30

8 Populacja a rozkład prawdopodobieństwa Zwykle interesuje nas tylko konkretna cecha populacja, np. preferencje wyborcze, wysokość zarobków, temperatura, itp. 5 / 30

9 Populacja a rozkład prawdopodobieństwa Zwykle interesuje nas tylko konkretna cecha populacja, np. preferencje wyborcze, wysokość zarobków, temperatura, itp. 6/30 7/30 5/30 6/30 6/30 Zliczając częstości wystąpienia danej wartości cechy populację możemy traktować abstrakcyjnie jako rozkład prawdopodobieństwa cechy 5 / 30

10 Populacja a rozkład prawdopodobieństwa Zwykle interesuje nas tylko konkretna cecha populacja, np. preferencje wyborcze, wysokość zarobków, temperatura, itp. 6/30 7/30 5/30 6/30 6/30 Zliczając częstości wystąpienia danej wartości cechy populację możemy traktować abstrakcyjnie jako rozkład prawdopodobieństwa cechy Dla ciągłych cech modelujemy populację gęstością prawdopodobieństwa 5 / 30

11 Statystyka matematyczna Badaną cechę X modelujemy jako zmienną losową o pewnym rozkładzie P (na populacji) 6 / 30

12 Statystyka matematyczna Badaną cechę X modelujemy jako zmienną losową o pewnym rozkładzie P (na populacji) Próba o liczności n może być modelowana jako realizacje (wartości) n niezależnych zmiennych losowych o tym samym rozkładzie P X 1, X 2,..., X n 6 / 30

13 Statystyka matematyczna Badaną cechę X modelujemy jako zmienną losową o pewnym rozkładzie P (na populacji) Próba o liczności n może być modelowana jako realizacje (wartości) n niezależnych zmiennych losowych o tym samym rozkładzie P X 1, X 2,..., X n Obserwując próbę pochodzącą z nieznanego rozkładu P, wnioskujemy o interesujących nas własnościach tego rozkładu. 6 / 30

14 Rozkład empiryczny 6/30 7/30 5/30 6/30 6/30 7 / 30

15 Rozkład empiryczny 6/30 7/30 5/30 6/30 6/30 3/10 2/10 2/10 2/10 1/10 Rozkład empiryczny powstaje poprzez zliczenie częstości wystąpień poszczególnych wartości cechy na próbie. 7 / 30

16 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich z kandydatami A i B. W populacji kandydat A ma poparcie 60%, a B 40% 8 / 30

17 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich z kandydatami A i B. W populacji kandydat A ma poparcie 60%, a B 40% Niech X {0, 1} koduje poparcie kandydata A (X = 1) lub B (X = 0) 8 / 30

18 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich z kandydatami A i B. W populacji kandydat A ma poparcie 60%, a B 40% Niech X {0, 1} koduje poparcie kandydata A (X = 1) lub B (X = 0) Cecha X ma więc rozkład dwupunktowy z parametrem p = / 30

19 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich z kandydatami A i B. W populacji kandydat A ma poparcie 60%, a B 40% Niech X {0, 1} koduje poparcie kandydata A (X = 1) lub B (X = 0) Cecha X ma więc rozkład dwupunktowy z parametrem p = 0.6 Pobraliśmy próbę n = 10 elementów otrzymując wartości: 0, 1, 0, 1, 1, 1, 0, 0, 1, 0 8 / 30

20 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich z kandydatami A i B. W populacji kandydat A ma poparcie 60%, a B 40% Niech X {0, 1} koduje poparcie kandydata A (X = 1) lub B (X = 0) Cecha X ma więc rozkład dwupunktowy z parametrem p = 0.6 Pobraliśmy próbę n = 10 elementów otrzymując wartości: 0, 1, 0, 1, 1, 1, 0, 0, 1, 0 Rozkład empiryczny jest rozkładem dwupunktowym z parametrem p = 5 10 = / 30

21 Teoria estymacji W ramach tego wykładu zajmiemy się tylko zadaniem estymacji parametrów rozkładu Teoria estymacji zajmuje się szacowaniem interesujących parametrów rozkładu na populacji na podstawie próby 9 / 30

22 Teoria estymacji W ramach tego wykładu zajmiemy się tylko zadaniem estymacji parametrów rozkładu Teoria estymacji zajmuje się szacowaniem interesujących parametrów rozkładu na populacji na podstawie próby Przykład: Cecha w populacji ma rozkład normalny N(µ, σ 2 ), gdzie µ i σ 2 są nieznane. Szacujemy te wartości na podstawie próby. 9 / 30

23 Statystyka i estymator Próba: Niezależne zmienne losowe X 1, X 2,..., X n o rozkładzie P. 10 / 30

24 Statystyka i estymator Próba: Niezależne zmienne losowe X 1, X 2,..., X n o rozkładzie P. Statystka Statystyką T = T (X 1, X 2,..., X n ) nazywamy dowolną funkcję próby Uwaga: statystyka jest zmienną losową, ponieważ jest funkcją zmiennych losowych! 10 / 30

25 Statystyka i estymator Próba: Niezależne zmienne losowe X 1, X 2,..., X n o rozkładzie P. Statystka Statystyką T = T (X 1, X 2,..., X n ) nazywamy dowolną funkcję próby Uwaga: statystyka jest zmienną losową, ponieważ jest funkcją zmiennych losowych! Estymator Estymatorem = (X 1, X 2,..., X n ) nazywamy statystykę szacującą nieznany parametr θ rozkładu P Uwaga: estymator jest zmienną losową, więc ma swój rozkład, wartość oczekiwaną, wariancję, itp. 10 / 30

26 Przykład: szacowanie wartości oczekiwanej Załóżmy, że chcemy oszacować wartość oczekiwaną µ = EX rozkładu zmiennej losowej X. 11 / 30

27 Przykład: szacowanie wartości oczekiwanej Załóżmy, że chcemy oszacować wartość oczekiwaną µ = EX rozkładu zmiennej losowej X. Rozważmy estymator parametru µ będący średnią arytmetyczną próby µ = X n = 1 n X i n 11 / 30

28 Przykład: szacowanie wartości oczekiwanej Załóżmy, że chcemy oszacować wartość oczekiwaną µ = EX rozkładu zmiennej losowej X. Rozważmy estymator parametru µ będący średnią arytmetyczną próby Zgodnie z prawem wielkich liczb: µ = X n = 1 n X i n X n z pr. 1 µ, a więc zwiększając wielkość próby n do nieskończoności, estymator µ zbiega do prawdziwej wartości parametru µ. 11 / 30

29 Zgodność estymatora Estymator parametru θ nazywamy silnie zgodnym jeśli: z pr. 1 θ Estymator nazywamy słabo zgodnym jeśli P θ Zgodność estymatora oznacza, że zbiega on do prawdziwej wartości parametru, gdy rozmiar próby n rośnie do nieskończoności 12 / 30

30 Zgodność estymatora Estymator parametru θ nazywamy silnie zgodnym jeśli: z pr. 1 θ Estymator nazywamy słabo zgodnym jeśli P θ Zgodność estymatora oznacza, że zbiega on do prawdziwej wartości parametru, gdy rozmiar próby n rośnie do nieskończoności Wniosek: estymator µ = X n jest silnie zgodnym estymatorem wartości oczekiwanej µ = EX. 12 / 30

31 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich (kandydaci A 1 i B 0). Zmienna X {0, 1} (poparcie A) ma rozkład B(p), gdzie p = EX jest poparciem kandydata w populacji. 13 / 30

32 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich (kandydaci A 1 i B 0). Zmienna X {0, 1} (poparcie A) ma rozkład B(p), gdzie p = EX jest poparciem kandydata w populacji. Estymator wartości oczekiwanej p: p = 1 n X i n = #sukcesów w próbie n jest częstością sukcesów w próbie. 13 / 30

33 Przykład: preferencje wyborcze Rozważmy drugą turę wyborów prezydenckich (kandydaci A 1 i B 0). Zmienna X {0, 1} (poparcie A) ma rozkład B(p), gdzie p = EX jest poparciem kandydata w populacji. Estymator wartości oczekiwanej p: p = 1 n X i n = #sukcesów w próbie n jest częstością sukcesów w próbie. p jest silnie zgodnym estymatorem parametru p. 13 / 30

34 Metoda momentów Estymator wartości oczekiwanej X n jest przykładem zastosowania tzw. metody momentów: Chcąc oszacować moment rozkładu m k = E(X k ), użyjmy estymatora m k będącego odpowiednim momentem rozkładu empirycznego: m k = 1 n n (zamiast wartości oczekiwanej bierzemy średnią po próbie) X k i 14 / 30

35 Przykład: estymator wariancji Chcemy oszacować wariancję σ 2 = D 2 (X ) rozkładu zmiennej losowej X. 15 / 30

36 Przykład: estymator wariancji Chcemy oszacować wariancję σ 2 = D 2 (X ) rozkładu zmiennej losowej X. Ponieważ D 2 (X ) = E(X 2 ) (EX ) 2 = m 2 m1 2, bierzemy estymator wariancji: σ 2 = m 2 m 2 1 = 1 n n X 2 i (X n ) 2 15 / 30

37 Przykład: estymator wariancji Chcemy oszacować wariancję σ 2 = D 2 (X ) rozkładu zmiennej losowej X. Ponieważ D 2 (X ) = E(X 2 ) (EX ) 2 = m 2 m1 2, bierzemy estymator wariancji: σ 2 = m 2 m 2 1 = 1 n n X 2 i (X n ) 2 = 1 n n (X i X n ) 2 15 / 30

38 Przykład: estymator wariancji Chcemy oszacować wariancję σ 2 = D 2 (X ) rozkładu zmiennej losowej X. Ponieważ D 2 (X ) = E(X 2 ) (EX ) 2 = m 2 m1 2, bierzemy estymator wariancji: σ 2 = m 2 m 2 1 = 1 n n X 2 i (X n ) 2 = 1 n n (X i X n ) 2 Zadanie 1 Uzasadnij, ostatnią równość, tzn. pokaż wzór skróconego mnożenia: 1 n n (X i X n ) 2 = 1 n n X 2 i (X n ) 2 Zwróć uwagę na analogię do E ( (X EX ) 2) = E(X 2 ) (EX ) 2, tyle że zamiast uśredniać po rozkładzie, uśredniamy po próbie. 15 / 30

39 Przykład: estymator wariancji Chcemy oszacować wariancję σ 2 = D 2 (X ) rozkładu zmiennej losowej X. Ponieważ D 2 (X ) = E(X 2 ) (EX ) 2 = m 2 m1 2, bierzemy estymator wariancji: σ 2 = m 2 m 2 1 = 1 n n X 2 i (X n ) 2 = 1 n n (X i X n ) 2 Zadanie 2 Pokaż, że σ 2 jest silnie zgodny poprzez dwukrotne zastosowania prawa wielkich liczb do 1 n n X 2 i oraz do X n. 15 / 30

40 Estymator nieobciążony Zgodność estymatora jest własnością asymptotyczną: mówi o zachowaniu estymatora tylko dla bardzo dużych prób (n ) 16 / 30

41 Estymator nieobciążony Zgodność estymatora jest własnością asymptotyczną: mówi o zachowaniu estymatora tylko dla bardzo dużych prób (n ) Obciążenie estymatora Obciążeniem estymatora parametru θ nazywamy różnicę między wartością oczekiwaną estymatora a nieznaną wartością parametru: E() θ 16 / 30

42 Estymator nieobciążony Zgodność estymatora jest własnością asymptotyczną: mówi o zachowaniu estymatora tylko dla bardzo dużych prób (n ) Obciążenie estymatora Obciążeniem estymatora parametru θ nazywamy różnicę między wartością oczekiwaną estymatora a nieznaną wartością parametru: Estymator nieobciążony E() θ Estymator nazywamy nieobciążonym jeśli jego obciążenie jest równe zero, tzn: E() = θ Estymator średnio trafia w wybrany parametr. Uwaga: to ma sens, bo estymator jest zmienną losową, więc ma swoją wartość oczekiwaną! 16 / 30

43 Estymator nieobciążony Zgodnie z prawem wielkich liczb, wartość oczekiwaną estymatora E() można interpretować jako średnią wartość estymatora przy wielokrotnym losowaniu próby θ θ 17 / 30

44 Estymator nieobciążony Zgodnie z prawem wielkich liczb, wartość oczekiwaną estymatora E() można interpretować jako średnią wartość estymatora przy wielokrotnym losowaniu próby θ θ 17 / 30

45 Estymator nieobciążony Zgodnie z prawem wielkich liczb, wartość oczekiwaną estymatora E() można interpretować jako średnią wartość estymatora przy wielokrotnym losowaniu próby Estymator nieobciążony θ Estymator obciążony θ 17 / 30

46 Estymator wartości oczekiwanej Estymator wartości oczekiwanej µ = EX postaci: µ = X n = 1 n jest nieobciążony n X i 18 / 30

47 Estymator wartości oczekiwanej Estymator wartości oczekiwanej µ = EX postaci: µ = X n = 1 n jest nieobciążony n X i Dowód: E( µ) = E ( 1 n ) n X i 18 / 30

48 Estymator wartości oczekiwanej Estymator wartości oczekiwanej µ = EX postaci: µ = X n = 1 n jest nieobciążony n X i Dowód: E( µ) = E ( 1 n ) n X i = 1 n EX n }{{} i =µ 18 / 30

49 Estymator wartości oczekiwanej Estymator wartości oczekiwanej µ = EX postaci: µ = X n = 1 n jest nieobciążony n X i Dowód: E( µ) = E ( 1 n ) n X i = 1 n EX n }{{} i =µ = µ 18 / 30

50 Estymator wartości oczekiwanej Estymator wartości oczekiwanej µ = EX postaci: jest nieobciążony Dowód: E( µ) = E µ = X n = 1 n X i n ( 1 n ) n X i = 1 n EX n }{{} i =µ = µ (jest to przypomnienie z wykładu o twierdzeniach granicznych, gdzie już udowodniliśmy, że EX n = µ) 18 / 30

51 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n 19 / 30

52 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = 1 n n E(X 2 i ) E(X 2 n) = E(X 2 ) E(X 2 n) 19 / 30

53 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = 1 n n Ze wzoru skróconego mnożenia mamy: E(X 2 i ) E(X 2 n) = E(X 2 ) E(X 2 n) D 2 (X ) = E(X 2 ) (EX }{{}) 2, oraz D 2 (X n ) = E(X 2 n) (EX n ) 2, }{{} =µ =µ 19 / 30

54 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = 1 n n Ze wzoru skróconego mnożenia mamy: E(X 2 i ) E(X 2 n) = E(X 2 ) E(X 2 n) D 2 (X ) = E(X 2 ) (EX }{{}) 2, oraz D 2 (X n ) = E(X 2 n) (EX n ) 2, }{{} =µ =µ stąd: E( σ 2 ) = D 2 (X ) + µ 2 ( D 2 (X n ) + µ 2) = D 2 (X ) D 2 (X n ) 19 / 30

55 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = D 2 (X ) D 2 (X n ) 19 / 30

56 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = D 2 (X ) D 2 (X n ) Zauważmy, że: D 2 (X ) = σ 2 19 / 30

57 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = D 2 (X ) D 2 (X n ) Zauważmy, że: D 2 (X ) = σ 2 ( 1 D 2 (X n ) = D 2 n ) n X i 19 / 30

58 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = D 2 (X ) D 2 (X n ) Zauważmy, że: D 2 (X ) = σ 2 ( 1 D 2 (X n ) = D 2 n ) n X i = 1 n n 2 D 2 (X i ) = }{{} σ 2 σ 2 n 19 / 30

59 Estymator wariancji Wyznacz obciążenie estymatora wariancji σ 2 = D 2 (X ) postaci: σ 2 = 1 n (X i X n ) 2 = 1 n Xi 2 n n X 2 n Odpowiedź: E( σ 2 ) = D 2 (X ) D 2 (X n ) Zauważmy, że: D 2 (X ) = σ 2 ( ) 1 n D 2 (X n ) = D 2 X i = 1 n n n 2 D 2 (X i ) = }{{} σ 2 Stąd: E( σ 2 ) = σ 2 σ2 n = n 1 n σ2 σ 2 Estymator wariancji σ 2 jest obciążony (niedoszacowuje!) σ 2 n 19 / 30

60 Ratujemy estymator wariancji Pokazaliśmy, że: E( σ 2 ) = n 1 n σ2, gdzie σ 2 = 1 n n (X i X n ) 2 20 / 30

61 Ratujemy estymator wariancji Pokazaliśmy, że: E( σ 2 ) = n 1 n σ2, gdzie σ 2 = 1 n Modyfikujemy estymator wariancji: n (X i X n ) 2 σ 2 = 1 n 1 n (X i X n ) 2 = n n 1 σ2 20 / 30

62 Ratujemy estymator wariancji Pokazaliśmy, że: E( σ 2 ) = n 1 n σ2, gdzie σ 2 = 1 n Modyfikujemy estymator wariancji: n (X i X n ) 2 σ 2 = 1 n 1 n (X i X n ) 2 = n n 1 σ2 Nowy estymator jest nieobciążony, ponieważ: E( σ 2 ) = E ( ) n n 1 σ2 = n n 1 E( σ2 ) = n n 1 n 1 n σ2 = σ 2 20 / 30

63 Podsumowanie Nieobciążony estymator wartości średniej µ = EX : µ = X n = 1 n X i n Nieobciążony estymator wariancji σ 2 = D 2 (X ): σ 2 = 1 n 1 n (X i X n ) 2 21 / 30

64 Podsumowanie Nieobciążony estymator wartości średniej µ = EX : µ = X n = 1 n X i n Nieobciążony estymator wariancji σ 2 = D 2 (X ): σ 2 = 1 n 1 n (X i X n ) 2 Zadanie 3 Niech µ = n c i X i będzie estymatorem wartości oczekiwanej µ = EX dla pewnych współczynników c 1,..., c n niezależnych od danych. Jaki warunek muszą spełniać te stałe, aby estymator był nieobciążony? 21 / 30

65 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny 22 / 30

66 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 22 / 30

67 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 Mamy: E( µ 1 ) = EX 1 = µ (estymator nieobciążony!) 22 / 30

68 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 Mamy: E( µ 1 ) = EX 1 = µ (estymator nieobciążony!) Ale ten estymator odrzuca wszystkie elementy próby poza X 1! 22 / 30

69 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 Mamy: E( µ 1 ) = EX 1 = µ (estymator nieobciążony!) Ale ten estymator odrzuca wszystkie elementy próby poza X 1! Np. przy szacowaniu poparcia kandydata A w wyborach, µ 1 zwraca wartość równą pierwszemu elementowi próby, czyli 0 lub 1! 22 / 30

70 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 Mamy: E( µ 1 ) = EX 1 = µ (estymator nieobciążony!) Ale ten estymator odrzuca wszystkie elementy próby poza X 1! Np. przy szacowaniu poparcia kandydata A w wyborach, µ 1 zwraca wartość równą pierwszemu elementowi próby, czyli 0 lub 1! Średnio jest to poprawne (równe prawdziwemu poparciu), ale jest to raczej kiepskie oszacowanie poparcia. 22 / 30

71 Brak obciążenia nie wystarcza Łatwo uzyskać estymator nieobciążony, który jest trywialny Rozważmy estymator wartości oczekiwanej postaci µ 1 = X 1 Mamy: E( µ 1 ) = EX 1 = µ (estymator nieobciążony!) Ale ten estymator odrzuca wszystkie elementy próby poza X 1! Np. przy szacowaniu poparcia kandydata A w wyborach, µ 1 zwraca wartość równą pierwszemu elementowi próby, czyli 0 lub 1! Średnio jest to poprawne (równe prawdziwemu poparciu), ale jest to raczej kiepskie oszacowanie poparcia. Potrzebujemy innych kryteriów oceny estymatorów 22 / 30

72 Wariancja estymatora Chcemy, aby nieobciążony estymator miał jak najmniejszą wariancję D 2 () θ θ 23 / 30

73 Wariancja estymatora Chcemy, aby nieobciążony estymator miał jak najmniejszą wariancję D 2 () Estymator nieobciążony Estymator nieobciążony θ θ 23 / 30

74 Wariancja estymatora Chcemy, aby nieobciążony estymator miał jak najmniejszą wariancję D 2 () Estymator nieobciążony Duża wariancja θ Estymator nieobciążony Mała wariancja θ 23 / 30

75 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) 24 / 30

76 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) Ściślej powinno być: efektywniejszy lub tak samo efektywny jak 24 / 30

77 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) Ściślej powinno być: efektywniejszy lub tak samo efektywny jak Warunek dla każdego θ jest potrzebny, ponieważ wariancje estymatorów mogą zależeć od parametru rozkładu 24 / 30

78 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) Ściślej powinno być: efektywniejszy lub tak samo efektywny jak Warunek dla każdego θ jest potrzebny, ponieważ wariancje estymatorów mogą zależeć od parametru rozkładu Relacja efektywności dotyczy tylko estymatorów nieobciążonych 24 / 30

79 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) Ściślej powinno być: efektywniejszy lub tak samo efektywny jak Warunek dla każdego θ jest potrzebny, ponieważ wariancje estymatorów mogą zależeć od parametru rozkładu Relacja efektywności dotyczy tylko estymatorów nieobciążonych Relacja efektywności jest porządkiem częściowym, tzn. dwa estymatory mogą być nieporównywalne w sensie efektywności 24 / 30

80 Relacja efektywności Rozważmy dwa estymatory nieobciążone 1 i 2 parametru θ. Mówimy, że 1 jest efektywniejszy od estymatora 2, jeśli dla każdej wartości parametru θ. D 2 ( 1 ) D 2 ( 2 ) Ściślej powinno być: efektywniejszy lub tak samo efektywny jak Warunek dla każdego θ jest potrzebny, ponieważ wariancje estymatorów mogą zależeć od parametru rozkładu Relacja efektywności dotyczy tylko estymatorów nieobciążonych Relacja efektywności jest porządkiem częściowym, tzn. dwa estymatory mogą być nieporównywalne w sensie efektywności Estymator nieobciążony efektywniejszy od wszystkich innych estymatorów nieobciążonych (jeśli istnieje) nazywamy estymatorem efektywnym 24 / 30

81 Przykład Dla próby losowej X 1, X 2,..., X n rozważmy rodzinę estymatorów wartości oczekiwanej µ postaci: µ k = 1 k k X i, k = 1,..., n (czyli µ k bierze średnią z k pierwszych elementów próby) 25 / 30

82 Przykład Dla próby losowej X 1, X 2,..., X n rozważmy rodzinę estymatorów wartości oczekiwanej µ postaci: µ k = 1 k k X i, k = 1,..., n (czyli µ k bierze średnią z k pierwszych elementów próby) E( µ k ) = 1 k k EX }{{} i µ = µ (nieobciążone) 25 / 30

83 Przykład Dla próby losowej X 1, X 2,..., X n rozważmy rodzinę estymatorów wartości oczekiwanej µ postaci: µ k = 1 k k X i, k = 1,..., n (czyli µ k bierze średnią z k pierwszych elementów próby) E( µ k ) = 1 k EX i = µ (nieobciążone) k }{{} µ D 2 ( µ k ) = 1 k k 2 D 2 σ 2 (X i ) = }{{} k σ 2 25 / 30

84 Przykład Dla próby losowej X 1, X 2,..., X n rozważmy rodzinę estymatorów wartości oczekiwanej µ postaci: µ k = 1 k k X i, k = 1,..., n (czyli µ k bierze średnią z k pierwszych elementów próby) E( µ k ) = 1 k EX i = µ (nieobciążone) k }{{} µ D 2 ( µ k ) = 1 k k 2 D 2 σ 2 (X i ) = }{{} k σ 2 Estymator µ n = X n jest najefektywniejszy, a µ 1 = X 1 najmniej efektywny 25 / 30

85 Zadanie Zadanie 4 Rozważ estymator wartości oczekiwanej µ postaci: µ = n c i X i, dla pewnych współczynników c 1,..., c n (niezależnych od danych). Załóżmy, że µ jest nieobciążony (patrz zadanie 3). Dla jakich wartości c 1,..., c n ma on najmniejszą wariancję? 26 / 30

86 Czy estymator może mieć dowolnie małą wariancję? 27 / 30

87 Czy estymator może mieć dowolnie małą wariancję? Nierówność Craméra-Rao Niech będzie nieobciążonym estymatorem parametru θ wyznaczonym z próby X 1, X 2,..., X n. Zdefiniujmy funkcję informacji Fishera I (θ) jako: Dla rozkładów dyskretnych: ( ( ) ln p(x ) 2 ) I (θ) = E, gdzie p(x) jest prawd. wartości x θ Dla rozkładów ciągłych: ( ( ) ln f (X ) 2 ) I (θ) = E, gdzie f (x) jest gęstością θ Wtedy: D 2 () 1 ni (θ) 27 / 30

88 Czy estymator może mieć dowolnie małą wariancję? Nierówność Craméra-Rao Niech będzie nieobciążonym estymatorem parametru θ wyznaczonym z próby X 1, X 2,..., X n. Zdefiniujmy funkcję informacji Fishera I (θ) jako: Dla rozkładów dyskretnych: ( ( ) ln p(x ) 2 ) I (θ) = E, gdzie p(x) jest prawd. wartości x θ Dla rozkładów ciągłych: ( ( ) ln f (X ) 2 ) I (θ) = E, gdzie f (x) jest gęstością θ Wtedy: D 2 () 1 ni (θ) Dowód Dowód znajduje się w materiałach dodatkowych 27 / 30

89 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 28 / 30

90 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 ( ) 1 Mamy: ln f (x) = ln 2πσ 2 (x µ)2 2σ 2 28 / 30

91 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 ( ) 1 (x µ)2 Mamy: ln f (x) = ln 2πσ 2 2σ 2 ln f (x) = ( ) (x µ) 2 µ µ 2σ 2 = 28 / 30

92 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 ( ) 1 (x µ)2 Mamy: ln f (x) = ln 2πσ 2 2σ 2 ln f (x) = ( ) (x µ) 2 µ µ 2σ 2 = x µ σ 2 28 / 30

93 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 ( ) 1 (x µ)2 Mamy: ln f (x) = ln 2πσ 2 2σ 2 ln f (x) = ( ) (x µ) 2 µ µ 2σ 2 = x µ σ 2 ( (X ) ) µ 2 I (µ) = E σ 2 = 28 / 30

94 Przykład Załóżmy że X ma rozkład normalny N(µ, σ 2 ) i chcemy estymować µ f (x) = { } 1 exp (x µ)2 2πσ 2 2σ 2 ( ) 1 (x µ)2 Mamy: ln f (x) = ln 2πσ 2 2σ 2 ln f (x) = ( ) (x µ) 2 µ µ 2σ 2 = x µ σ 2 ( (X ) ) µ 2 I (µ) = E σ 2 = 1 ( σ 4 E (X µ) 2) = }{{} σ 2 1 σ 2 28 / 30

95 Przykład c.d. X N(µ, σ 2 ), I (µ) = 1 σ 2 Z nierówności Craméra-Rao wynika więc, że dla dowolnego nieobciążonego estymatora µ wartości oczekiwanej µ: D 2 ( µ) 1 ni (µ) = 1 n1/σ 2 = σ2 n. 29 / 30

96 Przykład c.d. X N(µ, σ 2 ), I (µ) = 1 σ 2 Z nierówności Craméra-Rao wynika więc, że dla dowolnego nieobciążonego estymatora µ wartości oczekiwanej µ: D 2 ( µ) 1 ni (µ) = 1 n1/σ 2 = σ2 n. Ale wiemy, że estymator X n jest nieobciążony i ma wariancję σ2 n! 29 / 30

97 Przykład c.d. X N(µ, σ 2 ), I (µ) = 1 σ 2 Z nierówności Craméra-Rao wynika więc, że dla dowolnego nieobciążonego estymatora µ wartości oczekiwanej µ: D 2 ( µ) 1 ni (µ) = 1 n1/σ 2 = σ2 n. Ale wiemy, że estymator X n jest nieobciążony i ma wariancję σ2 n! Wniosek: Estymator µ = X n wartości oczekiwanej µ jest efektywny jeśli X ma rozkład normalny. 29 / 30

98 Zadanie Zadanie 4 Pokaż, że funkcja informacji Fishera I (p) dla rozkładu dwupunktowego B(p) ma postać: 1 I (p) = p(1 p) Następnie pokaż, że estymator X n wartości oczekiwanej p jest efektywny dla tego rozkładu 30 / 30