STATYSTYKA MATEMATYCZNA WYKŁAD 2 ESTYMACJA PUNKTOWA

Transkrypt

1 STATYSTYKA MATEMATYCZNA WYKŁAD ESTYMACJA PUNKTOWA

2 Nech - ezay parametr rozkładu cechy X. Wartość parametru będzemy estymować (przyblżać) a podstawe elemetowej próby. - wyberamy statystykę U o rozkładze zależym od - oblczamy a podstawe próby jej wartość u - przyjmujemy, że u Statystykę U azywamy estymatorem parametru.

3 Klasyfkacja estymatorów. Estymator U jest: - zgody jeśl U wg prawdopodobeństwa - eobcążoy jeśl E ( U ) - asymptotycze eobcążoy jeśl lm E ( U ) - ajefektywejszy gdy jest eobcążoy ma ajmejszą warację w klase eobcążoych estymatorów tego parametru, - asymptotycze ajefektywejszy gdy jest eobcążoy lub asymptotycze eobcążoy jego waracja dąży do waracj estymatora ajefektywejszego. 3

4 Przykład Nech X N(m; ). Przyjmjmy, że mamy próbę (X, X, X 3, X 4 ). Zakładamy, że = jest zae, szukamy estymatora parametru m. Rozpatrzmy klka prostych estymatorów. U U ( X U U U U X X 4 X 3 3 X 4 ( X 3 X U 4 X 3 5 X X ) ) Sprawdzmy własośc tych estymatorów. 4

5 Polczmy wartośc oczekwae tych estymatorów (zbadamy czy są eobcążoe). EU m EU m EU m 3 m E U 4 3 EU 5 m EU 6 m Zatem estymatory U U 4 są obcążoe, ależy je odrzucć. 5

6 Polczmy waracje pozostałych estymatorów. D U 0, 5 D U 3 0, 5 D U 5, 5 D U 6 0, 3 Zatem estymator U 3 ma ajmejszą warację. 6

7 Estymatory parametrów rozkładu N(m, ). Parametr Estymator Własośc estymatora m X Zgody. Neobcążoy. Najefektywejszy. S Zgody. Asymptot. eobcążoy. Asymptot. ajefektywejszy. S Zgody. Neobcążoy. ˆ Asymptot. ajefektywejszy. 0 S Zgody. Neobcążoy. Najefektywejszy. S Ŝ Zgode. Asymptot. eobcążoe. Asymptot. ajefektywejsze. 0 S 7

8 Estymatory ych parametrów. Parametr Estymator Własośc estymatora Wartość oczekwaa (rozkład dowoly) (rozkład Possoa) p (rozkład zero-jedykowy) Waracja (rozkład dowoly) X X lczba W sukcesów = średa częstość sukcesu S S ˆ Zgody. Neobcążoy. Zgody. Neobcążoy. Najefektywejszy. Zgody. Neobcążoy. Najefektywejszy. Zgody. Asymptot. eobcążoy. Zgody. Neobcążoy. 8

9 Uwaga a) w praktyce zgodość estymatora sprawdza sę a podstawe praw welkch lczb lub korzysta sę z faktu, że estymator eobcążoy (asymptotycze eobcążoy), którego waracja dąży do zera (tz. lm D U 0 ) jest estymatorem zgodym. b) w praktyce efektywość estymatora bada sę a podstawe erówośc Rao-Cramera: 9

10 0 Dla (praktycze każdego) estymatora eobcążoego U prawdzwa jest erówość p p d d U D ) ( ) ( l dla zmeej losowej skokowej )d, ( f ), ( f l U D dla zmeej losowej cągłej

11 Przy czym dla estymatora ajefektywejszego zachodz rówość (jeśl steje estymator ajefektywejszy to prawe stroy powyższych erówośc są rówe jego waracj).

12 C. R. Rao (90 - ), Harald Cramér ( ), statystyk matematyk, statystyk,

13 3

14 Przykład Nech X N(m; ). Przyjmjmy, że estymatorem parametru m jest X. Sprawdzmy własośc tego estymatora. 4

15 5 Rozwązae: m m m X E X E X E ) ( zatem jest to estymator eobcążoy.

16 6 ) X ( D X D X D 0 lm lm X D zatem jest to estymator zgody.

17 f m (, m) e Wyzaczmy prawą stroę erówośc Rao-Cramera: 7

18 8 d m f m d m f m f m 4 4 ), ( ), ( ), ( l zatem jest to estymator ajefektywejszy.

19 Przykład Nech X N(m; ). Oblczymy S E, S 0 E, ˆ E S. 9

20 Rozwązae: E S E Y E ( ) S S E (estymator obcążoy) S bo statystyka ma rozkład ch kwadrat z stopam swobody, oraz wartość oczekwaa zmeej losowej o rozkładze ch kwadrat jest rówa lczbe stop swobody. 0

21 ˆ S E S E S E (estymator eobcążoy)

22 0 0 0 Y E S E S E S E (estymator eobcążoy)

23 Wosek S jest estymatorem asymptotycze eobcążoym parametru bowem: lm E S lm S ˆ jest estymatorem eobcążoym parametru. 0 S jest estymatorem eobcążoym parametru. 3

24 Przykład Nech X N(m; ). Oblczymy S D, S 0 D, ˆ D S. 4

25 Rozwązae: D S D S 4 D S bo statystyka S 4 ( ) ma rozkład ch kwadrat z stopam swobody, oraz waracja zmeej losowej o rozkładze ch kwadrat jest rówa podwojoej lczbe stop swobody. 5

26 6 ) ( ˆ 4 4 S D S D S D

27 7 S D S D S D

28 Wosek 0 Waracje estymatorów S, S ˆ, S dążą do zera gdy dąży do eskończoośc. Zatem S jest estymatorem zgodym parametru S ˆ jest estymatorem zgodym parametru. 0 S jest estymatorem zgodym parametru. 8

29 ( ) X-N(m,) D S D Sˆ 0,5 3 0, ,375 0, ,3 0,5 6 0, ,4 7 0, , ,875 0, , ,5 0 0,8 0, 0, , 0, , , , , , , , ,7875 0, , ,5 8 0, , , , 0 0,095 0,

30 Wyzaczae estymatorów metodą mometów (K.Pearso) Nezae momety teoretycze cechy X szacujemy przez momety emprycze tego samego rzędu. Estymatory uzyskae tą metodą są zwykle mało efektywe (zwłaszcza dla rozkładów asymetryczych). 30

31 Momety teoretycze: k mk E( X ) momet rzędu k zmeej losowej X (m = EX). k l mkl E( X Y ) momet rzędu k, l zmeej losowej (X, Y). 3

32 Momety emprycze: M M k k kl momet rzędu k cechy X (M = X ). k y l momet rzędu k, l jedocześe badaych cech (X, Y). Zatem przyjmujemy, że: m k M k oraz m kl M kl Parametry będące fukcjam mometów teoretyczych szacuje sę przez wartośc tych fukcj oblczoe dla mometów empryczych. 3

33 Przykład Dla rozkładu wykładczego z parametrem a mamy wartość oczekwaą rówą EX = m = /a. Poeważ przyjmujemy m M to /a X, zatem estymatorem parametru a jest. X 33

34 Przykład Dla rozkładu logarytmczo-ormalego LN(m; ) e f ( ) 0 (l m) dla dla mamy wartość oczekwaą rówą EX = m = e m warację D X = e 0 0 e m. Uwaga. Jeśl X ma rozkład LN(m; ) to zmea losowa Y = lx ma rozkład N(lm; ). 34

35 Poeważ przyjmujemy m M = X D X S to rozwązując układ rówań m e = X e e m = S otrzymamy l S X m l X zatem są to szukae estymatory. 35

36 Przykład Dla zmeej losowej dwuwymarowej współczyk korelacj możemy wyrazć za pomocą mometów Cov( X, Y) DX DY m 0 m m m 0 0 m zatem jego estymatorem może być: m 0 0 m 0 36

37 37 Y S X S X Y y y y y y M M M M M M M r

38 Estymatory uzyskae metodą mometów e zawsze są wyzaczoe jedozacze. Przykład Wyzaczymy metodą mometów estymator parametru rozkładu Possoa. Mamy próbę (X, X, X 3,..., X ). Skoro EX =, to X lecz D X =, stąd S mamy dwa róże estymatory tego samego parametru. 38

39 Wyzaczae estymatorów metodą ajwększej warygodośc (MNW) (R.A.Fsher) Dla uproszczea rozpatrujemy przypadek gdy ezay jest tylko jede parametr rozkładu. a) wyzaczamy fukcję warygodośc L( ;,,..., ) dla zmeej losowej skokowej L( ;,,..., ) p( ; dla zmeej losowej cągłej f ( ; ) ) 39

40 b) wyzaczamy logarytm fukcj warygodośc, l ) l( ;,,..., ) l L( ;,,..., ) ( c) wyzaczamy dla którego fukcja l ( ) ma maksmum (w tym celu oblczamy pochodą fukcj l ( ), wyzaczamy mejsce zerowe pochodej sprawdzamy czy w tym pukce perwsza pochoda odpowedo zmea zak lub druga pochoda jest ujema), d) przyjmujemy, że wyzaczoy w te sposób wzór a jest poszukwaym estymatorem. Uwaga ) Postać fukcj warygodośc wyka z welowymarowego rozkładu próby (gęstość/fukcja prawdopodobeństwa jest loczyem gęstośc/f.p brzegowych). ) Logarytmowae fukcj warygodośc wyka z potrzeb praktyczych. 3) Jeśl rozpatrujemy przypadek gdy ezaych jest wele parametrów rozkładu to postępujemy podobe stosując rachuek różczkowy fukcj welu zmeych. 40

41 Uwaga Estymatory uzyskae tą metodą są zwykle co ajmej zgode, asymptotycze eobcążoe asymptotycze ajefektywejsze. Warto też wedzeć, że estymatory uzyskae tą metodą mają asymptotyczy rozkład ormaly Uwaga Nech g będze fukcją rzeczywstą różowartoścową. Jeśl u jest estymatorem NW parametru to estymatorem NW parametru g( ) jest g(u ). Własość ta jest prawdzwa róweż dla przypadku welu parametrów. 4

42 Przykład Wyzaczymy MNW estymator parametru rozkładu jedostajego w [0; ], > 0. Mamy próbę (X, X, X 3,..., X ). Wtedy L( ) dla 0 l ( ) l l '( ) / 0 4

43 Zauważmy, że ma,,.. zatem L ( ) ma ajwększą wartość dla ma jest to szukay estymator NW.,,.. 43

44 Estymatory uzyskae MNW e zawsze są wyzaczoe jedozacze. Przykład Wyzaczymy MNW estymator parametru rozkładu jedostajego w [ ; + ]. Mamy próbę (X, X, X 3,..., X ). Wtedy L( ) dla jest fukcją stałą względem parametru. zatem każda wartość ma ;,,.. m,,.. może być szukaym estymatorem NW. 44

45 Przykład Wyzaczymy MNW estymator parametru rozkładu Possoa. Mamy próbę (X, X, X 3,..., X ). 45

46 Wtedy L( )!.. e... e e!!...!.. l l!...! l( ) l L( ).. l ( ) / ' 46

47 Wyzaczamy pukt krytyczy l'( ) / / 0 sprawdzamy stee maksmum l ''( ).. / 0 Zatem estymatorem parametru jest średa z próby. 47

48 Przykład Dla rozkładu logarytmczo-ormalego LN(m; ) wyzaczymy estymatory parametrów m;. f ( ) e 0 (l m) dla dla

49 49 m m m e e e m L ) (l ) (l ) (l... ), ( m m L m l ) (l ) l( l l ), ( l ), ( różczkując względem m otrzymamy l X S X m l zatem otrzymae estymatory są e ż w przypadku metody mometów.

50 Przykład zastosowaa estymacj Chcemy w dyskrety sposób (obawa karalośc) oceć odsetek k osób dających łapówk. Moża to zrobć astępująco. Pytaa osoba rzuca moetą wyk rzutu zachowuje do swojej wadomośc. Przygotowujemy dużą lczbę kart a połowe których jest pytae: "czy wypadł orzeł?" a a drugej połowe kart jest pytae "czy dajesz łapówk?". Karty losujemy. Pytay losuje kartę odpowada TAK (T) lub NIE a wylosowae pytae. Rozpatrywae dośwadczee ma rozkład zerojedykowy z ezaym parametrem p. Nech K wylosowae karty z pytaem r. Nech K wylosowae karty z pytaem r. Wtedy p = P(T) = P(K) P(T K) + P(K) P(T K) = = 0,5 0,5 + 0,5k Estymatorem dla p jest średa w. Stąd estymatorem k jest k w - 0,5. L.Kowalsk