1 Wioskowaie statystycze podstawowe poj cia 1.1 arametry rozkªadu, próba losowa We wioskowaiu statystyczym próbujemy a podstawie losowej próbki z pewej populacji wioskowa a temat caªej populacji. Mo»emy a przykªad zmierzy wzrost 50 losowo wybraych studetów i a podstawie otrzymaych wyików wioskowa a temat warto±ci ±rediej czy wariacji tego wzrostu w±ród wszystkich studetów. Do modelowaia takiej sytuacji u»ywa si zazwyczaj ast puj cego formalizmu. Zakªadamy,»e cecha, któr badamy ma pewie iezay rozkªad pochodz cy ze zaej rodziy rozkªadów D {θ Θ : θ }, gdzie θ Ω, F, θ } parametryzowaej przez parametr θ. Chocia» ie zamy θ, a zatem tak»e rozkªadu θ, to jedak co± o im wiemy. Zamy miaowicie warto±ci ci gu zmieych losowych X 1,..., X o rozkªadzie θ. Taki ci g azywamy prób losow. Je±li zmiee te s iezale»e, to mówimy o próbie prostej. rzykªad: W przykªadzie ze wzrostem studetów mogliby±my zaªo»y,»e wzrost ma rozkªad ormaly o iezaej warto±ci ±rediej µ i wariacji σ co oczywi±cie z wielu powodów ie ma szasy by prawd, ale zapewe jest iezªym przybli»eiem. Mogliby±my wtedy przyj Θ 0, [0, i D {µ, σ Θ : N µ, σ }. Wyiki pomiaru wzrostu 50 studetów mo»emy modelowa zmieymi losowymi X 1,..., X 50. Wszystkie X i maj te sam rozkªad N µ, σ, przy czym warto±ci µ ai σ ie zamy. Ci g X 1,..., X 50 jest w tym przypadku prób losow. O ile ie losujemy studetów ze zwracaiem próba ta w ogólym przypadku ie jest prosta dlaczego?, ale te» ie popeªimy z reguªy du»ego bª du zakªadaj c,»e jest. 1. odstawowe problemy Naszym celem jest wioskowaie a temat parametru θ a podstawie warto±ci zmieych X 1,..., X 50. Zajmiemy si m.i. ast puj cymi trzema problemami: Estymacja puktowa: oda warto± parametru θ. Estymacja przedziaªowa: oda maªy przedziaª, który zawiera parametr θ. Testowaie hipotez: Odpowiedzie a pytaie w rodzaju: Czy θ > a?. Oczywi±cie rozwi zaie pierwszego z tych problemów w prosty sposób prowadzi do rozwi zaia pozostaªych dwóch. Nie ma to jedak wi kszego zaczeia, poiewa»»adego z tych problemów w ogólym przypadku rozwi za si ie da. Mo»a je jedak rozwi zywa w przybli»eiu, tz. opracowa metody, które: podaj dobre oszacowaia warto±ci parametru θ, podaj maªy przedziaª, który z du»ym prawdopodobie«stwem zawiera parametr θ, pozwalaj w sesowy sposób odpowiada a pytaia w rodzaju: Czy θ > a?. sªowa dobre i sesowy zosta sprecyzowae w dalszej cz ±ci wykªadu. Omówieiem takich wªa±ie metod zajmiemy si w kilku kolejych wykªadach. 1.3 Statystyki i estymatory Zaim przejdziemy do estymacji puktowej, zdeiujemy dwa fudametale poj cia: statystyk i estymator. Statystyk azywamy dowol fukcj SX 1,..., X próby losowej. Statystykami s a przykªad mix 1,..., X, maxx 1,..., X,, ale te» X 1 + 5X3 oraz 10003 + X 1 X X 5. Statystyki s oczywi±cie zmieymi losowymi, okre±loymi a tej samej przestrzei co X 1,..., X. 1
Estymatorem parametru θ Θ azywamy dowol statystyk przyjmuj c warto±ci w Θ. Ta deicja ie iesie zbyt wiele tre±ci. Ituicyjie, estymator parametru θ to taka statystyka, której rzeczywi±cie u»ywamy do szacowaia warto±ci θ wielu autorów u»ywa tego sformuªowaia jako deicji estymatora, ale trudo azwa je deicj. Uwaga: Mo»e si zdarzy,»e iteresuje as ie caªy parametr θ, a jedyie iektóre jego skªadowe. Mo»e as, a przykªad, iteresowa ±redi wzrost studetów, ale ie wariacja wzrostu. oj cia estymatora w oczywisty sposób przeosi si a t sytuacj. Mo»a te» mowi o estymacji puktowej, przedziaªowej i testowaiu hipotez. Estymacja puktowa W tym rozdziale postaramy si u±ci±li poj cie "dobrego oszacowaia", które pojawiªo si we wcze±iejszych rozwa»aiach. W ogólym przypadku rozkªad, z którego pochodzi próba losowa jest zale»y od pewego parametru θ, i te wªa±ie parametr staramy si "dobrze oszacowa ". W tym rozdziale, dla uproszczeia, ograiczymy si do estymacji warto±ci oczekiwaej i wariacji, ale podobe rozwa»aia mo»a przeprowadza tak»e w iych przypadkach patrz wiczeia..1 Estymacja warto±ci oczekiwaej W jaki sposób oszacowa ieza warto± ±redi populacji µ, je±li mamy da prób losow X 1,..., X. Naturalym pomysªem jest u»ycie ast puj cego estymatora ˆµ 1 X 1,..., X, ale ka»dy z poi»szych pomysªów te» wydaje si dziaªa ieajgorzej ˆµ X 1,..., X X 1, ˆµ 3 X 1,..., X / /, ˆµ 4 X 1,..., X α ix i, gdzie α i > 0 i α i 1, ˆµ 5 X 1,..., X ˆµ 6 X 1,..., X 1, + 1. Ka»dy z estymatorów ˆµ ˆµ 6 ituicyjie wydaje si gorszy od ˆµ 1, ale dla wi kszo±ci z ich trudo powiedzie dlaczego. Uwaga: rzyj li±my tu i b dziemy przyjmowa w dalszej cz ±ci tego wykªadu do± popular w literaturze umow polegaj c a ozaczaiu estymatorów parametru θ symbolem ˆθ, w tym przypadku estymatorów warto±ci oczekiwaej µ symbolem ˆµ z odpowiedim ideksem. Uwaga: Ka»da z deicji ˆµ 1 ˆµ 6 opisuje tak aprawd caªy ci g estymatorów parametryzowa rozmiarem próby. Dla uproszczeia, ie b dziemy tego faktu z reguªy zazacza explicite. Warto o tym jedak pami ta..1.1 Estymatory ieobci»oe Obliczmy warto± oczekiwa estymatora ˆµ 1. E ˆµ 1 X 1,..., X E X i EX i µ µ,
a zatem warto±ci oczekiwa tego estymatora jest warto± estymowaej wielko±ci t.j. µ. Mówimy,»e ˆµ 1 jest ieobci»oym estymatorem µ. W ogólym przypadku mówimy,»e ˆθ jest ieobci»oym ag. ubiased estymatorem θ, je±li E ˆθ θ. Ró»ic E ˆθ θ azywamy obci»eiem ag. bias estymatora, w przypadku estymatorów ieobci»oych jest oa rówa 0. Nieobci»oo± wydaje si bardzo atural i po» da wªaso±ci estymatora. Zwró my uwag,»e estymatory ˆµ 5 i ˆµ 6 ie s ieobci»oe i z tego wªa±ie powodu uwa»amy je za gorsze od ˆµ 1. W praktyce poj cie ieobci»oo±ci okazuje si jedak iejedokrotie zbyt rygorystycze co mo»a zobaczy a ast puj cym przykªadzie. Zadaie rzeprowadzamy s badaia rozkªadu liczby telefoów a miut w helpdesku. Zakªadamy,»e rozkªad liczby telefoów a miut jest rozkªadem oissoa o iezaym parametrze λ. rzypu±my,»e iteresuje as estymacja prawdopodobie«stwa p tego,»e w ci gu dwóch kolejych miut ie odbierzemy»adego telefou. oka»,»e dla próby jedoelemetowej, jedyy estymator ieobci»oy tego prawdopodobie«stwa to ˆpX 1 1 X1. rzykªad te pokazuje,»e estymatory ieobci»oe iekoieczie s lepsze od obci»oych. W sytuacji z zadaia du»o sesowiejszy jest a przykªad estymator otrzymay metod ajwi kszej wiarygodo±ci omówio w dalszej cz ±ci wykªadu ˆpX 1 e X1. Dobrym osªabieiem poj cia ieobci»oo±ci jest tzw. asymptotycza ieobci»oo±. Mówimy,»e estymator θ ˆ X 1,..., X a wªa±ciwie ci g estymatorów zobacz uwaga w poprzedim podrozdziale jest asymptotyczie ieobci»oy, je±li lim E ˆθ X 1,..., X θ. Zwró my uwag,»e estymator ˆµ 5 jest asymptotyczie ieobci»oy chocia» ie jest ieobci -»oy..1. Estymatory zgode W deicji asymptotyczej ieobci»oo±ci dla estymatora ˆθ obserwowali±my zachowaie E ˆθ X 1,..., X dla. Naturale wydaje si jedak wymagaie, aby ie tylko E ˆθ X 1,..., X θ, ale tak»e ˆθ X 1,..., X θ dla. Estymator ˆθ parametru θ azywamy estymatorem sªabo zgodym je±li dla dowolego ε > 0 lim ˆθ X 1,..., X θ < ε 1. Uwaga: Deicja ta zapewe przypomia czytelikowi jak si za chwil oka»e sªuszie sªabe prawo wielkich liczb. Mo»a te» wprowadzi moc wersj tej deicji» daj c aby lim ˆθ X 1,..., X θ 1. Sprawd¹my, czy asze estymatory warto±ci oczekiwaej ˆµ 1 ˆµ 6 s zgode. Zaczijmy od ˆµ 1. Musimy sprawdzi, czy dla dowolego ε > 0 zachodzi lim X i µ < ε 1, ale to jest dokªadie teza sªabego prawa wielkich liczb z mocego prawa wielkich liczb wyika w aalogiczy sposób,»e ˆµ 1 jest zgody w mocym sesie. odobie mo»a pokaza,»e zgode s estymatory ˆµ 3, ˆµ 4 i ˆµ 5. Nie jest zgody estymator ˆµ i to jest jego gªówa wada poiewa» estymator te korzysta jedyie z warto±ci X 1 jako± estymacji ie poprawia si wraz ze wzrostem rozmiaru próby. Zadaie Z aszych rozwa»a«wyika,»e estymator ieobci»oy mo»e ie by zgody estymator ˆµ. odaj przykªad estymatora zgodego, który ie jest awet asymptotyczie ieobci»oy. 3
.1.3 Efektywo± Nasz dotychczasowe rozwa»aia ie pozwalaj porówa estymatorów ˆµ 1, ˆµ 3 i ˆµ 4. Ituicyjie wydaje si,»e estymator ˆµ 1 ajefektywiej wykorzystuje warto±ci zmieych X 1,..., X sumuj c wszystkie z jedakowymi wspóªczyikami. Jak za chwil zobaczymy, ma dzi ki temu ajmiejsz wariacj. Zaczijmy od obliczeia wariacji ˆµ 1. Niech σ b dzie wariacj rozkªadu, z którego pochodzi asza próba X 1,..., X. Wtedy Varˆµ 1 Var X i Var X i σ σ. Aalogicze obliczeia dla pozostaªych dwóch estymatorów daj oraz Varˆµ 3 σ / Varˆµ 4 αi σ. Zadaie oka»,»e wyra»eie opisuj ce wariacj estymatora ˆµ 4 przyjmuje warto± ajmiejsz, gdy wszystkie α i 1/, tz. gdy ˆµ 4 ˆµ 1. Je±li ˆθ 1 i ˆθ s dwoma ieobci»oymi estymatorami pewego parametru θ i Varˆθ 1 < Varˆθ, to mówimy,»e ˆθ 1 jest efektywiejszy od ˆθ. A zatem estymator ˆµ 1 ie tylko ituicyjie efektywiej wykorzystuje warto±ci zmieych X 1,..., X ale te» jest jest efektywiejszy od ˆµ 3 i ˆµ 4 w sesie powy»szej deicji. Warto w tym miejscu zwróci uwag,»e porówywaie wariacji estymatorów o ró»ym obci»eiu iekoieczie ma ses. Dlatego poj cie efektywo±ci deiujemy tylko dla estymatorów ieobci»oych. Czasem rozszerza si je a estymatory asymptotyczie ieobci»oe. W ogólym przypadku wygodie jest bada tzw. ±redi bª d kwadratowy estymatora ag. mea square error, w skrócie MSE zdeioway ast puj co MSEˆθ EˆθX 1,..., X θ. Ozaczaj c dla uproszczeia rachuków ˆθX 1,..., X przez ˆθ mamy MSEˆθ Eˆθ θ Eˆθ Eˆθ+Eˆθ θ Eˆθ Eˆθ +Eˆθ EˆθEˆθ θ+eeˆθ θ. ierwszy z wyrazów tej sumy jest wariacj ˆθ, ostati jest rówy kwadratowi obci»eia ˆθ, a ±rodkowy, jak ªatwo zauwa»y, jest rówy zeru. A zatem MSEˆθ Varˆθ + E ˆθ θ. odsumujmy asze rozwa»aia dotycz ce estymatorów warto±ci oczekiwaej przypomiaj c list rozwa»aych estymatorów wraz z ich wªaso±ciami: ˆµ 1 X 1,..., X, ieobci»oy, zgody, efektywy, ˆµ X 1,..., X X 1, ieobci»oy, ie zgody, ˆµ 3 X 1,..., X / /, ieobci»oy, zgody, miej efektywy i» ˆµ 1, ˆµ 4 X 1,..., X α ix i, ieobci»oy, zgody, miej efektywy i» ˆµ 1 chyba,»e wszystkie α i 1/, wtedy ˆµ 4 ˆµ 1, 4
ˆµ 5 X 1,..., X, obci»oy, ale asymptotyczie ieobci»oy, zgody, ˆµ 6 X 1,..., X 1 + 1, obci»oy, awet asymptotyczie, ie zgody. Uwaga: W statystyce deiuje si te» formalie tzw. efektywo± ieobci»oego estymatora ˆθ parametru θ. Jest to iloraz Varˆθ 0, gdzie ˆθ Varˆθ 0 jest ajefektywiejszym tz. o ajmiejszej wariacji ieobci»oym estymatorem θ. Tak zdeiowaa efektywo± jest liczb z przedziaªu [0, 1]. Deicja ta wygl da a iezbyt przydat, bo iby sk d mo»emy za ajefektywiejszy estymator θ? Okazuje si,»e da si poda ograiczeie dole a wariacj dowolego ieobci»oego estymatora parametru θ. Je±li asz estymator ma tak wªa±ie wariacj, to wiemy,»e jest ajefektywiejszy. Osobom zaiteresowaym tym w tkiem polecam zalazieie w dowolym podr cziku statystyki lub w Wikipedii iformacji a temat twierdzeia Rao-Cramera. Twierdzeie to iestety wykracza poza zakres tego wykªadu.. Estymacja wariacji Uzbrojei w kryteria ocey estymatorów spróbujmy zale¹ dobry tz. ieobci»oy, zgody i efektywy estymator dla wariacji. Naturalym kadydatem wydaje si ˆσ X 1,..., X X i µ, gdzie µ jest warto±ci oczekiwa. Oczywi±cie wzoru tego mo»emy u»y tylko w przypadku, gdy warto± oczekiwaa µ jest z góry zaa, a estymujemy jedyie wariacj. Sprawd¹my, czy ˆσ jest w tym przypadku dobrym estymatorem wariacji. Mamy E ˆσ X 1,..., X E X i µ EX i µ σ σ, a zatem tak zdeioway estymator ˆσ jest ieobci»oy. Zadaie oka»,»e ˆσ jest zgodym estymatorem wariacji. W tym celu oblicz wariacj estymatora i u»yj ierówo±ci Czebyszewa. Aaliza efektywo±ci tego estymatora w ogólym przypadku ie jest ªatwa. Mo»a pokaza,»e je±li rodzia rozkªadów z któr mamy do czyieia jest rodzi rozkªadów ormalych, to powy»szy estymator ma efektywo± 1. A co je±li ie zamy warto±ci oczekiwaej? Naturalym pomysªem jest u»ycie zamiast iezaej warto±ci µ warto±ci estymatora ˆµX 1,..., X, tj. ˆσ X 1,..., X X i ˆµX 1,..., X. Nie jest jedak jase, czy tak zdeioway estymator jest ieobci»oy. Aby to sprawdzi obliczmy jego warto± oczekiwa dla uproszczeia rachuków zamiast ˆµX 1,..., X b dziemy pisa po prostu ˆµ. E X i ˆµ EX i ˆµ EX i EX i ˆµ + Eˆµ. rzede wszystkim zauwa»my,»e ±rodkowy wyraz tej sumy mo»a, korzystaj c z liiowo±ci warto±ci oczekiwaej, przeksztaªci ast puj co EX i ˆµ Eˆµ, 5
a ostati wyraz jest rówy po prostu Eˆµ. o uproszczeiu dostajemy ast puj ce wyra»eie a warto± oczekiwa ˆσ EX i Eˆµ. Do obliczeia warto±ci tego wyra»eia u»yjemy zaej am to»samo±ci a raczej jej przeksztaªcoej wersji VarX EX EX, EX VarX + EX. Aby obliczy warto± pierwszego wyrazu aszego wyra»eia wstawiamy do to»samo±ci X i i dostajemy EX i i 1 σ + µ σ + µ. Wstawiaj c do tej samej to»samo±ci ˆµ za X dostajemy warto± drugiego wyrazu Eˆµ Varˆµ + E ˆµ σ + µ warto± Varˆµ obliczyli±my w poprzedim rozdziale. Ostateczie otrzymujemy E ˆσ σ + µ σ µ 1 σ, a zatem asz estymator oblicza wariacj prawie dobrze, wyik jest o czyik 1 za maªy. Ituicyjie przyczy tego bª du estymacji jest to,»e warto± ˆµ u»ywaa w tym estymatorze jest bli»ej próby i» prawdziwa warto± µ. Nasz obliczeia sugeruj przy okazji sposób a otrzymaie ieobci»oego estymatora wariacji, wystarczy zast pi w miaowiku przez 1: X i ˆµX 1,..., X. 1 Taki estymator jest ieobci»oy, zgody udowodieie tego faktu pozostawiamy czytelikowi jako proste, ale»mude, wiczeie i w wielu sytuacjach do± efektywy tz. jego efektywo± jest bliska 1, szczegóªowe rozwa»aia a te temat wykraczaj poza zakres tego wykªadu..3 Estymacja odchyleia stadardowego Estymacja odchyleia stadardowego ie jest ªatwa. Mogªoby si wydawa,»e dobrym estymatorem odchyleia stadardowego σ jest ˆσ ˆσ, gdzie ˆσ jest estymatorem wariacji a przykªad tym z poprzediego podrozdziaªu. roblem w tym,»e awet je±li ˆσ jest ieobci»oym estymatorem wariacji, to ˆσ zdeiowae jak powy»ej ie musi by ieobci»oym estymatorem odchyleia stadardowego. Mo»a pokaza,»e w takim przypadku tj. gdy ˆσ jest ieobci»oy zachodzi Eˆσ σ. Zadaie Udowodij to korzystaj c z tzw. ierówo±ci Jesea, która mówi,»e dla dowolej fukcji f wypukªej do góry i dowolej zmieej losowej X, zachodzi fex EfX. 6
dowód tej ierówo±ci w przypadku zmieych dyskretych w prosty sposób wyika z ierówo±ci Jesea omawiaej a aalizie, to samo dotyczy przypadku zmieych ci gªych cho dowód jest ieco bardziej skomplikoway. Niestety, ajcz ±ciej Eˆσ jest miejsze i» σ, tj. ˆσ jest estymatorem obci»oym. Mo»a temu zaradzi dodaj c do ˆσ specjale poprawki, które pozwalaj uzyska ieobci»oo±. W praktyce u»ywa si tego estymatora bez zmia. Mimo,»e jest o obci»oy, obci»eie to ie jest du»e, jest te» asymptotyczie ieobci»oy i zgody..4 Metoda ajwi kszej wiarygodo±ci Jak dot d omawiali±my estymatory dla ajbardziej aturalych parametrów: warto±ci oczekiwaej, wariacji, odchyleia stadardowego. Wzory, których u»ywali±my, te» byªy aturale starali±my si po prostu a±ladowa deicje odpowiedich poj. Mo»a zapyta czy istiej metody, które pozwalaj w miej lub bardziej automatyczy sposób kostruowa dobre estymatory w ogólym przypadku. Okazuje si,»e tak, a ajbardziej popular metod tego rodzaju jest tzw. metoda ajwi kszej wiarygodo±ci. Idea metody ajwi kszej wiarygodo±ci jest bardzo prosta. atrzymy a warto±ci zmieych X 1,..., X i staramy si zale¹ tak warto± estymowaego parametru θ, dla której prawdopodobie«stwo uzyskaia tych wªa±ie warto±ci jest ajwi ksze mo»liwe. Takie podej±cie dziaªa w przypadku zmieych o rozkªadzie dyskretym. Je±li mamy do czyieia ze zmieymi ci gªymi, to prawdopodobie«stwo uzyskaia dowolych ustaloych warto±ci jest rówe 0, dlatego metoda wymaga pewych drobych modykacji, ale idea pozostaje ta sama. odamy teraz formal deicj fukcji wiarygodo±ci oraz estymatora ajwi kszej wiarygodo±ci ag. Maximum Likelihood Estimator MLE. B dziemy u»ywa otacji z poprzedich podrozdziaªów, przy czym w sytuacji, gdy D jest rodzi rozkªadów ci gªych, b dziemy dodatkowo u»ywa symbolu f θ a ozaczeie fukcji g sto±ci rozkªadu odpowiadaj cego parametrowi θ. Fukcj wiarygodo±ci dla rodziy rozkªadów parametryzowaej przez θ azywamy: Lθ; x 1,..., x θ X 1 x 1... θ X x dla rozkªadów dyskretych, Lθ; x 1,..., x f θ x 1... f θ x dla rozkªadów ci gªych. Uwaga: W deicji tej zakªadamy, tak jak si to z reguªy robi,»e mamy do czyieia z prób prost. Je±li tak ie jest, ale»y u»y ª czego prawdopodobie«stwa oraz ª czej fukcji g sto±ci. Uwaga: U»ycie symbolu θ w deicji fukcji L jest pewego rodzaju adu»yciem otacyjym, θ jest ju» przecie» kokret warto±ci parametru, któr próbujemy zale¹. W praktyce u»ycie w tym miejscu tego samego symbolu ie prowadzi do iejaso±ci i dla uproszczeia zapisu tak wªa±ie b dziemy post powa w dalszej cz ±ci tego podrozdziaªu. Estymatorem ajwi kszej wiarygodo±ci MLE dla parametru θ azywamy estymator ˆθ, dla którego ˆθx 1,..., x jest rówy takiej warto±ci parametru θ, dla której Lθ; x 1,..., x przyjmuje warto± ajwi ksz. Uwaga: W ogólym przypadku mo»e si zdarzy,»e warto± ajwi ksza ie jest przyjmowaa. Wtedy MLE ie jest okre±loy. Mo»e si te» zdarzy,»e warto± ajwi ksza jest przyjmowaa w wielu puktach. Wtedy MLE jest okre±loy iejedozaczie. Zobaczymy teraz dwa proste przykªady metody ajwi kszej wiarygodo±ci w akcji jede przykªad dyskrety i jede ci gªy. 7
.4.1 Metoda ajwi kszej wiarygodo±ci przykªad dyskrety Rozwa»my bardzo prosty przykªad: D jest rodzi rozkªadów Beroulliego z iezaym prawdopodobie«stwem sukcesu s wyj tkowo ie u»ywamy zwyczajowego symbolu p w celu uiki cia problemów otacyjych, które chcemy estymowa. W tym przypadku fukcja wiarygodo±ci przyjmuje posta Ls; x 1,..., x s X 1 x 1... s X x s k 1 s k, gdzie k jest liczb jedyek w ci gu x 1,..., x. Musimy teraz zale¹ warto± s dla której L przyjmuje warto± ajwi ksz. Je±li k 0 to warto± ajwi ksz L przyjmuje dla s 0, podobie gdy k, warto± ajwi ksz L przyjmuje dla s 1. W pozostaªych przypadkach mo»emy obliczy pochod L s; x 1,..., x ks k 1 1 s k ks k 1 s k 1. ochoda ta zeruje si dla k1 s ks, czyli s k/ uzasadieie,»e jest to globale maksimum pomiiemy. A zatem warto±ci estymatora MLE prawdopodobie«stwa sukcesu s jest wªa±ie k/. Warto zwróci uwag,»e k/, a zatem w tym przypadku estymator MLE jest po prostu ieobci»oym estymatorem warto±ci oczekiwaej. Nie jest to specjalie zaskakuj ce, skoro warto±ci oczekiwa rozkªadu Berouliego z prawdopodobie«stwem sukcesu s jest wªa±ie s. Nale»y to raczej traktowa jako potwierdzeie skuteczo±ci metody ajwi kszej wiarygodo±ci..4. Metoda ajwi kszej wiarygodo±ci przykªad ci gªy W drugim przykªadzie zajmiemy si sytuacj, w której D jest rodzi rozkªadów ormalych N µ, σ o iezaej warto±ci oczekiwaej µ i wariacji σ. Zamy estymatory ieobci»oe dla µ i σ. Iteresuj cym pytaiem jest wi c: czy metoda ajwi kszej wiarygodo±ci potra wygeerowa te wªa±ie estymatory? Fukcja wiarygodo±ci wygl da w tym przypadku ast puj co 1 Lµ, σ ; x 1,..., x e x i µ 1 x i µ σ πσ π / σ e σ. Chcemy zale¹ warto±ci µ i σ dla których L jest ajwi ksze. Zauwa»my,»e iezale»ie od warto±ci σ, ajlepsz warto±ci µ jest taka warto±, dla której wyra»eie x i µ przyjmuje warto± ajmiejsz. Ró»iczkuj c po µ dostajemy x i µ, xi a przyrówuj c t pochod do zera otrzymujemy µ i t wªa±ie warto± µ zwróci estymator MLE warto±ci oczekiwaej. W dalszej cz ±ci rachuków zakªadamy,»e µ ma warto± obliczo przed chwil. Zajdziemy teraz warto± wariacji zwraca przez estymator MLE. Dla uproszczeia oblicze«zamiast fukcji L b dziemy rozpatrywa jej logarytm aturaly log L mo»emy to zrobi, poiewa» L i log L przyjmuj warto± ajwi ksz dla tych samych warto±ci µ i σ. Jest to bardzo cz sty zabieg w tego typu sytuacji, w omeklaturze agielskiej ta zlogarytmowaa fukcja awet ma swoj azw : log-likelihood. W aszym przypadku dostajemy: log Lµ, σ ; x 1,..., x log π log σ x i µ σ. 8
Ró»iczkuj c to wyra»eie po σ dostajemy σ + x i µ σ 3, a przyrówuj c pochod do zera otrzymujemy σ x i µ, i t wªa±ie warto± wariacji zwróci estymator ale»y pami ta,»e µ jest tu ±redi z próby. A zatem odpowied¹ a pytaie zadae a pocz tku tego podrozdziaªu brzmi: prawie. Metoda ajwi kszej wiarygodo±ci daje zay am ieobci»oy estymator warto±ci oczekiwaej, ale w przypadku wariacji dostajemy estymator obci»oy ale asymptotyczie ieobci»oy..4.3 Wªaso±ci estymatorów ajwi kszej wiarygodo±ci Niech D b dzie, jak zwykle, rodzi rozkªadów prawdopodobie«stwa parametryzowa przez θ i iech γ fθ dla pewej bijekcji f : Θ Γ. Wtedy mo»emy traktowa D jako rodzi rozkªadów parametryzowa przez γ. rzykªad: W przykªadzie z rodzi rozkªadów ormalych parametryzowaych przez warto± oczekiwa µ i wariacj σ mogliby±my rówie dobrze przyj,»e aszymi parametrami s warto± oczekiwaa i odchyleie stadardowe. Wtedy fµ, σ µ, σ. Otó» w powy»ej opisaej sytuacji, je±li ˆθ jest estymatorem MLE dla parametru θ, to fˆθ jest estymatorem MLE dla γ fθ. Wyika to atychmiast z deicji estymatora MLE. rzykªad: Je±li zamy estymator MLE dla wariacji, iech to b dzie ˆσ, to estymatorem dla odchyleia stadardowego jest ˆσ. Estymatory MLE, pomimo,»e ie musz by ieobci»oe, maj wiele iteresuj cych i po» - daych wªaso±ci. Wiadomo a przykªad,»e przy do± sªabych zaªo»eiach które s jedak do± skomplikowae i ie mo»emy ich tu przytoczy, zaªo»y ale»y m.i. zgodo± estymatory MLE s m.i. asymptotyczie ieobci»oe i asymptotyczie efektywe. Ta ostatia wªaso± ozacza,»e ich wariacja dla jest rówa wariacji ajefektywiejszego estymatora ieobci»oego. Zadaie W rozdziale dotycz cym estymatorów ieobci»oych pokazali±my w przykªadzie z helpdeskiem sytuacj, w której jedyy estymator ieobci»oy przyjmowaª warto±ci pozbawioe sesu. Zajd¹ estymator MLE dla tego przykªadu. 3 Estymacja przedziaªowa W tym rozdziale zajmiemy si tzw. estymacj przedziaªow. rzy zaªo»eiach jak w poprzedim rozdziale, b dziemy szuka ie pojedyczego estymatora ˆθ iezaego parametru θ, ale pary statystyk θ L i θ R tak skostruowaych, aby z du»ym prawdopodobie«stwem θ [θ L, θ R ]. Je±li prawdopodobie«stwo to jest 1 α, to przedziaª [θ L, θ R ] azywamy przedziaªem ufo±ci dla θ a poziomie ufo±ci 1 α. Uwaga: Mo»e zastaawia u»ycie w powy»szej deicji 1 α, a ie po prostu α. Jest to stadardowa otacja i, jak zobaczymy, prowadzi oa do ieco prostszych wzorów. Uwaga: Warto w tym miejscu zwróci uwag a populary bª d w rozumieiu powy»szej deicji. A miaowicie, pomimo tego,»e θ [θ L, θ R ] to po obliczeiu [θ L x 1,..., x,..., θ R x 1,..., x ] 9
dla kokretych warto±ci x 1,..., x ie mo»emy twierdzi,»e przedziaª te zawiera z prawdopodobie«stwem 1 α prawdziw warto± θ. Warto± ta bowiem albo ale»y do aszego przedziaªu albo ie, ie ma tu»adej losowo±ci. rawdopodobie«stwo sukcesu 1 α dotyczy sytuacji przed wylosowaiem próby i wykoaiem oblicze«, dla frakcji 1 α wszystkich mo»liwych prób odiesiemy sukces. odaa przez as deicja przedziaªu ufo±ci w»ade sposób ie ograicza warto±c θ L i θ R. Jase jest jedak,»e chcieliby±my, aby przedziaª [θ L, θ R ] byª mo»liwie krótki. Czasem iteresuje as tak»e zalezieie jak ajlepszego trudo tu mówi o dlugo±ci przedziaªu postaci [θ L, ifty lub, θ R ]. S to tzw. jedostroe przedziaªy ufo±ci. Omówimy teraz estymacj przedziaªow warto±ci oczekiwaej i wariacji w 4 typowych sytuacjach. Techiki, których u»yjemy s jedak do± ogóle i przeosz si a du» cz ± sytuacji spotykaych w praktyce. 3.1 Sytuacja 1 Estymacja warto±ci oczekiwaej rozkªadu ormalego o zaej wariacji Sytuacja ta jest do pewego stopia sztucza, rzadko bowiem chcemy estymowa warto± oczekiwa zaj c wariacj. Jest tak a przykªad wtedy gdy dokoujemy jakiego± pomiaru, którego dokªado± z góry zamy. Mo»emy a przykªad wa»y pewie przedmiot za pomoc wagi, której bª d ma rozkªad ormaly o zaej wariacji co jest do± mocym, ale ie absurdalym zaªo»eiem : rzede wszystkim jedak, omawiay przypadek ma charakter teoretyczy rozwa»aia s w im szczególie proste i staowi dobry model sposobu post powaia w zbli»oych, ale ie co trudiejszych sytuacjach. Niech X 1,..., X b dzie prób losow. Wiemy,»e ˆµX 1,..., X jest ieobci»oym estymatorem µ i aturale byªoby skostruowaie przedziaªu ufo±ci wokóª ˆµ. Jak dªugi powiie by te przedziaª? oiewa» wszystkie X i maj rozkªad ormaly N µ, σ, to ˆµ ma rozkªad N µ, σ. W takim µ µ razie zmiea Z ˆ σ ma rozkªad N 0, 1. Niech Φ b dzie dystrybuat stadardowego rozkªadu ormalego N 0, 1. Wtedy Φ 1 α Z Φ 1 1 α 1 α. Korzystaj c z symetrii rozkªadu ormalego mamy Φ 1 α Φ 1 1 α, a wstawiaj c deicj Z dostajemy Φ 1 1 α ˆµ µ Φ 1 1 α 1 α. σ rzeksztaªcamy ierówo±ci, aby uzyska przedziaª ufo±ci dla µ σφ 1 1 α + µ ˆµ σφ 1 1 α + µ 1 α, i ostateczie ˆµ σφ 1 1 α µ ˆµ + σφ 1 1 α 1 α, a zatem szukaym przedziaªem ufo±ci a poziomie 1 α jest [ ˆµ σφ 1 1 α, ˆµ + σφ 1 1 α ]. Šatwo sprawdzi,»e jedostroymi ] [ przedziaªami ufo±ci a poziomie ufo±ci odpowiedio 1 α s, ˆµ + σφ 1 1 α oraz ˆµ σφ 1 1 α,. W kolejych przykªadach b dziemy pomija wzory a przedziaªy jedostroe. Czytelik mo»e je jedak ªatwo wyprowadzi. 10
Uwaga: Nie jest by mo»e do ko«ca jase po co ormalizujemy zmie ˆµ deiuj c zmie Z. Korzystaj c z dowolego programu statystyczego p. R mo»a bowiem odczyta warto±ci odwroto±ci dystrybuaty czyli po prostu kwatyle rozkªadu N µ, σ dla dowolych µ i σ. Normalizacja ma w du»ej mierze charakter historyczy w tablicach matematyczych, których kiedy± u»ywao w tego typu obliczeiach, zajduj si jedyie kwatyle stadardowego rozkªadu ormalego. 3. Sytuacja Estymacja warto±ci oczekiwaej rozkªadu ormalego o iezaej wariacji Sytuacja, któr teraz omówimy ale»y do ajwa»iejszych i ajbardziej typowych w praktyce. Nie mo»emy powtórzy bez zmia rozwa»a«z poprzediego podrozdziaªu, poiewa» ie zamy warto±ci σ wyst puj cej w deicji zmieej Z. Narzuca si u»ycie zamiast σ warto±ci ˆσ, gdzie ˆσ jest ieobci»oym estymatorem wariacji zdeiowaym w poprzedim rozdziale, a zatem µ Z ˆ µ. ˆσ Nie jest jedak jase, czy tak zdeiowaa zmiea Z ma tak jak poprzedio rozkªad ormaly. Okazuje si,»e ie. Z ma rozkªad zway rozkªadem t Studeta o ν 1 stopiach swobody rozkªad ma stopie swobody, a ie Studet. Rozkªad te jest bardzo podoby do ormalego i dla ν zbiega do rozkªadu ormalego, ale jego fukcja g sto±ci ma ieco grubsze ogoy i i»sze cetrum dlaczego?. Nie b dziemy podawa wzoru a g sto± tego rozkªadu, ie jest o prosty. Warto zazaczy,»e rozkªad Studeta jest jedym z ajwa»iejszych rozkªadów w statystyce i ka»dy sesowy pakiet statystyczy pozwala oblicza jego kwatyle, próbkowa z iego itp. Uwaga: Statystyk Z cz sto ozacza si symbolem t, ze wzgl du a jej rozkªad. Dalsza cz ± rozwa»a«w tym podrozdziale jest aalogicza do podrozdziaªu poprzediego. Je±li przez F 1 ozaczymy dystrybuat rozkªadu Studeta o 1 stopiach swobody, to dostajemy ast puj cy przedziaª ufo±ci a poziomie ufo±ci 1 α [ ] 1 σf 1 1 α 1 σf 1 1 α ˆµ, ˆµ + 3.3 Sytuacja 3 Estymacja warto±ci oczekiwaej dowolego rozkªadu, du»y rozmiar próby Tym razem rodzia rozkªadów z któr mamy do czyieie iekoieczie jest rodzi rozkªadów ormalych, a wariacja, tak jak w poprzediej sytuacji, ie jest zaa. Zakªadamy jedak,»e mamy do czyieia z du» prób, p. 100. W tej sytuacji, ze wzgl du a du»y rozmiar próby, mo»emy przyj,»e: ˆµX 1,..., X ma rozkªad ormaly a mocy Cetralego Twierdzeia Graiczego zmiea ta ma rozkªad bardzo bliski ormalemu, ˆσ σ. Je±li przyjmiemy powy»sze zaªo»eia, to zmiea Z ˆµ µ ma rozkªad N 0, 1 i mo»emy σ ˆ skorzysta z rozumowaia z sytuacji 1. Dostajemy w te sposób ast puj cy przedziaª ufo±ci a poziomie ufo±ci 1 α ˆσ Φ ˆµ 1 1 α ˆσ Φ 1 1 α, ˆµ + 11
3.4 Sytuacja 4 Estymacja wariacji rozkªadu ormalego, warto± oczekiwaa iezaa Zaim przejdziemy do kostruowaia przedziaªu ufo±ci dla wariacji zdeiujemy kolejy rozkªad prawdopodobie«stwa. Rozkªadem χ chi-kwadrat o stopiach swobody azywamy rozkªad sumy X1 +...+X, gdzie X i iezale»e o rozkªadzie N 0, 1. odobie jak w przypadku rozkªadu Studeta pomiiemy szczegóªowe wzory opisuj ce te rozkªad. B dziemy atomiast korzysta z ast puj cego twierdzeia które podajemy bez dowodu Twierdzeie Je±li X 1,..., X s iezale»ymi zmieymi o rozkªadzie N µ, 1 µ jest tu dowole, a X jest ich ±redi arytmetycz, to zmiea X i X ma rozkªad χ 1. opatrzmy teraz a zdeioway w rozdziale o estymacji puktowej ieobci»oy estymator wariacji ˆσ X 1,..., X X i ˆµX 1,..., X. 1 Šatwo zauwa»y,»e Z ˆσ X 1,..., X 1 σ σ ˆµX 1,..., X σ ma a mocy twierdzeia rozkªad χ 1 zmiee σ maj rozkªad ormaly o wariacji 1. Dalej post pujemy aalogiczie jak poprzedio, ale poiewa» obliczeia maj tym razem ieco i posta to podamy je w caªo±ci. Niech G 1 b dzie dystrybuat rozkªadu χ 1. Wtedy, podobie jak poprzedio, mamy α G 1 1 Z G 1 1 1 α 1 α. Wstawiaj c deicj zmieej Z dostajemy α 1 ˆσ G 1 1 σ G 1 1 1 α 1 α, a przeksztaªcaj c i wreszcie G 1 α 1 1 ˆσ 1 σ G 1 ˆσ 1 α G 1 1 1 α 1 ˆσ 1 1 1 α, σ 1 ˆσ G 1 α 1 α, 1 co daje am szukay przedziaª ufo±ci a poziomie ufo±ci 1 α [ 1 ˆσ ] 1 ˆσ G 1, 1 1 α G 1 α. 1 Warto zwróci uwag a to,»e rozkªad χ 1 ie jest symetryczy, w zwi zku z czym potrzebujemy dwóch ró»ych kwatyli we wzorach a przedziaª ufo±ci. 4 Testowaie hipotez 1