4. Symulacje. Estymacja punktowa.

Transkrypt

1 4. Symulacje. Estymacja puktowa. 4.1 Symulacje Uiwersalość rozkładu jedorodego W komputerze geerujemy (symulujemy) zdarzeia losowe poprzez wykorzystaie tzw. geeratorów liczb pseudolosowych. Taki geerator to ic iego jak bardzo skomplikoway wzór matematyczy akładay a jedą lub kilka zmieych przechowywaych w geeratorze. Wzór te jest determiistyczy tz. gdy zaiicjujemy zmiee geeratora w taki sam sposób to zawsze otrzymamy te sam ciąg liczb pseudolosowych. Z tego powodu waże jest iicjalizowaie geeratora różymi wartościami początkowymi p. liczbą pobraą z zegara systemowego, choć w iektórych sytuacjach p. przy debugowaiu powtarzalość geeracji liczb pseudolosowych dla tej samej wartości początkowej może być bardzo użytecza. Jedakże, taki geerator zwykle geeruje liczby pseudolosowe o rozkładzie jedorodym z przedziału [0, 1). Co zrobić jeśli iteresuje as geerowaie liczb z dowolego rozkładu? Jeżeli iteresuje as iy rozkład jedorody możemy to zwykle osiągąć poprzez odpowiedie wymożeie i dodaie/odjęcie jakieś wartości od tego rozkładu, ale co z rozkładem ormalym, Poissoa itd.? Przypomijmy sobie rozkład jedorody, a potem pozajmy jego bardzo użyteczą własość, która pozwoli am a rozwiązaie tego problemu. Defiicja 4.1 Rozkład jedorody. Rozkład jedorody (jedostajy, rówomiery, prostokąty) to ciągły rozkład prawdopodobieństwa, dla którego gęstość prawdopodobieństwa w przedziale od a do b, jest stała i róża od zera, a poza im rówa zeru. Problem 4.1 Własości rozkładu jedostajego. Odpowiedz a poiższe pytaia: Jaką wartość przyjmuje fukcja gęstości prawdopodobieństwa w przedziale od a do b?

2 2 Laboratorium 4. Symulacje. Estymacja puktowa. Ile wyosi wartość oczekiwaa? Ile wyosi wariacja? Problem 4.2 W jaki sposób możesz wygeerować liczby losowe z rozkładu Beroulliego z prawdopodobieństwem sukcesu p? Twierdzeie 4.1 Uiwersalość rozkładu jedorodego. Niech F będzie ciągłą, silie rosącą a dystrybuatą wtedy X = F 1 (U) F jeżeli U Ui f orm(0,1). Także jeżeli X F to wtedy F(X) Ui f orm(0,1). a Zależy am a tym, aby F 1 była dobrze określoa. Jeżeli zdefiiujemy F 1 (x) = if{y : F(y) x} to możemy pomiąć to wymagaie Metody Mote Carlo Metoda Mote Carlo jest stosowaa do modelowaia matematyczego procesów zbyt złożoych (obliczaia całek, łańcuchów procesów statystyczych), aby moża było przewidzieć ich wyiki za pomocą podejścia aalityczego. Istotą rolę w metodzie Mote Carlo odgrywa losowaie (wybór przypadkowy) wielkości charakteryzujących proces, przy czym losowaie dokoywae jest zgodie z rozkładem, który musi być zay. Metoda została opracowaa i pierwszy raz zastosowaa przez Staisława Ulama [1], polskoamerykańskiego matematyka. Problem 4.3 W jaki sposób możemy uzyskać oszacowaie liczby π używając geeratora liczb pseudolosowych? Problem 4.4 W jaki sposób możemy przybliżyć F(x) = P(X x) umiejąc wylosować liczby z daego rozkładu? Ćwiczeie 4.1 Metody Mote Carlo. Otwórz arkusz kalkulacyjy dostępy pod astępującym likiem: 03/cw-2.xls i rozwiąż ćwiczeie. 4.2 Estymacja puktowa Na poprzedich laboratoriach pozaliśmy statystykę matematyczą, która ściśle łączy statystykę z rachukiem prawdopodobieństwa. Zakłada oa, że aalizowae dae powstały z jakiegoś ukrytego rozkładu prawdopodobieństwa. W iektórych sytuacjach o tym ukrytym rozkładzie ie wiemy zupełie ic, jedak dość często możemy go przybliżyć którymś ze zaych rozkładów prawdopodobieństwa p. rozkładem ormalym. W takim przypadku główym aszym zadaiem jest oszacowaie parametrów takiego rozkładu: w przypadku rozkładu ormalego jest to µ i σ, a w przypadku rozkładu Beroullego jest to prawdopodobieństwo sukcesu p. Aby oszacować taki parametr obliczamy pewą fukcję a otrzymaej z populacji próbie losowej, której wyik będziemy traktować jako estymację tego parametru. Problem 4.5 Jakie własości musi spełiać próba losowa prosta? Defiicja 4.2 Statystyka. Statystyką (ag. statistic) azywa się liczbową charakterystykę próby T (X 1,X 2,...). Statystyka jest więc zmieą losową.

3 4.2 Estymacja puktowa 3 Defiicja 4.3 Estymator. Estymatorem ˆθ azywamy statystykę służącą do oszacowaia iezaego parametru populacji θ. Załóżmy, że chcemy wyestymować wartość oczekiwaą badaej cechy statystyczej. Jak możemy to zrobić? Prawdopodobie pierwszym estymatorem, który przychodzi ci do głowy jest po prostu policzeie średiej arytmetyczej dla tych daych ( x). Jedak ie jest to jedya możliwa odpowiedź! Po pierwsze twój leiwy kolega może stwierdzić, że prawdziwa wartość oczekiwaa tak czy tak ie jest zaa, więc dlaczego by ie użyć wartości jedego, losowo wybraego elemetu z próby jako estymację wartości średiej ˆθ radom = RadomChoice(X 1,X 2,...)? Ktoś iy może stwierdzić, że wartość średia w próbce może być zaiżoa w stosuku do prawdziwej i ależałoby ją przemożyć przez. Mielibyśmy wtedy ˆθ zwiekszoe = 1 x i. Na przykład dla małej, 20-elemetowej próby zwiększylibyśmy średią o ok. 16% ( ,1615), a dla dużej próby o 1000 elemetów ie zwiększylibyśmy jej praktyczie wcale ( ,0069). Z kolei jakiś iżyier pracujący a dużych daych, może stwierdzić, że policzeie średiej wartości trwa bardzo długo (złożoość jest liiowa, ale jest bardzo duże). Z tego powodu może zapropoować szybszy sposób liczeia średiej poprzez policzeie jej dla co 10 obserwacji ˆθ co10 = 1 /10 /10 x 10i. Dodatkowo takie postępowaie moża motywować faktem, że w praktyce czasami w liczeiu średiej pomijamy trochę obserwacji (p. średia trymowaa).! Takich pomysłów a estymator średiej może być zaczeie więcej, ale ie podajemy ich tutaj ze względu a łatwość dalszego postępowaia matematyczego. Zasygalizujmy jedak, że wcale ie musi być to modyfikacja stadardowego wzoru a średią arytmetyczą, a może to być zupełie ia fukcja p. dla rozkładów symetryczych estymatorem średiej (i to całkiem iezłym) może być mediaa. Każdy z tych pomysłów ma jakąś stojącą za im logikę i ciężko od razu powiedzieć, który z tych pomysłów jest ajlepszy. Problem jest jeszcze większy, gdybyśmy chcieli estymować jakieś ie, bardziej skomplikowae parametry. Zamy p. dwa wzory a wariację w próbie i w populacji - którego z ich powio się użyć? Który z ich jest lepszy? Poszukajmy więc pewych dobrych własości, które chcielibyśmy aby spełiała asza estymacja. Problem 4.6 Jakie powiy być własości dobrego estymatora? Jedą z cech dobrego estymatora jest to, żeby wraz ze zwiększającą się próbą otrzymujemy coraz to lepsze oszacowaia szukaego parametru. W celu otrzymaia lepszego oszacowaia potrzebujemy pobrać większą próbkę (co by to było gdyby się okazało że a miejszej i tańszej próbce asze estymacje są lepsze?). Rozsąde wydaje się też wymagaie, że przy rozmiarze próby rosącym do ieskończoości ryzyko błędu było coraz to iższe, a w końcu zerowe. Estymatory posiadające taką własość azywamy estymatorami zgodymi. Defiicja 4.4 Estymator zgody. Estymator ˆθ posiadający własość ε>0 lim P( ˆθ θ < ε) = 1

4 4 Laboratorium 4. Symulacje. Estymacja puktowa. azywamy estymatorem zgodym (ag. cosistet estimator). Które z aszych estymatorów ˆθ co10, ˆθ radom, ˆθ zwiekszoe, x mają taką własość? Sprawdźmy ją ajpierw dla zwykłej średiej arytmetyczej. Przykład 4.1 Udowodij, że X a próbie prostej jest estymatorem zgodym wartości oczekiwaej 1. Poieważ mamy próbę prostą, zmiee X i mają taki sam rozkład czyli tą samą wartość oczekiwaą i wariację. Z tego powodu dalej będziemy używać ozaczeń E[X i ] = µ i D 2 [X i ] = σ 2. Używając ierówości Czebyszewa mamy Jaka jest wariacja średiej z próby? D 2 ( X ) = D 2 ( 1 X i ) = D 2 ( 1 X X X ) P( X µ > ε) D2 ( X ) ε 2 = D 2 ( 1 X 1) + D 2 ( 1 X 2) D 2 ( 1 X ) [mamy do czyieia z próbą prostą, a więc zmiee są iezależe czyli D 2 (X +Y ) = D 2 X + D 2 Y ] = 1 2 D2 (X 1 ) D2 (X 2 ) D2 (X ) [ze wzoru D 2 (ax + b) = a 2 D 2 (X)] = 1 2 σ σ σ 2 [zmiee mają jedakowy rozkład D 2 (X i ) = σ 2 ] = 1 2 σ 2 = σ 2! Wzór wyprowadzoy powyżej będzie przydaty a tych i a kolejych laboratoriach z tego powodu warto go zapamiętać. Zauważ, że wariacja tego estymatora jest miejsza od wariacji badaej zmieej losowej oraz, że jest tym iższa im większa jest próba. Wracając do ierówości Czebyszewa: Podsumowując: P( X µ > ε) D2 ( X ) ε 2 = σ 2 ε 2 σ 2 lim ε 2 = 0 lim P( X µ < ε) = lim 1 P( X µ > ε) = 1 czyli X jest estymatorem zgodym wartości oczekiwaej. 1 Jeżeli ktoś pamięta prawo wielkich liczb to z pewością zauważył, że zgodość tego estymatora wypływa bezpośredio z tego prawa. Tutaj prezetuję rozumowaie wykorzystujące zajomość poprzedich laboratoriów (ierówość Czebyszewa)

5 4.2 Estymacja puktowa 5 Udowodiliśmy, że średia arytmetycza jest estymatorem zgodym wartości oczekiwaej. Dla pozostałych estymatorów ie będziemy przeprowadzać dowodu, a tylko sprawdzimy to ituicyjie. Po pierwsze ˆθ co10 rówież będzie zgody, bo przy dążącym do ieskończoości fakt ie wzięcia pod uwagę pewej części wartości ie będzie miał zaczeia (skoro i tak dążymy do ieskończoości). Co iteresujące ˆθ zwiekszoe rówież będzie zgody, bo w graicy wyosi 1, a możeie przez 1 ie zmiei wyiku. Jedyym estymatorem, który ie posiada tej własości jest ˆθ radom, gdyż będzie o tak samo dobry (lub jak kto woli, tak samo zły) dla każdej wartości. Nie ma większego związku pomiędzy jego jakością estymacji, a wielkością próbki. Jaką jeszcze własość mógłby mieć estymator? Waruek zgodości mówi o prawidłowym oszacowaiu szukaego parametru przy rosącym w ieskończoość rozmiarze próby. Próba o ieskończoym rozmiarze z oczywistych względów ie jest możliwa w praktyce, a często jesteśmy zmuszei pracować z małymi próbami. Szczególie wtedy gdy agromadzeie daych jest kosztowe. W związku z tym chcielibyśmy, aby wartość estymatora trafiała miej więcej w prawdziwą wartość szacowaego parametru bez względu a wielkość próby. Jak możemy taki waruek ująć w zapisie matematyczym? Poprzez zapewieie, że wartość oczekiwaa estymatora będzie rówa prawdziwej wartości szacowaego parametru. Defiicja 4.5 Estymator ieobciażoy. Estymator ˆθ azywamy ieobciążoym jeżeli E[ ˆθ ] = θ W przeciwym wypadku estymator azywamy obciążoym z obciążeiem wyoszącym B( ˆθ) = E[ ˆθ] θ. Problem 4.7 Sprawdź czy x jest estymatorem ieobciążoym. Zauważ, że estymator ˆθ co10 także będzie ieobciążoy jest to tak aprawdę estymator x policzoy a 10-krotie miejszej próbie, więc jego wartość oczekiwaa E[ ˆθ co10 ] jest także rówa wartości oczekiwaej szukaego parametru. Natomiast estymator ˆθ zwiekszoe ie będzie miał już tej własości, poieważ jego wartość oczekiwaa będzie wyosiła E[ X] = E[ X] = µ. Problem 4.8 Czy estymator może ie być zgody, ale być ieobciążoy? Na aszym polu bitwy zostały dwa estymatory x i ˆθ co10. Który z ich jest lepszy? Cóż oba iezależie od rozmiaru próby średio trafiają w szukaą wartość parametru populacji (czyli w aszym przypadku w wartość oczekiwaą), atomiast dodatkowo chcielibyśmy, aby asz szukay estymator trafiał w tę wartość jak ajdokładiej tj. z ajmiejszą możliwą wariacją. Taki estymator azywamy estymatorem efektywym. Czasami tłumaczy się go jako estymator ajefektywiejszy i jest to chyba bardziej ituicyja azwa, poieważ podkreśla oa że ie istieje estymator efektywiejszy (o miejszej wariacji) od estymatora efektywego. Defiicja 4.6 Estymator efektywy. Estymator ieobciążoy ˆθ azywamy efektywym (lub ajefektywiejszym) jeżeli ma o ajmiejszą wariację spośród wszystkich estymatorów ieobciążoych. Taki estymator ie zawsze istieje. Problem 4.9 Który z rozważaych estymatorów ieobciążoych x, ˆθ co10 jest efektywiejszy?

6 6 Laboratorium 4. Symulacje. Estymacja puktowa. Pozaliśmy estymatory dla wartości oczekiwaej i pokazaliśmy że x jest estymatorem zgodym i ieobciążoym. Nie będziemy tutaj przeprowadzać dowodu, ale moża dodatkowo pokazać, że estymator te jest estymatorem efektywym dla rozkładu ormalego. Jakie są jedak estymatory dla wariacji? Z poprzedich zajęć możemy zapropoować dwa: S 2 = 1 (x i x) 2 oraz S 2 = 1 1 (x i x) 2. Oba te estymatory są estymatorami zgodymi, ale czy ieobciążoymi? Przykład 4.2 Sprawdźmy czy S 2 jest estymatorem ieobciążoym? S 2 = 1 i X) (X 2 = 1 = 1 X 2 i 2 X 1 (Xi 2 2X i X + X 2 ) = 1 X i + X 2 = 1 X 2 i 1 X 2 i 2 X 2 + X 2 = 1 2X i X + 1 X 2 i X 2 X 2 stąd E[S 2 ] = E [ 1 X 2 i X 2 ] = 1 E[X 2 i ] E[ X 2 ] = 1 E[X 2 i ] E[ X 2 ] Wiemy ile wyosi wariacja średiej arytmetyczej (D 2 X = D2 X ), więc chcielibyśmy skorzystać z tej wiedzy w aszym wyprowadzeiu. Spróbujmy wykorzystać wzór a wariację D 2 X = EX 2 (EX) 2 dla wariacji średiej arytmetyczej. Z tego powodu dodajemy i odejmujemy (E X) 2 = (EX) 2 = µ 2. E[S 2 ] = 1 = 1 = 1 = σ 2 E[X 2 i ] (E[ X 2 ] µ 2 + µ 2 ) /*stosujemy wzór a wariację*/ E[X 2 i µ 2 + µ 2 ] ( σ 2 + µ2 ) /*jeszcze raz trik z odjęciem i dodaiem µ 2 */ (E[Xi 2 ] µ 2 ) + 1 = σ 2 + µ 2 σ 2 = 1 σ 2 µ2 E[µ 2 ] ( σ 2 Jest to więc estymator obciążoy, a możąc go przez ieobciążoy: 1 S2 = µ2 ) /*E[X 2 i ] µ 2 to asz wzór a wariację! */ (X i X) 2 = otrzymamy estymator (X i X) 2 = S 2 Jeśli powyższe wyprowadzeie było dla Ciebie za szybkie poiżej prezetuje drugi, dłuższy, ale prostszy w aalizie krok po kroku sposób wyprowadzaia powyższego wyiku.

7 4.2 Estymacja puktowa 7 S 2 = 1 i X) (X 2 = 1 = 1 = 1 (X i µ + µ X) 2 ((X i µ) + (µ X)) 2 [wykorzystajmy wzór skrócoego możeia] ( (Xi µ) 2 + 2(X i µ)(µ X) + (µ X) 2) [przesuńmy sumę do środka] = 1 i µ) (X i µ)(µ X) + 2(X 1 = 1 i µ) (X 2 + 2(µ X) 1 = 1 i µ) (X 2 + 2(µ X) 1 = 1 i µ) (X 2 + 2(µ X)( 1 = 1 = 1 = 1 (X i µ) + 1 (µ X) 2 (µ X) 2 [stałe a zewątrz] (X i µ) + (µ X) 2 [środkowa suma do środka] X i 1 µ) + (µ X) 2 (X i µ) 2 + 2(µ X)( X µ) + (µ X) 2 [awias w środku razy -1] (X i µ) 2 2(µ X)(µ X) + (µ X) 2 (X i µ) 2 (µ X) 2 Przejdźmy do obliczeia wartości oczekiwaej: E[S 2 ] = E[ 1 = 1 (X i µ) 2 (µ X) 2 ] [liiowość oczekiwań: E[X +Y ] = E[X] + E[Y ]] E[(X i µ) 2 ] E[(µ X) 2 ] [zauważ że E[(X i µ) 2 to wariacja] = 1 σ 2 E[(µ X) 2 ] [po prawej też jest prawie wzór a wariację pomóż przez -1] = σ 2 E[( X µ) 2 ] [po prawej mamy teraz wariację średiej arytmetyczej] = σ 2 σ 2 = 1 σ 2 Ćwiczeie 4.2 Zgodość estymatorów. Otwórz arkusz kalkulacyjy dostępy pod astępującym likiem: excel/04/cw-3.xls i rozwiąż ćwiczeie.

8 8 Laboratorium 4. Symulacje. Estymacja puktowa. Ćwiczeie 4.3 Obciażeie estymatorów. Otwórz arkusz kalkulacyjy dostępy pod astępującym likiem: excel/04/cw-1.xls i rozwiąż ćwiczeie. Problem 4.10 Masz daą fukcję gęstości prawdopodobieństwa z kilkoma parametrami. W jaki sposób mógłbyś wyzaczyć estymatory tych parametrów? 4.3 * Jak wyzaczać estymatory? Podczas tłumaczeia zagadieia a tablicy pozaliśmy kilka dziwych estymatorów (dla średiej) i wiemy, że jest tutaj duże pole do popisu dla aszej wyobraźi. Wiemy też, że chcielibyśmy aby asz estymator miał jak ajwięcej fajych własości p. zgodość. Jak jedak możemy stworzyć/wymyślić taki estymator? Możemy oczywiście próbować atakować problem metodą prób i błędów: wymyślać estymator i udowadiać jego własości (lub raczej ie być w staie ich udowodić, bo wymyślae estymatory tych własości po prostu ie będą miały) 2 Zastaówmy się w jaki sposób moglibyśmy takie estymatory tworzyć. Rozważmy prosty przykład: otrzymujemy dae i chcemy zamodelować je rozkładem ormalym. Musimy więc oszacować parametry tego rozkładu µ i σ. Rysuek 4.1 (po lewej) przedstawia taką przykładową sytuację. Który z rozkładów byś wybrał? Rozkład, który jest arysoway a iebiesko czy rozkład czerwoy? Prawdopodobie wybrałbyś rozkład iebieski. Dlaczego? Tu odpowiedzią może być p. bo rozkład iebieski ma średią bliższą średiej daych 3. Po prawej stroie rysuku 4.1 masz ie dae, które próbujesz zamodelować rozkładem χ 2 (spokojie, ie musisz tego rozkładu zać jeszcze:). Prawdopodobie zów wybrałbyś rozkład iebieski, choć z rysuku ciężko oceić czy średia tego rozkładu jest bliższa średiej daych (zauważ obserwacje odstające!). Dlaczego? Bo te rozkład (podobie jak iebieski rozkład ormaly) lepiej pasuje do daych tz. rozkłady te czyią otrzymaie/wylosowaie takich daych bardziej prawdopodobe Estymacja ajwiększej wiarygodości Sposób który właśie ituicyjie odkryliśmy to populara techika tworzeia estymatorów w statystyce częstotliwościowej azywaa estymacją maksymalej wiarygodości (ag. maximum likelihood estimatio, MLE). Idea tego sposobu jest astępująca: wybieramy parametry rozkładu tak, aby jak ajlepiej pasował o do aszych daych. Co to zaczy, że rozkład ajlepiej pasuje do aszych daych? To zaczy, że wśród wszystkich możliwych rozkładów opisaych tym parametrem, wybray rozkład przypisuje ajwiększe możliwe prawdopodobieństwo do uzyskaia aszego zbioru daych. Krótko mówiąc: szukamy rozkładu, który czyi asze dae ajbardziej prawdopodobymi 4. 2 Możemy mieć problemy już a etapie wymyślaia estymatorów. Problem estymacji, który wcześiej rozważaliśmy dotyczył (bajeczie prostej) średiej arytmetyczej, ale co jeśli estymujemy parametry wymiarowego rozkładu ormalego? 3 De facto jest metoda tworzeia estymatorów, która tworzy je w te sposób: metoda mometów. Jest oa jedak słabsza iż pozawaa przez as metoda ajwiększej wiarygodości. 4 Przypomijmy: zakładamy, że populacja ma pewie rozkład opisay parametrami θ (p. populacja jest modelowaa rozkładem ormalym z parametrami µ, σ). Z tego rozkładu (populacji) losujemy próbkę -elemetową. Uzyskaie takiej, a ie iej próbki ma pewe prawdopodobieństwo. I to właśie prawdopodobieństwo będziemy w MLE maksymalizować

9 4.3 * Jak wyzaczać estymatory? 9 Rysuek 4.1: Przykłady otrzymaych daych (czare romby) oraz dwie propozycje modelowaia ich rozkładami z tej samej rodziy (rozkłady ormale i rozkłady χ 2 ). Estymowaie parametrów tych rozkładów jakie powio am dać parametry? Parametry rozkładów iebieskich czy czerwoych? Jak policzyć prawdopodobieństwo otrzymaia kokretych daych? Jak zwykle zakładamy, że asza próba jest próbą losową prostą, a więc że każda koleja obserwacja jest iezależa. Możemy więc pomożyć prawdopodobieństwo każdej kolejej obserwacji, aby uzyskać prawdopodobieństwo uzyskaia całej próbki (czyli serii obserwacji). Zapisujemy to wzorem: L(θ) = P(x i θ) gdzie P(x i θ) ozacza prawdopodobieństwo uzyskaia X = x i z rozkładu opisaego parametrem θ. Wartość powyższej fukcji wskazuje am jak bardzo prawdopodobe jest zaobserwowaie serii wartości x 1,...,x przy parametrach θ. Przykład 4.3 Rozważmy prosty przykład. Rzucamy pięć razy moetą i otrzymujemy 4 orły i 1 reszkę. Zakładamy rozkład dwupuktowy, który ma tylko jede parametr p (a więc asze θ to po prostu p). Porówajmy ze sobą 3 możliwe rozkłady: B(0.3), B(0.5) oraz B(0.8). Wyzaczmy ogólą postać fukcji wiarygodości dla aszego problemu, przyjmując, że otrzymaie orła to sukces (1), a otrzymaie reszki to porażka (0). L(p) = P(x i p) = P(1 p) P(1 p) P(1 p) P(1 p) P(0 p) = p 4 (1 p) Zwróć uwagę, że jest to prawdopodobieństwo otrzymaia aszej próbki daych (4 sukcesy, 1 porażka) w zależości od parametru rozkładu p, którego ie zamy. Fukcja wiarygodości L(p) dla aszych daych i przykładowej wartości p = 0.3 wyosi: L(p = 0.3) = P(x i p = 0.3) = ( ) = 0,00567

10 10 Laboratorium 4. Symulacje. Estymacja puktowa. Fukcja wiarygodości L(p) dla aszych daych i p = 0.5 wyosi: L(p = 0.5) = P(x i p = 0.5) = ( ) = 0,03125 Fukcja wiarygodości L(p) dla aszych daych i p = 0.8 wyosi: L(p = 0.8) = P(x i p = 0.8) = ( ) = 0,08192 Dostrzegamy że trzeci model lepiej pasuje do daych iż pozostałe tj. założeie trzeciego modelu czyi fakt otrzymaia takiej próbki ajbardziej prawdopodobym. Wyika to z faktu, że w daych pojawia się sporo orłów, a model te przypisuje wyższe prawdopodobieństwo orłowi iż model pierwszy 5 Estymacja maksymalej wiarygodości to taka, która zwraca parametry θ które maksymalizują fukcję L(θ). Iymi słowy jest to estymacja, która zwraca parametry które ajbardziej pasują do zebraych daych (prawdopodobieństwo ich uzyskaia jest ajwiększe). Mam adzieję, że pamiętasz z aalizy matematyczej jak zajdować maksymalą wartość fukcji (słowo-klucz: pochode). Często dużo prościej (a kartce) i dużo bardziej stabilie umeryczie (a komputerze) jest maksymalizować logarytm wiarygodości 6 (ag. loglikelihood). Dlaczego? Nie trudo się domyślić: logarytm z możeń (zobacz jak jest skostruowaa fukcja L!) to suma logarytmów. ) l(θ) = ll(θ) = l( P(x i θ) = lp(x i θ) Dlaczego jest to waże? stabilość umerycza. Fukcja wiarygodości to możeie prawdopodobieństw, które zwykle są liczbami miejszymi iż 1. Możeie wielu małych liczb kończy się jeszcze miejszą liczbą, coraz to bliższą 0, co może spowodować problemy umerycze i p. zaokrągleie całej fukcji wiarogodości do 0. Przykładowo, próbka daych z których każda obserwacja uzyskaa została z bardzo wysokim prawdopodobieństwem 0.99 daje w rezultacie fukcję wiarygodości wyoszącą = Przy próbce 10-krotie większej zwraca dokładie 0. A 100k elemetów to jeszcze ie jest big data! Co się jedak staie gdy wyciągiemy logarytm z 0.99? Otrzymamy l 0.99 = Zsumować ich 100 tysięcy? Bez problemu: To duża (ujema) liczba i awet jeśli przez błędy umerycze zgubimy coś po przeciku, a pewo ie grozi am całkowita utrata iformacji i uzyskaie zera! łatwość obliczeń. W przypadku obliczeń a kartce oraz liczeia pochodej, dzięki logarytmowi przeszliśmy z pochodej możeia, a pochodą z sumy. Z kolei pochoda sumy to 5 Zauważ, że orzeł pojawia się z częstotliwością dokładie 4 5 = 0.8. Spróbuj policzyć L(0.90): okaże się, że wiarygodość zaczęła spadać. 6 Logarytm wiarygodości osiąga maksimum dla tego samego parametru co wiarygodość, poieważ logarytm jest ściśle rosący dla dziedziy [0,1].

11 4.3 * Jak wyzaczać estymatory? 11 suma pochodych [( f (x) + g(x)) = f (x) + g (x)], co zakomicie upraszcza am obliczeia. Zamiast wielokrotie możyć, a astępie liczyć pochodą z tego skomplikowaego tworu, możemy policzyć pochode z pojedyczych lp(x i θ) a astępie je zsumować! W zasadzie ie jest to ułatwieie tylko do obliczeń a kartce, bo wiele wydajych algorytmów optymalizacyjych wymaga od programisty zaprogramowaia rówież pochodej. Przykład 4.4 Zebraliśmy astępującą 4-elemetową próbkę: 5,10,3,4 i ktoś am szepął, że dae pochodzą z rozkładu wykładiczego. Wyestymuj parametry tego rozkładu. Wiem, co teraz myślisz: co to, do diaska, jest rozkład wykładiczy? I jakim cudem mam wyestymować jego parametry, skoro awet ie wiem co to jest? Otóż metodą ajwiększej wiarygodości ;) Pla działaia: pukt 1. Biegiemy do cioci Wikipedii po wzór a te rozkład i otrzymujemy: { λe λx jeżeli x 0, p(x;λ) = 0 jeżeli x < 0. gdzie λ to parametr rozkładu. Pukt 2: zastaawiamy się jak policzylibyśmy prawdopodobieństwo otrzymaia tych x-ów, gdybyśmy zali λ. P(5 λ) = λe 5λ P(10 λ) = λe 10λ P(3 λ) = λe 3λ P(4 λ) = λe 4λ Oraz wymażamy je, aby otrzymać prawdopodobieństwo otrzymaia całej próby (fukcję wiarygodości). L(λ) = P(x i λ) = P(5 λ) P(10 λ) P(3 λ) P(4 λ) = λe 5λ λe 10λ λe 3λ λe 4λ Pukt 3: uruchamiamy ulubioy algorytm optymalizacyjy, który optymalizuje fukcję L(λ) (jeśli jesteś profesjoalistą to optymalizowałbyś logarytm tej fukcji). Z algorytmu dostajemy parametr λ, który maksymalizuje fukcję wiarygodości, czyli jest to estymator ajwiększej wiarygodości. Podsumowując: ie zasz rozkładu, ie zasz parametrów, ie wiesz o co w ich chodzi, ale potrafisz je wyestymować. Czy klub wielbicieli MLE właśie zdobył kolejego człoka? Powyższe rozwiązaie jest prawidłowe, ale być może chcielibyśmy wiedzieć jak wyzaczyć parametr λ dla dowolych daych, a ie tylko dla aszej kokretej, 4-elemetowej próbki. W szczególości chcielibyśmy wyzaczyć wzór a estymator parametru λ. Przyjrzyjmy się jeszcze raz temu samemu zadaiu, ale z większą dozą formalizmu. Przykład 4.5 Zebraliśmy dae pochodzące z populacji modelowaej rozkładem wykładiczym (ag. expoetial distributio), który obserwujemy kiedy opisujemy długość czasu pomiędzy kolejymi zdarzeiami w homogeiczym procesie Poisso a. Rozkład te przyjmuje formę: { λe λx jeżeli x 0, p(x;λ) = 0 jeżeli x < 0.

12 12 Laboratorium 4. Symulacje. Estymacja puktowa. Wyzacz estymator ajwiększej wiarygodości dla parametrów tego rozkładu (rozkład te ma jede parametr λ). W przypadku rozkładu wykładiczego fukcja wiarygodości przyjmuje postać: a jej logarytm 7 : ) l(λ) = l( λe λx i L(λ) = = P(x i λ) = ( ) l λe λx i = λe λx i (lλ λx i ) = lλ λ x i Zauważ, że w powyższym wzorze abstrahujemy od rzeczywistych wartości x i. Zrobiliśmy tak aby otrzymać ogóly wzór a estymator ajwiększej wiarygodości dla dowolych daych, a ie jedą, kokretą wartość estymacji dla aszych, kokretych daych. Gdybyś pracował a rzeczywistym zbiorze daych w tym miejscu mógłbyś przerwać obliczeia: implemetujesz powyższy wzór wstawiając pod x i twoje dae i używasz dowolego algorytmu optymalizacyjego w celu maksymalizacji tej fukcji. My jedak będziemy kotyuować asze obliczeia maksymalizując tę fukcję poprzez policzeie pochodej. Policzmy pochodą 8 : dl dλ = d[ l(λ) λ x i] = d l(λ) dλ dλ Przyrówajmy ją do zera: dl dλ = λ x i = 0 λ = x, i dλ x i dλ = λ x i Uzyskaliśmy estymator ajwiększej wiarygodości dla rozkładu wykładiczego.! Formalie powiiśmy sprawdzić jeszcze czy jest to maksimum licząc drugą pochodą: dl d 2 λ = co jest zawsze miejsze od 0 (bo liczba obserwacji > 0). λ 2 Podsumujmy więc asze rozważaia podając kilka defiicji: Defiicja 4.7 Fukcja wiarygodości. Fukcja wiarygodości (ag. likelihood fuctio) dla próby losowej prostej jest zdefiiowaa jako L(θ) = f (x i θ) gdzie f (x i θ) ozacza odpowiedio fukcję gęstości prawdopodobieństwa (zmiee cią- 7 Podstawowe własości: l(ab) = la + lb oraz l(e a ) = a 8 Pamiętaj że (lx) = 1 x oraz ( f (x) + g(x)) = f (x) + g (x)

13 4.3 * Jak wyzaczać estymatory? 13 głe) lub fukcję masy prawdopodobieństwa (zmiee dyskrete) dla rozkładu opisaego parametrem (lub wektorem parametrów) θ. Defiicja 4.8 Estymator ajwiększej wiarygodości. Estymator ajwiększej wiarygodości (MLE) ozaczay ˆθ MLE przyjmuje wartość θ, która maksymalizuje fukcję wiarygodości L(θ). Tyle się amęczyliśmy, ale skąd wiemy czy MLE są dobrymi estymatorami? Jakie własości mają estymatory MLE? Otóż okazuje się, że pod pewymi warukami 9 MLE mają wiele użyteczych własości: MLE są zgode MLE są asymptotyczie ieobciążoe 10 - estymator MLE dla dużych prób jest estymatorem ieobciążoym MLE są asymptotyczie efektywe - estymator MLE ma ajmiejszą możliwą wariację spośród wszystkich dobrze zachowujących się estymatorów dla dużych prób losowych. MLE są asymptotyczie ormale - estymator MLE dąży do rozkładu ormalego dla dużych prób losowych. i wiele iych ;)! Jeśli pomożymy L(θ) przez jakąkolwiek stałą dodatią c, ie zmieimy ostateczego estymatora MLE. Z tego powodu często dla uproszczeia obliczeń przy optymalizacji pomijamy stałe. Przykład 4.6 MLE dla rozkładu Beroulliego. Wyzaczmy estymator ajwiększej wiarygodości dla rozkładu Beroulliego. Rozkład te ma tylko jede parametr p (a więc asze θ to po prostu p). Aby wyzaczyć fukcję wiarygodości musimy zać wzór a P(x p), który wygląda astępująco: P(x p) = { 1 p dla x = 0, p dla x = 1 Wzorem tym będzie ciężko operować matematyczie, więc zastąpimy go rówoważym wzorem P(x p) = p x (1 p) 1 x Zwróć uwagę, że jeśli x = 0 to p x (1 p) 1 x = p 0 (1 p) 1 = (1 p), a jeśli x = 1 to p x (1 p) 1 x = p 1 (1 p) 0 = p czyli zapisy są rówoważe. Wyzaczmy fukcję wiarygodości: L(p) = f (x i ; p) = p x 1 (1 p) 1 x1 p x 2 (1 p) 1 x2... p x (1 p) 1 x = p x i (1 p) x i 9 Zachęcam do lektury bardziej zaawasowaych źródeł: p. Maximum_likelihood_estimatio#Properties 10 Estymatory zgode są zawsze asymptotyczie ieobciążoe (ta implikacja ie działa w drugą stroę).

14 14 Laboratorium 4. Symulacje. Estymacja puktowa. oraz jej logarytm ( ) l(p) = l p x i (1 p) x i = ( x i ) l(p) + ( x i )l(1 p) Zów, gdybyś pracował a kokretym zbiorze daych w tym miejscu mógłbyś przerwać obliczeia: implemetujesz powyższy wzór wstawiając pod x i twoje dae i używasz dowolego algorytmu optymalizacyjego w celu maksymalizacji tej fukcji. My jedak spróbujemy wyzaczyć ogóly wzór a estymator MLE i kotyuujemy obliczeia. Obliczmy pochodą logarytmu fukcji wiarygodości: ( dl ) d p = 1 x i p ( x i ) 1 1 p ADVANCED Przyrówajmy ją do 0 i przemóżmy obustroie przez p(1 p) ( ) ( i x (1 p) x i ) p = 0 x i p x i p + p x i = 0 ˆp MLE = x i = x Estymatorem ajwiększej wiarygodości dla parametru p rozkładu Beroulliego jest średia arytmetycza (por. z przykładem 4.3). Przykład 4.7 MLE dla rozkładu jedorodego. Rozważmy jeszcze jede, bardzo iestadardowy przypadek, ale warty rozważeia. Załóżmy, że asze dae X są geerowae z rozkładu jedorodego. Rozkład jedorody ma dwa parametry (od... do...) ale dla uproszczeia załóżmy, że wiemy, że jest to rozkład od 0 do pewego θ, który chcemy estymować. Fukcja gęstości prawdopodobieństwa dla rozkładu jedorodego od 0 do θ przyjmuje wartość θ 1 dla wartości od 0 do θ oraz 0 dla pozostałych wartości (pozostałe wartości ie mają prawa się zdarzyć). f (x) = 1 θ I 0 x θ gdzie I 0<x<θ to specjala fukcja zwaa idykatorem zbioru (ag. idicator fuctio) przyjmująca 1 gdy waruek logiczy jest spełioy i 0 gdy jest iespełioy (dae spoza zakresu 0 x θ mają prawdopodobieństwo rówe 0). Zdefiiujmy fukcję wiarygodości L(θ) = f (x i ) = 1 θ I 0 x i θ = θ I 0 mii x i max i x i θ Ta ostatia rówość wyika z faktu, że jeśli jakiekolwiek x będzie miejsze iż 0 lub większe od θ to w możeiu pojawi się jedo prawdopodobieństwo rówe 0, które wyzeruje całe możeie. dl(θ) = θ (+1) dθ

15 4.3 * Jak wyzaczać estymatory? 15 Jak widzimy w przedziale 0 mi i x i max i x i θ fukcja ta maleje (pochoda jest ujema), więc w celu maksymalizacji ależy wybrać θ tak małe jak to możliwe. Z drugiej stroy θ ie może zerować wyrażeia I 0 mii x i max i x i θ. Podsumowując: wybieramy jak ajmiejsze θ (bo fukcja maleje), które jest jedocześie większe rówe max i x i (bo iaczej wyzeruje I). Estymatorem ajwiększej wiarygodości jest więc w tej sytuacji ˆθ MLE = maxx i i Poday przykład jest jedą z rzadkich sytuacji w której przejście a logarytm fukcji wiarygodości ie upraszcza obliczeń Czy estymator ieobciażoy jest zawsze lepszy od obciażoego? Oczywiście, ktoś sceptyczie astawioy może powiedzieć, że MLE dla małych prób są jedyie zgode, w dodatku mogą być obciążoe! Chociaż używaie estymatora ieobciążoego jest dobrym pomysłem, w iektórych sytuacjach może się okazać że estymator (troszeczkę) obciążoy będzie w daym zastosowaiu lepszy, bo p. będzie miał dużo miejszą wariację. Pamiętaj, że chcemy uzyskać estymację jak ajbliższą prawdziwej wartości parametru, który estymujemy. Taki błąd możemy teoretyczie mierzyć p. jako podiesioą do kwadratu różicę pomiędzy estymowaym parametrem a aszą estymacją 11. Nasz błąd wyrazimy więc wzorem MSE = ( ˆθ θ) 2 gdzie ˆθ to asza estymacja, a θ to prawdziwa wartość estymowaego parametru. Zauważ, że asz estymator ˆθ jest zmieą losową (zależy od losowej próbki a której go policzymy), a θ jest stałe (oczywiście ie zamy p. średiej wysokości wszystkich ludzi a świecie, ale jedak wiemy, że jest to jakaś kokreta wartość). Spróbujmy więc pokazać ile wyosi wartość oczekiwaa błędu (jakiego błędu się spodziewamy) dla aszej estymacji. W celu uproszeia dalszego zapisu wprowadźmy ozaczeie: E ˆθ = θ. Notabee, E ˆθ też ie jest zmieą losową, a jakąś kokretą liczbą. E[MSE] = E [ ( ˆθ θ) 2] = E[ (( ˆθ θ) + ( θ θ) ) 2 ] /odejmij i dodaj θ/ = E [ ( ˆθ θ) 2] + 2E [ ( ˆθ θ)( θ θ) ] + E [ ( θ θ) 2] = E [ ( ˆθ θ) 2] + 2( θ θ)e [ ˆθ θ ] + ( θ θ) 2 /( θ θ) jest stałą/ = E [ ( ˆθ θ) 2] + 2( θ θ)(e[ ˆθ] θ) + ( θ θ) 2 / θ jest stałą/ = E [ ( ˆθ θ) 2] + 2( θ θ)( θ θ) + ( θ θ) 2 /podstawiamye ˆθ = θ / = E [ ( ˆθ θ) 2] + ( θ θ) 2 = D 2 [ ˆθ] + B( ˆθ) 2 gdzie D 2 [ ˆθ] to wariacja estymatora, a B( ˆθ) 2 to jego obciążeie podiesioe do kwadratu (porówaj z Defiicją 4.5). Z wyiku aszych obliczeń wyika, że aby spodziewać się jak ajmiejszego błędu ależy miimalizować z jedej stroy wariację estymatora, a z drugiej stroy jego obciążeie. Obserwujemy także pewego rodzaju przetarg pomiędzy wariacją a obciążeiem: 11 błąd te ma wiele użyteczych własości o których będziemy się jeszcze uczyli.

16 16 Laboratorium 4. Symulacje. Estymacja puktowa. jeśli jesteśmy w staie zamieić estymator ieobciążoy a iy, o małym obciążeiu, za to z dużo miejszą wariacją to wyjdziemy a tym a plus! Przykład 4.8 Załóżmy, że mamy dwa estymatory. Pierwszy z ich jest ieobciążoy o wariacji wyoszącej 10, drugi zaś jest estymatorem obciążoym o obciążeiu rówym 2 i wariacji wyoszącej 4. Policzymy oczekiway błąd kwadratowy dla tych estymatorów. E[MSE( ˆθ 1 )] = D 2 [ ˆθ 1 ] + B( ˆθ 1 ) 2 = = 10 E[MSE( ˆθ 2 )] = D 2 [ ˆθ 2 ] + B( ˆθ 2 ) 2 = = 8 Zauważ, że w rozważaej sytuacji spodzieway błąd drugiego estymatora (przypomijmy: obciążoego!) jest miejszy iż spodzieway błąd estymatora ieobciążoego. Powyższy przetarg (i asze rówaie) jest tak słye, że aż doczekało się swojej własej azwy the bias-variace tradeoff i własej stroy a Wikipedii 12. Po polsku omeklatura ie jest jeszcze ustaloa (przyajmiej według ajlepszej wiedzy autora). Literatura Literatura powtórkowa Zaawasoway opis różych sposobów geerowaia liczb losowych, wraz z aalizami ich działami, moża zaleźć w rozdziale 4 książki [2]. Opis estymatorów puktowych moża zaleźć w podrozdziale 2.2 książki [4]. Aalizę estymatorów uzyskaych za pomocą metody Mote Carlo moża zaleźć w rozdziale 8 książki [3]. Literatura dla chętych Metody Mote Carlo są bardzo często używae w praktyce. Moża je stosować p. w plaowaiu projektów, gdzie mamy zbiór zadań, które muszą się wykoywać jedo po drugim. Zadaia te (jak w życiu) mogą trwać dłużej lub krócej iż się plauje, a ewetuale opóźieie jedego z ich wpływa a wszystkie astępe. Filmik com/watch?v=crwcwr8m2k pokazuje przykładowe zastosowaie metod Mote Carlo do estymacji czasu trwaia projektu. Metody Mote Carlo mają także zastosowaie w robotyce do lokalizacji robotów (ale także w lokalizowaiu piłkarzy a boisku). Filmik v=sz7cjumgkfg omawia metodę filtru cząsteczkowego (Mote Carlo Localizatio) do ustaleia pozycji pająka a mapie, mając do dyspozycji robota, który jeździ po mapie wykoując pomiary odległości - pomiary te (jak w życiu) są iedokłade, stąd zadaie jest trudiejsze iż się wydaje. Moża zobaczyć także projekt studecki, który wykorzystuje to w praktyce Pytaia sprawdzajace zrozumieie Pytaie 4.1 Czym różią się od siebie estymatory zgode, ieobciążoe, obciążoe, efektywe? Zadaia a rozumieie defiicji tych estymatorów. 12

17 BIBLIOGRAFIA 17 Pytaie 4.2 Czy zasz wzór a wartość oczekiwaą i odchyleie stadardowe średiej arytmetyczej X z próby? Czy rozumiesz dlaczego wariacja D 2 [ X] jest miejsza iż wariacja D 2 [X]? Pytaie 4.3 Czy rozumiesz zasadę ajwiększej wiarygodości oraz zasz właściwości (zgodość,...) estymatorów MLE? Czy umiałbyś je uzyskać mając do dyspozycji algorytm optymalizacyjy? Nie wymagam wyzaczaia estymatorów do końca poprzez policzeie pochodych (umiejętości liczeia pochodych były sprawdzae a iym przedmiocie) czy zapamiętaia wszystkich wzorów uzyskaych w przykładach jedak każdy powiie umieć wyzaczyć fukcję wiarygodości i jej logarytm (czyli to co trzeba wstawić do algorytmu optymalizujacego) oraz wiedzieć do czego to służy. Bibliografia [1] Metoda Mote Carlo Wikipedia, wola ecyklopedia. org/wiki/metoda_mote_carlo. Dostęp: [2] Siegmud Bradt. Aaliza daych. Wydawictwo Naukowe PWN, [3] Jacek Koroacki i Ja Mieliczuk. Statystyka dla studetów kieruków techiczych i przyrodiczych. Wydawictwo Naukowo-Techicze, [4] W. Krysicki, J. Bartos, W. Dyczka, K. Królikowska, i M. Wasilewski. Rachuek prawdopodobiestwa i statystyka matematycza w zadaiach. Część II: Statystyka matematycza. Wydawictwo Naukowe PWN, ISBN