Funkcja wiarogodności

Transkrypt

1

2 Fukca warogodośc Defca: Nech będze daa próba losowa prosta o lczebośc z rozkładu f (x; θ. Fukcą warogodośc dla próby x azywamy welkość: ( x; θ f ( x ; θ L Uwaga: Fukca warogodośc to e to samo co łącza gęstość p-twa L( x; θ Twerdzee (Cramera-Rao: Mmala wartość warac V m dowolego eobcążoego estymatora parametru θ daa est przez: Poeważ: V Vm E ( [ ] [ ] θ θ l L( x, θ M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0- E l L x, θ l L( x; θ l L( x; θ L( x; θ dx 0 L( x; θ dx E - l L( x; θ l L( x; θ L( x; θ dx L( x; θ dx - - -

3 Twerdzee Cramera-Rao Estymator o mmale warac azywamy efektywym (aefektyweszym Efektywoścą estymatora azywamy stosuek ego warac do V m. θ ( θ,..., θ W przypadku parametrów rozkładu erówość Cramera-Rao ma charakter macerzowy, a mmala waraca wyos: - l (, V L x θ m l L x, θ θ l L x, θ E E ( V cov θ, θ Twerdzee Cramera-Rao stwerdza, że V V m gdze est macerzą dodato półokreśloą, w szczególośc - [ ] V θ V m Uwaga: Często wykorzystuemy V m ako przyblżee macerzy kowarac wstawaąc w drugch pochodych zamast parametru ego estymatę. M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-3

4 Metoda awększe warogodośc Zasada awększe warogodośc: za estymatę ezaego parametru θ powśmy θ wybrać taką lczbę dla które fukca warogodośc osąga maksmum: A węc: L( x; θ max L( x; θ 0 przy waruku L( x; θ < 0 Często stosuemy astępuące rówae do zalezea estymaty MNW: l L( x; θ l f ( x; θ przy waruku l f ( x; θ < 0 0 θθ W przypadku k parametrów θ ( θ,..., θ musmy rozwązać układ k rówań: k l L( x; θ l f ( x; θ 0 przy waruku ueme określoośc macerzy: k θθ M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-4 l f ( x ; θ θθ

5 Metoda awększe warogodośc Jeśl oszacowaa wartość parametru est blska wartośc prawdzwe, to oczekuemy dużego p-twa otrzymaa z eksperymetu daych takch ake rzeczywśce uzyskalśmy. Wygeerowaych 50 przypadków z rozkładu ormalego o µ Wyk otrzymae z maksymalzac fukc warogodośc µ 0.04 oraz 0.06 Odstępstwa od wartośc prawdzwych są marą błędów statystyczych. W przypadku estymat parametrów bardzo odbegaących od wartośc prawdzwych otrzymuemy zacze mesze wartośc fukc warogodośc. M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-5

6 Własośc estymatorów MNW Przykład: Wyzaczee estymatora parametrów τ λ rozkładu wykładczego. t L( t; λ exp ll l τ t τ τ τ ll t + t + τ t t τ τ τ τ τ 0 Podobe wyzaczamy estymator parametru λ: L( t; λ λ exp λt ll l λ λ t ll t t λ λ λ 0 λ t Wdać, że estymator est ezmeczy względem trasformac α(ξ /ξ Jest to ogóla cecha estymatorów MNW, tz. eśl zamy estymator parametru θ a teresue as fukca tego parametru α(θ to przy założeu, że α/ 0 mamy L L α L 0 0 α α M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-6 t

7 Szacowae błędów estymatorów MNW Poeważ w ogólośc E α θ α E θ (z wyątkem przekształcea lowego, wec oczekuemy, że estymatory MNW są z reguły obcążoe. Przykład: eobcążoy estymator parametru τ tylko asymptotycze eobcążoy estymator parametru λ: [ ] Waraca estymatora awększe warogodośc: V [ ] x θ θ θ L x ; θ dx [ ] [ τ ] τ W przypadku k parametrów musmy zaleźć macerz kowarac:, ( ( V θ ( ; θ θ x θ θ x θ L x θ dx λ Waraca przymue postać fukc oceaego parametru. Aby uzyskać wartość lczbową musmy wstawć ego estymatę ( a węc est to przyblżee. W te sposób moża wyzaczyć waracę estymatora tylko w prostych przypadkach. Naczęśce powyższe całk są trude/emożlwe do rozwązaa aaltycze musmy stosować bądź przyblżea, bądź metodę Mote Carlo. M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-7 E E λ

8 Szacowae błędów estymatorów MNW Przykład: Waraca estymatora parametru rozkładu wykładczego: [ ] t Vτ t τ exp dt τ τ 0 t t t t exp dt t exp dt exp dt τ + τ τ τ τ τ τ τ + ( τ τ τ τ τ τ τ + τ τ W przypadku duże próbk daych możemy zaleźć estymator warac estymatora parametru MNW korzystaąc z waruku erówośc Cramera-Rao: [ ] ll V θ lub w przypadku wększe lczby parametrów: M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-8 θθ l, L V θ θ θθ τ

9 Zachowae asymptotycze (θ Przykład: Estymator warac estymatora parametru rozkładu wykładczego. [ ] l [ ] l L τ L Vτ Vλ τ ττ λ λλ Uwaga: Estymatory metody awększe warogodośc są zgode. Zachowae fukc warogodośc ako fukc parametru θ w okolcach wartośc tego parametru określoe ego estymatą MNW: ( ( ( ( Fukca warogodośc ako fukca parametru θ ma w okolcach maksmum w przyblżeu kształt rozkładu Gaussa. M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-9 λ ll ll ll θ ll θ + θ θ + θ θ + O θ θ θθ θθ ll max 0 3 [ ] θ θ l l θ θ L θ Lmax L θ Lmax exp V [ θ ] V θ

10 Szacowae błędów estymatorów MNW Metoda grafcza szacowaa błędów statystyczych estymatorów MNW. θ θ ll θ ll ( max L l θ ± ll θ max θ Przykład: Estymator warac estymatora parametru rozkładu wykładczego. τ. 06 τ τ τ τ 0. 5 τ + Odstępstwo od parabol ze względu a małą statystykę (50 M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-0

11 Metoda awększe warogodośc Przykład: Wyzaczee parametrów µ oraz rozkładu ormalego. ( x µ ( x µ L(x; µ, exp - exp - π π l l( π l L ( x µ Oblczamy pochode fukc warogodośc po parametrach µ oraz : ll ( x µ x µ µ x µ 0 ll ( x + ( ( µ + x µ x µ S Estymatory warac estymatorów parametrów µ oraz : l [ ] L V µ µµ µµ µ 4 l [ L V ] ( M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0- x

12 Metoda awększe warogodośc Przykład: Opór każdego z różych oporków zmerzoo ezależe razy. Dokładość każdego z pomarów est taka sama, a prawdzwe wartośc oporu e są zae. Przymuąc, że każdy z pomarów opsay est rozkładem Gaussa o te same dyspers, ale różych wartoścach oczekwaych µ (,,, odpowadaących różym oporom, zadź estymatory welkośc µ. ( x µ y µ L( x, y; µ, exp exp π π exp ( x µ exp ( y µ ( π ( π ll lπ l ( x µ lπ l ( y µ ll x x y µ y µ µ µ µ (x + y µ ll + ( x µ + ( y µ 4 4 (x (y + µ + µ (x y M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-

13 Metoda awększe warogodośc Przykład: Wyzaczee estymatora parametru rozkładu Possoa. k k µ µ µ L( k; µ e ll l k l l k! k! µ k! µ µ ll k k µ 0 µ µ µ Wartość oczekwaa waraca: [ E µ ] k k µ µ k k [ ] ( L( k; µ µ µ µ V µ µ µ µ k µ e (k µ e kl! kl! k 0 k 0 l k 0 l k µ µ (k µ + (k µ (k µ e kl! k 0 l k µ µ µ ( k µ e [k] kl! k l V 0 M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-3 k

14 Średa ważoa Daa est próbka prosta złożoa z elemetów x (,,, każdy z rozkładu ormalego o róże zae dyspers, ale ezae detycze wartośc oczekwae µ. (p. pomary dae welkośc za pomocą różych przyrządów. ( x µ L( x; µ, exp π ( x µ ll ( x µ ll lπ l µ M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-4 ( x µ x x µ µ 0 / Średa ważoa: µ w x gdze w

15 Wartość oczekwaa waraca: [ µ ] w x µ w µ Średa ważoa ( x µ [ ] ( V µ µ µ L( x; µ, dx w x µ exp dx π ( x µ w ( x µ exp dx π ( x µ w ( x µ + wwk ( x µ ( xk µ exp k π π w w π M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-5 exp ( ax ( a d x x exp x d x a π a π a dx

16 Metoda awększe warogodośc Przykład: Prędkość dźwęku merzoa w powetrzu dwema różym metodam wyos: v 340 ± 9 [m/s] oraz v 350 ± 8 [m/s]. Zadź alepszą estymatę prędkośc dźwęku. Oblczamy wag: w w Średa ważoa prędkość dźwęku oraz e błąd: v w wv+ wv 34 w+ w [m/s] [m/s] w w + w 8 M. Przybyceń Rachuek prawdopodobeństwa statystyka Wykład 0-6