4. Na podstawe erówośc Cramera Rao wyzacz dole ograczee dla waracj eobcążoego estymatora waracj σ w rozkładze ormalym N(0, σ ). W zadau e ma polecea wyzaczaa estymatora eobcążoego o mmalej waracj dla σ, lecz jedye dole ograczee w erówośc Cramera Rao: Nerówość Cramera Rao Nech gˆ(,... ) będze estymatorem eobcążoym dla g( ) E gˆ(,... ) g( ) ). Wówczas zachodz: ( g ( )) Var (( ˆ g(,... )) I ( ). (czyl Zgode z treścą zadaa: g( σ ) σ ( g ( σ )) ( σ ) 4 σ. Pozostaje węc wyzaczyć formację Fshera dla daego modelu. Zaczyamy od zapsaa fukcj łączej gęstośc, astępe lczymy perwszą drugą pochodą fukcj warogodośc: L( σ ) f (,... ) exp( ) ( σ π ) σ l( σ ) l L( σ ) l( π ) lσ σ l ( σ ) + 3 σ σ 3 l ( σ ) 4 σ σ Oblczamy formację Fshera: 3 3 3 I ( σ ) El ( σ ) E( + ) 4 + E 4 E + 4 σ σ σ σ σ σ Zgode ztreścą zadaa ~ N (0, σ ), czyl E 0, Var σ. Drug momet zwykły wyzaczamy zgode ze wzorem: Var( ) E ( E) E Var( ) + ( E) σ + 0 σ Ostatecze formacja Fshera wyos: ( ) 3 3 I σ + E 4 + σ 4 σ σ σ σ σ Dole ograczee a eobcążoy estymator σ wyos: 4σ σ 4 ( g ( σ )) I ( σ ) σ 4. Obserwujemy dwe ezależe próby losowe: (,... ), ( Y,... Y ), przy czym wadomo, że zmee mają rozkład wykładczy o wartośc oczekwaej λ, a zmee Y rozkład wykładczy o wartośc oczekwaej 3 λ. Rozważmy estymator parametru λ postac ˆ λ + Y. Wyzacz obcążee ryzyko tego estymatora.
Obcążee: E ˆ λ E ( + Y ) *3 E + EY E + EY λ + λ λ Dla estymatora eobcążoego: b( λ) E ˆ λ λ 0 Ryzyko: Dla estymatora eobcążoego ryzyko jest rówe waracj estymatora: ˆ R( λ) Var( λ) Var( + Y ) {Korzystamy z ezależośc obu prób od sebe; waracja sumy ezależych zmeych losowych jest rówa sume waracj} Var( ) + Var( Y ) Var( ) + Var( Y ) λ + (3 λ) λ + λ λ 4 3 4 3 4 4 4 3 4.3 Nech,... /( x) będze próbą prostą z rozkładu o dystrybuace F( x) e, dla x > 0. a) Oblcz estymator ajwększej warogodośc ˆ ezaego parametru > 0. Wyzaczmy gęstość: δ F( x) f ( x) e ( )( ) e δ x x x Fukcja warogodośc: /( x) /( x) L( ) exp( ) x x l( ) l( ) l x x Polczmy perwszą pochodą przyrówajmy wyk do zera w celu wyzaczea wartośc parametru maksymalzującego fukcję warogodośc: l '( ) 0 + x x b) Wyzacz obcążee, warację błąd średokwadratowy tego estymatora. x E E E x
W celu wyzaczea wartośc oczekwaej waracj estymatora warto zacząć od wyzaczea rozkładu x. F t P t P P F / ( ) ( ) ( ) () ( ) < t < t F ( t ) t e t F/ ( t) e Jak e trudo zauważyć wyzaczoy rokład to rozkład wykładczy. Exp( ) Γ(, ) x Γ(, ) x x E E E x Estymator jest eobcążoy, zatem obcążee wyos zero! x Var Var Var x Dla estymatora eobcążoego ryzyko jest rówe jego waracj! c) Wyzacz formację Fshera w tym modelu. Czy estymator uzyskay w pukce a) jest ENMW ( )? W celu wyzaczea formacj Fshera polczymy drugą pochodą logarytmu fukcj warogodośc. l '( ) l ''( ) x + x 3 I ( ) E( l ''( )) E( ) + E + x x 3 3 3 3
Zauważmy, że waracja estymatora jest rówa odwrotośc formacj Fsher a, tz: waracja osąga dole ograczee wyzaczoe przez erówość Cramer a Rao. Estymator poadto jest eobcążoy, zatem jest ENMW ( )! 4.4 Sprawdzć, czy ENW jest estymatorem eobcążoym o mmalej waracj parametru, jeśl,... jest próbą prostą z rozkładu N(,). Na ćwczea pokazalśmy, że estymatorem MNW wartośc oczekwaej w rozkładze ormalym jest średa arytmetycza polczoa a podstawe próby prostej wylosowaej z tego rozkładu. E E Estymator MNW jest eobcążoy! Czy mam mmalą warację? σ Var Var Var U as waracja pojedyczej realzacj zmeej losowej wyos. Var Dole ograczee waracj estymatora uzyskamy lcząc formację Fsher a dla rozkładu ormalego. Np. tak: I I ( ) ( ) δ log f ( x) I( ) E( ), f ( x) e δ π ( x ) Powyższy wzór a gęstość uwzględa fakt, że waracja tego rozkładu jest rówa jede! 4
f x x x x δ log f ( x) ( x ) δ δ log f ( x) δ δ log f ( x) I( ) I( ) ( E( ) ( ) δ l ( ) l π ( ) l π ( + ) Var wdać, że waracja estymatora jest odwrotoścą formacj Fsher a, czyl ma mmalą warację! 4.5 Nech,... będze próbą prostą z rozkładu N(,). Wyzacz obcążee estymatora T (,..., ) ( ) parametru. Nech,... będze próbą prostą z rozkładu N ( µ, σ ). σ Zauważmy, że N( µ, ) (wyprowadzee tego, faktu pojawło sę a zajęcach) Skorzystajmy z tożsamośc: σ Var E ( E ) E Var + ( E ) + µ U as: µ σ, ET (,..., ) E( ) + Obcążee wyzaczymy z defcj: b( ) ET (,..., ) + Rozwązae alteratywe, umożlwające poradzee sobe z bardzej ogólym przypadkam, dla których e tak łatwo wyzaczyć rozkład średej z próby. Rozwązae tego zadaa było proste, poeważ łatwo możemy wyzaczyć rozkład średej polczoej a podstawe próby prostej z rozkładu ormalego. W ogólym przypadku ależałoby, odwołać sę do defcj wartośc oczekwaej. ET (,..., ) E( ) E(... ) E(... ) + + + + + j j j 5
Zastaówmy sę, le jest takch loczyów zmeych losowych. Zauważmy, że dla każdego deksu mamy - takch loczyów, (poeważ deksy oraz j e mogą być sobe rówe). Ozacza to, że takch loczyów będze (-). Do takego samego wosku dojdzemy zauważając, że różych par loczyów zmeych losowych z różym deksam będze tyle, le jest dwuelemetowych waracj bez powtórzeń zboru elemetowego. Korzystając z ezależośc zmeych losowych z tego, że pochodzą z tego samego rozkładu otrzymamy: + + + j + + + j + j j j j E(... ) E(... ) E( ) E ( )( E ) bo dla ezależych zmeych losowych o tak samym rozkładze mamy: E( ) E( ) E( ) E( ) j j E( ) ( E ( )( E )) E + ( )( E ) + Ostatecze (zakładając, że rozkład zmeej losowej e jest ormaly) pozostałoby wyzaczee drugego mometu zwykłego, co ależałoby w ogólośc zrobć z defcj wartośc oczekwaej (polczyć odpowedą całkę). Wartość oczekwaą jest zaa, o le zay jest rozkład ( jego parametry) zmeej. 4. Zmee,..., mają rozkład o tej samej wartośc średej µ. Wykazać, że statystyka a +... + a postac T jest eobcążoym estymatorem parametru µ. a +... + a a +... + a ET E a +... + a E( a +... + a ) a E +... + a E a a a a +... + +... + ( a +... + a ) µ a a a a aµ +... + aµ µ +... + +... + Przy rozwązau skorzystalśmy z lowośc wartośc oczekwaej: E( + Y ) E + EY E( cy ) cey 4.7* Nech,... będze próbą prostą z rozkładu ormalego N ( µ, σ ). Wyzaczyć a tak, żeby estymator T (,..., ) a był estymatorem eobcążoym dla parametru σ. Wskazówka: Jak rozkład, dla ustaloego, ma? ( ) (...... ) ( ) j j
N ( µ, σ ) ( ) N j N j ( µ, σ ) ( µ, σ ) Y N(0, ) N(0, ) ( ) j σ + σ σ j Dla każdego deksu rozkład jest tak sam, taka sama jest wartość oczekwaa waracja. ET(,..., ) ae ae ae Y Dla uproszczea zapsu podstawmy υ σ 0 y υ y υ E Y y e dy πυ y e dy πυ Skorzystalśmy z symetryczośc rozkładu ormalego. Lczee całk ze zmaę w module jest kłopotlwe! Polczmy całkę stosując podstawee: y t ydy dt y y t t υ υ υ υ 0 πυ 0 πυ 0 πυ πυ 0 E Y e ydy e ydy e dt e dt t e υ υ 0 υ dt {Fukcja podcałkowa to gęstość rozkładu wykładczego z πυ parametrem υ } υ πυ π σ π ET (,..., ) ae Y a a a? ( ) π π σ π σ σ ( ) 7
4.8* Nech R( ) b( ) ozaczają odpowedo ryzyko obcążee estymatora ˆ. Pokazać, że R( ) Var( ˆ ) + b( ). ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ R( ) E( ) E( E( ) + E( ) ) E(( E( )) + ( E( ))( E( ) ) + ( E( ) ) ) E( ˆ E( ˆ )) + E( ˆ E( ˆ ))( E( ˆ ) ) + E( E( ˆ ) ) Zauważmy, że: ˆ ˆ ˆ E( E( )) Var( ) E( ˆ E( ˆ ))( E( ˆ ) ) ( E( ˆ ) ) E( ˆ E( ˆ )) ( E( ˆ ) )( E ˆ EE( ˆ )) ( E( ˆ ) )( E ˆ E( ˆ )) 0 bo ( E( ˆ ) ) jest elosowe moglśmy je wyłączy przed zak wartośc oczekwaej. ˆ ˆ E( E( ) ) ( E( ) ) b( ) bo ( E( ˆ ) ) jest elosowe (stała), a wartość oczekwaa stałej jest rówa tej stałej. Podsumowując: R Var ˆ b ( ) ( ) + ( ). 8