Statystyka Matematycza Aa Jaicka wykład XIV, 06.06.06 STATYSTYKA BAYESOWSKA CD.
Pla a dzisiaj. Statystyka Bayesowska rozkłady a priori i a posteriori estymacja Bayesowska: Bayesowski Estymator Największej Wiarogodości (BENW) Estymator Bayesowski przy zadaej fukcji straty przedział ufości HPD
Model Bayesowski zmiee X,..., X, pochodzące z rozkładu P θ, o gęstości f θ (x) gęstość warukowa pod warukiem kokretej wartości θ. P rodzia rozkładów prawdopodobieństw P θ, ideksowaa parametrem θ Θ Wiedza ogóla: rozkład p-stwa Π a przestrzei parametrów Θ, zaday przez π(θ) tzw. rozkład a priori parametru θ, θ ~ Π
Model Bayesowski cd. Wiedza dodatkowa, szczególa, kotekstuala: wyika z obserwacji. Mamy rozkład łączy obserwacji i parametru θ: f x, x,..., x, θ) f( x, x,..., x θ) π( ) ( θ z którego możemy wyzaczyć warukowy rozkład dla θ (po uwzględieiu obserwacji) f( x,..., x θ) π( θ) π ( θ x,..., x), m( x,..., x) gdzie m x,..., x ) f( x,..., x θ) π( θ dθ ( ) Θ jest rozkładem brzegowym dla obs.
Model Bayesowski rozkład a posteriori Rozkład π( θ x,..., x) azyway jest rozkładem a posteriori, oz. Π x Rozkład a posteriori obrazuje całą wiedzę: ogólą (wstępą) oraz szczególą (wyikającą z kokretych daych). Jest podstawą wioskowaia Bayesowskiego
Bayesowski Estymator Największej Wiarogodości (BENW) Wyzaczamy tak, by maksymalizował p- stwo a posteriori (moda rozkładu): π( ˆ θbenw x,..., x) max π( θ x,..., x θ ) czyli BENW ( θ) ˆ θbenw argmaxθπ( θ x,..., x )
BENW: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α sukcesu θ ; iech dla θ (0,) θ ( θ ) π( θ) zamy rozkład a posteriori: B( α, β) Beta( max dla i i x x α, β) i i ( ) x α i i BENW θ β α p. dla 5 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy BENW(θ)5/0 ½ a dla 9 sukcesów zaobserwowaych w 0 próbach i tego samego rozkładu a priori, mamy BENW(θ )9/0 β rozkład Beta(α,β); jego moda (α-)/(α β-) dla α>, β>
BENW: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem p. jeśli próba 5 obserwacji.;.7 ;.9 ;.; 3. z rozkładu N(θ, 4) a rozkład a priori θ ~N(, ), to BENW(θ) (5 /4 * )/(5/4 ) 4/9.56 a gdyby rozkład a priori θ ~N(3, ), to BENW(θ) (5 /4 * *3)/(5/4 ) /9.44, m X N ) ( θ m X BENW
Estymator Bayesowski przy zadaej fukcji straty L(θ, a) fukcja straty zależa od prawdziwej wartości parametru θ oraz decyzji a. p. jeśli estymujemy wielkość g(θ ): L(θ, a) (g(θ) - a) kwadratowa fukcja straty L(θ, a) g(θ) - a modułowa fukcja straty Defiiujemy też ryzyko a posteriori: R( Π, gˆ( x)) E ( L( θ, gˆ( x)) X x) Θ L( θ, gˆ( x)) π( θ (średia strata estymatora przy ustaloym rozkładzie a priori i daych, tj. przy wyliczoym rozkładzie a posteriori) x) dθ
Estymator Bayesowski przy zadaej fukcji straty cd. Estymator Bayesowski przy daej fukcji straty L(θ, a) to t. że x ĝ B R( Π, gˆ ( x)) mi R( Π, a) B Przy kwadratowej fukcji straty (θ a) : ˆ θb E( θ X x) E( Πx) Przy modułowej fukcji straty θ a : ˆ θb Med( Π x ) a ogóliej: E(g(θ) x)
Estymator Bayesowski: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α β sukcesu θ ; iech θ ( θ ) dla θ (0,) π( θ) zamy rozkład a posteriori: Beta( i i x a zatem estymator Bayesowski przy kwadratowej fukcji straty to α θ x i i ˆ B β α p. dla 0 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy θ B / ½ a dla 5 sukcesów przy tym samym rozkładzie a priori: θ B 6/ 8/ B( α, β) x α, β) i i rozkład Beta(α,β); jego średia α/(α β)
BENW: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α sukcesu θ ; iech dla θ (0,) θ ( θ ) π( θ) zamy rozkład a posteriori: B( α, β) Beta( max dla i i x x α, β) i i ( ) x α i i BENW θ β α p. dla 0 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy BENW(θ)0/0 ½ a dla 5 sukcesów zaobserwowaych w 0 próbach i tego samego rozkładu a priori, mamy BENW(θ )5/0 ¾ β rozkład Beta(α,β); jego moda (α-)/(α β-) dla α>, β>
Estymator Bayesowski: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem Bayesowski estymator przy kwadratowej i modułowej fukcji straty to p. jeśli próba 5 obserwacji,;,7 ;,9 ;,; 3, z rozkładu N(θ, ) a rozkład a priori θ ~N(, ), to θ B (5 / * )/(5 ) /6,83 a gdyby rozkład a priori θ ~N(3, ), to θ B (5 / * *3)/(5 ) 3/6,7, m X N ˆ θ m X B
BENW: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem p. jeśli próba 5 obserwacji.;.7 ;.9 ;.; 3. z rozkładu N(θ, 4) a rozkład a priori θ ~N(, ), to BENW(θ) (5 /4 * )/(5/4 ) 4/9.56 a gdyby rozkład a priori θ ~N(3, ), to BENW(θ) (5 /4 * *3)/(5/4 ) /9.44, m X N ) ( θ m X BENW
Bayesowski przedział ufości HPD Bayesowski przedział ufości HPD (Highest Posterior Desity) dla parametru θ a poziomie ufości -α to zbiór A Θt. że A { θ : π( θ x) > k } α oraz Π( A x) α k α dla pewej wartości (ajwiększej t.że drugi waruek jest spełioy) Przedział ufości HPD ma ituicyją własość zawieraia, której ie mają zwykłe przedziały ufości
Przedział ufości HPD: przykład Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem przedział ufości HPD a poziomie istotości α 0,05 to p. jeśli próba 5 obserwacji z rozkładu N(θ, ) ma średią a rozkład a priori to θ ~N(, ), mamy u 0,975,96 i mamy, m X N,96,,96 m X m X ( ) ( ),5,50;,96 ;,83,96,83 6 6
Przykładowe zadaia egzamiacyje
Przykładowe zadaia egzamiacyje ()
Przykładowe zadaia egzamiacyje (3)