Statystyka Matematyczna Anna Janicka

Transkrypt

1 Statystyka Matematycza Aa Jaicka wykład XIII, STATYSTYKA BAYESOWSKA

2 Pla a dzisiaj. Statystyka Bayesowska rozkłady a priori i a posteriori estymacja Bayesowska: Bayesowski Estymator Największej Wiarogodości (BENW) Estymator Bayesowski przy zadaej fukcji straty

3 Statystyka Bayesowska vs. tradycyja Tradycyja: iezae parametry są ustaloe, dae (obserwacje) są zmieymi losowymi Bayesowska: dae (obserwacje) są ustaloe, iezae parametry są losowe

4 Statystyka Bayesowska Różica w stosuku do tradycyjej statystyki i metod wioskowaia: aszą wiedzę o (iezaych) parametrach opisujemy przy pomocy rozkładów prawdopodobieństwa, przy czym dodatkowa wiedza może wpływać a asz opis. Wiedza: ogóla dotycząca kokretego przypadku Przykład: Rzut moetą

5 Model Bayesowski zmiee X,..., X, pochodzące z rozkładu P θ, o gęstości f θ (x) gęstość warukowa pod warukiem kokretej wartości θ (fukcja wiarogodości). P rodzia rozkładów prawdopodobieństw P θ, ideksowaa parametrem θ Θ Wiedza ogóla: rozkład p-stwa Π a przestrzei parametrów Θ, zaday przez π(θ) tzw. rozkład a priori parametru θ, θ ~ Π

6 Model Bayesowski cd. Wiedza dodatkowa, szczególa, kotekstuala: wyika z obserwacji. Mamy rozkład łączy obserwacji i parametru θ: f x, x,..., x, θ) f( x, x,..., x θ) π( ) ( θ z którego możemy wyzaczyć warukowy rozkład dla θ (po uwzględieiu obserwacji) f( x,..., x θ) π( θ) π ( θ x,..., x), m( x,..., x) gdzie m x,..., x ) f( x,..., x θ) π( θ dθ ( ) Θ jest rozkładem brzegowym dla obs.

7 Model Bayesowski rozkład a posteriori Rozkład π( θ x,..., x) azyway jest rozkładem a posteriori, oz. Π x Rozkład a posteriori obrazuje całą wiedzę: ogólą (wstępą) oraz szczególą (wyikającą z kokretych daych). Jest podstawą wioskowaia Bayesowskiego

8 Rozkłady a priori i a posteriori: przykłady. Niech: X,..., X IID z rozkładu 0- z p- α stwem sukcesu θ; iech θ ( θ ) π( θ) dla θ (0,) B( α, β) α β Γ( α) Γ( β) gdzie B( α, β) u ( u) du 0 oraz Γ( ) α α u 0 exp( u) du Γ( α β) ( α ) Γ( α ) wówczas rozkład a posteriori: Beta( i i x x α, β) i i β rozkład Beta(α,β)

9 Dla Beta (,) a priori i daych: 0 i, 5, 9 sukcesów

10 Dla Beta (,) a priori i daych: 00 i 0, 50, 90 sukcesów

11 Dla Beta (,5) a priori i daych: 0 i, 5, 9 sukcesów

12 Dla Beta (,5) a priori i daych: 00 i 0, 50, 90 sukcesów

13 Rozkłady a priori i a posteriori: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. wówczas rozkład a posteriori dla θ:, m X N

14 Statystyka Bayesowska Korzystając z modeli Bayesowskich, możemy wyzaczać estymatory wyzaczać odpowiediki przedziału ufości weryfikować hipotezy dokoywać predykcji

15 Bayesowski Estymator Największej Wiarogodości (BENW) Wyzaczamy tak, by maksymalizował p- stwo a posteriori (moda rozkładu): π( ˆ θbenw x,..., x) max π( θ x,..., x θ ) czyli BENW ( θ) ˆ θbenw argmaxθπ( θ x,..., x )

16 BENW: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α sukcesu θ ; iech dla θ (0,) θ ( θ ) π( θ) zamy rozkład a posteriori: B( α, β) Beta( max dla i i x x α, β) i i ( ) x α i i BENW θ β α p. dla 5 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy BENW(θ)5/0 ½ a dla 9 sukcesów zaobserwowaych w 0 próbach i tego samego rozkładu a priori, mamy BENW(θ )9/0 β rozkład Beta(α,β); jego moda (α-)/(α β-) dla α>, β>

17 BENW: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem p. jeśli próba 5 obserwacji.;.7 ;.9 ;.; 3. z rozkładu N(θ, 4) a rozkład a priori θ~n(, ), to BENW(θ) (5 /4 * )/(5/4 ) 4/9.56 a gdyby rozkład a priori θ~n(3, ), to BENW(θ) (5 /4 * *3)/(5/4 ) /9.44, m X N ) ( θ m X BENW

18 Estymator Bayesowski przy zadaej fukcji straty L(θ, a) fukcja straty zależa od prawdziwej wartości parametru θ oraz decyzji a. p. jeśli estymujemy wielkość g(θ ): L(θ, a) (g(θ)-a) kwadratowa fukcja straty L(θ, a) g(θ)-a modułowa fukcja straty Defiiujemy też ryzyko a posteriori: R( Π, gˆ( x)) E ( L( θ, gˆ( x)) X x) Θ L( θ, gˆ( x)) π( θ (średia strata estymatora przy ustaloym rozkładzie a priori i daych, tj. przy wyliczoym rozkładzie a posteriori) x) dθ

19 Estymator Bayesowski przy zadaej fukcji straty cd. Estymator Bayesowski przy daej fukcji straty L(θ, a) to t. że x ĝ B R( Π, gˆ ( x)) mi R( Π, a) B Przy kwadratowej fukcji straty (θ a) : ˆ θb E( θ X x) E( Πx) Przy modułowej fukcji straty θ a : ˆ θb Med( Π x ) a ogóliej: E(g(θ) x)

20 Estymator Bayesowski: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α β sukcesu θ ; iech θ ( θ ) dla θ (0,) π( θ) zamy rozkład a posteriori: Beta( i i x a zatem estymator Bayesowski przy kwadratowej fukcji straty to α θ x i i ˆ B β α p. dla 0 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy θ B / ½ a dla 5 sukcesów przy tym samym rozkładzie a priori: θ B 6/ 8/ B( α, β) x α, β) i i rozkład Beta(α,β); jego średia α/(α β)

21 BENW: przykłady. Niech: X,..., X IID z rozkładu 0- z p-stwem α sukcesu θ ; iech dla θ (0,) θ ( θ ) π( θ) zamy rozkład a posteriori: B( α, β) Beta( max dla i i x x α, β) i i ( ) x α i i BENW θ β α p. dla 0 sukcesów zaobserwowaych w 0 próbach i dla rozkładu a priori U(0,) (czyli Beta(,)), mamy BENW(θ)0/0 ½ a dla 5 sukcesów zaobserwowaych w 0 próbach i tego samego rozkładu a priori, mamy BENW(θ )5/0 ¾ β rozkład Beta(α,β); jego moda (α-)/(α β-) dla α>, β>

22 Estymator Bayesowski: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem Bayesowski estymator przy kwadratowej i modułowej fukcji straty to p. jeśli próba 5 obserwacji.;.7 ;.9 ;.; 3. z rozkładu N(θ, ) a rozkład a priori θ~n(, ), to θ B (5 / * )/(5 ) /6.83 a gdyby rozkład a priori θ~n(3, ), to θ B (5 / * *3)/(5 ) 3/6.7, m X N ˆ θ m X B

23 BENW: przykłady (). Niech: X,..., X IID z rozkładu N(θ, ), przy czym zae; θ ~N(m, ) dla pewych m, zaych. Wówczas rozkład a posteriori dla θ : a zatem p. jeśli próba 5 obserwacji.;.7 ;.9 ;.; 3. z rozkładu N(θ, ) a rozkład a priori θ~n(, ), to BENW(θ) (5 / * )/(5/ ) /6.83 a gdyby rozkład a priori θ~n(3, ), to BENW(θ) (5 / * *3)/(5 ) 3-6.7, m X N ) ( θ m X BENW

24