WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 1 / 15
MODEL BAYESOWSKI, przykład wstępny Statystyka bayesowska przykład wstępny Kierowcy i wypadki Kierowca Ostrożny O P(ostrożny ma wypadek)=0,2 P(ostrożny nie ma wypadku)=0,8 Ryzykant R P(ryzykant ma wypadek)=0,7 P(ryzykant nie ma wypadku)=0,3 Do TU zgłasza się kierowca. Nie wiemy ostrożny czy ryzykant. 1. Jak zaklasyfikować kierowcę: ostrożny czy ryzykant? 2. Dodatkowo wiesz, że ryzykant przypada jeden na 4 ostrożnych, jak zaklasyfikować kierowcę? 3. Kierowca ma wypadek w ciągu roku. Jak teraz zaklasyfikować kierowcę? Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 2 / 15
Przykład cd Dane model statystyczny X obserwowana zmienna X=1 gdy kierowca ma wypadek X=0 gdy kierowca nie ma wypadku = {O, R} przestrzeń parametrów rozkładu obserwowanej zmiennej P(X=1 O)=0,2 P(X=1 R)=0,7 P(X=0 O)=0,8 P(X=0 R)=0,3 Wiedza dodatkowa o parametrze: P(O)=0,8 Zadania: estymacja parametru decyzja ostrożny czy ryzykant i P(R)=0,2 Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 3 / 15
MODEL BAYESOWSKI, definicja X 1, X 2,..., X n - dane np. próba losowa z rozkładu P θ o gęstości f θ (x) = f (x θ), obserwowana zmienna losowa {P θ : θ Θ} - rodzina rozkładów, θ - nieznany parametr dodatkowa wiedza- rozkład a priori Π na przestrzeni Θ, zatem θ Π π(θ) - gęstość rozkładu Π względem pewnej miary na Θ Rozkład a priori obrazuje naszą wiedzę o nieznanym parametrze przed wykonaniem badania statystycznego Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 4 / 15
Rozkład a posteriori f (x 1, x 2,..., x n, θ) = f (x 1, x 2,..., x n θ)π(θ) jest gęstością rozkładu łącznego obserwowanej zmiennej X = (X 1, X 2,..., X n ) i zmiennej θ. Rozkładem a posteriori nazywamy rozkład Π x zadany przez gęstość (względem miary na Θ) gdzie π(θ x) = f (x 1, x 2,..., x n θ)π(θ), m(x) m(x) = Θ f (x 1, x 2,..., x n θ)π(θ)dθ oznacza gęstość rozkładu brzegowego zmiennej X w punkcie x = (x 1, x 2,..., x n ), Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 5 / 15
Rozkład a posteriori Rozkład a posteriori zawiera całą wiedzę o obserwowanym zjawisku, zawiera: wiedzę wstępną o parametrze θ (rozkład a priori) wiedzę płynącą z obserwacji (rozkład próby losowej), jest podstawą wnioskowania bayesowskiego. Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 6 / 15
PRZYKŁADY X 1,..., X 4 i.i.d. U(0, θ], θ > 0 jest nieznanym parametrem. W wyniku obserwacji otrzymano próbkę: 2, 3, 2, 5, 1. Niech θ π(θ) = 1 24 θ4 e θ dla θ > 0 i π(θ) = 0 w przeciwnym przypadku. Wyznacz rozkład a posteriori X 1, X 2,..., X n i.i.d. Poiss(θ), θ > 0. Parametr θ Gamma(α, β). Rozkład a posteriori Π x = Gamma(α + n i=1 x i, β + n) X bin(n, θ), θ Beta(α, β) Rozkład a posteriori Π x = Beta(α + x, β + n x) Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 7 / 15
Zadania statystyki bayesowskiej estymacja parametru θ lub funkcji g(θ) przedział ufności dla parametru θ lub funkcji g(θ) weryfikacja hipotez o parametrze. Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 8 / 15
ESTYMACJA PARAMETRU Bayesowski estymator największej wiarogodności parametru θ = moda rozkładu a posteriori parametru θ BENW (θ)(x) = arg sup π(θ x) BENW (g(θ)) = g(benw (θ)) Obliczanie BENW (θ) (θ zmienna o rozkładzie ciągłym): 1 Wyznacz iloczyn funkcji rozkładu obserwowanej zmiennej losowej i funkcji rozkładu parametru θ czyli H(θ) = f (x 1, x 2,..., x n θ)π(θ) 2 Wyznacz ln H(θ) 3 Oblicz pochodną d dθ (ln H(θ)) (o ile H różniczkowalna) 4 Rozwiąż równanie d dθ (ln H(θ)) = 0 i sprawdź czy w otrzymanym punkcie funkcja ln H(θ) osiąga max. Jeśli tak rozwiązanie równania jest BENW Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 9 / 15
PRZYKŁAD Niech X 1,..., X n będą niezależnymi zmiennymi losowymi z rozkładu wykładniczego o gęstości p θ (x) = 2θ exp( 2θx), x > 0, gdzie θ > 0 jest nieznanym parametrem. Estymator największej wiarogodności (ENW) parametru θ jest równy... Jeżeli dodatkowo wiadomo, że rozkład a priori parametru θ jest rozkładem o gęstości równej π(θ) = 0.5θ 2 exp( θ), gdy θ > 0, to bayesowski estymator największej wiarogodności jest równy... Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 10 / 15
Funkcja straty i ryzyko a posteriori L(θ, a) - funkcja straty, jaką ponosi statystyk wybierając za wartość estymatora a, gdy prawdziwą wartością parametru jest θ. Przykłady: Niech g(θ) - wielkość estymowana L(θ, a) = (g(θ) a) 2 - kwadratowa funkcja straty; L(θ, a) = w(θ)(g(θ) a) 2 - uogólniona kwadratowa funkcja straty; L(θ, a) = g(θ) a - modułowa funkcja straty; L(θ, a) = exp(c(g(θ) a)) c(g(θ) a) 1 - funkcja straty linex (liniowo-wykładnicza) Ryzyko a posteriori (miernik jakości estymatora ĝ ) równe R x (Π, ĝ(x)) = E[L(θ, ĝ(x )) X = x] = L(θ, ĝ(x))π(θ x)dθ, E(h(θ) x) - oznacza wartość oczekiwaną funkcji h(θ), gdy θ ma rozkład a posteriori przy X = x i rozkładzie a priori Π. Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 11 / 15 Θ
Estymator bayesowski przy zadanej funkcji straty Estymator ĝπ B nazywamy estymatorem bayesowskim parametru g(θ) x R x (Π, ĝ B Π (x)) = inf a R x(π, a) Przy kwadratowej funkcji straty ĝ B Π (x) = E Π (g(θ) x) (o ile ta wartość oczekiwana istnieje i jest skończona i ryzyko bayesowskie jest skończone). Dowód: R x (Π, a) = E Π ((g(θ) a) 2 x) = E Π (g 2 (θ) x) 2aE Π (g(θ) x) + a 2 Jest to kwadratowa funkcja zmiennej a i osiąga minimum dla a = E Π (g(θ) x). Przy modułowej funkcji straty ĝ B Π (x) = med(π x) Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 12 / 15
PRZYKŁADY X 1, X 2,..., X n i.i.d. Poiss(θ), θ > 0. Parametr θ Gamma(α, β). Rozkład a posteriori Π x = Gamma(α + n i=1 x i, β + n) Estymator bayesowski ˆθ B Π(x 1, x 2,..., x n ) = E Π (θ x 1, x 2,..., x n ) = α + n i=1 x i β + n X bin(n, θ), θ Beta(α, β) Rozkład a posteriori Π x = Beta(α + x, β + n x) Estymator bayesowski ˆθ Π B(x) = E Π(θ x) = α+x α+β+n X 1, X 2,..., X n i.i.d. U[0, θ], gdzie θ > 0 jest nieznanym parametrem ( ) 3 θ f (θ) = 2 θ dla θ > 2 i 0 w p.p. Obserwujemy Y = max{x 1, X 2,..., X n }. Wyznacz rozkład a posteriori dla θ i bayesowski estymator parametru θ przy kwadratowej funkcji straty wiedząc, że rozkład zmiennej max{x 1, X 2,..., X n } ma gęstość f (x) = nxn 1 θ na przedziale (0, θ). n Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 13 / 15
PRZEDZIAŁY UFNOŚCI HPD Bayesowskim przedziałem ufności HPD dla parametru θ na poziomie ufności 1 α nazywamy zbiór A Θ, taki że θ A π(θ x) > k α i Π (A x) 1 α Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 14 / 15
PRZYKŁAD, model normalny X 1, X 2,..., X n - i.i.d. N(θ, σ 2 ), θ - nieznane, σ znane θ N(µ, τ 2 ) - rozkład a priori Rozkład a posteriori N(µ, τ 2 ) gdzie µ = n σ 2 x + µ τ 2 n + 1 i τ 2 = σ 2 τ 2 ( n σ 2 + 1 ) 1 τ 2 Estymator bayesowski parametru θ przy kwadratowej funkcji sraty ˆθ B Π(x 1, x 2,..., x n ) = µ = n σ 2 x + µ τ 2 n + 1 σ 2 τ 2 Bayesowski przedział ufności dla θ na poziomie ufności 1 α [ ] µ u 1 α τ, µ 2 + u 1 α τ 2 Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 15 / 15