Zadaia róże W tym rozdziale zajdują się zadaia ietypowe, często dotyczące łańcuchów Markowa oraz własości zmieych losowych. Pojawią się także zadaia z estymacji Bayesowskiej.. (Eg 8/) Rozważamy łańcuch Markowa X, X,..., a przestrzei staów {,, } o macierzy przejścia P =, gdzie P i,j = P(X + = j X = i) dla i, j =,,. Załóżmy, że rozkład początkowy łańcucha jest wektorem π = ( 9, 9, ), gdzie π i = P(X = i) dla i =,,. Oblicz p = P(X = X X ) Odp: B-> 8. Rozwiązaie. Najpierw zauważmy, że rozkład π jest rozkładem stacjoarym. Obliczamy P(X = X X ) = P(X X X = )P(X = ). P(X X ) Oczywiście P(X = ) = π = 9, adto P(X X X = ) = P(X =, X = X = ) = P (, )P (, ) = = 8. Obliczamy P(X X ) = P(X =, X = ) + P(X =, X = ) = P (, )π + P (, )π = = 9 + = Stąd P(X = X X ) = 8.. (Eg 5/9) Rozważamy łańcuch Markowa X, X,..., a przestrzei staów {,, } o macierzy przejścia P = gdzie P i,j = P(X + = j X = i) dla i, j =,,. Niech Z, Z,..., Z,... będzie ciągiem zmieych losowych o wartościach w zbiorze {, } iezależych od siebie awzajem i od zmieych X, X,..., X,... o jedakowym rozkładzie prawdopodobieństwa:, P(Z i = ) = i P(Z i = ) =. Niech Y i = Z i X i. Wtedy lim P(Y > Y + ) jest rówa Odp: E->. Rozwiązaie. Wyzaczamy rozkład stacjoary łańcucha X, X,..., dostajemy π = ( 7, 8 7, 9 7 ). Przechodząc do graicy otrzymamy lim P(Y > Y + ) = P(Z > Z X X = )π + P(Z > Z X X = )π + + P(Z > Z X X = )π = P(Z = )P(Z = )P(X = X = )π + P(Z = )P(Z = )π + + P(Z = )P(Z = )P(X {, } X = )π + P(Z = )P(Z = )π = = 9 6
. (Eg 5/6) Załóżmy, że X, X,...X są iezależymi zmieymi losowymi o jedakowym, ciągłym rozkładzie prawdopodobieństwa, mającymi momety rzędu, i. Zamy µ = E(X i ) i σ = Var(X i ). Niech f(x) ozacza gęstość rozkładu pojedyczej zmieej X i. Wiemy, że rozkład jest symetryczy w tym sesie, że f(µ + x) = f(µ x) dla każdego x. Oblicz trzeci momet sumy E(S ), gdzie S = X +... + X. Odp: C-> µ(µ + σ ). Rozwiązaie. Z faktu symetrii wyika, że EX i = µ, E(X i µ) = σ, E(X i µ) =. Stąd rówież E(S µ) =, E(S µ) = σ, E(S µ) =. Pozostaje obliczyć E(S ) = E(S µ + µ) = µσ + µ = µ(µ + σ ).. (Eg 5/) Niech X, X,..., X będą iezależymi zmieymi losowymi z rozkładu o gęstości f θ (x) = exp( x θ ). Niech T = X [,5]:, gdzie [x] ozacza część całkowitą liczby x. Które z poiższych stwierdzeń jest prawdziwe? Odp: A-> lim P(((T θ) > ) =,. Rozwiązaie. Zmiee X i mają rozkład o dystrybuacie { F (θ + t) = ( e (t θ) ) t θ e (θ t) t < θ Przypomijmy, że P(T t) jest takie same jak to, że zmiea S (t) z rozkładu Beroulliego B(, F (t)) będzie miała co ajmiej [, 5] sukcesów. Obliczamy dla zmieej S = S (θ + ) Pozostaje obliczyć P(((T θ) > ) = P(T > θ + ) = P(S < [, 5]) = = P( S F (θ + ) F (θ + )( F (θ + )) lim Z drugiej stroy z CTG wyika, że ( e ) [, 5] ( e )e < [, 5] ( e ) )e ( e =. S F (θ + ) Z, F (θ + )( F (θ + )) gdzie Z ma rozkład N (, ). Otrzymujemy wyik P(Z < ),. ).
5. (Eg 5/7) Niech X, X,..., X będą iezależymi zmieymi losowymi o tym samym rozkładzie ormalym N (m, ). Parametr m jest iezay i jest realizacją zmieej losowej o rozkładzie ormalym N (, ). Wyzaczamy estymator bayesowski parametru m przy fukcji straty LINEX daej wzorem L(m, a) = e m a (m a), gdzie a ozacza wartość estymatora. Załóżmy, że w wyiku doświadczeia uzyskao próbkę losową taką, że i= X i = 5. Wtedy estymator bayesowski przyjmuje wartość Odp: E-> 9 6. Rozwiązaie. W teorii decyzji statystyczej mamy do czyieia z regułami decyzyjymi δ : X A, dalej z fukcjami starty L : Θ A R oraz fukcjami ryzyka R(θ, δ) = E θ (θ, δ(x)). W przypadku reguł bayesowskich mamy zaday rozkład a priori ν a przestrzei parametrów Θ. Dzięki temu moża zdefiiować r(ν, δ) = R(θ, δ)ν(dθ). Dyspoując powyższym fukcjoałem defiiujemy optymalą regułę bayesowską δ µ jako argumet miimum fukcji r(µ, δ). Wyzaczeie optymalej reguły bayesowskiej polega a skorzystaiu ze wzoru Fubiiego L(θ, δ(x))µ θ (dx)ν(dθ) = L(θ, δ)ν x (dθ)µ(dx), Θ X gdzie miara µ θ jest rozkładem X a X przy prawdopodobieństwie P θ, adto miary µ i ν x (θ) wyzacza się ze wzoru µ θ (dx)ν(dθ) = ν x (dθ)µ(dx). Rozkład µ x azywa się rozkładem a posteriori. Dla każdego x X wybieramy wartość δ µ (x) jako argumet miimum fukcji f : A R f(δ) = L(θ, δ)ν x (dθ). Θ Dla L(θ, a) = (θ a) estymatorem bayesowski jest wartość oczekiwaa względem ν x, adto dla L(θ, a) = θ a tym estymatorem jest mediaa ν x. W przypadku fukcji LINEX L(m, a) = e m a (m a) obliczamy f (δ) = e m δ ν x (dm) Czyli δ(x) = log e m ν x (dm). R Należy zatem wyzaczyć rozkład a posteriori ν x. Mamy Θ µ m (dx) = (π) exp( X Θ (x i m) )dx...dx i= dalej ν(dm) = (π) exp( 6 (m ) ).
Stąd µ m (dx)ν(dm) jest rozkładem Gaussowskim, a zatem rówież ν x ma rozkład Gaussowski, co atychmiast pozwala wyzaczyć jego postać N ( + i= xi +, + ). Rozkład µ też jest Gaussowski i moża wyzaczyć jego postać, ie ma to jedak zaczeia dla tego zadaia. Pozostaje wyzaczyć e m ν x (dm) = exp( + i= x i + + ( + ) ). Stąd R δ(x) = + i= x i + + Podstawiając = oraz i= X i = dostajemy ( + ) = 5 + 6 i= x i. ( + ) δ(x) = 9 6. 6. (Eg 5/6) O zmieych X, X,..., X o tej samej wartości oczekiwaej rówej µ oraz tej samej wariacji rówej µ oraz tej samej wariacji rówej σ zakładamy, iż: Cov(X i, X j ) = ρσ dla i j. Zmiee losowe ε, ε,..., ε są awzajem iezależe oraz iezależe od zmieych losowych X, X,..., X i mają rozkłady prawdopodobieństwa postaci: P(ε = ) = P(ε i = ) = P(ε i = ) =. Wariacja zmieej losowej S = i= ε ix i jest rówa. Odp: A-> (5σ + µ + ( )ρσ ). Rozwiązaie. Obliczamy wariację Var(S) = i= Var(ε i X i ) + i j Cov(ε i X i, ε j X j ) = = [ 5 (µ + σ ) µ ] + ( )[ ρσ ] = = (5σ + µ + ( )ρσ ). 7. (Eg 55/) Niech X i Y będą iezależymi zmieymi losowymi o rozkładach wykładiczych, przy czym EX =, EY = 6. Rozważmy zmieą Z = Y X+Y. Wtedy Odp: B-> mediaa rozkładu Z jest rówa,. Rozwiązaie. Poszukujemy C takiego, że stąd Y P( X + Y > C) =. = P(( C)Y > CX) = EP(( C)Y > CX X)) = Czyli ( C) = C, zatem C =, 6. Cx e 6( C) e x dx = + C. ( C)
8. (Eg 56/8) Cyfry,,,..., 9 ustawiamy losowo a miejscach o umerach,,,..., 9. Niech Xbędzie zmieą losową rówą liczbie cyfr stojących a miejscach o umerach rówych cyfrom. Wariacja zmieej X jest rówa Odp: B->. Rozwiązaie. Warto zapamiętać, że graicza liczba koicydecji jest zmieą Poissoa z parametrem, a więc i wariację rówą. W przypadku skończoym tego zadaia korzystamy ze zmieych włączeiowych X = X +... + X 9, gdzie X i przyjmuje wartość jeśli i-ta cyfra stoi a swoim miejscu i w przeciwym przypadku. Jest jase, że P(X i = ) = 9 oraz P(X i =, X j = ) = 9 8 zatem Stąd VarX i = 8 9 9, Cov(X i, X j ) = 8 9 9. Var(X) = 9VarX + 9 8Cov(X, X ) = 8 9 + 9 =. 9. (Eg 57/) Niech X, X,..., X będą iezależymi zmieymi losowymi z rozkładu jedostajego a przedziale (, θ), gdzie θ > jest iezaym parametrem. Rozważamy estymator parametru θ postaci T = ( + ) mi{x, X..., X }. Jeśli θ =, to dla każdego ε (, ) graica lim P( T > ε) jest rówa Odp: B-> e ε e ε. Rozwiązaie. Najpierw wyzaczamy rozkład T, dla < t < + Stąd dla T o rozkładzie wykładiczym P(T > t) = ( t + ) e t. lim P( T > ε) = P( T > ε) = P(T > + ε) + P(T < ε) = = e ε + e ε.. (Eg 57/9) Zmiee losowe X, X,..., X,... są iezależymi o jedakowym rozkładzie P(X = ) = P(X = ) = P(X = ) = P(X = ) =. Niech Y = oraz iech dla =,,,... zachodzi { gdy X = Y = mi(y, X ) gdy X < Oblicz lim P(Y ) Odp: B->. Rozwiązaie. Nietrudo zauważyć, że (Y ) = jest łańcuchem Markowa o macierzy przejścia P = 5
Obliczamy rozkład graiczy ze wzoru π = πp, zachodzi π = (, 6,, ). Zatem lim P(Y ) = π + + π + π =.. (Eg 58/) Niech X, X,..., X,... będą zmieymi losowymi o tym samym rozkładzie ujemym dwumiaowym P θ (X i = k) = (k + )θ ( θ) k, k =,,,..., i =,,..., +, gdzie θ (, ) jest iezaym parametrem. Zmiee X, X,..., X, X + są warukowo iezależe przy daym θ. Załóżmy, że rozkład a priori parametru θ jest rozkładem o gęstości π(θ) = θ ( θ), gdy θ (, ). Na podstawie próby losowej X, X,..., X wyzaczamy predyktor bayesowski. zmieej X + przy kwadratowej fukcji straty. Wariacja tego predykatora jest rówa Odp: D-> 8 +. Rozwiązaie. Podstawową wiedzą z teorii warukowych wartości oczekiwaych jest, że przy kwadratowej fukcji straty ajlepszym estymatorem X + jest E(X + X,..., X ), gdzie wartość oczekiwaa ozacza całkowaie względem miary P θ µ(dθ). Oczywiście z warukowej iezależości X,.., X pod warukiem Θ = θ dostajemy E(X + X,..., X ) = E(E(X + Θ, X,..., X ) X,..., X ) = = E( Θ Θ X,..., X ). Musimy wyzaczyć rozkład warukowy Θ pod warukiem X = k,..., X = k. Najpierw wyprowadzamy gęstość rozkładu łączego f(θ, k) = θ (+) ( θ) + i= ki i= (k i + ). Pozostaje wyzaczyć, gęstość f(θ k). Nietrudo zauważyć, że jest rozkład Beta(+, + i= k i). Dla zmieej Z z rozkładu Beta(α, β) oraz α > wartość EZ = α+β α, EZ = (α+β )(α+β ) (α )(α ). Stąd E( Θ Θ X,..., X ) = + i= X i =: T. ( + ) Nadto X +... + X pod warukiem Θ = θ ma rozkład ujemy dwumiaowy B (, θ). Zatem Z własości rozkładu ujemego dwumiaowego oraz VarT = EVar(T Θ) + VarE(T Θ). E(T Θ) = + Θ Var(T Θ) = Korzystając z własości rozkładu Beta(, ) obliczamy ( ) + 8 ( + ) Θ Θ. VarE(T Θ) = 8 ( + ) 6
adto EVar(T Θ) = 8 ( + ) Podsumowując VarT = 8 +.. (Eg 58/8) Załóżmy, że W, W,..., W,... jest ciągiem zmieych losowych takim, że zmiea W ma rozkład jedostajy a przedziale (, ), dla każdej liczby aturalej zmiea losowa W + warukowo przy daych W, W,..., W ma gęstość { gdy w, 5 f(w + w,..., w ) = x gdyw >, 5 dla w + (, ). Wtedy lim P(W >, 5) jest rówa Odp: B-> 5 6. Rozwiązaie. Nietrudo zauważyć, że mamy do czyieia z jedorodym łańcuchem Markowa zdaym przez fukcję przejścia P (x, A) = A x + y dy x>. A Poszukujemy rozkładu stacjoarego π a [, ] takiego, że π(a) = A π([, ]) + y dyπ((, ]) Stąd atychmiast wyika, że π jest absolutie ciągłą względem miary Lebsegue a której gęstość f spełia waruek f(x) = π([, ]) x + π(, ])x x. Współczyiki a = π([, ]), b = π((, ]) wyzaczamy ze wzorów { a = a + b 8 = a + b Stąd a = b oraz a = 5, b = 5. Obliczamy A lim P(W > ) = π((, ]) = = 5 + 5 ( 6 ) = + 6 8 = 75 8 = 5 6.. (Eg 59/) Dyspoujemy dwiema urami. W urie I mamy dwie kule białe i jedą czarą, w urie II mamy trzy kule białe i trzy czare. Powtarzamy razy eksperymet polegający a tym, że losujemy jedą kulę z ury I, ie oglądając jej wkładamy ją do ury II, astępie losujemy jedą kulę z ury II i ie oglądając jej wkładamy ją do ury I. Niech X ozacza zmieą losową rówą liczbie kul białych w urie I po doświadczeiach. Wtedy lim E(X X + ) jest rówa Odp: C-> 65. Rozwiązaie. Poowie korzystamy z teorii łańcuchów Markowa. Pod długim czasie rozkład kul będzie się stabilizował, aby wyzaczyć rozkład graiczy piszemy macierz przejścia dla liczby kul 7
w I urie Rozwiązujemy układ rówań S 5 7 7 P = 8 6 7 7 π = 7 π + π π = 5 7 π + π + 6 π π = π + 7 π = π + π + π + π którego rozwiązaiem jest π =, π = 5, π =, π = 5. Zatem Czyli lim E(X X + ) = E π (X X ) = k= l= klp (k, l)π k. lim E(X X + ) = 5 + + 8 5 + 6 + + + + 7 5 + 5 7 = 65.. (Eg 6/) Niech X, X,..., X, >, będą iezależymi zmieymi losowymi z rozkładu Pareto o gęstości f(x) = ( + x) x>. Niech U = mi{x, X, X,..., X }. Wtedy Cov(U, X ) jest rówa Odp: C-> (+)(+). Rozwiązaie. Niech X ma rozkład taki jak X, X, X,..., X. Mamy P(X > t) = Stąd EX = P(X > t)dt =. Nadto P(U > t) = ( + t), t., t. ( + t) Zatem EU = P(X > t)dt = +. Pozostaje obliczyć X EUX = EX E(U X ) = EX dt = ( + t) = EX ( ( + X ) ) = ( ) t dt. ( + t) + Do policzeia występujących powyżej wartości oczekiwaych ajprościej użyć podstawieia x = +t t dt = ( + t) + ( + )( + ). x ( x)dx = Γ( + )Γ() Γ( + ) = 8
Zatem Cov(U, X ) = ( ( + )( + ) ) ( + ) = 9 = ( + )(9 ) = ( + )( + ). 5. (Eg 6/) Niech zmiea losowa S będzie liczbą sukcesów w ( > ) próbach Beroulliego z prawdopodobieństwem sukcesu p. O zdarzeiu losowym A wiemy, że P(A S = k) = a k dla k =,,,...,, gdzie a jest zaą liczbą < a. Oblicz E(S A). Odp: A-> p + p. Rozwiązaie. Obliczamy P(A) = P(A S = k)p(s = k) = k= Zatem korzystając z własości rozkładu Beroulliego E(S A) = P(A) = (ap) k= a k ( k k= a k k= kp({s = k} A) = (ap) ) p k ( p) k = ( p) + p. ( ) p k ( p) k = ap. k k= kp(a S = k)p(s = k) = 9