Ćwiczenia z procesów stochastycznych zadania Semestr I, 2 st. Analityk Danych, Matematyka Finansowa 2018/2019. Lista 1

Ćwiczenia z procesów stochastycznych zadania Semestr I, 2 st. Analityk Danych, Matematyka Finansowa 2018/2019 Lista 1 Zadanie 1.1 Niech N oznacza nieujemn a zmienn a losow a o wartościach w zbiorze liczb naturalnych. Udowodnij, że E(N) = P (N k) = k=1 P (N > k). Jeżeli X jest nieujemn a zmienn a losow a o dystrybuancie F, a α R, to (a) E(X) = 1 F (x)dx oraz ogólniej E(X α ) = αx α 1 (1 F (x))dx, 0 k=0 (b) j=1 P (X j) E(X) < 1 + j=1 P (X j). Zadanie 1.2 Niech X bȩdzie zmienn a losow a absolutnie ci ag l a (tzn. P (X A) = f(t)dt). Niech F X oznacza dystrybuantȩ zmiennej losowej X. A Udowodnij, że (a) F X (X) jest zmienn a losow a o rozk ladzie jednostajnym na odcinku (0, 1). (b) Czy za lożenie o absolutnej ci ag lości zmiennej losowej X jest istotne? Czy wystarczy tylko za lożyć, że X jest typu ci ag lego (tzn., że dystrybuanta jest ci ag la)? (c) Niech X ma rozk lad dwupunktowy µ X = 1 2 δ 0 + 1 2 δ 1. Narysować dystrybuanty zmiennych losowych F X (X), F X (F X (X)),... i ogólnie zmiennej losowej F X (F X (... (F X (X))... )) = F X F X (X). 0 1

Zadanie 1.3 Udowodnij, że jeżeli U jest zmienn a losow a o rozk ladzie jednostajnym na odcinku (0, 1), a funkcja ci ag la H : (, ) (0, 1) spe lnia: lim H(x) = 0, lim H(x) = 1 i H jest ściśle rosn aca, to wówczas x x + zmienna losowa Y = H 1 (U) ma dystrybuantȩ F Y = H. Znajdź rozk lad zmiennej losowej: ln(u). Zadanie 1.4 Niech X n oznacza zmienn a losow a o rozk ladzie dwumianowym z parametrami (n, p n ), gdzie np n λ > 0. Udowodnij, że lim P (X n = j) = n n λ j j! e λ, j = 0, 1, 2,.... Zadanie 1.5 Wykonujemy n niezależnych prób. W każdej próbie możliwe s a rezultaty 1, 2,..., r; przy czym prawdopodobieństwo zajścia j (j = 1, 2,..., r) jest równe p j > 0 ( r p j = 1). Niech N j oznacza, ile razy pojawi l siȩ rezultat j. j=1 (a) Znajdź rozk lad l aczny (N 1, N 2,..., N r ). (b) Oblicz cov(n i, N j ). Zadanie 1.6 Niech X 1, X 2,... bȩd a niezależnymi zmiennymi losowymi o tym samym rozk ladzie i o ci ag lej dystrybuancie. Powiemy, że w chwili n (n > 0) pojawi la siȩ rekordowa wartość, gdy X n > max(x 0,..., X n 1 ), gdzie X 0 (sztuczne techniczne za lożenie, aby zaliczyć, że z prawdopodobieństwem 1 pierwszy rekord pad l w chwili n = 1). (a) Niech N n oznacza liczbȩ rekordów do chwili n (wliczaj ac n, jeśli potrzeba). Obliczyć E(N n ), V ar(n n ). (b) Niech T = min{n : n > 1, w chwili n wyst api l rekord} (T jest momentem drugiego rekordu). Obliczyć P (T > n) i pokazać, że P (T < ) = 1, lecz E(T ) =. (c) Niech T y oznacza czas pierwszego rekordu wiȩkszego niżeli y (tzn. T y = min{n : X n > y}). Pokazać, że zmienne losowe T y i X Ty s a niezależne, 2

tzn. czas pierwszego rekordu wiȩkszego niżeli y jest niezależny od tej wartości (rekordu). Zadanie 1.7 Mówimy, że rodzina {X t : t T} zmiennych losowych określonych na tej samej przestrzeni probabilistycznej (Ω, F, P ) jest jednostajnie ca lkowalna jeżeli spe lnia nastȩpuj ace warunki: (i) sup t T E( X t ) = C <, (ii) lim sup n t T { X X t >n} t dp = 0. Udowodnij, że dla ustalonej ca lkowalnej zmiennej losowej X określonej na (Ω, F, P ) rodzina warunkowych wartości oczekiwanych {E(X G) : G F}, gdzie G przebiega zbiór wszystkich pod-σ-cia l w F, tworzy rodzinȩ jednostajnie ca lkowaln a. Zadanie 1.8 Udowodnij, że rodzina {X t : t T} zmiennych losowych określonych na tej samej przestrzeni probabilistycznej (Ω, F, P ) jest jednostajnie ca lkowalna wtedy i tylko wtedy gdy rodzina miar σ addytywnych na (Ω, F) zdefiniowanych ν t (A) = A X tdp ; t T jest jednostajnie absolutnie ci ag la wzglȩdem P. Tzn. zachodzi: Zadanie 1.9 ε>0 δ>0 A C [P (A) δ sup ν t (A) ε]. t T Warunkowa wariancja zmiennej losowej X wzglȩdem Y jest zdefiniowana jako V ar(x Y ) = E((X E(X Y )) 2 Y ). Udowodnij, że Zadanie 1.10 V ar(x) = E(V ar(x Y )) + V ar(e(x Y )). Udowodnij, że dla dowolnej dystrybuanty F i dowolnej liczby rzeczywistej a 0 mamy [F (x + a) F (x)]dx = a. R 3

Zadanie 1.11 Dla ca lkowalnych z kwadratem zmiennych losowych X, Y udowodnij, że Zadanie I.A* cov(x, Y ) = cov(x, E(Y X)). Niech X oznacza liczbȩ bia lych kul wybranych w czasie losowania k kul z urny zawieraj acej n kul bia lych i m kul czarnych. Obliczyć E(X), V ar(x). Zadanie I.B* Niech X 1, X 2,..., X n bȩd a zmiennymi losowymi niezależnymi o tym samym rozk ladzie jednostajnym na odcinku [0, 1]. Dla ustalonego zdarzenia elementarnego ω liczby X 1 (ω),..., X n (ω) tworz a podzia l odcinka [0, 1] na n + 1 czȩści. Dla parametru b (0, 1) niech L b (ω) oznacza liczbȩ tych odcinków z otrzymanego podzia lu, które s a d luższe niżeli b. Znajdź E(L b ). Lista 2 Zadanie 2.1 Niech X 1, X 2 bȩd a niezależnymi zmiennymi losowymi o rozk ladzie Poissona odpowiednio o wartościach oczekiwanych λ 1, λ 2. (a) Znajdź rozk lad zmiennej losowej X 1 + X 2. (b) Oblicz rozk lad warunkowy X 1 przy warunku X 1 + X 2 = n. (c) Znajdź E(X 1 X 1 + X 2 ). (d) Znajdź E(X 1 + X 2 X 1 ). (e)* Za lóżmy, że niezależne zmienne losowe Y 1, Y 2 obie przyjmuj ace wartości w N 0, maj a w lasność, że dla pewnego p (0, 1) zachodzi ( ) n P (Y 1 = k Y 1 + Y 2 = n) = p k (1 p) n k k dla k = 0, 1,..., n. Udowodnij, że Y 1, Y 2 maj a rozk lad Poissona. 4

Zadanie 2.2 Niech U 1, U 2,... bȩd a niezależnymi zmiennymi losowymi o tym samym rozk ladzie jednostajnym na odcinku (0, 1) i niech N oznacza najmniejsz a liczbȩ naturaln a n 0 tak a, że n U j e λ > n+1 U j ( 0 U j 1). Znajdź j=1 j=1 j=1 rozk lad zmiennej losowej N. Zadanie 2.3 Niech S 1, S 2,... bȩdzie ci agiem niezależnych zmiennych losowych o rozk ladach wyk ladniczych z parametrami λ j > 0 odpowiednio. Udowodnij, że 1 (a) jeżeli λ j <, to P ( j=1 S j < ) = 1, (b) jeżeli j=1 j=1 Zadanie 2.4 1 λ j =, to P ( j=1 S j = ) = 1. Niech S, T bȩd a zmiennymi losowymi niezależnymi o rozk ladach wyk ladniczych z parametrami odpowiednio λ S > 0 i λ T > 0. Znajdź rozk lady zmiennych losowych λ S S oraz S T (ω) = min{s(ω), T (ω)}. Wyznacz P (S T ). Udowodnij, że dla dowolnego t R zdarzenia {S < T } i {S T t} s a niezależne. Zadanie 2.5 Niech S, T bȩd a zmiennymi losowymi niezależnymi o rozk ladach wyk ladniczych z parametrami odpowiednio λ S > 0 i λ T > 0. Udowodnij, że dla dowolnego t 0 zachodzi Zadanie 2.6 λ T P (S t < S + T ) = λ S P (T t < S + T ). Niech T 1, T 2,... bȩdzie ci agiem niezależnych zmiennych losowych o rozk ladach wyk ladniczych z parametrami q j > 0 odpowiednio. Za lóżmy, że spe lniony jest warunek j=1 q j = q < i oznaczmy T (ω) = inf j 1 T j (ω). Udowodnij, że dla ustalonego ω Ω (poza zbiorem o prawdopodobieństwie 0) istnieje dok ladnie jeden indeks J(ω) = j 1 taki, że T (ω) = T j (ω). Co wiȩcej zmienne losowe T i J s a niezależne i P (J = j) = q j q. 5

Zadanie 2.7 Niech T 1, T 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie wyk ladniczym z parametrem λ > 0, a N oznacza niezależn a od powyższego ci agu zmienn a losow a o rozk ladzie geometrycznym z parametrem β. Tzn. P (N = n) = β(1 β) n 1, n = 1, 2,..... Udowodnij, że zmienna losowa T = N n=1 T n ma rozk lad wyk ladniczy z parametrem λβ. Zadanie 2.8 Niech T 1, T 2,... bȩdzie ci agiem niezależnych zmiennych losowych o rozk ladach wyk ladniczych z parametrami q j > 0 odpowiednio. Wykorzystuj ac mocne prawo wielkich liczb, udowodnij, że P ( T j = ) = 1, o ile tylko sup j 1 q j <. Zadanie 2.9 j=1 Niech W oznacza standardow a zmienn a losow a o rozk ladzie wyk ladniczym (tzn. P (W > w) = exp( w)) zdefiniowan a na (Ω, F, P ). Oznaczmy V (ω) = W (ω) czȩść ca lkowita i U(ω) = W (ω) V (ω) czȩść u lamkowa. Udowodnij że zmienne losowe V, U s a niezależne oraz znajdź rozk lady V i U. Zadanie II.A* Skonstruuj przestrzeń probabilistyczn a (Ω, F, P ) a w niej dwa niezależne pod σ-cia la G, H F i zmienn a losow a Y na (Ω, F, P ) takie, że: (i) Y jest mierzalna wzglȩdem pod-σ cia la G H = σ(g, H), (ii) Y jest niezależna wzglȩdem G, (iii) Y nie jest mierzalna wzglȩdem H. Zadanie II.B* W grupie n osób każda osoba wybiera (niezależnie od pozosta lych) losowo inn a osobȩ. Znajdź prawdopodobieństwo, że (a) dok ladnie k osób nie zosta lo wybranych, (b) co najmniej k osób nie zosta lo wybranych. 6

Lista 3 Przypomnienie: Dla ustalonego ci agu liczb (rzeczywistych) a 0, a 1, a 2,... jego funkcj a tworz ac a (generating function of the sequence (a n ) n 0 ) nazywamy funkcjȩ G a (s) = n=0 a n s n określon a dla tych s R, dla których a n n=0 powyższy szereg jest zbieżny. Zauważamy, że funkcja tworz aca odtwarza wyjściowy ci ag. Mianowicie a n = G(n) a (0). Dla ustalonych ci agów liczbowych a = (a n ) n 0 i b = (b n ) n 0 ich splotem nazywamy nowy ci ag c = n! (c n ) n 0, gdzie dla każdego n 0 definiujemy c n = a 0 b n + a 1 b n 1 + + a n b 0 i piszemy wtedy a b = c. Jeżeli ci ag a = (a n ) n 0 jest rozk ladem probabilistycznym (tzn. 0 a n 1 i = 1) zmiennej losowej X (czyli P (X = n) = a n ), to zauważamy, że wprowadzona na wyk ladzie funkcja tworz aca Υ X (s) = E(s X ) (p.g.f.) zmiennej losowej X i funkcja tworz aca G a ci agu a pokrywaj a siȩ. L aczna funkcja tworz aca (joint probability generating function) wektora losowego (X 1, X 2 ), który spe lnia P ((X 1, X 2 ) N 0 N 0 ) = 1, jest to funkcja 2 zmiennych zdefiniowana Υ X1,X 2 (s 1, s 2 ) = E(s X 1 1 sx 2 2 ). Zadanie 3.1 Znajdź funkcjȩ tworz ac a zmiennej losowej (a) sta lej (tzn. dla pewnego n 0 N 0 mamy P (X = n 0 ) = 1), (b) o rozk ladzie dwupunktowym (Bernoulliego), (c) o rozk ladzie dwumianowym, (d) o rozk ladzie geometrycznym, (e) o rozk ladzie Poissona, (f) o rozk ladzie ujemnym dwumianowym tj. p k = ( k 1 N 1) p N (1 p) k N, gdzie k = N, N + 1,... ( b N b ) (g)* o rozk ladzie hipergeometrycznym, tzn. p k = k)( n k ( N. n) 7

Zadanie 3.2 Niech X bȩdzie zmienn a losow a przyjmuj ac a wartości w zbiorze 0, 1, 2,... o funkcji tworz acej Υ X. Znajdź funkcje tworz ace zmiennych losowych X + 1, X + 2, 2X. Zdefiniujmy ci agi a, b, c, d, e nastȩpuj aco: a n = P (X n), b n = P (X < n), c n = P (X n), d n = P (X > n + 1), e n = P (X = 2n), dla n = 0, 1,.... Znajdź funkcje tworz ace tych ci agów. Zadanie 3.3 Udowodnij, że G a b (s) = G a (s)g b (s). Wykorzystuj ac ten fakt, udowodnij kombinatoryczn a tożsamość Zadanie 3.4 n k=0 ( ) n 2 = k ( ) 2n. n Udowodnij, że zmienne losowe X 1, X 2 s a niezależne wtedy i tylko wtedy, gdy dla dowolnych s 1, s 2 z dziedziny zachodzi Υ X1,X 2 (s 1, s 2 ) = Υ X1 (s 1 )Υ X2 (s 2 ). Zadanie 3.5 Udowodnij, że (a) Υ X (s) = Υ X,Y (s, 1) i analogicznie Υ Y (t) = Υ X,Y (1, t), (b) E(XY ) = 2 s t Υ X,Y (s, t). s=t=1 Zadanie 3.6 Niech X bȩdzie zmienn a losow a określon a na (Ω, F, P ) o wartościach w N 0. Dla n N 0 definiujemy ci ag liczbowy a n = P (X > n). Udowodnij, że funkcja tworz aca G a ciagu a spe lnia G a (s) = 1 Υ X(s) 1 s, gdzie Υ X jest funkcj a tworz ac a zmiennej losowej X, a nastȩpnie pokaż, że E(X) = G a (1). 8

Zadanie 3.7 Niech X oznacza zmienn a losow a o rozk ladzie Poissona z parametrem Y, gdzie Y jest zmienn a losow a o rozk ladzie Poissona z parametrem µ > 0. Udowodnij, że Υ X+Y (t) = e µ(tet 1 1). Zadanie 3.8 Niech X n bȩdzie ci agiem zmiennych losowych o wartościach w N 0. Udowodnij, że X n jest zbieżny do zmiennej losowej X wed lug dystrybuant wtedy i tylko wtedy, gdy dla dowolnego t [0, 1] mamy Zadanie 3.9 lim Υ X n n (t) = Υ X (t). Niech zmienne losowe X, Y maj a l aczn a funkcjȩ tworz ac a Υ X,Y (s, t) = e α(s 1)+β(t 1)+γ(st 1). Znajdź rozk lady brzegowe wektora (X, Y ) i rozk lad zmiennej losowej X +Y. W szczególności okaże siȩ, że maj a one rozk lady Poissona, ale X + Y nie ma rozk ladu Poissona o ile γ 0. Zadanie 3.10 Transformat a Mellina nieujemnej zmiennej losowej Z określonej na (Ω, F, P ) nazywamy funkcjȩ R + s E(Z s ) [przyjmuj ac a być może wartość + ]. Niech X, Y, Z bȩd a nieujemnymi i niezależnymi zmiennymi losowymi, takimi, że (a) XY i ZY maj a ten sam rozk lad, (b) istnieje ε > 0 takie, że funkcja Mellina E((XY ) s ) < dla 0 s ε, (c) P (Y > 0) > 0. Udowodnij, że X i Z maj a ten sam rozk lad. Zadanie III.A* Niech zmienna losowa X ma rozk lad dwumianowy z parametrem (n, p n ). Udowodnij, że ( ) 1 E = 1 (1 p n) n+1. 1 + X (n + 1)p n 9

Zak ladaj ac, że lim n np n = λ, gdzie 0 < λ <, znajdź granicȩ powyższych wartości oczekiwanych i podaj swój komentarz. Przypomnienie: Mówimy, że zmienna losowa X ma nieskończenie podzielny rozk lad (niezbyt formalnie mówi siȩ, że X jest nieskończenie podzielna), jeżeli dla dowolnej liczby naturalnej n istniej a niezależne zmienne losowe Y (n) 1, Y (n) 2,..., Y n (n) o tym samym rozk ladzie takie, że X i n j=1 Y (n) j maj a ten sam rozk lad. Zauważ, że rozk lady gamma, Poissona i normalny s a nieskończenie podzielne. Zadanie III.B* Kura sk lada w ci agu ca lego życia N z lotych jaj, gdzie N jest zmienna losow a o rozk ladzie Poissona z parametrem λ > 0. Masa n tego jajka jest nieujemn a zmienn a losow a W n. Zak ladamy, że zmienne losowe W n s a niezależne i o tym samym rozk ladzie o funkcji tworz acej Υ(s). Udowodnij, że funkcja tworz aca Υ W zmiennej losowej W = N n=1 W n (masa z lota, jakie znios la kura w ci agu swego życia; a na poważnie jest to z lożony rozk lad Poissona) wyraża siȩ wzorem Υ W (s) = e λ+λυ(s). Udowodnij, że (a) dla dowolnej liczby naturalnej n funkcja n Υ W (s) jest funkcj a tworz ac a pewnej zmiennej losowej, (b) jeżeli Γ(s) jest funkcj a tworz ac a nieskończenie podzielnej zmiennej losowej o wartościach w zbiorze N 0, to istniej a λ > 0 i funkcja tworz aca Υ(s) takie, że Γ(s) = e λ+λυ(s). Lista 4 Zadanie 4.1 Niech {X n } n 0 bȩdzie ci agiem zmiennych losowych o wartościach w grupie liczb ca lkowitych Z postaci X n = ξ 1 +ξ 2 + +ξ n, gdzie ξ 1, ξ 2,... tworz a ci ag niezależnych zmiennych losowych o tym samym rozk ladzie P (ξ n = 1) = p, 10

P (ξ n = 1) = 1 p, gdzie p (0, 1), czyli jest lańcuchem Markowa na liczbach ca lkowitych o prawdopodobieństwach przejścia takich, że P (X n+1 = i + 1 X n = i) = p = p i,i+1 i P (X n+1 = i 1 X n = i) = 1 p = p i,i 1 ). Za lóżmy, że X 0 0 z prawdopodobieństwem 1. Oznaczmy P k ij = P (X n+k = j X n = i). Pokaż, że (a) P 2n+1 00 = 0 dla każdego n = 0, 1, 2,..., (b) P 2n 00 = ( 2n n ) p n (1 p) n, n = 1, 2,..., (c) wykorzystuj ac formu lȩ Stirlinga, znajdź wzory przybliżone na P 2n 00. Zadanie 4.2 Rozpatrzmy cz asteczkȩ poruszaj ac a siȩ po zbiorze liczb ca lkowitych w nastȩpuj acy sposób. Jeżeli w danej chwili n cz astka znajduje siȩ w stanie j, to w chwili n + 1 z prawdopodobieństwem p przejdzie do stanu j + 1 lub z prawdopodobieństwem 1 p przejdzie do stanu j 1. Za lóżmy, że w chwili 0 cz astka znajduje siȩ w stanie 0. Niech X n oznacza stan cz astki w chwili n > 0 oraz oznaczamy α i = P ({ω : n 0 X n (ω) = i}). (a) Pokaż, że zachodzi α 1 = p + (1 p)α1 2. 1, jeśli p 1 2 (b) Pokaż, że α 1 = p 1 p, jeśli p < 1. 2 (c) Znajdź wzór na α i. Zadanie 4.3 Niech bȩd a dane niezależne zmienne losowe X 1, X 2,..., Y 1, Y 2,... przyjmuj ace wartości w zbiorze 2-elementowym {0, 1}. Oznaczmy p = P (X n = 1) i r = P (Y n = 1), dla n = 1, 2,..., gdzie 0 < p, r < 1. (i) Udowodnij, że zmienne losowe (iloczyny) Z 1 = X 1 Y 1, Z 2 = X 2 Y 2,..., Z n = X n Y n,... s a niezależne. Znajdź ich rozk lad. (ii) Znajdź rozk lady zmiennych losowych S n = n 11 j=1 X j, T n = n Z j. j=1

(iii) Niech τ(ω) = inf{n 1 : T n (ω) = 1}. Znajdź rozk lad τ. (iv) Dla n 2, 1 k n pokaż, że P (X k = 1 τ = n) = P (X k = 1 Z k = 0) = p(1 r) 1 pr. (v) Pokaż, że n n P ( {X j = x j } τ = n) = P (X j = x j τ = n). j=1 j=1 (vi) Oblicz E(S τ τ = n) a nastȩpnie E(S τ ), gdzie S τ (ω) = Sprawdź, że E(S τ ) = E(τ)E(X 1 ) oraz E(T τ ) = E(τ)E(Z 1 ). τ(ω) j=1 X j (ω). Zadanie 4.4 Niech T bȩdzie (zmienn a losow a) czasem osi agniȩcia przez cz astkȩ wspó lrzȩdnej 1 (tzn. czas pierwszego osi agniȩcia) w zadaniu 4.2. 1 (a) Pokaż, że E(T ) = 2p 1, jeśli p > 1 2., jeśli p 1 2 (b) Pokaż, że dla p > 1 2 V ar(t ) = 4p(1 p) (2p 1) 3. (c) Niech T n oznacza czas osi agniȩcia po raz pierwszy stanu n > 0. Znajdź E(T n ). Zadanie 4.5 Broker, któremu powierzyliśmy nasze fundusze, wygrywa 1$ z prawdopodobieństwem 1 2 i przegrywa 1$ z prawdopodobieństwem 1 2 w każdym poszczególnym zak ladzie. Za lóżmy, że nasz pocz atkowy kapita l inwestycyjny wynosi i$. Oznaczmy przez T i czas osi agniȩcia przez brokera (a w laściwie hazardzisty) po raz pierwszy kwoty k > i lub ruiny (tzn. sytuacji, gdy straci l ca ly nasz kapita l pocz atkowy). Oblicz E(T i ). 12

Zadanie 4.6 Niech Y 1, Y 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie P (Y n = 1) = P (Y n = 1) = 1 2. Zdefiniujmy S 0 = 1 oraz S n = S 0 + Y 1 + + Y n dla n 1 i nastȩpnie τ 0 = inf{n 0 : S n = 0}. Wyznacz funkcjȩ tworz ac a Υ τ0 momentu zatrzymania (Markowa) τ 0. Czy potrafisz, wykorzystuj ac funkcjȩ Υ τ0, znaleźć E(τ 0 )? Zadanie 4.7 Niech ξ 1, ξ 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie P (ξ n = 2) = P (ξ n = 1) = 1 2. Podobnie jak poprzednio zdefiniujmy S 0 = 1 oraz S n = S 0 +ξ 1 + +ξ n dla n 1 i nastȩpnie moment zatrzymania (Markowa) η 0 = inf{n 0 : S n = 0}. Znajdź funkcjȩ tworz ac a Υ η0 zmiennej losowej η 0. Sprawdź, czy zachodzi tożsamość sυ 3 η 0 (s) 2Υ η0 (s) + s = 0. Czy różniczkuj ac powyższ a tożsamość, latwo wyznaczymy E(η 0 )? Czy P (η 0 < ) = 1 (porównaj zadania 4.2, 4.4)? Zadanie 4.8 Niech X n bȩdzie ci agiem zmiennych losowych (spacerem losowym) z zadania 4.2. Oznaczmy τ j = inf{n 1 : X n = j}. W przypadku p 1 2 znajdź wzór na funkcjȩ tworz ac a Υ τ1 (s). Napisz tȩ funkcjȩ w postaci szeregu Maclaurina. Wyznacz 5 pierwszych wyrazów tego szeregu. Znajdź P (τ 1 = 1), P (τ 1 = 2), P (τ 1 = 3) i P (τ 1 = 5). Zadanie IV.A* Niech S 0 = k z prawdopodobieństwem 1 oraz P (S n+1 = S n + 2) = p, P (S n+1 = S n 1) = q = 1 p definiuj a spacer losowy na grupie liczb ca lkowitych Z ( p (0, 1)). Znajdź β k = P ( n 0 S n = 0). Zadanie IV.B* (Nierówność Bella) Niech ζ, ϑ, ψ bȩd a zmiennymi losowymi takimi, że ζ 1, ϑ 1 i ψ 1 z prawdopodobieństwem 1. Udowodnij Eζϑ Eζψ 1 Eϑψ. Wskazówka: Wykorzystaj nierówność ϑ(1 + ψ) 1 + ψ. 13

Lista 5 Zadanie 5.1 Niech X, Y bȩd a niezależnymi zmiennymi losowymi o rozk ladach wyk ladniczych o średnich (wartościach oczekiwanych), odpowiednio. Znajdź 1 1 λ X λ Y rozk lad Z = min(x, Y ). Znajdź dystrybuantȩ warunkow a Z pod warunkiem Z = X. Zadanie 5.2 Niech X 1 i X 2 bȩd a nieujemnymi i niezależnymi zmiennymi losowymi o rozk ladach absolutnie ci ag lych. Pokaż, że P (X 1 < X 2 min(x 1, X 2 ) = t) = λ 1 (t) λ 1 (t) + λ 2 (t), gdzie λ 1(t), λ 2 (t) s a intensywnościami awarii. Zadanie 5.3 Niech X 1, X 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tych samych gȩstościach. Mówimy, że w momencie n wystȩpuje pik, gdy X n 1 < X n i X n > X n+1. Udowodnij, że z prawdopodobieństwem 1 średnia liczba pików jest równa 1 3. Zadanie 5.4 1 1 1 1 2 2 2 0 1 2 n 1 n 1 1 1 2 2 2 1 14

Cz astka z prawdopodobieństwem 1 2 przechodzi na s asiednie pole, gdy startuje ze stanów 1, 2,..., n 1, a ze stanów 0 i n przechodzi z prawdopodobieństwem 1 do jedynego s asiada. Oblicz wartość oczekiwan a ilości skoków cz astki, aby osi agnȩ la ona stan n, startuj ac ze stanu 0. Zadanie 5.5 Niech X j, j = 1, 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie jednostajnym na zbiorze cyfr {0, 1,..., 9}, np. X j (x) = x j, gdzie dla x [0, 1] mamy x = x j w reprezentacji dziesiȩtnej. Definiujemy indukcyjnie nowy lańcuch Markowa Y 1 = X 1, a j=1 10j dalej Y j+1 (ω) = { max{y j (ω), X j+1 (ω)}, o ile X j+1 (ω) 3, 0, gdy X j+1 (ω) < 3 dla j = 1, 2,.... Dla ustalonego k {0, 1,..., 9} znajdź lim j P (Y j = k). Zadanie 5.6 Lańcuch Markowa {X n } n 0 na przestrzeni stanów ma nastȩpuj ac a macierz 0 0 1 prawdopodobieństw przejść: P = 0 0.5 0.5. Znajdź ogólny wzór na 0.5 0.5 0 prawdopodobieństwo, że proces startuj acy w chwili 0 ze stanu 1 w chwili n jest z powrotem w stanie 1, czyli wyznacz p (n) 1,1. Podobnie wyznacz formu lȩ na p (n) 1,2. Zadanie 5.7 Niech Y 1, Y 2,... bȩd a niezależnymi zmiennymi losowymi o tej samej dystrybuancie oraz P (Y n = 0) = α, P (Y n > y) = (1 α)e y, y > 0. Niech X 0 0, X n+1 = αx n + Y n+1. Udowodnij, że P (X n = 0) = α n, P (X n > x) = (1 α n )e x dla x > 0. Zadanie 5.8 Niech przestrzeń stanów S = {0, 1,..., L 1} = Z L z dodawaniem modulo L, gdzie L 2 ustalona liczba naturalna. Zdefiniujmy macierz prawdopodobiństw przejść P = [p i,j]l L, gdzie p i,i+1 = p i,i 1 = 1 2. Dla nieparzys- 15

tego L znajdź najmniejsz a liczbȩ n 1 tak a, że dla dowolnych i, j S zachodzi p (n) i,j > 0. Czy za lożenie że L jest nieparzyste jest tutaj istotne? Uwaga: Z L jest grup a z dodawaniem modulo L a wprowadzony w tym zadaniu lańcuch Markowa jest przyk ladem symetrycznego (prostego) spaceru losowego na grupie Z L. Zadanie 5.9 Przy oznaczeniach z poprzedniego zadania zdefinujmy tzw. leniwy prosty spacer losowy na Z L. Mianowicie p i,i+1 = 1 4 = p i,i 1, p i,i = 1 2 oraz p i,j = 0 dla pozosta lych przypadków. Udowodnij, że leniwy spacer losowy jest aperiodyczny i nieprzywiedlny. Zadanie 5.10 Niech bȩdzie dany graf nieskierowany Γ = (V, K), gdzie V = {v 1, v 2,..., v n } oznacza zbiór wierzcho lków a K = {k 1, k 2,..., k m } oznacza zbiór krawȩdzi grafu. Oznaczmy deg(v) stopień wierzcho lka v V, tzn. liczbȩ krawȩdzi wychodz acych z niego (chyba jest zupe lnie jasne, że deg(v) = 2card(K) = 2m). Za lóżmy, że deg(v) 1 dla dowolnego v V. Dla każdego v V definiujemy p v,w = 1 deg(v) o ile wierzcho lki v i w s a po l aczone krawȩdzi a oraz p v,w = 0 w przeciwnym razie. Sprawdzić, że macierz P = [p v,w ] v,w V poprawnie definiuje lańcuch Markowa na przestrzeni stanów V (nazywany zwyczajowo prostym spacerem losowym na grafie Γ). Udowodnij, że rozk lad µ(v) = deg(v) jest miar a stacjonarn a dla tego spaceru losowego. Uzasadnij, że graf Γ jest spójny wtedy i tylko wtedy gdy prosty spacer na nim 2m jest nieprzywiedlny (tzn. że dla dowolnych v, w V istnieje taka liczba naturalna n, że p (n) v,w > 0). Zadanie V.A* v V Niech X 0 = 0 i X 1 = 1 z prawdopodobieństwem 1. Jeżeli znamy X 0 (ω), X 1 (ω),..., X n (ω), gdzie n 1, to P ({ω Ω : X n+1 (ω) = X n (ω) X n 1 (ω)}) = P ({ω Ω : X n+1 (ω) = X n (ω) + X n 1 (ω)}) = 1 2. Czy {X n } n 0 jest lańcuchem Markowa? Czy {(X n, X n+1 )} n 0 jest lańcuchem Markowa? Znajdź prawdopodobieństwo, że proces X n osi agnie stan 3 16

prȩdzej niż powróci do stanu 0. Udowodnij, że P ({ n 4 (X n, X n+1 ) = (1, 1)} {X 3 = 2 }) = 3 5 2. Zadanie V.B* Niech ξ 1, ξ 2,... bȩdzie ci agiem niezależnych zmiennych losowych o tym samym 1 rozk ladzie Cauchye go (o gȩstości f(x) = ). Udowodnij, że π(1+x 2 ) ( ) lim P max1 k n ξ k x = e 1 πx. n n Lista 6 Zadanie 6.1 bȩdzie procesem Poissona. Udowodnij, że dla s < t za- Niech {N(t)} t 0 chodzi P (N(s) = k N(t) = n) = Zadanie 6.2 ( n k ) (s t ) k ( 1 s t ) n k dla k = 0, 1, 2,..., n. Niech {N(t)} t 0 bȩdzie procesem Poissona z intensywności a λ. Dla t, s 0 wyznacz ( ) cov(n(s), N(t)) (a) E(N(t) N(t + s)), (b) E(N(t 2 + 1 s) N(t + s)), ( ) E(N(S) N( )). 17

Zadanie 6.3 Niech {N 1 (t)} t 0, {N 2 (t)} t 0 bȩd a niezależnymi procesami Poissona o intensywnościach λ 1, λ 2. Udowodnij, że N 1 (t)+n 2 (t) jest procesem Poissona o intensywności λ 1 +λ 2. Oblicz prawdopodobieństwo, że pierwsze zdarzenie procesu z lożonego {N 1 (t) + N 2 (t)} t 0 pochodzi od procesu N 1 (t). Zadanie 6.4 Sprawdzić czy jednorodny proces Poissona jest procesem Markowa? Zadanie 6.5 Do zupy na talerzu losowo wpadaj a muchy. Liczba much jakie wpadn a do talerza do czasu t 0 opisana jest jednorodnym procesem Poissona z parametrem λ > 0. Analizuj ac kolor much zauważyliśmy, że bardzo interesuj acy gatunek much koloru seledynowego wpada z czȩstotliowości a 1 3. Niech Nt oznacza liczbȩ much koloru seledynowego jakie wyl adowa ly w zupie do chwili t 0. Zak ladaj ac, że kolory much kolejno wpadaj acych s a niezależne od siebie i od N t udowodnij, że Nt jest też procesem Poissona. Znajdź jego intensywność. Zadanie 6.6 Niech {N(t)} t 0 bȩdzie procesem Poissona z intensywności a λ oraz F t oznacza σ cia lo generowane przez {N(s) : 0 s t}, tzn. F t = σ({xs 1 (B) : 0 s t, B B R }). Udowodnij, że (a) dla dowolnych s t mamy E(N(t) λt F s ) = N(s) λs, (b) dla dowolnych s t mamy E((N(t) λt) 2 λt F s ) = (N(s) λs) 2 λs. Innymi s lowy, że N(t) λt i (N(t) λt) 2 λt s a martynga lami. Zadanie 6.7 Niech {N j (t)} t 0, j = 1, 2,... bȩdzie ci agiem niezależnych jednorodnych procesów Poissona odpowiednio z intensywnościami λ j > 0 takimi, że szereg j=1 λ j = λ <. Zdefiniujmy proces licz acy N(t) = j=1 N j(t) (pokaż najpierw, że ten szereg jest zbieżny z prawdopodobieństwem 1). Niech T oznacza czas oczekiwania na zajście pierwszego zdarzenia procesu N(t), a J jest zmienn a losow a oznaczaj ac a indeks j taki, że to zdarzenie pochodzi lo 18

od procesu N j (t) (tzn. N J(ω) (T (ω)) = 1 i N j (T (ω)) = 0 dla j J(ω)). Udowodnij, że dla dowolnego j 1 Zadanie 6.8 P (J = j, T t) = P (J = j)p (T t) = λ j λ e λt. Osiedle obs luguj a dwie linie autobusowe: A i B. Ich przyjazdy na przystanek można opisać niezależnymi procesami Poissona z intensywnościami odpowiednio λ A = 6 i λ B = 12, gdzie jednostk a czasu jest godzina. (a) Jakie jest prawdopodobieństwo, że w przedziale czasowym 14:00 14:45 na przystanek przyjad a 4 autobusy? (b) Jakie jest prawdopodobieństwo, że zanim przyjedzie A (dok ladnie) trzykrotnie przyjedzie B? (c) Jeżeli kierowcy og laszaj a strajk, po lowa autobusów zjeżdża do zajezdni. Jakie jest prawdopodobieństwo, że w okresie strajkowym przez 30 min. na przystanku nie pojawi siȩ ani jeden autobus? Zadanie 6.9 (Proces Cox a) Niech funkcja intensywności λ niejednorodnego procesu Poissona {N(t)} t 0 sama bȩdzie procesem stochastycznym (taki proces {N(t)} t 0 nosi nazwȩ procesu Cox a). Rozpatrzmy prosty przypadek, kiedy dla dowolnego t 0 zmienna losowa λ(t) = Λ, gdzie P (Λ = λ 1 ) = P (Λ = λ 2 ) = 1 2 dla pewnych sta lych λ 1, λ 2 > 0. Dla ustalonego t > 0 znajdź funkcjȩ tworz ac a zmiennej losowej N(t), a nastȩpnie wyznacz wartość oczekiwan a i wariancjȩ dla N(t). Zadanie 6.10 Niech {X t : t 0} bȩdzie lańcuchem Markowa z czasem ci ag lym (na skończonej lub przeliczalnej przestrzeni fazowej S) posiadaj acym rozk lad stacjonarny µ a N t : t 0 jednorodnym procesem Poissona z intensywności a λ > 0. Zak ladamy, że procesy X t i N t s a niezależne. Niech T n = inf{t 0 : N t = n}, tzn. T n jest czasem w którym proces Poissona ma n-ty skok. Zdefinujmy Y n = X T + n jako stan w którym znajdowa l siȩ proces Markowa X t w momencie bezpośrednio po tym jak zasz lo n-te zdarzenie procesu Poissona (tzn. intuicyjnie w chwili T n + dowolnie ma le ε > 0). Udowodnij, że Y n jest lańcuchem Markowa z czasem dyskretnym o tym samym rozk ladzie stacjonarnym µ na S. 19

Zadanie VI.A* Niech {N t } t 0 bȩdzie standardowym procesem Poissona, niezależnym od dodatniej zmiennej losowej θ. Rozważmy hybrydowy ( podporz adkowany ) proces L t = N tθ. Zbadaj: L 1. lim t t t =? z prawdopodobieństwem 1, ) 2. lim t P x =?, ( Lt θt θt 3. jeżeli V ar(θ) <, to Lt ELt V ar(lt ) θ E(θ) V ar(θ)? Zadanie VI.B* (Kolejka M/G/ ) Liczba zadań dochodz acych do serwera opisana jest jednorodnym procesem Poissona {N(t)} t 0 z intensywności a λ > 0. Czas, jaki j ty klient korzysta z serwera, jest nieujemn a zmienn a losow a oznaczon a przez S j. Zak ladamy, że S 1, S 2,... s a niezależne o tej samej dystrybuancie G i, że s a niezależne od procesu N(t). Zak ladaj ac (to jest uproszczenie), że moc obliczeniowa (pamiȩć) serwera jest nieograniczona, udowodnij, że liczba klientów L obs lu giwanych przez serwer w chwili t jest zmienn a losow a o rozk ladzie Poissona z parametrem λ t 0 [1 G(s)]ds. Lista 7 Niech {X n : n = 1, 2,... } bȩdzie ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie (dystrybuancie F ). Zak ladamy, że P (X n 0) = 1 oraz P (X n = 0) = F Xn (0) < 1. Oznaczmy T 0 = 0 oraz T n = n X i, n 1. Definiujemy N(t) = sup{n : T n t} i nazywamy N(t) procesem odnowy. Funkcj a odnowy nazywamy m(t) = EN(t). Przez F n oznaczamy dystrybuantȩ zmiennej losowej T n (w szczególności F 1 = F ). Mówimy, że zmienna losowa τ o wartościach w zbiorze liczb ca lkowitych nieujemnych nazywa siȩ momentem stopu wzglȩdem zdefiniowanego powyżej ci agu {X n : n = 1, 2,... } (porównaj listȩ zadań nr 8), gdy dla każdego n zdarzenie i=1 20

τ = n jest mierzalne wzglȩdem σ cia la generowanego przez zmienne losowe X 1, X 2,..., X n (w szczególności jest niezależne od σ(x n+1, X n+2,... )). Warto zapamiȩtać, że zdarzenie {τ n} = {τ < n} jest mierzalne wzglȩdem σ cia la generowanego przez X 1, X 2,..., X n 1 (zatem zdarzenie {τ n} jest niezależne od zmiennych losowych X n, X n+1,... ). Zadanie 7.1 Czy prawd a jest (a) N(t) < n T n > t? (b) N(t) n T n t? (c) N(t) > n T n < t? Zadanie 7.2 Udowodnij, że z za lożenia F X1 (0) < 1 wynika P (N(t) < ) = 1. Zadanie 7.3 Udowodnij, że istnieje θ > 0 taka, że E(e θn(t) ) <. Wskazówka. Rozważ nowy proces odnowy, podstawiaj ac Y k = ε1 {Xk >ε} zamiast X k, dla odpowiednio dobranego ε > 0. Zadanie 7.4 Udowodnij, że Zadanie 7.5 N( ) = lim t N(t) = z prawdopodobieństwem 1. Udowodnij, że z prawdopodobieństwem 1 zachodzi N(t) lim = 1 t t E(X 1 ). 21

Zadanie 7.6 Wyprowadź formu ly x (a) F k+1 (x) = F k (x y)df (y), (b) (c) 0 P (N(t) = k) = F k (t) F k+1 (t), m(t) = F k (t), k=1 t (d) m(t) = F (t) + m(t x)df (x), 0 x (e) P (T N(t) x) = (1 F (x)) + (1 F (t y))dm(y) dla 0 x t oraz P (T N(t) x) = 1, gdy x t. Zadanie 7.7 Równaniem odnowy nazywamy ogólnie rówanie postaci ( ) g(t) = h(t) + 0 t 0 g(t x)df (x), t 0, gdzie F jest ustalon a dystrybuant a skoncentrowan a na dodatniej pó lprostej (0, ), czyli F (x) = 0 dla x 0, a h : [0, ) R jest ustalon a funkcj a borelowsk a lokalnie ograniczon a (niekoniecznie ci ag l a). Udowodnij, że rozwi azanie równania ( ) istnieje i jest jedyne, i co wiȩcej g(t) = h(t) + t 0 h(t x)dm(x) = h(t) + Zadanie 7.8 (Tożsamość Wald a) k=1 t 0 h(t x)df k (x). Niech X 1, X 2,... bȩd a niezależnymi zmiennymi losowymi (niekoniecznie nieujemnymi) o tym samym rozk ladzie i skończonej wartości oczekiwanej. Udowodnij, że jeżeli τ jest momentem stopu wzglȩdem ci agu X 1, X 2,... takim, że E(τ) <, to E( τ X j ) = E(τ)E(X 1 ). j=1 22

Zadanie 7.9 Niech X ma rozk lad jednostajny na [0, 1]. Udowodnij, że m(t) = e t 1, 0 t 1. Uzasadnij, że średnia liczba zmiennych losowych X j o rozk ladzie jednostajnym na [0, 1] takich, aby ich suma przekroczy la 1, wynosi e. Zadanie 7.10 Za lóżmy, że kolejne wypadki, jakie powoduje kierowca, opisane s a procesem Poissona {N(t)} t 0 (jednorodnym, o przyrostach niezależnych, z intensywności a λ > 0). Firma ubezpieczeniowa dokona la nowelizacji polisy ubezpieczeniowej z kierowc a, który mia l w chwili (przyjmijmy) t wypadek. Dodano mianowicie warunek, że w przysz lości firma wycofa siȩ z umowy w chwili, gdy czas pomiȩdzy dwoma kolejnymi wypadkami jest krótszy niżeli ustalona przez aktuariusza progowa wartość odstȩpu β > 0. (a) Niech czas, jaki up lynie od momentu t nowelizacji polisy do jej zerwania, bȩdzie nieujemn a zmienn a losow a oznaczan a przez T. Znajdź E(T ). (b) Niech L oznacza liczbȩ wypadków do momentu zerwania umowy (wliczaj ac wypadki w chwili t i stopuj acy). Znajdź E(L). Zadanie 7.11 Za lóżmy, że liczba samochodów przejeżdżaj acych pewien punkt na drodze (do chwili t) tworzy jednorodny proces Poissona N(t) z intensywności a λ > 0. Pieszy dochodzi do tego miejsca w chwili t > 0 i chce w tym miejscu przejść przez jezdniȩ. Aby móg l to zrobić, musi czekać tak d lugo, aż czas up lywaj acy pomiȩdzy kolejnymi samochodami jest d luższy niżeli β > 0. Niech T oznacza czas, jaki pieszy bȩdzie musia l czekać na tak a pierwsz a okazjȩ. Znajdź E(T ). (UWAGA: Pieszy wkracza na jezdniȩ w momencie kiedy oszacuje, że nowy samochód, który w laśnie wy lania siȩ, aby dojechać do przejścia musi zużyć wiȩcej niżeli β czasu.) Zadanie VII.A* W dużej urnie mamy nieskończenie (nieprzeliczalnie) wiele monet, które s a na ogó l niesymetryczne. Prawdopodobieństwo wyrzucenia or la przez losowo wybran a monetȩ z urny jest zmienn a losow a o rozk ladzie jednostajnym na (0, 1). Za lóżmy, że wybieramy losowo z urny monetȩ i rzucamy ni a tak d lugo, jak chcemy, albo zaraz po pierwszym rzucie wybieramy z urny nastȩpn a 23

monetȩ. Jak a przyj ać strategiȩ, aby osi agn ać najlepsz a z możliwych proporcjȩ wyrzuconych or lów (tzn. asymptotycznie najlepsz a proporcjȩ O(n) n, gdzie O(n) oznacza liczbȩ or lów zliczonych przy n rzutach)? Zadanie VII.B* Niech bȩdzie dany proces odnowy N(t) dla ustalonego ci agu niezależnych i nieujemnych zmiennych losowych X 1, X 2,... o tym samym rozk ladzie (z naturalnym za lożeniem, że P (X = 0) < 1 i oznaczeniem F = F X1 ). (a) Udowodnić, że dla każdego k 1 i ustalonego t 0 zmienna losowa N(t) + k jest momentem stopu wzglȩdem X 1, X 2,.... (b) E(T N(t)+1 ) = E(X 1 )(m(t) + 1). (c) Opisać s lownie X N(t)+1. Udowodnić, że dla każdego x R zachodzi P (X N(t)+1 > x) 1 F (x) i, że dla x ze zbioru dodatniej miary Lebesgua P (X N(t)+1 > x) > 1 F (x). Obliczyć P (X N(t)+1 > x) dla F (x) = 1 e λx. Zadanie VII.C* Niech {N(t) : t 0} bȩdzie procesem odnowy. Za lóżmy, że pod warunkiem N(t) = n (gdzie t, n ustalone), czasy S 1, S 2,..., S n maj a rozk lad n statystyk pozycyjnych, otrzymanych z rozk ladów jednostajnych na (0, t). Udowodnij, że {N(t)} t 0 jest procesem Poissona. Lista 8 Zadanie 8.1 Mówimy, że macierz [p ij ] n n jest stochastyczna, gdy p ij 0 oraz n p ij = 1 dla każdego i = 1, 2,..., n. Udowodnić, że jeżeli P 1, P 2, P s a macierzami stochastycznymi, to j=1 (a) P 1 P 2 jest macierz a stochastyczn a, (b) αp 1 + (1 α)p 2 jest macierz a stochastyczn a dla dowolnego α [0, 1], 24

(c) dla dowolnego wektora p = (p 1, p 2,..., p n ) mamy n j=1 (p P ) j = n j=1 p j, (d) jeżeli p = (p 1, p 2,..., p n ) 0, to p P 0, (e) jeżeli f = (f 1,..., f n ) 0, to P f T 0, (f) dla dowolnego wektora probabilistycznego p = (p 1,..., p n ) istnieje N 1 p P m i jest wektorem P niezmienniczym (tzn. p = lim N 1 N p P ), m=0 (g) istnieje wektor p = (p 1, p 2,..., p n ) probabilistyczny (tzn. p i 0 oraz p 1 + p 2 + + p n = 1) taki, że p P = p, (h) jeżeli (p 1, p 2,..., p n ) = p, (q 1, q 2,..., q n ) = q s a P niezmiennicze, to (p q ) P = p q. Dla ustalonego ci agu zmiennych (elementów) losowych X 1, X 2,... oznaczamy F n = σ(x 0, X 1,..., X n ), F =n = σ(x n ), F n = σ(x n, X n+1,... ). Zadanie 8.2 Niech {X n } n 0 bȩdzie lańcuchem Markowa o przeliczalnym zbiorze stanów {x 1, x 2,... }. Udowodnij, że dla dowolnego zbioru A F n zachodzi P (A X 0, X 1,..., X n ) = P (A X n ). Uwaga. P (A Y ) = df E(1 A σ(y )). Zadanie 8.3 Niech proces {X n } n 0 na przeliczalnej (lub skończonej) przestrzeni stanów {x 1, x 2,... } spe lnia warunek, że dla dowolnego zbioru A F n zachodzi P (A X 0, X 1,..., X n ) = P (A X n ). Udowodnij, że {X n } n 0 jest lańcuchem Markowa. 25

Niech T R bȩdzie ustalonym zbiorem indeksów oraz (S, B S ) jest przestrzeni a mierzaln a, gdzie σ cia lo B S ma w lasność, że {x} B S (dla każdego x S). {X t } t T oznacza proces stochastyczny na przestrzeni fazowej S. Podobnie jak powyżej wprowadzamy σ cia la F t = σ{x s : s t}, F =t = σ(x t ), F t = σ{x s : s t}. Zadanie 8.4 Udowodnij, że nastȩpuj ace warunki s a równoważne (a) t T A F t B F t P (A B F =t ) = P (A F =t )P (B F =t ), (b) t T A F t P (A F t ) = P (A F =t ), (c) t T B F t P (B F t ) = P (B F =t ). Powiemy, że zmienna losowa T, przyjmuj aca wartości w zbiorze N 0, jest momentem stopu (Markowa, zatrzymania) wzglȩdem abstrakcyjnego ci agu σ cia l (F n ) n 0, gdy dla każdego n mamy T 1 (n) = {ω Ω : T (ω) = n} F n. W przypadku naturalnego ci agu F n = σ(x 0, X 1,..., X n ) dla momentu Markowa T oznacza to, że do tego, aby wiedzieć, czy zdarzenie {T = n} zasz lo, wystarczy obserwować tylko n+1 pocz atkowych zmiennych losowych X 0, X 1,..., X n. Zadanie 8.5 (Mocna w lasność Markowa) Niech {X n } n 0 bȩdzie lańcuchem Markowa na przeliczalnej przestrzeni fazowej S o macierzy prawdopodobieństw przejść P = [p i,j ]. Udowodnić, że jeżeli T jest momentem Markowa wzglȩdem ci agu X n, to dla każdego m 0 mamy P (X T +m = j X k = s k dla 0 k < T, X T = i) = P (X T +m = j X T = i). 26

Zadanie 8.6 (a) Niech X n bȩdzie jednorodnym lańcuchem Markowa na przeliczalnej przestrzeni stanów S 1 oraz Φ : S 1 S 2 bȩdzie odwzorowaniem na inn a przestrzeń stanów S 2. Pokaż, że jeżeli Φ jest różnowartościowe, to Y n = Φ(X n ) definiuje na S 2 lańcuch Markowa. Czy za lożenie o różnowartościowości Φ jest istotne? (b) Niech X n bȩdzie lańcuchem Markowa. Które z wymienionych ci agów tworz a lańcuch Markowa: X n+m, X 2n, (X n, X n+1 )? (c) Niech X n, Y n bȩd a lańcuchami Markowa na zbiorze liczb ca lkowitych Z. Czy Z n = X n + Y n jest lańcuchem Markowa? Zadanie 8.7 Niech X 0 bȩdzie zmienn a losow a o wartościach w zbiorze przeliczalnym S, a Y 1, Y 2,... ci agiem niezależnych zmiennych losowych o tym samym rozk ladzie jednostajnym na [0, 1]. Dla deterministycznej i mierzalnej funkcji h : S [0, 1] S (tzn. dla dowlonego i S przeciwobraz definiujemy h 1 (i) = {(j, x) : h(j, x) = i} 2 S B [0,1] ) X n+1 = h(x n, Y n+1 ). Udowodnij, że tak zdefiniowany ci ag zmiennych losowych {X n } n 0 jest lańcuchem Markowa i znajdź jego macierz prawdopodobieństw przejść. Czy każdy lańcuch Markowa na przeliczalnej przestrzeni fazowej ma tak a reprezentacjȩ? Jak można symulować lańcuchy Markowa używaj ac komputera? Zadanie VIII.A* Oznaczmy przez X n objȩtość wody w zbiorniku wodnym w n-tym dniu o godz. 12 00 (przy ma lym uproszczeniu można za lożyć, że zmienne losowe X n przyjmuj a wartości ca lkowite nieujemne). Pojemność zbiornika jest równa K N. Zak ladamy dalej, że w ci agu 24 godzin, licz ac od godziny 12 00 n tego dnia do godziny 12 00 n + 1 go dnia, do zbiornika wp lynie (i spadnie) Y n wody, gdzie zmienne losowe Y 1, Y 2,... tworz a ci ag niezależnych zmiennych losowych o tym samym rozk ladzie i też o wartościach w N 0. Nadmiar wody powyżej pojemności zbiornika jest spuszczany do kana lu ulgi i bezpowrotnie tracony (st ad zawsze X n K). Każdego dnia o godzinie 12 00 miasto pobiera ze zbiornika 1 jednostkȩ objȩtościow a wody, o ile w zbiorniku 27

jest woda. Pokaż, że X n jest lańcuchem Markowa i znajdź macierz prawdopodobieństw przejść. Za lóżmy, że znamy funkcjȩ tworz ac a Υ zmiennych losowych Y n. Znajdź zwi azek pomiȩdzy Υ i rozk ladem stacjonarnym dla X n. Znajdź rozk lad stacjonarny w przypadku, gdy Υ(s) = Zadanie VIII.B* p 1 qs. Niech η 1, η 2,... bȩdzie ci agiem niezależnych zmiennych losowych Bernoulliego P (η n = 1) = p n, P (η n = 0) = 1 p n. Udowodnij, że 1. jeżeli i=1 p ip i+1 <, to szereg i=1 η iη i+1 jest zbieżny z prawdopodobieństwem 1, 2. jeżeli p n = 1 n, to zmienna losowa N = i=1 η iη i+1 ma rozk lad Poissona z intensywności a λ = 1. Lista 9 Zadanie 9.1 Niech S bȩdzie przeliczaln a przestrzeni a stanów jednorodnego lańcucha Markowa {X n } n 0 z macierz a prawdopodobieństw przejść P = [p ij ] i,j S. Udowodnić, że odwzorowania ( l 1 (S) g gp l 1 (S) gp (j) = ) g(i)p ij ( i S l (S) f P f l (S) P f(i) = ) p ij f j s a liniowymi { odwzorowaniami na l 1 (S) = f : S R : f 1 = { s S l (S) = oraz P = 1. j S } f(s) < f : S R : f = sup f(i) < i S } 28

Zadanie 9.2 Udowodnić, że zbiór A S jest zamkniȩty (tzn. dla każdego i A p ij 0, jeśli j / A) wtedy i tylko wtedy, gdy P 1 A 1 A. Zadanie 9.3 Udowodnić, że nastȩpuj ace warunki s a równoważne dla ustalonego j S (a) n=0 p n jj =, (b) istnieje stan i S taki, że p n ij =, n=0 (c) istnieje nieujemny (i niezerowy) wektor g l 1 (S) taki, że gp n (j) =. n=0 Zadanie 9.4 Powiemy, że wektor probabilistyczny p l 1 (S) (tj. p(j) 0 oraz p(j) = 1) jest stacjonarny, gdy pp = p. Udowodnić, że supp (p) = j S {j S : p(j) > 0} jest zbiorem zamkniȩtym. Zadanie 9.5 Oznaczmy C = {j S : p n jj n=0 = } (czȩść konserwatywna (powracaj aca) procesu). Udowodnić, że C jest zbiorem zamkniȩtym. Zadanie 9.6 Udowodnić, że każda funkcja h l (S) podniezmiennicza (nadniezmiennicza) spe lnia P h(i) = h(i) dla i C. Uwaga. h nazywa siȩ podniezmiennicza, gdy P h h, h nazywa siȩ nadniezmiennicza, gdy P h h. Zadanie 9.7 Powiemy, że zbiór zamkniȩty A jest minimalny, gdy nie zawiera zbioru zamkniȩtego B różnego od A (i od zbioru ). Udowodnić, że czȩść konserwatywna C jest sum a (roz l acznych) zbiorów minimalnych. 29

Zadanie 9.8 Przez centrum M rozumiemy sumȩ nośników wektorów probabilistycznych stacjonarnych. Udowodnić, że M jest zbiorem zamkniȩtym i M C. Zadanie 9.9 Udowodnić, że jeżeli B jest zbiorem minimalnym i B M, to B M oraz istnieje dok ladnie jeden (miara) wektor stacjonarny p taki, że supp (p) = B. Zadanie 9.10 Niech B bȩdzie zbiorem minimalnym zawartym w M oraz π jest wektorem stacjonarnym skoncentrowanym na B. Udowodnij, że dla każdego k B oraz j B zachodzi 1 lim N N N 1 p n kj n=0 = π(j) (w szczególności lim N 1 N N 1 n=0 p n jj = π(j)). Zadanie 9.11 Udowodnić, że dla każdego j M lim N 1 N N 1 n=0 p n jj > 0. Zadanie IX.A* W urnie A mamy pocz atkowo n kul bia lych i n+2 kul czarnych. Wyci agamy losowo jedn a kulȩ. Jeżeli jest to kula bia la, to deterministycznie wyci agamy z urny także kulȩ czarn a i obie usuwamy. Jeżeli jednak wyci agniemy kulȩ czarn a, to zwracamy j a do urny, dodaj ac jeszcze do urny jedn a kulȩ czarn a extra i jedn a kulȩ bia l a. Postȩpujemy tak, aż w urnie nie bȩdzie ani jednej kuli bia lej i wtedy zabawȩ przerywamy. Udowodnij, że zabawa zakończy siȩ (w skończonym czasie) z prawdopodobieństwem 1 n+1. Analogiczn a zabawȩ przeprowadzamy z urn a B, w której jest pocz atkowo n + 2 kul bia lych i n kul czarnych. Udowodnij, że przy takim sk ladzie urny oczekiwana liczba iteracji do zakończenia zabawy jest równa n(n + 2) (w szczególności gra skończy siȩ z prawdopodobieństwem 1). Zadanie IX.B* Niech p j oznacza prawdopodobieństwo, że losowo wybrana gwiezdna rodzina posiada dok ladnie j dzieci, gdzie nieco abstrakcyjnie p 0 = p 1 = a < 1 2 30

oraz p j = 1 2a, dla j 2. Zak ladamy, że prawdopodobieństwo urodzenia 2 j 1 ch lopca lub dziewczynki s a takie same i równe 1 2. Za lóżmy, że w losowo podpatrzonej rodzinie jest 2 ch lopców (być może dziewczynki też s a ale siȩ gdzieś schowa ly). Jakie jest prawdopodobieństwo, że (a) ta rodzina ma tylko 2 dzieci, (b) w tej rodzinie s a jeszcze 2 dziewczynki. Lista 10 Za lożenia i oznaczenia do zadań 10.1, 10.2, 10.3. Niech X n bȩdzie jednorodnym lańcuchem Markowa o przeliczalnym (lub skończonym) zbiorze stanów S. Niech dalej P = [p i,j ] oznacza jego macierz prawdopodobieństw przejść. Zadanie 10.1 Za lóżmy, że {X n } n 0 jest stacjonarny, a π jest ściśle dodatnim rozk ladem probabilistycznym niezmienniczym. Dla ustalonego N > 0 niech Y n = X N n. Udowodnij, że Y n jest lańcuchem Markowa, dla którego zachodzi P (Y n+1 = j Y n = i) = p j,i π j π i. Komentarz. Mówimy wtedy, że Y n jest odwrotnym (time reversal) lańcuchem Markowa do X n. Jeżeli ponadto macierze prawdopodobieństw przejść dla X n i Y n s a takie same, to mówimy, że lańcuch X n jest odwracalny (reversible). Zauważmy, że wtedy dla dowolnej pary i, j zachodzi π i p i,j = π j p j,i. Uk lad powyższych równości nosi nazwȩ pe lnej równowagi (detailed balance). Zadanie 10.2 Za lóżmy, że {X n } n 0 jest stacjonarny, nieprzywiedlny i dodatnio powracaj acy (wówczas na S istnieje dok ladnie jeden ściśle dodatni rozk lad probabilistyczny niezmienniczy π; π = π P.) Udowodnij, że jeżeli dla lańcucha X n istnieje na S ściśle dodatni rozk lad prawdopodobieństwa (µ i ) i S taki, że µ i p i,j = µ j p j,i zachodzi dla każdej pary i, j S, to wtedy µ jest (jedynym, 31

czyli µ = π) rozk ladem niezmienniczym dla P i co wiȩcej lańcuch X n jest odwracalny. Zadanie 10.3 Za lóżmy, że {X n } n 0 jest stacjonarny, nieprzywiedlny, dodatnio powracaj acy i aperiodyczny. Przy tych za lożeniach udowodnij kryterium Ko lmogorowa odwracalności: dla każdego n i każdego skończonego ci agu stanów j 1, j 2,..., j n S zachodzi p j1,j 2 p j2,j 3 p jn 1,j n p jn,j 1 = p j1,j n p jn,j n 1 p j2,j 1. Zadanie 10.4 (Model Ehrenfestów) Niech S = {0, 1,..., m} bȩdzie skończonym zbiorem stanów. Zdefiniujmy macierz prawdopodobieństw przejść p i,i+1 = 1 i m, p i,i 1 = i m dla 0 i m. Sprawdź, że zachodzi ( m i ) 2 m p i,j = ( m j ) 2 m p j,i. Czy stacjonarny lańcuch Markowa X n generowany przez powyższ a macierz P jest odwracalny? Znajdź rozk lad stacjonarny. Zak ladaj ac, że X 0 = i z prawdopodobieństwem 1, udowodnij, że E(X n m 2 ) = (i m 2 )(1 2 m )n 0, kiedy n. Zadanie 10.5 Który z nastȩpuj acych lańcuchów Markowa (zak ladaj ac, że X 0, Y 0 i (X 0, Y 0 ) maj a rozk lad odpowiednio stacjonarny), zdefiniowany przez macierz prawdopodobieństw przejść, jest odwracalny? [ ] 1 α α (a) {X n } n 0 o macierzy prawdopodobieństw przejść P X =, β 1 β gdzie α + β > 0. (b) {Y n } n 0 o macierzy prawdopodobieństw przejść 0 p 1 p P Y = 1 p 0 p, gdzie 0 < p < 1. p 1 p 0 32

(c) Z n = (X n, Y n ), gdzie {X n } n 0 i {Y n } n 0 s a niezależnymi kopiami z (a) i (b). Niech {X(t) : t 0} bȩdzie procesem stochastycznym z czasem ci ag lym i o przeliczalnej (lub skończonej) przestrzeni stanów S. Przypomijmy, że powyższy proces jest lańcuchem Markowa z czasem ci ag lym, gdy spe lniony jest warunek Markowa P (X(t n ) = j X(t 1 ) = i 1, X(t 2 ) = i 2,..., X(t n 1 ) = i n 1 ) = P (X(t n ) = j n X(t n 1 ) = i n 1 ) dla dowolnych czasów 0 t 1 < t 2 < < t n 1 < t n i stanów j, i 1,..., i n 1 S. Rodzinȩ prawdopodobieństw przejść definiuje siȩ jako p i,j (s, t) = P (X(t) = j X(s) = i), gdzie i, j S, a s t. Powiemy, że lańcuch {X(t)} t 0 jest jednorodny, gdy p i,j (s, t) = p i,j (0, t s). Uproszczaj ac notacjȩ, piszemy wtedy p i,j (0, t) = p i,j (t). Dla jednorodnego lańcucha Markowa wprowadzamy macierz P t = [p i,j (t)] o wymiarach card(s) card(s), któr a nazywa siȩ pó lgrup a prawdopodobieństw przejść. Zadanie 10.6 Udowodnić, że rodzina {P t } t 0 tworzy pó lgrupȩ stochastyczn a, tzn., że (a) P 0 = I, macierz identycznościowa, (b) dla dowolnych t 0 oraz i S zachodzi 0 p i,j (t) 1, (c) dla dowolnych s, t 0 mamy P t P s = P s+t. p i,j (t) = 1 i oczywiście j S Uwaga. Warunek (c) nosi nazwȩ równań Ko lmogorowa. Mówimy, że pó lgrupa {P t } t 0 jest standardowa, gdy lim P t = I, tzn. dla t 0 + dowolnego i, j S mamy lim p i,i(t) = 1, a gdy i j, to lim p i,j(t) = t 0 + t 0 + 0. Oznaczmy g i,j = p i,j (0), tzn. g p i,j (t) δ i,j i,j = lim. Zauważmy, że t 0 + t dla ma lych h > 0 oraz i j mamy p i,j (h) g i,j h + o(h). Natomiast p i,i (h) 1 + g i,i h + o(h). Oczywiście g i,j 0 dla i j oraz g i,i 0. Macierz G = [g i,j ] nosi nazwȩ generatora pó lgrupy {P t } t 0. Interpretuj ac probabilistycznie macierz G, możemy powiedzieć, że o ile w chwili t proces znajdowa l siȩ w stanie i S, to na ma lym odcinku czasowym (t, t + h) 33

(a) proces pozostanie w tym samym stanie i z prawdopodobieństwem 1 + g i,i h + o(h), (b) proces przeskoczy do stanu j i z prawdopodobieństwem g i,j h + o(h). Można udowodnić, że w wielu ważnych przypadkach (np. gdy przestrzeń stanów jest skończona) P t = e tg = t n n=0 n! Gn. Można nadać sens formule P t = e tg także w ogólnym przypadku, ale wymaga loby to g lȩbszej analizy. Zadanie 10.7 Niech bȩdzie dany generator G. Wyznacz p 1,1 (t) dla [ ] 1 1 (a) G =, 3 3 2 1 1 (b) G = 1 1 0. 2 1 3 Zadanie 10.8 Znajdź generator G dla jednorodnego procesu Poissona. Zadanie X.A* Niech P = [p i,j ] bȩdzie macierz a stochastyczn a (skończon a lub nieskończon a). Za lóżmy, że istnieje wektor probabilistyczny stacjonarny π. Zdefiniujmy przestrzeń Hilberta l 2 (π) = {x = (x j ) j 0 : j=0 x2 j π j < } z rzeczywistym iloczynem skalarnym x, y = j=0 x jy j π j. Udowodnij, że π stacjonarny lańcuch Markowa (X n ) n 0 o macierzy prawdopodobieństw przejść P jest odwracalny wtedy i tylko wtedy, gdy x, Py = Px, y dla dowolnych wektorów x, y. Zadanie X.B* (coś na odnowienie) W dużej urnie mamy nieskończenie (nieprzeliczalnie) wiele monet, które s a na ogó l niesymetryczne. Prawdopodobieństwo wyrzucenia or la przez losowo wybran a monetȩ z urny jest zmienn a losow a o rozk ladzie jednostajnym na (0, 1). Za lóżmy, że wybieramy losowo z urny monetȩ i rzucamy ni a tak d lugo, jak chcemy, albo zaraz po pierwszym rzucie wybieramy z urny nastȩpn a 34

monetȩ. Jak a przyj ać strategiȩ, aby osi agn ać najlepsz a z możliwych proporcjȩ wyrzuconych or lów (tzn. asymptotycznie najlepsz a proporcjȩ O(n) n, gdzie O(n) oznacza liczbȩ or lów zliczonych przy n rzutach)? Zadanie X.C* Niech ϑ 1, ϑ 2,... bȩdzie ci agiem niezależnych (rzeczywistych) zmiennych losowych o tym smamym rozk ladzie takim, że Eϑ n > 0. Zdefiniujmy spacer losowy S 0 = 0, S n = ϑ 1 + ϑ 2 +... + ϑ n, dla n 1. Niech τ = inf{n 0 : S n > 0}. Udowdnij, że Eτ <. Lista 11 Wstȩp teoretyczny do tej listy, tj. podstawowe definicje i oznaczenia znajdziesz w drugiej czȩści listy 10. Zadanie 11.1 (Backward equations) Wykorzystuj ac jednorodność i zak ladaj ac, że dla i, j S zachodzi: g i,i jest skończone oraz k S\{i} g i,k, = g i,i udowodnij, że P t = GP t, czyli p i,j(t) = k S g i,k p k,j (t). Zadanie 11.2 (Forward equations) Wykorzystuj ac jednorodność i zak ladaj ac skończoność przestrzeni stanów S, udowodnij, że P t = P t G, czyli p i,j(t) = k S p i,k (t)g k,j dla dowolnych i, j S. Zadanie 11.3 Rozważmy pó lgrupȩ Markowa {D(t)} t 0 na dwuelementowej przestrzeni stanów S = {1, 2}. Znajdź macierze D(t) = [p i,j [ (t)] 2 2 prawdopodobieństw przejść, jeżeli generatorem jest macierz G =. ] α α β β 35

Zadanie 11.4 Opiszmy s lownie pewien lańcuch Markowa {Y t : t 0} na dwuelementowej przestrzeni stanów {1, 2}: (a) jeżeli Y t jest w pewnej chwili t w stanie 1, to prawdopodobieństwo, że pozostanie on w tym samym stanie przez okres co najmniej s > 0, jest równe e αs, gdzie α > 0, (b) jeżeli Y t jest w pewnej chwili t w stanie 2, to prawdopodobieństwo, że pozostanie on w tym samym stanie przez okres co najmniej s > 0, jest równe e βs, gdzie β > 0. Znajdź macierz prawdopodobieństw przejść H(t) = [p i,j (t) 2 2 ] dla takiego procesu Markowa. Sprawdź, że {H(t)} t 0 tworz a jednoparametrow a pó lgrupȩ macierzow a. Znajdź generator G tej pó lgrupy. Zadanie 11.5 Za lóżmy, że jest nam znany rozk lad pocz atkowy π elementu losowego X(0), gdzie {X(t)} t 0 jest lańcuchem Markowa na przeliczalnej przestrzeni fazowej (stanów) S o prawdopodobieństwach przejść P(t) = [p i,j (t)]. Udowodnij, że rozk lad π t elementu losowego X(t) spe lnia π t = π P(t). Zadanie 11.6 Mówimy, że probabilistyczny rozk lad π na przeliczalnej przestrzeni stanów S jest rozk ladem stacjonarnym pó lgrupy ( lańcucha) Markowa P(t), gdy dla każdego t 0 zachodzi π = π P(t). Udowodnij, że π jest rozk ladem stacjonarnym, gdy π G = 0, gdzie G jest generatorem. Mówimy, że proces (markowski) z czasem ci ag lym {N(t)} t 0 przyjmuj acy wartości w N 0 jest procesem urodzin z intensywnościami λ 0, λ 1, λ 2,..., gdy (a) N(0) 0, a dla s < t N(s) N(t) z prawdopodobieństwem 1, λ n h + o(h), jeżeli m = 1, (b) P (N(t + h) = n + m N(t) = n) = o(h), jeżeli m > 1, 1 λ n h + o(h), jeżeli m = 0, 36