Metody probabilistyczne

Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26

Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy częstość orłów: Obserwujemy zmiany tej częstości w miarę zwiększania liczby rzutów: #orłów #rzutów. częstość orłów 0.50 0.54 0.58 0.62 0 2000 4000 6000 8000 0000 liczba rzutów monetą 2 / 26

Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy częstość orłów: Obserwujemy zmiany tej częstości w miarę zwiększania liczby rzutów: #orłów #rzutów. częstość orłów 0.50 0.54 0.58 0.62 0 2000 4000 6000 8000 0000 liczba rzutów monetą Wniosek: Częstość orłów zbiega do 2, czyli prawdopodobieństwa wyrzucenia orła! 2 / 26

Motywacja Podobna obserwacja dla wyników rzutu kostką (zliczamy częstość każdego wyniku {, 2, 3, 4, 5, 6}) częstość wyniku 0.5 0.20 0.25 2 3 4 5 6 0 5000 0000 5000 20000 liczba rzutów kostką 3 / 26

Motywacja Podobna obserwacja dla wyników rzutu kostką (zliczamy częstość każdego wyniku {, 2, 3, 4, 5, 6}) częstość wyniku 0.5 0.20 0.25 2 3 4 5 6 0 5000 0000 5000 20000 liczba rzutów kostką Częstość każdego wyniku zbiega do jego prawdopodobieństwa 6 0.67. 3 / 26

Prawo wielkich liczb (nieformalnie) Sformułowane przez Jakuba Bernoulliego w wydanej pośmiertnie Ars Conjectandi (73): Przy dostatecznie dużej liczbie powtórzeń doświadczenia losowego częstość zajścia danego zdarzenia losowego będzie dowolnie blisko jego prawdopodobieństwu Jakub Bernoulli (654-705) 4 / 26

Prawo wielkich liczb (nieformalnie) Sformułowane przez Jakuba Bernoulliego w wydanej pośmiertnie Ars Conjectandi (73): Przy dostatecznie dużej liczbie powtórzeń doświadczenia losowego częstość zajścia danego zdarzenia losowego będzie dowolnie blisko jego prawdopodobieństwu Jakub Bernoulli (654-705) Często myślimy o prawie wielkich liczb jako metodzie definiowania prawdopodobieństw! Szansa zachorowania na grypę w danym roku wynosi 5% Szansa awarii urządzenia w danym miesiącu wynosi 0.% Szansa wygrania w tej grze wynosi 50% Szansa, że będzie jutro padać wynosi 80% 4 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: 5 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: Rozważmy n niezależnych doświadczeń losowych, w których obserwujemy zajścia danego zdarzenia losowego A 5 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: Rozważmy n niezależnych doświadczeń losowych, w których obserwujemy zajścia danego zdarzenia losowego A Zdefiniujmy zmienne losowe X, X 2,..., X n dotyczące poszczególnych doświadczeń, określone jako: { jeśli ω A ( A zaszło ) X i (ω) = 0 jeśli ω / A ( A nie zaszło ) 5 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: Rozważmy n niezależnych doświadczeń losowych, w których obserwujemy zajścia danego zdarzenia losowego A Zdefiniujmy zmienne losowe X, X 2,..., X n dotyczące poszczególnych doświadczeń, określone jako: { jeśli ω A ( A zaszło ) X i (ω) = 0 jeśli ω / A ( A nie zaszło ) Zmienne te są niezależne i mają rozkład dwupunktowy B(p) z parametrem p = P(X i = ) = P(A) (schemat Bernoulliego) Rzuty monetą: X i koduje reszkę/orła (p = 2 ) Rzut kostką: X i koduje wypadło 6 / nie wypadło 6 (p = 6 ) 5 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: Rozważmy n niezależnych doświadczeń losowych, w których obserwujemy zajścia danego zdarzenia losowego A Zdefiniujmy zmienne losowe X, X 2,..., X n dotyczące poszczególnych doświadczeń, określone jako: { jeśli ω A ( A zaszło ) X i (ω) = 0 jeśli ω / A ( A nie zaszło ) Zmienne te są niezależne i mają rozkład dwupunktowy B(p) z parametrem p = P(X i = ) = P(A) (schemat Bernoulliego) Rzuty monetą: X i koduje reszkę/orła (p = 2 ) Rzut kostką: X i koduje wypadło 6 / nie wypadło 6 (p = 6 ) Częstość zajścia zdarzenia A = częstość sukcesów = Sn n, gdzie S n = X +... + X n to liczba sukcesów 5 / 26

Częstości zdarzeń a schemat Bernoulliego Zajście/niezajście danego zdarzenia losowego można zakodować za pomocą zmiennej losowej o rozkładzie dwupunktowym: Rozważmy n niezależnych doświadczeń losowych, w których obserwujemy zajścia danego zdarzenia losowego A Zdefiniujmy zmienne losowe X, X 2,..., X n dotyczące poszczególnych doświadczeń, określone jako: { jeśli ω A ( A zaszło ) X i (ω) = 0 jeśli ω / A ( A nie zaszło ) Zmienne te są niezależne i mają rozkład dwupunktowy B(p) z parametrem p = P(X i = ) = P(A) (schemat Bernoulliego) Rzuty monetą: X i koduje reszkę/orła (p = 2 ) Rzut kostką: X i koduje wypadło 6 / nie wypadło 6 (p = 6 ) Częstość zajścia zdarzenia A = częstość sukcesów = Sn n, gdzie S n = X +... + X n to liczba sukcesów Prawo wielkich liczb: dla dostatecznie dużych n, Sn n A) będzie dowolnie blisko p (prawdopodobieństwu zajścia A) (częstość zajścia 5 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) p = 0.5, n = 6 p = 0.5, n = 6 P(Sn = k) P(Sn = k) k = 0 2 3 4 5 6 p = 0.5, n = 30 k =0 2 4 6 8 0 2 4 6 p = 0.5, n = 00 P(Sn = k) P(Sn = k) k = 3 6 9 2 5 8 2 24 27 k = 0 20 30 40 50 60 70 80 90 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) Zmieniamy skalę: częstość sukcesów (średnia arytmetyczna) X n = Sn n EX n = 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) Zmieniamy skalę: częstość sukcesów (średnia arytmetyczna) X n = Sn n ( ) Sn EX n = E = ES n = p n n 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) Zmieniamy skalę: częstość sukcesów (średnia arytmetyczna) X n = Sn n ( ) Sn EX n = E = ES n = p n n D 2 (X n ) 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) Zmieniamy skalę: częstość sukcesów (średnia arytmetyczna) X n = Sn n ( ) Sn EX n = E = ES n = p n n D 2 (X n ) = D 2 ( Sn n ) = D2 (S n ) n 2 = p( p) n 6 / 26

Schemat Bernoulliego X,..., X n niezależne zmienne o rozkładzie B(p) Liczba sukcesów S n = X +... + X n ma rozkład dwumianowy B(n, p) ES n = np, D 2 (S n ) = np( p) Zmieniamy skalę: częstość sukcesów (średnia arytmetyczna) X n = Sn n ( ) Sn EX n = E = ES n = p n n ( ) D 2 (X n ) = D 2 Sn n p( p) D(X n ) = n = D2 (S n ) n 2 = p( p) n 6 / 26

Rozkład zmiennej X n (dla p = 2 ) D(X n) n = 6 D(X n) n = 6 P(X n = x) P(X n = x) 0 0.25 0.5 0.75 x 0 0.25 0.5 0.75 x D(X n) n = 30 D(X n) n = 00 P(X n = x) P(X n = x) 0 0.25 0.5 0.75 x 0 0.25 0.5 0.75 x 7 / 26

Prawo wielkich liczb dla rozkładu dwupunktowego Nierówność Czebyszewa przypomnienie Dla zmiennej losowej o skończonej wartości oczekiwanej i wariancji: ɛ > 0 P ( X EX ɛ ) D2 (X ) ɛ 2 8 / 26

Prawo wielkich liczb dla rozkładu dwupunktowego Nierówność Czebyszewa przypomnienie Dla zmiennej losowej o skończonej wartości oczekiwanej i wariancji: Stosujemy twierdzenie do X n : ɛ > 0 P ( X EX ɛ ) D2 (X ) ɛ 2 P ( X n p ɛ ) EX n = p p( p) nɛ 2 D 2 (X n ) = p( p) n 8 / 26

Prawo wielkich liczb dla rozkładu dwupunktowego Nierówność Czebyszewa przypomnienie Dla zmiennej losowej o skończonej wartości oczekiwanej i wariancji: Stosujemy twierdzenie do X n : ɛ > 0 P ( X EX ɛ ) D2 (X ) ɛ 2 P ( X n p > ɛ ) p( p) nɛ 2 Szansa odchylenia się częstości o więcej niż ɛ od prawdopodobieństwa sukcesu maleje z n 8 / 26

Prawo wielkich liczb dla rozkładu dwupunktowego Nierówność Czebyszewa przypomnienie Dla zmiennej losowej o skończonej wartości oczekiwanej i wariancji: Stosujemy twierdzenie do X n : ɛ > 0 P ( X EX ɛ ) D2 (X ) ɛ 2 P ( X n p > ɛ ) p( p) nɛ 2 = P ( X n p ɛ ) p( p) nɛ 2 Szansa odchylenia się częstości o co najwyżej ɛ od prawdopodobieństwa sukcesu rośnie z n 8 / 26

Prawo wielkich liczb dla rozkładu dwupunktowego Nierówność Czebyszewa przypomnienie Dla zmiennej losowej o skończonej wartości oczekiwanej i wariancji: Stosujemy twierdzenie do X n : ɛ > 0 P ( X EX ɛ ) D2 (X ) ɛ 2 P ( X n p > ɛ ) p( p) nɛ 2 = P ( X n p ɛ ) p( p) nɛ 2 Prawo wielkich liczb Bernoulliego Dla dowolnego ɛ > 0: lim n P( X n p ɛ ) = Zmienna losowa X n zbiega według prawdopodobieństwa do p. 8 / 26

Prawo wielkich liczb Bernoulliego (p = 2 ) ɛ > 0 lim n P( X n p ɛ ) = P ( X n p ɛ ) = P ( p ɛ X n p + ɛ ) n = 6 P(X n = x) x 0 p ɛ p p+ɛ 9 / 26

Prawo wielkich liczb ogólniej Pokazaliśmy, że częstość zajścia zdarzenia losowego zbiega do jego prawdopodobieństwa Wykorzystaliśmy fakt, że z dużym prawdopodobieństwem średnia arytmetyczna z n zmiennych dwupunktowych ( częstość sukcesów ) jest bliska wartości oczekiwanej (prawdopodobieństwa sukcesu)... 0 / 26

Prawo wielkich liczb ogólniej Pokazaliśmy, że częstość zajścia zdarzenia losowego zbiega do jego prawdopodobieństwa Wykorzystaliśmy fakt, że z dużym prawdopodobieństwem średnia arytmetyczna z n zmiennych dwupunktowych ( częstość sukcesów ) jest bliska wartości oczekiwanej (prawdopodobieństwa sukcesu)...... ale to zjawisko zachodzi również dla innych zmiennych losowych! Uogólnimy prawo wielkich liczb na stwierdzenie: Dla dostatecznie dużych n, średnia arytmetyczna z n realizacji zmiennej losowej jest dowolnie blisko jej wartości oczekiwanej 0 / 26

Prawo wielkich liczb ogólniej Pokazaliśmy, że częstość zajścia zdarzenia losowego zbiega do jego prawdopodobieństwa Wykorzystaliśmy fakt, że z dużym prawdopodobieństwem średnia arytmetyczna z n zmiennych dwupunktowych ( częstość sukcesów ) jest bliska wartości oczekiwanej (prawdopodobieństwa sukcesu)...... ale to zjawisko zachodzi również dla innych zmiennych losowych! Uogólnimy prawo wielkich liczb na stwierdzenie: Dla dostatecznie dużych n, średnia arytmetyczna z n realizacji zmiennej losowej jest dowolnie blisko jej wartości oczekiwanej Dla dużych n, średnia z n wyników rzutów kostką jest blisko 3.5 Dla dużych n, średnia wartość wygranej w n niezależnych grach jest blisko wartości oczekiwanej wygranej Dla dużych n, średnia z n liczb wylosowanych z rozkładu jednostajnego na odcinku [0, ] jest blisko 0.5 0 / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= EX n = / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= EX n = E ( n ) n X i i= = n EX n }{{} i i= µ = µ / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= EX n = E D 2 (X n ) = ( n ) n X i i= = n EX n }{{} i i= µ = µ / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= ( ) n EX n = E X i = n EX i = µ n n }{{} i= i= µ ( ) n D 2 (X n ) = D 2 X i = n n n 2 D 2 σ 2 (X i ) = }{{} n i= i= σ 2 / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= ( ) n EX n = E X i = n EX i = µ n n }{{} i= i= µ ( ) n D 2 (X n ) = D 2 X i = n n n 2 D 2 σ 2 (X i ) = }{{} n i= i= σ 2 Stosujemy nierówność Czebyszewa: P ( X n µ ɛ ) D2 (X n ) ɛ 2 = σ2 nɛ 2 / 26

Ciąg niezależnych zmiennych losowych X,..., X n niezależne zmienne losowe o tym samym rozkładzie, a więc tej samej wartości oczekiwanej EX i = µ i wariancji D 2 (X i ) = σ 2. Definiujemy: X = n X i n i= ( ) n EX n = E X i = n EX i = µ n n }{{} i= i= µ ( ) n D 2 (X n ) = D 2 X i = n n n 2 D 2 σ 2 (X i ) = }{{} n i= i= σ 2 Stosujemy nierówność Czebyszewa: P ( X n µ ɛ ) D2 (X n ) ɛ 2 = σ2 nɛ 2 n 0 / 26

Prawo wielkich liczb Słabe prawo wielkich liczb Chińczyna Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, mających wartość oczekiwaną µ i wariancję σ 2 <. Wtedy dla dowolnego ɛ > 0: lim P( X n µ ɛ ) = n 2 / 26

Prawo wielkich liczb Słabe prawo wielkich liczb Chińczyna Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, mających wartość oczekiwaną µ i wariancję σ 2 <. Wtedy dla dowolnego ɛ > 0: lim P( X n µ ɛ ) = n Prawo wielkich liczb Bernoulliego jest szczególnym przypadkiem tego twierdzenia, jeśli zmienne X, X 2,... mają rozkład dwupunktowy. 2 / 26

Zbieżność według prawdopodobieństwa Niech X n = (X, X 2,...) będzie ciągiem zmiennych losowych. Mówimy, że ciąg X n dąży do zmiennej losowej X według prawdopodobieństwa, jeśli dla dowolnego ɛ > 0: lim P( X n X > ɛ) = 0 n Oznaczamy X n P X 3 / 26

Zbieżność według prawdopodobieństwa Niech X n = (X, X 2,...) będzie ciągiem zmiennych losowych. Mówimy, że ciąg X n dąży do zmiennej losowej X według prawdopodobieństwa, jeśli dla dowolnego ɛ > 0: lim P( X n X > ɛ) = 0 n Oznaczamy X n P X W szczególności, jeśli X ma rozkład jednopunktowy, tzn. P(X = c) =, zapisujemy X n P c. 3 / 26

Zbieżność według prawdopodobieństwa Niech X n = (X, X 2,...) będzie ciągiem zmiennych losowych. Mówimy, że ciąg X n dąży do zmiennej losowej X według prawdopodobieństwa, jeśli dla dowolnego ɛ > 0: lim P( X n X > ɛ) = 0 n Oznaczamy X n P X W szczególności, jeśli X ma rozkład jednopunktowy, tzn. P(X = c) =, zapisujemy X n P c. Korzystając z powyższej równości możemy przepisać prawa wielkich liczb 3 / 26

Prawo wielkich liczb Słabe prawo wielkich liczb Chińczyna Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, mających wartość oczekiwaną µ i wariancję σ 2 <. Wtedy: X n P µ 4 / 26

Prawo wielkich liczb Słabe prawo wielkich liczb Czebyszewa Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych z wartościami oczekiwanymi EX i = µ i i wariancjami D 2 (X i ) = σ 2 i, wspólnie ograniczonymi przez σ 2 (tzn. σ 2 i σ 2 dla wszystkich i). Niech µ n = n ni= µ i. Wtedy X n µ n P 0 5 / 26

Prawo wielkich liczb Słabe prawo wielkich liczb Czebyszewa Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych z wartościami oczekiwanymi EX i = µ i i wariancjami D 2 (X i ) = σ 2 i, wspólnie ograniczonymi przez σ 2 (tzn. σ 2 i σ 2 dla wszystkich i). Niech µ n = n ni= µ i. Wtedy Zadanie Udowodnij to twierdzenie X n µ n P 0 5 / 26

Zbieżność z prawdopodobieństwem jeden Rozważmy wyrażenie: lim n X n = X 6 / 26

Zbieżność z prawdopodobieństwem jeden Rozważmy wyrażenie: lim n X n = X Ta równość tyczy się zmiennych losowych, powyższe wyrażenie jest więc zdarzeniem losowym! 6 / 26

Zbieżność z prawdopodobieństwem jeden Rozważmy wyrażenie: ω Ω lim X n(ω) = X (ω) n 6 / 26

Zbieżność z prawdopodobieństwem jeden Rozważmy wyrażenie: ω Ω lim X n(ω) = X (ω) n To stwierdzenie nazywa się zbieżnością na pewno : zbieżność zachodzi dla wszystkich ω Ω. Zwykle zbyt silne, ponieważ musi zajść dla ω, dla których P({ω}) = 0 (np. dla schematu Bernoulliego może się zdarzyć (z prawd. 0), że zaobserwujemy same porażki) 6 / 26

Zbieżność z prawdopodobieństwem jeden Rozważmy wyrażenie: ω Ω lim X n(ω) = X (ω) n To stwierdzenie nazywa się zbieżnością na pewno : zbieżność zachodzi dla wszystkich ω Ω. Zwykle zbyt silne, ponieważ musi zajść dla ω, dla których P({ω}) = 0 (np. dla schematu Bernoulliego może się zdarzyć (z prawd. 0), że zaobserwujemy same porażki) Mówimy, że ciąg X n dąży do zmiennej losowej X z prawdopodobieństwem jeden ( prawie na pewno ) jeśli: z pr. Zapisujemy X n X ( ) P lim X n = X n = 6 / 26

Zbieżność według prawdopodobieństwa a zbieżność z prawdopodobieństwem jeden ɛ > 0 ( ) P lim X n = X n = lim P( X n X > ɛ) = 0 n ( ) z pr. X n X ) P (X n X 7 / 26

Zbieżność według prawdopodobieństwa a zbieżność z prawdopodobieństwem jeden ɛ > 0 ( ) P lim X n = X n = lim P( X n X > ɛ) = 0 n ( ) z pr. X n X ) P (X n X Zbieżność z prawdopodobieństwem jeden implikuje zbieżność według prawdopodobieństwa: X n z pr. X = X n P X 7 / 26

Zbieżność według prawdopodobieństwa a zbieżność z prawdopodobieństwem jeden ɛ > 0 ( ) P lim X n = X n = lim P( X n X > ɛ) = 0 n ( ) z pr. X n X ) P (X n X Zbieżność z prawdopodobieństwem jeden implikuje zbieżność według prawdopodobieństwa: X n z pr. X = X n P X Zadanie 2 Udowodnij tę implikację. Wskazówka: można użyć twierdzenia o wstępującym ciągu zdarzeń. 7 / 26

Zbieżność według prawdopodobieństwa a zbieżność z prawdopodobieństwem jeden ɛ > 0 ( ) P lim X n = X n = lim P( X n X > ɛ) = 0 n ( ) z pr. X n X ) P (X n X Zbieżność z prawdopodobieństwem jeden implikuje zbieżność według prawdopodobieństwa: X n z pr. X = X n P X Zadanie 2 Udowodnij tę implikację. Wskazówka: można użyć twierdzenia o wstępującym ciągu zdarzeń. Pokażemy kontrprzykład, że implikacja w drugą stronę nie zachodzi 7 / 26

Kontrprzykład: losowanie punktów z odcinka Ω = [0, ], P rozkład jednostajny na [0, ]. Badamy zbieżność ciągu X, X 2,... do zmiennej X (ω) = 0 ω [0, ] X (ω) X 8 X 4 X 9 X 2 X 5 X X 6 X 3 X 7 0 X 0 0.25 0.5 0.75 ω 8 / 26

Kontrprzykład: losowanie punktów z odcinka Ponieważ X n {0, } i X 0, mamy: ɛ (0, ) X n X > ɛ X n = X (ω) X 8 X 4 X 2 X 5 X X 6 X 3 X 7 P( X P( X 8 X 4 P( X > X ɛ) > 2 P( X = ɛ) X 0.25 = 5 > P( X 0.25 ɛ) X = > P( X ɛ) 0.5 X = 6 > P( X 0.25 ɛ) X = > 3 P( X ɛ).0 X = 7 > 0.25 ɛ) X = > ɛ) 0.5= 0.25 0 X 0 0.25 0.5 0.75 ω 9 / 26

Kontrprzykład: losowanie punktów z odcinka Ponieważ X n {0, } i X 0, mamy: ɛ (0, ) X n X > ɛ X n = X (ω) X 8 X 4 X 2 X 5 X X 6 X 3 X 7 Wniosek: lim n P( X n X > ɛ) = 0 P( X P( X 8 X 4 P( X > X ɛ) > 2 P( X = ɛ) X 0.25 = 5 > P( X 0.25 ɛ) X = > P( X ɛ) 0.5 X = 6 > P( X 0.25 ɛ) X = > 3 P( X ɛ).0 X = 7 > 0.25 ɛ) X = > ɛ) 0.5= 0.25 P X n X 0 X 0 0.25 0.5 0.75 ω 9 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) = X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, 0, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, 0, 0, X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, 0, 0,,... X (ω) X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: X (ω) lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, 0, 0,,... Ten ciąg nie ma granicy! X (ω 0 ) = 0 X 2 34 56 7 8 (ω 0 ) = 0 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Kontrprzykład: losowanie punktów z odcinka Ale: X (ω) lim X n(ω) = X (ω) nie zachodzi dla żadnego ω! n X n (ω 0 ) =,, 0,,0, 0, 0,,... Ten ciąg nie ma granicy! P Wniosek: zachodzi X n X (ω X 0, ) ale = 0 X 2 34 56 7 8 (ω 0 ) = 0 P ( lim n X n (ω) = X (ω) ) = 0! 0 ω 0 0 0.25 0.5 0.75 ω 20 / 26

Mocne prawo wielkich liczb Pokazaliśmy, że: P z pr. X n X = X n X 2 / 26

Pokazaliśmy, że: Mocne prawo wielkich liczb P z pr. X n X = X n X z pr. Mimo to prawa wielkich liczb można wzmocnić do warunku X n X 2 / 26

Pokazaliśmy, że: Mocne prawo wielkich liczb P z pr. X n X = X n X z pr. Mimo to prawa wielkich liczb można wzmocnić do warunku X n Mocne prawo wielkich liczb Chińczyna Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie, z wartość oczekiwaną µ i wariancją σ 2 <. Wtedy: X n z pr. µ Mocne prawo wielkich liczb Czebyszewa Niech X, X 2,... będzie ciągiem niezależnych zmiennych losowych zex i = µ i i wariancjami D 2 (X i ) = σi 2, wspólnie ograniczonymi przez σ 2. Niech µ n = ni= n µ i. Wtedy: X n µ n z pr. 0 X Twierdzenia pozostawiamy bez dowodu. 2 / 26

Częstościowa interpretacja prawdopodobieństwa Dotyczy powtarzalnych doświadczeń losowych. Powtórzmy n razy doświadczenie losowe. Dla dowolnego zdarzenia A, niech n A oznacza liczbę doświadczeń w których A zaszło. Prawdopodobieństwo zdarzenia A jest graniczną wartością częstości: P(A) = n A lim n n 22 / 26

Częstościowa interpretacja prawdopodobieństwa Dotyczy powtarzalnych doświadczeń losowych. Powtórzmy n razy doświadczenie losowe. Dla dowolnego zdarzenia A, niech n A oznacza liczbę doświadczeń w których A zaszło. Prawdopodobieństwo zdarzenia A jest graniczną wartością częstości: P(A) = n A lim n n Z mocnego prawa wielkich wnioskujemy wiemy, że powyższe zachodzi z prawdopodobieństwem jeden Uzasadnia to częstościową interpretację prawdopodobieństwa (choć niektórzy twierdzą, że to błędne koło w rozumowaniu) 22 / 26

Przykład: metoda Monte Carlo W kwadrat o boku wpisano nieregularną figurę A. Wyznacz pole powierzchni figury (ozn. A ), jeśli łatwo można sprawdzić, czy dany punkt w kwadracie należy do figury. A 23 / 26

Przykład: metoda Monte Carlo W kwadrat o boku wpisano nieregularną figurę A. Wyznacz pole powierzchni figury (ozn. A ), jeśli łatwo można sprawdzić, czy dany punkt w kwadracie należy do figury. A Rozwiązanie: losujemy jednostajnie n punktów z kwadratu; niech X i {0, } określa czy i-ty punkt trafił w figurę (X i = ) czy nie (X i = 0) 23 / 26

Przykład: metoda Monte Carlo W kwadrat o boku wpisano nieregularną figurę A. Wyznacz pole powierzchni figury (ozn. A ), jeśli łatwo można sprawdzić, czy dany punkt w kwadracie należy do figury. A Rozwiązanie: losujemy jednostajnie n punktów z kwadratu; niech X i {0, } określa czy i-ty punkt trafił w figurę (X i = ) czy nie (X i = 0) EX i = P(X i = ) = P(trafienie w A) = A = A 23 / 26

Przykład: metoda Monte Carlo W kwadrat o boku wpisano nieregularną figurę A. Wyznacz pole powierzchni figury (ozn. A ), jeśli łatwo można sprawdzić, czy dany punkt w kwadracie należy do figury. A Rozwiązanie: losujemy jednostajnie n punktów z kwadratu; niech X i {0, } określa czy i-ty punkt trafił w figurę (X i = ) czy nie (X i = 0) EX i = P(X i = ) = P(trafienie w A) = A = A Z prawa wielkich liczb częstość trafień zbiega do pola figury: X = n n i= z pr. X i A 23 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx A 24 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx Rozwiązanie: Losujemy punkty X i, i =,..., n jednostajnie na zbiorze A Definiujemy zmienne losowej Y i = g(x i) (i =,..., n) Z prawa wielkich liczb: Czym jest EY i? Y = n A n i= z pr. EY i 24 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx Rozwiązanie: Losujemy punkty X i, i =,..., n jednostajnie na zbiorze A Definiujemy zmienne losowej Y i = g(x i) (i =,..., n) Z prawa wielkich liczb: Czym jest EY i? EY i = Eg(X i) = Y = n A n i= z pr. g(x)f X i (x) dx EY i 24 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx Rozwiązanie: Losujemy punkty X i, i =,..., n jednostajnie na zbiorze A Definiujemy zmienne losowej Y i = g(x i) (i =,..., n) Gęstość prawdopodobieństwa zmiennej Z prawa wielkich liczb: o rozkładzie jednostajnym Y = { na A: n z pr. x f X EY i n i (x) = A A 0 x / A Czym jest EY i? EY i = Eg(X i) = A i= g(x)f X i (x) dx 24 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx Rozwiązanie: Losujemy punkty X i, i =,..., n jednostajnie na zbiorze A Definiujemy zmienne losowej Y i = g(x i) (i =,..., n) Z prawa wielkich liczb: Czym jest EY i? EY i = Eg(X i) = Y = n A n i= z pr. EY i g(x)f X i (x) dx = g(x) dx = C A A A 24 / 26

Przykład: metoda Monte Carlo Mając zadaną funkcję g : R d R, wyznacz całkę na pewnym (ograniczonym) zbiorze A R d C = g(x) dx Rozwiązanie: Losujemy punkty X i, i =,..., n jednostajnie na zbiorze A Definiujemy zmienne losowej Y i = g(x i) (i =,..., n) Z prawa wielkich liczb: Czym jest EY i? EY i = Eg(X i) = Y = n A n i= z pr. EY i g(x)f X i (x) dx = g(x) dx = C A A A Skuteczna metoda przybliżania całek gdy wymiar d jest duży 24 / 26

Przykład: metoda Monte Carlo Oszacuj (przez wielokrotne losowanie) rozkład dyskretnej zmiennej losowej X przyjmującej K możliwych wartości (X {,..., K}) 25 / 26

Przykład: metoda Monte Carlo Oszacuj (przez wielokrotne losowanie) rozkład dyskretnej zmiennej losowej X przyjmującej K możliwych wartości (X {,..., K}) Rozwiązanie: Losujemy n niezależnych realizacji tej zmiennej, X,..., X n, a następnie dla każdego k =,..., K, zliczamy liczbę wystąpień n k wartości k Z prawa wielkich liczb n z pr. k n P(X = k) 25 / 26

Przykład: metoda Monte Carlo Oszacuj (przez wielokrotne losowanie) rozkład dyskretnej zmiennej losowej X przyjmującej K możliwych wartości (X {,..., K}) Rozwiązanie: Losujemy n niezależnych realizacji tej zmiennej, X,..., X n, a następnie dla każdego k =,..., K, zliczamy liczbę wystąpień n k wartości k Z prawa wielkich liczb n z pr. k n P(X = k) Przykład: Niech X ma rozkład jednostajny na {, 2, 3, 4, 5, 6} prawdopodobieństwa P(X = k) 6 2 3 4 5 6 25 / 26

Przykład: metoda Monte Carlo Oszacuj (przez wielokrotne losowanie) rozkład dyskretnej zmiennej losowej X przyjmującej K możliwych wartości (X {,..., K}) Rozwiązanie: Losujemy n niezależnych realizacji tej zmiennej, X,..., X n, a następnie dla każdego k =,..., K, zliczamy liczbę wystąpień n k wartości k Z prawa wielkich liczb n z pr. k n P(X = k) Przykład: Niech X ma rozkład jednostajny na {, 2, 3, 4, 5, 6} częstości n k n, n = 0 6 2 3 4 5 6 25 / 26

Przykład: metoda Monte Carlo Oszacuj (przez wielokrotne losowanie) rozkład dyskretnej zmiennej losowej X przyjmującej K możliwych wartości (X {,..., K}) Rozwiązanie: Losujemy n niezależnych realizacji tej zmiennej, X,..., X n, a następnie dla każdego k =,..., K, zliczamy liczbę wystąpień n k wartości k Z prawa wielkich liczb n z pr. k n P(X = k) Przykład: Niech X ma rozkład jednostajny na {, 2, 3, 4, 5, 6} częstości, n = 0 000 6 2 3 4 5 6 25 / 26

Zadanie Zadanie 3 Rozważ spacer losowy po prostej, w którym w każdym kroku idziemy o jeden w prawo z prawdopodobieństwem p lub o jeden w lewo z prawdopodobieństwem p, rozpoczynając od zera. Niech S n oznacza położenie spacerowicza w chwili n (S 0 = 0). Innymi słowy, S n = X +... X n, gdzie X i są niezależnymi zmiennymi losowymi z P(X i = ) = p i P(X i = ) = p. Udowodnij, że jeśli p > 2, to z prawdopodobieństwem zajdzie lim n S n =, natomiast jeśli p < 2, to z prawdopodobieństwem zajdzie lim n S n =. 26 / 26