Repetytorium z przedmiotu Miara i Prawdopodobieństwo. Adam Jakubowski

Transkrypt

1 Repetytorium z przedmiotu Miara i Prawdopodobieństwo Adam Jakubowski Uniwersytet Mikołaja Kopernika Wydział Matematyki i Informatyki Toruń, 1999

2

3 Spis treści Wstęp 1 1 Przestrzenie mierzalne i przestrzenie z miarą 3 σ-algebry Addytywne i σ-addytywne funkcje zbiorów Konstrukcja Caratheodory ego Problem rozszerzenia miary Jednoznaczność rozszerzenia Zupełność przestrzeni z miarą Miara Lebesgue a na IR Całkowanie w sensie Lebesgue a 15 Odwzorowania mierzalne Definicja całki według Lebesgue a Całkowanie ciągów funkcyjnych Produkt miar i twierdzenie Fubiniego Przestrzenie funkcji całkowalnych Rodzaje zbieżności funkcji mierzalnych i relacje między nimi Formalizm teorii prawdopodobieństwa 31 Charakterystyki zmiennych losowych Klasyfikacja rozkładów na prostej Rozkłady wielowymiarowe i niezależność stochastyczna 35 Charakterystyki wektorów losowych Istnienie procesów stochastycznych Twierdzenia graniczne teorii prawdopodobieństwa 43 Prawa wielkich liczb Słaba zbieżność rozkładów i funkcje charakterystyczne 46 Dwa twierdzenia graniczne i

4 5 Wielowymiarowe rozkłady normalne i rozkłady pochodne 51 Wielowymiarowe rozkłady normalne Rozkłady χ Rozkład t-studenta Literatura 55

5 Wstęp Niniejsze opracowanie nie jest ani skryptem ani tym bardziej podręcznikiem i nie może byc traktowane jako źródło wiedzy w oderwaniu od rocznego wykładu przedmiotu Miara i prawdopodobieństwo. Repetytorium pomyślane jest jako pomoc w przygotowaniu się do egzaminu ustnego. Repetytorium zawiera wszystkie definicje i sformułowania faktów i twierdzeń wymagane na egzaminie. W trakcie wykładu zasygnalizowałem, że znajomość niektórych dowodów nie będzie konieczna podczas egzaminu. Twierdzenia, fakty i lematy, które należy opanować wraz z dowodami, oznaczone są napisem Szczególną uwagę należy poświęcić rozwiązaniu zadań i wyjaśnieniu przykładów umieszczonych w Repetytorium. Adam Jakubowski 1

6 2 Wstęp

7 1. Przestrzenie mierzalne i przestrzenie z miarą σ-algebry 1.1 Definicja σ-algebrą podzbiorów zbioru Ω nazywamy rodzinę F 2 Ω spełniającą następujące warunki. S0), Ω F. S1) Jeżeli A F, to również A c F. S2) Jeżeli A 1, A 2,... F, to A j F. 1.2 Definicja Przestrzenią mierzalną nazywamy parę (Ω, F), gdzie Ω jest niepustym zbiorem, a F jest σ-algebrą podzbiorów zbioru Ω. 1.3 Definicja Niech (Ω, F) będzie przestrzenią mierzalną i niech Ω 0 Ω. Niech F Ω 0 = {A Ω 0 ; A F}. Parę (Ω 0, F Ω 0 ) nazywamy podprzestrzenią mierzalną przestrzeni (Ω, F). 1.4 Przykłady 1. F = 2 Ω, F = {, Ω}. 2. Niech R = {A 1, A 2,..., A n } - skończone rozbicie przestrzeni Ω, tj. Ω = n A j i zbiory A j są parami rozłączne: A i A j =, jeśli i j. Wtedy F = {sumy rozłączne elementów rozbicia R} jest σ-algebrą. 3. Niech {F i ; i II} będzie rodziną σ-algebr podzbiorów zbioru Ω. Wówczas F = i II F i jest σ-algebrą. 4. Niech C 2 Ω będzie klasą zbiorów. Wówczas przekrój wszystkich σ- algebr podzbiorów Ω zawierających klasę C jest σ-algebrą. Nazywamy ją σ-algebrą generowaną przez klasę C i oznaczamy symbolem σ(c). 1.5 Definicja Zbiory borelowskie na IR 1 to elementy σ-algebry generowanej przez podzbiory otwarte (równoważnie: domknięte) prostej. σ-algebrę zbiorów borelowskich oznaczamy symbolem B 1. 3

8 4 1. Przestrzenie mierzalne i przestrzenie z miarą 1.6 Fakt Niech Wtedy B 1 = σ(h 1 ). H 1 = {(, a] ; a IR 1 }. 1.7 Zadanie Pokazać, że Fakt 1.6 pozostaje prawdziwy, jeśli klasę S 1 zastąpić przez C = {(, q] ; q Q}. 1.8 Definicja Ogólniej, niech τ będzie rodziną podzbiorów otwartych przestrzeni X. σ-algebrą (pod)zbiorów borelowskich przestrzeni topologicznej (X, τ) nazywamy σ(τ). Gdy topologia τ jest naturalna dla X i nie ma niebezpieczeństwa pomyłki, zbiory borelowskie oznaczamy symbolem B X. W szczególności, podzbiory borelowskie IR d oznaczamy B d = B IR d. 1.9 Fakt Niech H d = {(, a 1 ] (, a 2 ] (, a d ] ; a j IR 1, j = 1, 2,..., d}. Wtedy B d = σ(h d ) Uwaga Nie mozna w prosty sposób opisać struktury zbiorów borelowskich, nawet na prostej (np. jako przeliczalne sumy przeliczalnych przekrojów zbiorów otwartych i domkniętych... ). Wiadomo jednak, że zbiorów borelowskich jest istotnie mniej niż wszystkich podzbiorów prostej: tylko kontinuum c Definicja Algebrą Boole a zbiorów nazywamy rodzinę A spełniającą następujące warunki. A0), Ω A. A1) Jeżeli A A, to również A c A. A2) Jeżeli A, B A, to A B F. Najmniejszą algebrę zawierającą daną klasę zbiorów C nazywamy algebrą generowaną przez klasę C i oznaczamy przez a(c) Zadanie Niech C będzie rodziną podzbiorów zbioru Ω. Określamy kolejne klasy pochodne. C 1 = C {, Ω} {C c ; C C}.

9 Funkcje zbiorów 5 C 2 = { skończone przekroje zbiorów z klasy C 1 }. C 3 = {sumy skończone rozłąćznych elementów z klasy C 2 }. Pokazać, że C 3 = a(c) Wniosek Jeżeli C jest skończona, to a(c) jest skończona. Jeżeli C jest przeliczalna, to a(c) jest przeliczalna. Addytywne i σ-addytywne funkcje zbiorów 1.14 Umowa IR + = {x IR 1 ; x 0}. IR + = IR + {+ }. Niech a IR +. Rozszerzamy zwykłe działania na zbiór IR = 0, a + = +, a 0, + + a = +, + a = +, a Umowa Niech A 1, A 2,... Ω. Operacja j A j okreslona jest tylko dla zbiorów parami rozłącznych i oznacza zwykła sumę j A j Definicja Niech (Ω, F) będzie przestrzenią mierzalną. Miarą na (Ω, F) nazywamy funkcję µ : F IR + spełniającą następujące warunki. M0) µ( ) = 0. M1) Jeżeli A 1, A 2,... F są parami rozłączne, to µ( A j ) = (własność σ-addytywności miary). µ(a j ) Uwaga Jeżeli istnieje zbiór A 0 F o mierze skończonej: µ(a 0 ) < +, to M0 wynika z M Definicja Miarę µ nazywamy probabilistyczną lub unormowaną, jeśli µ(ω) = Definicja Miara µ jest skończona, jeśli µ(ω) < Definicja Miara µ jest σ-skończona, jeśli istnieją zbiory A 1, A 2,... F, takie że Ω = A j i µ(a j ) < +, j = 1, 2,....

10 6 1. Przestrzenie mierzalne i przestrzenie z miarą 1.21 Przykłady 1. Niech Ω 0 Ω i niech F = 2 Ω. Określamy miarę liczącą elementy zbioru Ω 0 wzorem { #A Ω 0 jesli jest to zbiór skończony, µ(a) = + w przeciwnym przypadku. 2. Niech Ω 0 = {ω 1, ω 2,... } będzie podzbiorem przeliczalnym zbioru Ω. Niech p 1, p 2,... IR +. Określamy µ(a) = p j. (Z definicji 0). {j ; ω j A} 1.22 Zadanie Obie funkcje określone powyżej sa miarami. Kiedy są one miarami probabilistycznymi, skończonymi, σ-skończonymi? 1.23 Definicja Trójkę (Ω, F, µ), gdzie (Ω, F) jest przestrzenią mierzalną, a µ jest miarą na (Ω, F), nazywamy przestrzenia mierzalną Definicja Skończenie addytywną nazywamy funkcję µ : F IR + spełniającą następujące warunki. FM0) µ( ) = 0. FM1) Jeżeli A, B F są rozłączne, to µ(a B) = µ(a) + µ(b) Fakt Funkcja addytywna µ na F ma następujące własności: 1. Jeżeli A, B F, A B, to µ(a) µ(b). 2. Jeżeli A, B F, A B i µ(a) < +, to µ(b \ A) = µ(b) µ(a). 3. Jeżeli A 1, A 2,..., A n F są parami rozłączne, to µ( n A j ) = 4. Dla dowolnych A 1, A 2,..., A n F µ( n A j ) (Własność subaddytywności). n µ(a j ). n µ(a j ).

11 Funkcje zbiorów 7 5. Jeżeli µ(ω) < +, to dla dowolnych A 1, A 2,..., A n F µ( n A j ) = + n µ(a j ) 1 i<j n 1 i<j<k n µ(a i A j ) µ(a i A j A k )... + ( 1) n+1 µ(a 1 A 2... A n ). 6. Jeżeli A 1, A 2,... F są parami rozłączne, to µ(a j ) µ( A j ). (Własność super-σ-addytywności) Fakt Niech µ : F IR + będzie funkcją addytywną. Następujące warunki są równoważne: (i) µ jest miarą. (ii) µ jest sub-σ-addytywna, tzn. dla dowolnych A 1, A 2,... F µ( A j ) µ(a j ). (iii) µ jest ciągła z dołu, tzn. jeżeli zbiory A 1, A 2,... F są wstępujące: A 1 A 2..., to µ( A j ) = lim µ(a j ). j 1.27 Fakt Niech µ : F IR + będzie miarą. Wówczas µ jest ciagła z góry, tzn. jeżeli zbiory A 1, A 2,... F są zstępujące: A 1 A 2... i od pewnego miejsca mają miary skończone (µ(a j ) < + dla j j 0 ), to µ( A j ) = lim µ(a j ). j

12 8 1. Przestrzenie mierzalne i przestrzenie z miarą 1.28 Zadanie Podać przykład przestrzeni z miarą i zstępującego ciągu zbiorów A j, dla którego lim j µ(a j ) > µ( A j) Fakt Niech µ : F IR + będzie skończoną funkcją addytywną (µ(ω) < + ). Następujące warunki są równoważne: (i) µ jest miarą. (ii) µ jest ciągła z góry. (iii) µ jest ciągła z góry na zbiorze pustym, tzn. jeżeli zbiory A 1, A 2,... F są zstępujące: A 1 A 2... i A j =, to lim µ(a j ) = 0. j Konstrukcja Caratheodory ego 1.30 Definicja Miarą zewnęrzną na Ω nazywamy funkcję µ : 2 Ω IR + spełniającą następujące warunki. MZ0) µ ( ) = 0. MZ1) Jeżeli A B, to µ (A) µ (B). MZ2) Jeżeli A 1, A 2,... Ω, to µ ( A j ) µ (A j ) Definicja Niech µ będzie miara zewnętrzną na Ω. Zbiór A Ω nazywamy µ -mierzalnym, jeśli dla każdego zbioru E Ω µ (E) = µ (E A) + µ (E A c ). Rodzinę zbiorów µ -mierzalnych oznaczać będziemy symbolem F µ Twierdzenie (Caratheodory) Jeżeli µ jest miarą zewnętrzną na Ω, to F µ jest σ-algebrą, a µ obcięta do F µ jest miarą.

13 Rozszerzanie miary Fakt Niech C 2 Ω, C. Niech η : C IR + będzie takie, że η( ) = 0. Określamy µ (A) = inf{ η(c j ) ; A C j, C j C}. (Kres dolny wziety jest po wszystkich przeliczalnych pokryciach zbioru A elementami klasy C. Jeżeli takie pokrycie zbioru A nie istnieje, to z definicji µ (A) = + ). Funkcja µ określona powyżej jest miarą zewnętrzną na Ω. Problem rozszerzenia miary 1.34 Definicja Półpierścieniem zbiorów nazywamy rodzinę R 2 Ω spełniającą następujące warunki. SR0) R. SR1) Jeżeli A, B R, to A B R. SR2) Jeżeli A, B R, A B, to istnieją parami rozłączne elementy C 1, C 2,..., C m R takie, że B \ A = m C j Uwaga Może nie istnieć najmniejszy półpierścień zawierajacy daną klasę zbiorów C Przykłady 1. Rodzina I 1 = {(a, b] ; a < b, a, b IR 1 } jest półpierścieniem generatorów B Rodzina I d = {(a 1, b 1 ] (a 2, b 2 ] (a d, b d ] ; a i < b i, a i, b i IR 1, i = 1, 2,..., d} jest półpierścieniem generatorów B d.

14 10 1. Przestrzenie mierzalne i przestrzenie z miarą 1.37 Definicja Niech µ 0 : R IR + będzie określona na półpierścieniu R. Mówimy, że µ 0 jest addytywna, jeśli µ( ) = 0 i dla każdego układu parami rozłącznych elementów A 1, A 2,..., A m R, takiego że m A j R, ma miejsce równość m µ 0 ( A j ) = m µ 0 (A j ). Mówimy, że funkcja µ 0 jest σ-addytywna na R, jeśli µ( ) = 0 i dla każdego układu parami rozłącznych elementów A 1, A 2,... R, takiego że A j R, ma miejsce równość µ 0 ( A j ) = µ 0 (A j ) Twierdzenie Niech µ 0 : R IR + będzie σ-addytywna na półpierścieniu R. Wówczas istnieje miara µ określona na σ(r), taka że µ(a) = µ 0 (A), A R (tzn. funkcję µ 0 można rozszerzyć z R do miary na σ(r)). Jednoznaczność rozszerzenia 1.39 Definicja π-układem nazywamy klase podzbiorów zbioru Ω zamkniętą ze względu na przekroje skończone Definicja λ-układem nazywamy klase podzbiorów Λ zbioru Ω spełniającą następujące warunki. LU0) Λ. LU1) Jeżeli A, B Λ i A B, to B \ A Λ. LU2) Jeżeli A 1, A 2,... Λ są parami rozłączne, to A j Λ. Najmniejszy λ-układ zawierający dana klasę zbiorów C oznaczać będziemy λ(c) Przykłady 1. Niech µ i ν będą dwiema skończonymi miarami na (Ω, F). Wówczas rodzina jest λ-układem. Λ µ,ν = {A F ; µ(a) = ν(a)}

15 Zupełność Jeśli µ i ν są miarami probabilistycznymi, to Ω Λ µ,ν Twierdzenie Jeżeli C jest π-układem, to λ(c) też jest π-układem. Jeżeli ponadto Ω C, to λ(c) = σ(c) Uwaga Twierdzenie 1.42 zwykle nazywane jest lematem Dynkina o λ- i π-układach. W istocie udowodnine zostało ono przez Wacława Sierpińskiego już w latach dwudziestych Wniosek Jeżeli C jest π-układem generatorów σ-algebry F, a µ i ν sa miarami probabilistycznymi równymi na C, to µ = ν na F Wniosek Jeżeli C jest π-układem generatorów σ-algebry F, a µ i ν sa miarami skończonymi równymi na C, przy czym µ(ω) = ν(ω), to µ = ν na F Zadanie Podać przykład dwóch miar nieskończonych, dla których nie jest prawdziwy Wniosek Wniosek Niech σ-algebra F będzie generowana przez π-układ C. Niech µ i ν będą miarami na (Ω, F). Przypuśćmy, że miara µ jest σ-skończona względem C, tzn. istnieją zbiory C 1, C 2,... C, takie że Ω = C j i µ(c j ) < +, j = 1, 2,.... Jeżeli µ = ν na C, to µ = ν na F. Zupełność przestrzeni z miarą 1.48 Uwaga Niech R będzie półpierścieniem. Niech µ 0 : R IR + będzie σ-addytywna na R. Funkcja zbioru µ (E) = inf{ µ 0 (A j ) ; E A j, A j R} jest miarą zewnętrzną. Na mocy Twierdzenia 1.32 µ jest miarą na F µ, a z dowodu Twierdzenia 1.38 wynika, że σ(r) F µ i µ = µ 0 na R. Tak więc µ jest rozszerzeniem funkcji µ 0 z półpierścienia R na σ-algebrę F µ. Pytamy o strukturę elementów F µ.

16 12 1. Przestrzenie mierzalne i przestrzenie z miarą 1.49 Twierdzenie Niech µ (E) < +. Wówczas istnieje zbiór F σ(r) (nazywany pokryciem mierzalnym E), taki że E F i µ (F ) = µ (E) Wniosek Jeżeli E F µ, µ (E) < +, to istnieją zbiory F, C σ(r) oraz N C, takie że E = F N i µ (C) = Twierdzenie Jeżeli µ jest σ-skończona, to F µ = {F N ; F σ(r), µ (N) = 0} Definicja Przestrzeń z miarą (Ω, F, µ) jest zupełna, jeśli F zawiera wszystkie podzbiory zbiorów miary µ zero Wniosek (Ω, F µ, µ ) jest przestrzenią zupełną Zadanie Niech (Ω, F, µ) będzie przestrzenią z miarą. Określamy N = {N Ω ; C F N C, µ(c) = 0}. F = {F N ; F F, N N }. µ : F IR +, µ(f N) = µ(f ). Wówczas: 1. rodzina F jest σ-algebrą; 2. funkcja µ jest poprawnie określona; 3. µ jest miarą na F; 4. (Ω, F, µ) jest przestrzenią zupełną. Przestrzeń (Ω, F, µ) nazywamy uzupełnieniem przestrzeni (Ω, F, µ). Miara Lebesgue a na IR Fakt Niech l 0 : I 1 IR + będzie długością odcinka: l 0 ((a, b]) = b a. Funkcja l 0 jest σ-addytywna na I 1.

17 Miara Lebesgue a na IR Twierdzenie Istnieje dokładnie jedna miara l określona na σ-algebrze L 1 podzbiorów IR 1 o następujących własnosciach: (i) l((a, b]) = b a, a < b, a, b IR 1. (ii) (IR 1, L 1, l) jest uzupełnieniem przestrzeni (IR 1, B 1, l). Proszę podać twierdzenia z których korzysta się w konstrukcji miary Lebesgue a Definicja Miarę l, o której mowa w powyższym twierdzeniu, nazywamy miarą Lebesgue a, a elementy σ-algebry L 1 zbiorami mierzalnymi w sensie Lebesgue a Zadanie Wskazać nieprzeliczalny zbiór o mierze Lebesgue a zero. Wywnioskować stąd, że moc σ-algebry L 1 zbiorów mierzalnych w sensie Lebesgue a wynosi 2 EuF rakc Fakt Przy założeniu pewnika wyboru istnieje podzbiór IR 1, który nie jest mierzalny w sensie Lebesgue a Umowa Dla liczby rzeczywistej r i podzbioru E IR 1 określamy: E + r = {x + r ; x e}, r E = {r x ; x E} Fakt Niech E L 1. Dla dowolnego r IR 1, zbiory E + r i r E są mierzalne w sensie Lebesgue a i maja miejsce równości l(e + r) = l(e), l(r E) = r l(e).

18 14 1. Przestrzenie mierzalne i przestrzenie z miarą

19 2. Całkowanie w sensie Lebesgue a Odwzorowania mierzalne 2.1 Definicja Niech (Ω 1, F 1 ) i (Ω 2, F 2 ) będą przestrzeniami mierzalnymi. Odwzorowanie T : Ω 1 Ω 2 nazywamy mierzalnym, jeśli przeciwobraz dowolnego zbioru z F 2 należy do F 1 : B F2 T 1 (B) F 1. Zapisujemy ten fakt używając notacji kategoryjnej: T : (Ω 1, F 1 ) (Ω 2, F 2 ). 2.2 Definicja Funkcją mierzalną nazywamy odwzorowanie mierzalne w (IR 1, B 1 ). Funkcja borelowską nazywamy odwzorowanie mierzalne przestrzeni (IR 1, B 1 ) w siebie. 2.3 Fakt Złożenie odwzorowań mierzalnych jest mierzalne. 2.4 Fakt Funkcja na (Ω, F) przyjmująca przeliczalny zbiór wartości jest mierzalna dokładnie wtedy, gdy dla każdego x IR 1 f 1 ({x}) F. W szczególności, funkcja charakterystyczna zbioru A Ω, określona wzorem { 1 jeśli ω A; I A (ω) = 0 jesli ω A, jest mierzalna, wtedy i tylko wtedy, gdy A F. 2.5 Uwaga Często spotykane są również inne oznaczenia funkcji charakterystycznej zbioru A, np. I(A), 1I A lub χ A. 2.6 Fakt Niech T : Ω 1 Ω Jeśli F 2 2 Ω 2 jest σ-algebrą, to rodzina T 1 (F 2 ) = {T 1 (B) ; B F 2 } również jest σ-algebrą (podzbiorów Ω 1 )). 15

20 16 2. Całkowanie w sensie Lebesgue a 2. Jeśli F 1 2 Ω 1 jest σ-algebrą, to rodzina {B Ω 2 ; T 1 (B) F 1 } też jest σ-algebrą (podzbiorów Ω 2 ). 3. Jeżeli C 2 Ω 2, to σ(t 1 (C)) = T 1 (σ(c)). 2.7 Wniosek Jeżeli rodzina C generuje σ-algebrę F 2, to T : Ω 1 Ω 2 jest mierzalne wtedy i tylko wtedy, gdy T 1 (C) F 1 dla każdego C C. 2.8 Przykłady 1. f : (Ω, F) IR 1 jest funkcją mierzalną wtedy i tylko wtedy, gdy f 1 ((, a]) = {ω ; f(ω) a} = {f a} F. 2. Każda funkcja niemalejąca określona na IR 1 jest borelowska. 3. Niech f = (f 1, f 2 ) : Ω IR 2. Wówczas f : (Ω, F) (IR 2, B 2 ) wtedy i tylko wtedy, gdy f 1 i f 2 są funkcjami mierzalnymi. 4. f = (f 1, f 2,..., f d ) : (Ω, F) IR d jest odwzorowaniem mierzalnym wtedy i tylko wtedy, gdy Definicja Niech (X 1, τ 1 ) i (X 2, τ 2 ) będa przestrzeniami topologicznymi. Niech B 1 = σ(τ 1 ) i B 2 = σ(τ 2 ) będą σ-algebrami zbiorów borelowskich. Odwzorowanie mierzalne T : (X 1, B 1 ) (X 2, B 2 ) nazywamy borelowskim Przykład Niech odwzorowanie T : (X 1, τ 1 ) (X 2, τ 2 ) będzie ciągłe. Wówczas T jest borelowskie Wniosek Suma, różnica, iloczyn itp. funkcji mierzalnych jest funkcją mierzalną Definicja Określamy prostą rozszerzoną IR 1 = IR 1 {, + }, B 1 = σ(b 1, { }, {+ }). W rozszerzonej prostej określamy w naturalny sposób działania (np. 0 ( ) = 0 (+ ) = 0), z wyjątkiem operacji + (+ ) i + + ( ) itp., które pozostają symbolami nieoznaczonymi.

21 Odwzorowania mierzalne Wniosek Odwzorowanie f : (Ω, F) IR 1 jest mierzalne dokładnie wtedy, gdy {f a} F dla każdego a IR 1. (Takie odwzorowanie nazywamy funkcją mierzalną numeryczną.) 2.14 Wniosek Niech f 1, f 2,... będzie ciągiem mierzalnych funkcji numerycznych okreslonych na (Ω, F). Funkcje numeryczne (sup n są mierzalne. f n )(ω) := sup{f n (ω) ; n IN}, (inf f n )(ω) := inf{f n (ω) ; n IN}, n 2.15 Wniosek Funkcje numeryczne (lim inf n są mierzalne. f n )(ω) := lim inf n f n (ω), (lim sup n f n )(ω) := lim sup f n (ω), n 2.16 Wniosek Granica punktowa ciągu mierzalnych funkcji numerycznych jest mierzalną funkcją numeryczną Definicja Funkcję mierzalną nazywamy prostą, jeśli przyjmuje skończenie wiele wartości Wniosek Funkcja f : (Ω, F) (IR 1, B 1 ) jest prosta dokładnie wtedy, gdy istnieją liczby x 1, x 2,..., x m takie, że f 1 ({x j }) F, j = 1, 2,..., m, oraz f(ω) = m x j I f 1 ({x j })(ω) Wniosek Każda funkcja postaci m a ji Aj, gdzie A j F i a j IR 1 jest funkcja prostą.

22 18 2. Całkowanie w sensie Lebesgue a 2.20 Uwaga Rozważmy nastepujący przykład. Niech A, B F, A B i niech a b, b i a, b 0. Wówczas f = ai A + bi B = ai A\B + (a + b)i A B + bi B\A + 0I (A B) c. Funkcja prosta może więc posiadać wiele reprezentacji postaci m a ji Aj Twierdzenie Jeżeli f : (Ω, F) (IR 1, B 1 ) jest funkcja mierzalną, to istnieje ciąg f n funkcji prostych punktowo zbieżny do f. Jeżeli f jest nieujemna, to istnieje monotoniczny ciąg nieujemnych funkcji prostych punktowo zbieżny do f (0 f n f). Jeżeli f jest ograniczona, to istnieje ciąg funkcji prostych jednostajnie zbieżny do f Definicja Niech T : Ω 1 Ω 2 i niech F 2 2 Ω 2 będzie σ-algebrą. Wtedy T 1 (F 2 ) = {T 1 (B) ; B F 2 } nazywamy σ-algebrą generowaną przez odwzorowanie T (i F 2 ) i oznaczamy σ(t ) Uwaga σ-algebra σ(t ) jest najmniejszą wśród σ-algebr F 1 takich, że T : (Ω 1, F 1 ) (Ω 2, F 2 ) (T jest mierzalne) Fakt Jeżeli T : Ω 1 (Ω 2, F 2 ) i h : (Ω 2, F 2 ) (IR 1, B 1 ), to funkcja f = h T jest σ(t )-mierzalna. Na odwrót, każda funkcja f : Ω 1 IR 1 mierzalna względem σ-algebry σ(t ) jest postaci f = h T dla pewnej funkcji mierzalnej h : (Ω 2, F 2 ) (IR 1, B 1 ) Definicja Niech dla każdego i II odwzorowanie T i : (Ω, F) (Ω i, F i ) będzie mierzalne. σ-algebrą generowaną przez rodzinę odwzorowań {T i } i II nazywamy najmniejszą σ-algebrę, względem której wszystkie odwzorowania są mierzalne: σ(t i ; i II) = σ(σ(t i ) ; i II) Definicja Niech (Ω 1, F 1 ) i (Ω 2, F 2 ) będą przestrzeniami mierzalnymi. Produktem σ-algebr F 1 i F 2 nazywamy σ-algebrę podzbiorów Ω 1 Ω 2 generowaną przez rzuty Π 1 : Ω 1 Ω 2 Ω 1, Π 2 : Ω 1 Ω 2 Ω 2. Oznaczamy tę σ-algebrę symbolem F 1 F 2. Produktem przestrzeni mierzalnych (Ω 1, F 1 ) i (Ω 2, F 2 ) nazywamy przestrzeń (Ω 1 Ω 2 ), F 1 F 2 ).

23 Definicja całki Fakt F 1 F 2 = σ(a 1 A 2 ; A 1 F 1, A 2 F 2 ) = σ(f 1 F 2 ) Uwaga Klasa F 1 F 2 generatorów σ-algebry F 1 F 2 jest półpierścieniem (w szczególnosci, π-układem) Wniosek σ-algebra B 2 (podzbiorów borelowskich płaszczyzny) pokrywa się z B 1 B Zadanie Podać analogon Faktu 2.29 dla przestrzeni d-wymiarowej. Definicja całki według Lebesgue a 2.31 Definicja Niech f : (Ω, F) (IR 1, B 1 ) będzie funkcją numeryczną i niech µ będzie miarą na (Ω, F). Będziemy określać całkę w sensie Lebesgue a funkcji f względem miary µ stopniowo, w kolejnych krokach rozszerzając definicje całki na coraz obszerniejsze klasy funkcji. Innymi słowy, całkę będziemy definiować przez indukcję mierzalną. Krok 1. Jeżeli f jest funkcją charakterystyczną zbioru, tzn. f = I A, A F, to f dµ := µ(a). Krok 2. Jeżeli f jest nieujemną funkcją prostą, tzn. f = m a ji Aj, a j 0, A j F, j = 1, 2,..., m, to m f dµ := a j µ(a j ). Uwaga: trzeba pokazać, że definicja nie zależy od reprezentacji funkcji prostej. Krok 3. Jeżeli f jest nieujemną funkcja numeryczną, to f dµ := sup{ s dµ ; 0 s f, s- funkcja prosta }. Krok 4. Niech f + (ω) = max{f(ω), 0} i f (ω) = max{ f(ω), 0}. Jeżeli f + dµ < + lub f dµ < +, to f dµ := f + dµ f dµ ( IR 1 ).

24 20 2. Całkowanie w sensie Lebesgue a 2.32 Definicja Mówimy, że funkcja numeryczna f jest całkowalna, jeśli f + dµ < + i f dµ < + (równoważnie: f dµ < + ). W takim przypadku f dµ IR Twierdzenie Całka z numerycznych funkcji nieujemnych ma następujące własności. 1. Jeżeli 0 f g, to f dµ g dµ. 2. Jeżeli f 0, to f dµ = 0 wtedy i tylko wtedy, gdy µ{f > 0} = Jeżeli f, g 0 i a, b IR +, to (af + bg) dµ = a f dµ + b g dµ. 4. Jeżeli f 0, to funkcja zbioru F A A f dµ := fi A dµ jest miarą na (Ω, F) Twierdzenie Całka z numerycznych funkcji całkowalnych ma następujące własności. 1. Jeżeli f jest całkowalna, to µ{ f = + } = Jeżeli f, g są całkowalne i a, b IR 1, to całkowalna jest funkcja af +bg i mam miejsce równość (af + bg) dµ = a f dµ + b g dµ. 3. Jeżeli f jest całkowalna, to funkcja zbioru F A f dµ := jest σ-addytywna na F. A fi A dµ 2.35 Uwaga O całkowaniu funkcji o wartościach zespolonych. Jeśli zauważyć, że można topologicznie utożsamić C z IR 2, a w konsekwencji B C = B 2, mierzalność funkcji f : (Ω, F) (C, B C ) oznacza jednoczesną mierzalność części rzeczywistej Rf i części urojonej If. Z definicji, f : (Ω, F) (C, B C ) jest całkowalna, jeśli całkowalne są Rf i If, i wtedy f dµ := Rf dµ + i If dµ.

25 Całkowanie ciągów funkcyjnych 21 Można pokazać, że tak okreslona całka ma zwykłe własności, tzn. jest liniowa i f dµ f dµ Uwaga Niech f i g będą funkcjami numerycznymi na (Ω, F). Oznaczmy N f = {ω ; f(ω) = + }, N g = {ω ; g(ω) = + }. Jeżeli f i g są całkowalne, to na mocy Twierdzenia 2.34, p. 1, µ(n f ) = µ(n g ) = 0. Wynika stąd, że na zbiorze N f N g suma f + g może nie być określona (np. może być postaci + + ( )). Jest jednak określona µ-prawie wszędzie, tzn. wszędzie poza zbiorem miary µ zero Definicja Mówimy,że pewna własność (np. równość dwóch funkcji lub skończoność wartości funkcji) ma miejsce µ-prawie wszędzie, jeśli istnieje zbiór N F, µ(n) = 0, taki że rozważana własność ma miejsce już dla wszystkich ω / N. (Np. f n f 0 µ-prawie wszędzie, jeśli istnieje zbiór Ω 0 F taki, że µ(ω c 0 ) = 0 i dla każdego ω Ω 0, f n (ω) f 0 (ω)) Fakt Jeżeli f = g µ-prawie wszędzie i f jest całkowalna, to g też jest funkcją całkowalną i f dµ = g dµ Wniosek Całka jest funkcją klasy funkcji równych prawie wszędzie Uwaga Określona wyżej całka f dµ oznaczana będzie (w zależności od potrzeb) również symbolami Ω f(ω) µ(dω), Ω f(ω) dµ(ω) itp. Podobnie znaczenie symbolu A f(ω) dµ(ω) itp. pokrywa się z A f dµ. Całkowanie ciągów funkcyjnych Wszystkie ciągi funkcji numerycznych rozważane w tym paragrafie sa określone na wspólnej przestrzeni z miarą (Ω, F, µ) Twierdzenie (Lebesgue a o zbieżności monotonicznej) Jeżeli 0 f 1 f 2..., to lim f n dµ = lim n n f n dµ.

26 22 2. Całkowanie w sensie Lebesgue a 2.42 Twierdzenie (O całkowaniu szeregów o wyrazach nieujemnych) Jeżeli f 1, f 2,... 0, to dµ = f j dµ. f j W szczególności, szereg f j jest całkowalny wtedy i tylko wtedy, gdy zbieżny jest szereg fj dµ Wniosek Jeżeli zbieżny µ-prawie wszędzie. fj dµ < +, to szereg funkcyjny f j jest 2.44 Twierdzenie (Lemat Fatou) Jeżeli f 1, f 2,... 0, to lim inf f n dµ lim inf f n dµ. n n 2.45 Twierdzenie (Lebesgue a o zbieżności majoryzowanej) Przypuśćmy, że f n f 0 µ-prawie wszędzie. Jeżeli istnieje funkcja g całkowalna i taka, że dla każdego n IN f n g µ-prawie wszędzie, to: 1. f 0 jest całkowalna; 2. f n dµ f 0 dµ Zadanie Podać przykład ciągu funkcyjnego f n na ([0, 1], L 1, l), który jest zbieżny l-p.w. do f 0, ale dla którego lim n fn dl Twierdzenie (Całka Riemanna a całka Lebesgue a) Niech f : [a, b] IR 1. Jeżeli f jest całkowalna w sensie Riemanna i ograniczona na [a, b], to: 1. f jest mierzalna w sensie Lebesgue a; 2. f jest całkowalna w sensie Lebesgue a i (a,b] f dl = b a f(x) dx;

27 Twierdzenie Fubiniego l{x [a, b] ; f nie jest ciągła w x} = Zadanie Podać przykład funkcji całkowalnej w sensie Riemanna na zbiorze niezwartym, która nie jest całkowalna w sensie Lebesgue a na tym zbiorze Zadanie Podać przykład, że twierdzenie Lebesgue a o zbieżności majoryzowanej nie jest prawdziwe dla całki Riemanna Twierdzenie (O różniczkowaniu pod znakiem całki) Niech (Ω, F, µ) będzie przestrzenią z miarą. Niech f : (a, b) Ω IR 1 spełnia następujące warunki. 1. Dla każdego t (a, b) funkcja f(t, ) jest mierzalna na (Ω, F) i całkowalna względem miary µ, tak że określona jest funkcja (a, b) t F (t) = f(t, ω) dµ(ω). 2. Dla prawie wszystkich ω Ω funkcja f(, ω) jest różniczkowalna na całym odcinku (a, b). 3. Istnieje funkcja całkowalna g : (Ω, F, µ) (IR 1, B 1 ) spełniająca dla µ-p.w. ω warunek sup f (s, ω) t g(ω). s (a,b) Wówczas funkcja h jest różniczkowalna na (a, b) i dla t 0 (a, b) dh f dt (t 0) = t (t 0, ω) dµ(ω). Produkt miar i twierdzenie Fubiniego 2.51 Twierdzenie Niech (Ω 1, F 1, µ 1 ) i (Ω 2, F 2, µ 2 ) będą przestrzeniami z miarą. 1. Istnieje miara ν na (Ω 1 Ω 2, F 1 F 2 ) spełniająca warunek ν(a 1 A 2 ) = µ 1 (A 1 ) µ 2 (A 2 ), A 1 F 1, A 2 F Jeżeli µ 1 i µ 2 są σ-skończone, to miara ν jest jedyna.

28 24 2. Całkowanie w sensie Lebesgue a 2.52 Definicja Niech µ 1 i µ 2 będą σ-skończonymi miarami na przestrzeniach mierzalnych odpowiednio (Ω 1, F 1 ) i (Ω 2, F 2 ). Produktem miar µ 1 i µ 2 nazywamy jedyną miarę µ 1 µ 2 na (Ω 1 Ω 2, F 1 F 2 ) zadaną wzorem µ 1 µ 2 (A 1 A 2 ) = µ 1 (A 1 ) µ 2 (A 2 ), A 1 F 1, A 2 F 2. Przestrzeń (Ω 1 Ω 2, F 1 F 2, µ 1 µ 2 ) nazywamy produktem przestrzeni z miarą (Ω 1, F 1, µ 1 ) i (Ω 2, F 2, µ 2 ) Uwaga Produkt zupełnych przestrzeni z miarą nie musi być przestrzenią zupełną Definicja Miarą Lebesgue a na IR d nazywamy uzupełnienie miary produktowej l 1 l 1 l 1. Miara Lebesgue a na IR d określona jest na σ-algebrze L d podzbiorów IR d mierzalnych w sensie Lebesgue a, która określona jest jako uzupełnienie σ-algebry produktowej L 1 L 1 L 1 względem miary produktowej Uwagi 1. Miarę Lebesgue a na IR d oznaczać będziemy tym samym symbolem l d, co produkt l 1 l 1 l Można pokazać, że uzupełniając przestrzeń produktową (IR d, B d, l d ) również otrzymujemy miarę Lebesgue a i zbiory mierzalne w sensie Lebesgue a na IR d (tutaj punktem wyjściowym jest produkt niezupełnych przestrzeni z miarą (IR 1, B 1, l)). 3. Miarę Lebesgue a na IR d można skonstruować w sposób podobny jak l bezpośrednio z twierdzeń Rozdziału 1, rozpoczynając konstrukcję od d-wymiarowej objętości V d ((a 1, b 1 ] (a 2, b 2 ] (a d, b d ]) = Π d i=1(b i a i ) Twierdzenie (Tonellego) Niech µ 1 i µ 2 będą σ-skończonymi miarami na przestrzeniach mierzalnych odpowiednio (Ω 1, F 1 ) i (Ω 2, F 2 ). Niech f będzie nieujemną funkcją numeryczną na (Ω 1 Ω 2, F 1 F 2 ). Wówczas ( ) f d(µ 1 µ 2 ) = f ω 1 (ω 2 ) dµ 2 (ω 2 ) dµ 1 (ω 1 ) Ω 1 Ω 2 Ω 1 Ω ( 2 ) = f ω2 (ω 1 ) dµ 1 (ω 1 ) dµ 2 (ω 2 ), Ω 1 gdzie Ω 2 f ω 1 ( ) = f(ω 1, ) : (Ω 2, F 2 ) (IR +, B + ), f ω2 ( ) = f(, ω 2 ) : (Ω 1, F 1 ) (IR +, B + ).

29 Twierdzenie Fubiniego Twierdzenie (Fubiniego) Niech µ 1 i µ 2 będą σ-skończonymi miarami na przestrzeniach mierzalnych odpowiednio (Ω 1, F 1 ) i (Ω 2, F 2 ). Niech f będzie funkcją numeryczną na (Ω 1 Ω 2, F 1 F 2 ). Jeżeli f d(µ 1 µ 2 ) < +, to istnieją całki iterowane ( ) f ω 1 (ω 2 ) dµ 2 (ω 2 ) dµ 1 (ω 1 ), Ω 2 Ω 1 ( ) f ω2 (ω 1 ) dµ 1 (ω 1 ) dµ 2 (ω 2 ), Ω 1 Ω 2 są one równe, i ich wspólna wartość wynosi Ω 1 Ω 2 f d(µ 1 µ 2 ) Uwaga W twierdzeniu Fubiniego założenie o całkowalności funkcji f można sprawdzić stosując twierdzenie Tonellego Umowa Podobnie jak w przypadku d = 1 całka w sensie Riemanna pokrywa się z całką w sensie Lebesgue a, jeśli tylko funkcja i zbiór po którym całkujemy są dostatecznie regularne (np. gdy funkcja jest ciągła i ograniczona). Dlatego będziemy używać standardowych oznaczeń V f dl d = V f(x) dx, gdzie x = (x 1, x 2,..., x d ) i dx = dx 1 dx 2... dx d Twierdzenie (O zmianie zmiennych w całce Lebesgue a) Niech V będzie zbiorem otwartym w IR d i niech f : V IR 1 będzie funkcją mierzalną. Jeżeli T : U T U = V jest dyfeomorfizmem zbiorów otwartych (tzn. odwzorowanie T jest klasy C 1, jest różnowartościowe i det DT (x) 0 dla x U), to całki V f(y) dy i U f(t (x)) det DT (x) dx istnieją jednocześnie, i jeśli istnieją, to są równe: V f(y) dy = U f(t (x)) det DT (x) dx Uwaga Z tzw. twierdzenia Sarda wynika, że twierdzenie o zmianie zmiennych pozostaje prawdziwe przy następujących słabszych założeniach. 1. T jest klasy C T jest różnowartościowe na zbiorze {x ; det DT (x) 0}.

30 26 2. Całkowanie w sensie Lebesgue a Przestrzenie funkcji całkowalnych 2.62 Definicja Niech (Ω, F, µ) będzie przestrzenią z miarą. Określamy przestrzeń funkcji całkowalnych. L 1 (Ω, F, µ) = L 1 (µ) = {f : (Ω, F) (IR 1, B 1 ) ; f dµ < + }. Niech f g oznacza, że f = g µ-prawie wszędzie. Relacja jest relacją równoważności w L 1 (µ). Określamy przestrzeń L 1 (µ) jako przestrzeń ilorazową L 1 (µ)/ Lemat Niech f 1 = f dµ. Nieujemna funkcja 1 jest półnormą na przestrzeni L 1 (µ), tzn. spełnia następujące dwa warunki. 1. f + g 1 f 1 + g 1, f, g L 1 (µ). 2. a f 1 = a f 1, f L 1 (µ), a IR 1. Funkcja 1 nie jest na ogół normą, gdyż f 1 = 0 pociąga jedynie f = 0 µ-prawie wszędzie. Stąd jednak wynika, że określając funkcję 1 : L 1 (µ) IR + wzorem [f] 1 = f 1, definiujemy normę na L 1 (µ) Twierdzenie Przestrzeń (L 1 (µ), 1 ) jest zupełna (jest więc przestrzenią Banacha) Definicja Niech (Ω, F, µ) będzie przestrzenią z miarą. Określamy przestrzeń funkcji całkowalnych z kwadratem. L 2 (Ω, F, µ) = L 2 (µ) = {f : (Ω, F) (IR 1, B 1 ) ; f 2 dµ < + }. Podobnie jak w przypadku przestrzeni L 1, określamy L 2 (µ) jako przestrzeń ilorazową L 2 (µ)/, gdzie f g dokładnie wtedy, gdy f = g µ-prawie wszędzie Lemat Niech f, g = f g dµ i f 2 = f 2 dµ. Funkcja f, g jest formą dwuliniową i symetryczną, a 2 jest półnormą na przestrzeni L 2 (µ). Tak więc określając [f], [g] = f, g otrzymujemy iloczyn skalarny na przestrzeni L 2 (µ).

31 Przestrzenie funkcji całkowalnych Uwaga Dla funkcji całkowalnych z kwadratem o wartościach zespolonych iloczyn skalarny w L 2 (µ) zadajemy wzorem f, g = fg dµ Twierdzenie Przestrzeń (L 2 (µ), 2 ) jest zupełna (jest więc przestrzenią Hilberta) Przykład Jeżeli µ jest miarą Lebesgue a na IR d, to odpowiednie przestrzenie funkcyjne oznaczamy symbolami L 1 (IR d ) i L 2 (IR d ) Zadanie Pokazać (wskazując odpowiednie przykłady), że L 1 (IR 1 ) L 2 (IR 1 ) i L 2 (IR 1 ) L 1 (IR 1 ) Przykład Niech Λ będzie miarą liczącą na IN. Przestrzeń L 1 (Λ) = {f : IN IR 1 ; f(j) < + } oznaczamy przez l1. Podobnie, przestrzeń L 2 (Λ) = {f : IN IR 1 ; f(j) 2 < + } oznaczamy przez l Zadanie Pokazać, że l 1 l 2, i że l 2 l Zadanie Pokazać, że jeśli µ jest miarą skończoną, to L 2 (µ) L 1 (µ) Definicja Przestrzeń L p (µ), 0 < p < +, dla przestrzeni z miarą (Ω, F, µ) określamy jako L p (µ) = {f : (Ω, F) (IR 1, B 1 ) ; f p dµ < + }. Podobnie jak w przypadku przestrzeni L 1 i L 2, określamy L p (µ) jako przestrzeń ilorazową L p (µ)/, gdzie f g wtedy, gdy f = g µ-prawie wszędzie Uwagi 1. Dla 0 < p < 1, przestrzenie L p (µ) są zupełnymi przestrzeniami metrycznymi z metryką d p (f, g) = f g p dµ. 2. Dla 1 p < +, przestrzenie L p (µ) są zupełnymi przestrzeniami unormowanymi (przestrzeniami Banacha) z normą określoną wzorem ( f p = f p dµ) 1/p. Fakt, że tak określona funkcja spełnia nierówność trójkąta nie jest oczywisty.

32 28 2. Całkowanie w sensie Lebesgue a 2.76 Fakt (Nierówność Minkowskiego) Niech p [1, ). Jeżeli f p, g p < +, to f + g p f p + g p. Nierównośc Minkowskiego wynika z kolei z 2.77 Fakt (Nierówność Höldera) Niech p, q > 1 będa takie, że 1 p + 1 q = 1. Dla dowolnych funkcji numerycznych na (Ω, F, µ) ( f g dµ ) 1/p ( f p dµ g q dµ) 1/q Wniosek Jeżeli f L p (µ) i g L q (µ), gdzie 1/p + 1/q = 1, to f g L 1 (µ) Uwaga Mozna pokazać, że nierówność Höldera wynika z nierówności Jensena Fakt (Nierówność Jensena) Niech φ : IR 1 IR 1 będzie funkcją wypukłą. Niech µ będzie miarą probabilistyczną na (IR 1, B 1 ) taką, że x dµ(x) < +. Wówczas φ( x dµ(x)) φ(x) dµ(x) Wniosek Jeżeli µ jest miarą probabilistyczną na IR 1 i 1 p r < +, to x p dµ(x) x r dµ(x).

33 Zbieżnośc funkcji mierzalnych 29 Rodzaje zbieżności funkcji mierzalnych i relacje między nimi Ciagi funkcji mierzalnych rozważane w niniejszym paragrafie są określone na wspólnej przestrzeni z miarą (Ω, F, µ) Definicja Mówimy, że f n f 0 µ-prawie wszędzie, jeśli istnieje zbiór Ω 0 F taki, że µ(ω c 0 ) = 0 i dla każdego ω Ω 0, f n (ω) f 0 (ω) (zob. Definicję 2.37) Definicja Ciąg f n jest zbieżny do f 0 według miary, jeśli dla każdego ε > 0 µ{ω ; f n (ω) f 0 (ω) > ε} 0, gdy n +. Zapisujemy: f n µ f Definicja Zbieżność w L p, 0 < p < +, to zbieżność w przestrzeni L p (µ). Tak więc f n L p f 0 wtedy i tylko wtedy, gdy f n f 0 p 0, gdy n +, lub równoważnie f n f 0 p p = f n f 0 p dµ 0, gdy n Fakt Jeżeli µ jest miarą skończoną, to zbieżność w L r, r > 0 pociąga zbieżność w L p, 0 < p r Fakt Zbieżność w L p pociąga zbieżność według miary Zadanie Podać przykład ciągu zbieżnego według miary, ale nie w L Fakt Jeżeli miara µ jest skończona, to zbieżność µ-prawie wszędzie pociąga zbieżność według miary µ Zadanie Podać przykład ciągu zbieznego µ-prawie wszędzie, który nie jest zbieżny według miary µ Zadanie Podać przykład ciągu zbieżnego według miary, ale nie prawie wszędzie Twierdzenie (Riesza-Fischera) Ciąg zbieżny według miary zawiera podciąg zbieżny prawie wszędzie.

34 30 2. Całkowanie w sensie Lebesgue a 2.92 Wniosek Niech µ będzie miarą skończoną. Wówczas ciąg {f n } jest zbieżny według miary do f 0 wtedy i tylko wtedy, gdy w każdym podciągu {f nk } ciągu {f n } można znależć podciąg {f nkl } zbieżny do f 0 prawie wszędzie.

35 3. Formalizm teorii prawdopodobieństwa Charakterystyki zmiennych losowych 3.1 Definicja Przestrzenią probabilistyczną nazywamy przstrzeń (Ω, F, P ) z miarą probabilistyczną (P (Ω) = 1). Elementy przestrzeni Ω nazywamy zdarzeniami elementarnymi, elementy σ-algebry F nazywamy zdarzeniami, a miarę P nazywamy prawdopodobieństwem. 3.2 Definicja Zmienną losową na przestrzeni probabilistycznej (Ω, F, P ) nazywamy funkcję mierzalną X : (Ω, F) (IR 1, B 1 ). 3.3 Definicja Wartością oczekiwaną zmiennej losowej X, określonej na przestrzeni (Ω, F, P ), nazywamy całkę X względem P (jeśli istnieje). Zachowując tradycję oznaczamy EX := Ω X dp. 3.4 Definicja Momentem absolutnym rzędu p > 0 zmiennej losowej nazywamy liczbę m p = m p (X) = E X p. 3.5 Definicja Wariancją całkowalnej z kwadratem zmiennej losowej X nazywamy liczbę Var (X) := E(X EX) 2 = EX 2 (EX) Definicja Odchyleniem standardowym całkowalnej z kwadratem zmiennej losowej X nazywamy liczbę D(X) := Var (X) = E(X EX) 2. 31

36 32 3. Formalizm teorii prawdopodobieństwa 3.7 Definicja Niech X będzie zmienną losową na (Ω, F, P ). Rozkładem zmiennej losowej X nazywamy miarę probabilistyczną P X na (IR 1, B 1 ) daną wzorem P X (A) := P X 1 (A) = P (X A). 3.8 Twierdzenie (O zmianie miary) Niech X : (Ω, F, P ) (IR 1, B 1 ) będzie zmienną losową o rozkładzie P X. Niech f : (IR 1, B 1 ) (IR 1, B 1 ) będzie funkcją borelowską. Wartość oczekiwana E f(x) istnieje dokładnie wtedy, gdy istnieje całka IR f(x) dp 1 X (x). Jeśli te całki istnieją, to są równe: Ef(X) = f(x) dp X (x). IR Wniosek Mają miejsce równości EX = x dp X (x), m p (X) = x p dp X (x), Var (X) = x 2 dp X (x) ( x dp X (x)) 2, itp Zadanie Niech µ będzie miarą probabilistyczną na (IR 1, B 1 ). Wskazać zmienną losową X o rozkładzie P X = µ Definicja Miary probabilistyczne na (IR 1, B 1 ) nazywamy rozkładami na IR Uwaga Jeżeli µ jest rozkładem na IR 1, to fakt, że zmienna losowa X ma rozkład µ zapisujemy często w postaci X µ Definicja 1. Dystrybuantą zmiennej losowej X nazywamy funkcję F X : IR 1 [0, 1] zadaną wzorem F X (x) = P (X x), x IR Dystrybuantą rozkładu µ na IR 1 nazywamy funkcję F µ : IR 1 [0, 1] zadaną wzorem F µ (x) = µ((, x]), x IR 1.

37 Klasyfikacja rozkładów na prostej Uwaga Oczywiście dystrybuanta zmiennej losowej jest dystrybuantą rozkładu tej zmiennej, jest więc w istocie funkcją rozkładu zmiennej losowej. Dlatego wystarczy badać tylko dystrybuanty rozkładów na IR Twierdzenie Niech µ i ν będą rozkładami na IR 1. Jeżeli F µ = F ν, to µ = ν Twierdzenie Niech µ będzie rozkładem na IR 1. Dystrybuanta F µ ma następujące własności: 1. F µ jest funkcją niemalejącą; 2. F µ jest prawostronnie ciągła; 3. lim x F µ (x) = 0, lim x + F µ (x) = Definicja Dystrybuantą nazywamy funkcję F : IR 1 [0, 1] spełniającą warunki z poprzedniego twierdzenia Twierdzenie Niech F będzie dystrybuantą. Istnieje dokładnie jeden rozkład µ na IR 1 taki, że F = F µ. Proszę podać kroki dowodu z odwołaniem się do odpowiednich twierdzeń rozdziału 1. Klasyfikacja rozkładów na prostej 3.19 Definicja Zmienna losowa X ma rozkład dyskretny, jeśli istnieją liczby x 1, x 2,... IR 1 i prawdopodobieństwa p 1, p 2,... 0, p j = 1, takie, że P (X = x j ) = p j, j = 1, 2, Fakt P X {x} = P (X = x) > 0 wtedy i tylko wtedy, gdy dystrybuanta F X ma skok w punkcie x i F X (x) F X (x ) = P (X = x) Fakt Niech µ będzie rozkładem na IR 1. Zbiór atomów miary µ, czyli zbiór {x IR 1 ; µ{x} > 0} jest co najwyżej przeliczalny.

38 34 3. Formalizm teorii prawdopodobieństwa 3.22 Definicja Zmienna losowa X ma rozkład absolutnie ciągły o gęstości p(x), jeśli dla każdego A B 1 P (X A) = p(x) dx. (Wtedy p(x) 0 l-prawie wszędzie i p(x) dx = 1) Fakt Gęstość rozkładu absolutnie ciągłego jest wyznaczona jednoznacznie z dokładnością do równości l-prawie wszędzie Uwaga Można pokazać, że każda dystrybuanta F jest prawie wszędzie różniczkowalna i pochodna F (określona l-prawie wszędzie) spełnia warunek F (x) F (x) dx. (,x] Może się więc zdarzyć, że IR 1 F (x) dx < 1 (przykład!). Jeżeli IR 1 F (x) dx = 1, to rozkład odpowiadający dystrybuancie F jest absolutnie ciągły z gęstością p(x) = F (x) Definicja Zmienna losowa X ma rozkład osobliwy, jeśli rozkład X jest ciągły (tzn. P (X = x) = 0 dla każdego x IR 1 ) oraz istnieje zbiór B B 1 miary Lebesgue a 0 taki, że P (X B) = Twierdzenie (Lebesgue a o rozkładzie) Niech µ będzie rozkładem na IR 1. Istnieją liczby α 1, α 2, α 3 0, α 1 + α 2 + α 3 = 1, oraz rozkłady µ 1 - dyskretny, µ 2 - absolutnie ciągły i µ 3 - osobliwy, takie, że A µ = α 1 µ 1 + α 2 µ 2 + α 3 µ Przykłady rozkładów dyskretnych. 1. Rozkład zdegenerowany w punkcie C IR 1 albo miara delta Diraca δ C : 2. Rozkład 0 1 lub Bernoullego: 3. Rozkład dwumianowy: P (X = k) = P (X = C) = 1. P (X = 1) = p = 1 P (X = 0). ( N k ) p k (1 p) N k, k = 0, 1, 2,..., N.

39 Niezależność stochastyczna Rozkład Poissona: P (X = k) = e 5. Rozkład geometryczny: λ λk, k = 0, 1, 2,.... k! P (X = k) = p(1 p) k 1, k = 1, 2, Przykłady rozkładów absolutnie ciągłych. 1. Rozkład jednostajny na odcinku (a, b): p(x) = 1 b a I (a,b)(x). 2. Rozkład normalny N (m, σ 2 ) z parametrami m IR 1 i σ 2 > 0: p(x) = 1 2πσ e (x m)2 2σ Rozkład wykładniczy z parametrem λ > 0. p(x) = λe λx I (0,+ ) (x). 4. Rozkłady gamma z parametrami α, ν > 0: 5. Rozkład Cauchy ego: p(x) = αν Γ(ν) xν 1 e αx I (0,+ ) (x). p(x) = 1 π x Zadanie Znależć wartości oczekiwane i wariancje rozkładów wymienionych w przykładach 3.27 i Rozkłady wielowymiarowe i niezależność stochastyczna 3.30 Definicja Wektorem losowym nazywamy odwzorowanie mierzalne X : (Ω, F, P ) (IR d, B d ). Rozkład P X wektora losowego, to miara P X 1 na (IR d, B d ).

40 36 3. Formalizm teorii prawdopodobieństwa 3.31 Uwagi 1. Wiadomo, że X = (X 1, X 2,..., X d ) T jest wektorem losowym dokładnie wtedy, gdy jego składowe X 1, X 2,..., X d są zmiennymi losowymi. 2. Podobnie jak w przypadku jednowymiarowym, znajomość rozkładu wektora losowego pozwala obliczać całki z funkcji od wektora losowego: Ef( X) = f(x) dp X (x). IR d Wystarczy w tym celu zauważyć, że twierdzenie 3.8 pozostaje prawdziwe i dla wektorów losowych Definicja 1. Wektor losowy X ma rozkład dyskretny, jeśli istnieją x 1, x 2,... IR d i prawdopodobieństwa p 1, p 2,... 0, p j = 1, takie, że P ( X = x j ) = p j, j = 1, 2, Wektor losowy X ma rozkład absolutnie ciągły o gęstości p(x), jeśli dla każdego A B d P ( X A) = p(x) dx. (Wtedy p(x) 0 l d -prawie wszędzie i p(x) dx = 1). 3. Wektor losowy X ma rozkład osobliwy, jeśli rozkład X jest ciągły (tzn. P ( X = x ) = 0 dla każdego x IR d ) oraz istnieje zbiór B B d d-wymiarowej miary Lebesgue a 0 taki, że P ( X B) = Uwaga Twierdzenie 3.26 o rozkładzie miar na części dyskretną, absolutnie ciągłą i osobliwą przenosi sie bez zmian z przypadku jednowymiarowego na przypadek IR d. Jedyna różnica polega tym, że w przypadku wielowymiarowym dużo łatwiej o przykłady rozkładów osobliwych - każdy rozkład skoncentrowany na właściwej hiperpłaszczyźnie wymiaru d 1 jest już osobliwy! (przykład!) 3.34 Definicja Rozkład P X wektora losowego X = (X 1, X 2,..., X d ) T nazywamy rozkładem łącznym zmiennych losowych X 1, X 2,..., X d. Rozkłady (jednowymiarowe) P X1, P X2,..., P Xd składowych wektora losowego nazywamy rozkładami brzegowymi rozkładu P X Uwaga Na ogół rozkłady brzegowe nie determinują rozkładu łącznego, tzn. istnieje wiele rozkładów na (IR d, B d ) o tych samych rozkładach brzegowych (przykład!). A

41 Niezależność stochastyczna Definicja Zmienne losowe X 1, X 2,..., X d są niezależne, jeśli ich rozkład łączny jest produktem rozkładów brzegowych: P (X1,X 2,...,X d ) = P X1 P X2 P Xd. Rodzina zmiennych losowych {X i } i II jest niezależna, jeśli każda jej skończona podrodzina składa się ze zmiennych losowych niezależnych Twierdzenie Niech X 1, X 2,..., X d będą zmiennymi losowymi określonymi na tej samej przestrzeni probabilistycznej (Ω, F, P ). Następujące warunki są równoważne: (i) Zmienne X 1, X 2,..., X d są niezależne. (ii) Dla dowolnych zbiorów borelowskich A 1, A 2,..., A d ma miejsce równość P (X 1 A 1, X 2 A 2,..., X d A d ) = P (X 1 A 1 )P (X 2 A 2 ) P (X d A d ). (iii) Dla dowolnych liczb x 1, x 2,..., x d ma miejsce równość P (X 1 x 1, X 2 x 2,..., X d x d ) = P (X 1 x 1 )P (X 2 x 2 ) P (X d x d ) Definicja Dystrybuantą wektora losowego X nazywamy funkcję IR d x = (x 1, x 2,..., x d ) T F X (x) = P (X 1 x 1, X 2 x 2,..., X d x d ) Uwaga Na mocy warunku (iii) twierdzenia 3.37, zmienne losowe są niezależne dokładnie wtedy, gdy dystrybuanta ich rozkładu łącznego jest iloczynem dystrybuant rozkładów brzegowych. W dalszym ciągu nie będziemy jednak zajmowac się dystrybuantami rozkładów na IR d, gdyż są one znacznie mniej wygodnym narzędziem niż dystrybuanty na IR Fakt Jeżeli zmienne losowe X 1, X 2,..., X d są niezależne, to dla dowolnych funkcji borelowskich f 1, f 2,..., f d zmienne losowe też są niezależne. f 1 (X 1 ), f 2 (X 2 ),..., f d (X d )

42 38 3. Formalizm teorii prawdopodobieństwa 3.41 Twierdzenie Niech rozkłady zmiennych X 1, X 2,..., X d będą dyskretne. Zmienne losowe X 1, X 2,..., X d są niezależne dokładnie wtedy, gdy dla dowolnych x 1, x 2,..., x d IR 1 ma miejsce związek P (X 1 = x 1, X 2 = x 2,..., X d = x d ) = P (X 1 = x 1 )P (X 2 = x 2 ) P (X d = x d ) Twierdzenie Niech rozkłady zmiennych X 1, X 2,..., X d będą absolutnie ciągłe z gęstościami p 1 (x), p 2 (x),..., p d (x). Zmienne losowe X 1, X 2,..., X d są niezależne dokładnie wtedy, gdy rozkład łączny tych zmiennych jest absolutnie ciągły i jego gęstość ma postać p X (x 1, x 2,..., x d ) = p 1 (x 1 )p 2 (x 2 ) p d (x d ) Definicja Rodzina zdarzeń {A i } i II jest niezależna, jeśli funkcje charakterystyczne {I Ai } i II tych zdarzeń są niezależne Twierdzenie Zdarzenia {A i } i II są niezależne dokładnie wtedy, gdy dla dowolnego skończonego podzbioru II 0 II ( ) P = Π i II0 P (A i ). i II 0 A i 3.45 Definicja Zmienne losowe {X i } i II są niezależne parami, jeśli dla każdych i, j II, i j, zmienne X i i X j są niezależne. Podobnie, zdarzenia {A i } i II sa niezależne parami, jeśli każde dwa zdarzenia A i i A j, i j są niezależne Zadanie Podać przykład zdarzeń niezależnych parami, ale zależnych zespołowo (np. przykład Bernsteina) Twierdzenie (O mnożeniu wartości oczekiwanych) Jeżeli zmienne losowe X i Y są niezależne i całkowalne, to iloczyn XY jest całkowalną zmienną losową i EXY = EX EY Uwaga Bez założenia o niezależności warunek dostateczny dla całkowalności iloczynu XY jest podany we Wniosku 2.78.

43 Charakterystyki wektorów losowych Wniosek Niech X 1, X 2,..., X d będą niezależne. Jezeli funkcje borelowskie f i sa takie, że to E f i (X i ) < +, i = 1, 2,..., d, Ef 1 (X 1 )f 2 (X 2 ) f d (X d ) = Ef 1 (X 1 ) Ef 2 (X 2 ) Ef d (X d ). Charakterystyki wektorów losowych 3.50 Definicja Kowariancją zmiennych losowych X i Y nazywamy liczbę cov (X, Y ) := E(X EX)(Y EY ) = EXY EX EY Definicja Zmienne losowe X i Y są nieskorelowane, jeśli cov (X, Y ) = Uwaga Kowariancja istnieje, jeśli X i Y są całkowalne z kwadratem. Jeżeli X i Y są całkowalne i niezależne, to kowariancja istnieje i jest równa 0. Niezależne całkowalne zmienne losowe są więc nieskorelowane. Istnieją jednak nieskorelowane zmienne losowe, które są zależne (przykład!) Fakt Niech całkowalne z kwadratem zmienne losowe X 1, X 2,..., X n będą nieskorelowane. Wówczas Var (X 1 + X X n ) = Var (X 1 ) + Var (X 2 ) + + Var (X n ). W szczególności, powyższy wzór ma miejsce dla całkowalnych z kwadratem, parami niezależnych zmiennych losowych Definicja Współczynnikiem korelacji całkowalnych z kwadratem zmiennych losowych X i y nazywamy liczbę 1 jeśli D(X) D(Y ) = 0, r(x, Y ) = cov (X, Y ) jeśli D(X) D(Y ) 0. D(X)D(Y ) Niektórzy autorzy oznaczają współczynnik korelacji symbolem ρ(x, Y ) Fakt 1. 1 r(x, Y ) r(x, Y ) = 0 wtedy i tylko wtedy, gdy X i Y są nieskorelowane.

44 40 3. Formalizm teorii prawdopodobieństwa 3. r(x, Y ) = 1 wtedy i tylko wtedy, gdy istnieją stałe α, β IR 1 takie, że X = βy + α lub Y = βx + α Definicja Niech X = (X 1, X 2,..., X d ) T będzie wektorem losowym. 1. Niech każda składowa wektora X będzie całkowalna (równoważnie: E X < + ). Wartością oczekiwaną wektora X nazywamy wektor wartości oczekiwanych jego składowych: E X = (EX 1, EX 2,..., EX d ) T. 2. Niech każda składowa wektora X będzie całkowalna z kwadratem (równoważnie: E X 2, + ). Macierzą kowariancji wektora X nazywamy macierz o współczynnikach σ jk = cov (X j, X k ). Macierz kowariancji oznaczać będziemy symbolem Cov ( X). Ten sam symbol używany będzie również dla oznaczenia operatora kowariancji zadawanego w oczywisty sposób przez macierz kowariancji. W napisie x, Cov ( X)y mamy więc do czynienia z operatorem kowariancji, a w napisie x T Cov ( X)y z macierzą kowariancji. 3. Wariancją wektora X nazywamy liczbę Var ( X) := E X E X 2 = d Var (X j ) Twierdzenie 1. Niech E X < +. Wartość oczekiwana wektora X to jedyny wektor m IR d taki, że E x, X = x, m, x IR d. 2. Niech E X 2 < +. Macierz kowariancji wektora X jest jedyną symetryczną macierzą Σ wymiaru d d wyznaczoną przez formę kwadratową E x, X E X 2 = Var ( x, X ) = x, Σ x, x IR d. Cov ( X) jest więc jedyną macierzą Σ spełniającą związek

45 Istnienie procesów stochastycznych 41 E x, X E X y, X E X = cov ( x, X, y, X ) = x, Σ y, x, y IR d Twierdzenie Macierz kowariancji wektora losowego X jest symetryczna i nieujemnie określona. Na odwrót, dla dowolnej symetrycznej i nieujemnie określonej macierzy Σ rozmiaru d d istnieje d-wymiarowy wektor losowy X taki, że Cov ( X) = Σ. Istnienie procesów stochastycznych 3.59 Definicja Schematem Bernoullego z prawdopodobieństwem sukcesu p (0, 1) nazywamy ciąg X 1, X 2,... niezależnych zmiennych losowych o jednakowym rozkładzie P (X n = 1) = p = 1 P (X n = 0). Łatwo jest skonstruować skończony schemat Bernoullego (nie wykraczając poza dyskretne przestrzenie probabilistyczne). Nie jest jednak oczywiste, czy istnieją nieskończone schematy Bernoullego. Oto klasyczny przykład dajacy twierdzącą odpowiedź na to pytanie Przykład Niech Ω = [0, 1], F = B 1 [0, 1] i niech P będzie miarą Lebesgue a l obcietą do [0, 1]. Dla ω [0, 1] niech X n (ω) będzie n-tą cyfrą rozwinięcia dwójkowego liczby ω: ω = X n (ω)2 n. n=1 Dla poprawności definicji przyjmujemy dodatkowo umowę, że liczby dwójkowowymierne zapisujemy z użyciem nieskończonej liczby jedynek, czyli n=1 X n(ω) = dla wszystkich ω prócz 0. Rysując wykresy kolejnych zmiennych X n łatwo zauważamy, że X n są niezależne. Ponadto P (X n = 1) = 1/2 = 1 P (X n = 0). Funkcje X n są więc modelem nieskończonego schematu Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Łatwo jest zmodyfikować podany przykład, tak aby uzyskać model schematu Bernoullego dla dowolnego p (0, 1). Nie wydaje sie natomiast łatwa konstrukcja ciągów niezależnych zmiennych losowych o innych rozkładach (choć jest możliwa!). Dlatego przedstawimy tutaj zarys konstrukcji opartej na twierdzeniu Kołmogorowa o istnieniu procesu stochastycznego Motywacja Niech µ będzie rozkładem na IR 1. Aby skonstruować skończony ciąg niezależnych zmiennych losowych o rozkładzie µ, powiedzmy X 1, X 2,..., X d, wystarczy przyjąć Ω = IR d, F = B d, P = µ µ µ i