Rachunek prawdopodobieństwa i statystyka matematyczna Leszek Adamczyk Wykłady dla kierunku Fizyka Medyczna w semestrze letnim 2016/2017 1
1 Wstęp Rachunek prawdopodobieństwa i statystyka to: działy matematyki służące do wykrywania i badania prawidłowości w otaczającej nas rzeczywistości. Prawo Dane pełne Rachunek prawdopodobieństwa Statystyka matematyczna Eksperyment Dane częściowe Rysunek 1: Schemat zakresu zastosowań rachunku prawdopodobieństwa i statystyki matematycznej Rachunek prawdopodobieństwa na podstawie jakiegoś prawa (pełnej informacji o danych) określa szanse uzyskania konkretnego wyniku doświadczenia (danych częściowych). Statystyka matematyczna na podstawie wyników doświadczenia (danych częściowych) wnioskuje na temat praw ogólnych (danych pełnych) stosując aparat matematyczny rachunku prawdopodobieństwa. Przykład 1.1 (Rachunek prawdopodobieństwa). Jaka jest szansa wyrzucenia takiej samej liczby oczek w dwóch rzutach rzetelną kostką do gry? Partię A popiera 20% dorosłych obywateli. Jaka jest szansa, że wśród losowo wybranych 100 obywateli partię A popiera mniej niż 15 osób? Przykład 1.2 (Statystyka matematyczna). W 100 seriach dwóch rzutów kostką do gry 24 razy uzyskano tę samą liczbę oczek. Co możemy powiedzieć o rzetelności tej kostki? Wśród losowo wybranych 100 obywateli partię B popiera 15 osób. Co możemy powiedzieć o poparciu dla tej partii wśród ogółu obywateli? 2 Prawdopodobieństwo Analizując eksperyment losowy jesteśmy zainteresowani jego możliwymi wynikami. Definicja 2.1 (Przestrzeń zdarzeń). Przestrzenią zdarzeń, Ω, nazywamy zbiór wszystkich możliwych wyników eksperymentu losowego. Definicja 2.2 (Zdarzenia elementarne). Zdarzeniami elementarnymi nazywamy taką specyfikację wyników eksperymentu która spełnia warunki: rozłączność - zdarzenie elementarne wyklucza zajście inngo zdarzenia el.; zupełność - wszystkie zdarzenia elementarne wyczerpują wszystkie możliwe wyniki eksp.; Przestrzeń zdarzeń opisaną za pomocą zdarzeń elementarnych nazywamy przestrzenią zdarzeń elementarnych
Przykład 2.1 (Dwa rzuty sześcienną kostką do gry). Rzucamy dwukrotnie sześcienną kostką do gry. Ω 1 = Ω 1 = {(x y) : x y {1 2 3 4 5 6}} (1 1) (1 2) (1 3) (1 4) (1 5) (1 6) (2 1) (2 2) (2 3) (2 4) (2 5) (2 6) (3 1) (3 2) (3 3) (3 4) (3 5) (3 6) (4 1) (4 2) (4 3) (4 4) (4 5) (4 6) (5 1) (5 2) (5 3) (5 4) (5 5) (5 6) (6 1) (6 2) (6 3) (6 4) (6 5) (6 6) Ω 1 = 6 2 = 36 Przykład 2.2 (Suma oczek dwóch rzutów kostką do gry). Rzucamy dwukrotnie sześcienną kostką do gry. Wyniki można przedstawić jako sumę wyrzuconych oczek. Ω 2 = {2 3 4 5 6 7 8 9 10 11 12} Ω 2 = 11 Przykłady 2.1 i 2.2 pokazują, że dla tego samego eksperymentu losowowego możemy na różne sposoby wybrać przestrzeń zdarzeń elementarnych. Są to przykłady przestrzeni o skończonej ilości zdarzeń elementarnych. Przykład 2.3 (Nieskończona seria rzutów kostką). Rzucamy kostką do gry tak długo aż wypadnie 6 oczek. Wynik tego eksperymentu możemy opisać ilością wykonanych rzutów. Ω = {1 2 3 } Ω = (przeliczalna) Przestrzenią zdarzeń elementarnych jest zbiór liczb naturalnych bez zera. Jest to przykład przestrzeni o nieskończonej ale przeliczalnej ilości zdarzeń elementarnych. Przykład 2.4 (Rzut lotką do tarczy). Rzucamy lotką do tarczy o promieniu R. lub Ω = {(x y) : x 2 + y 2 R 2 } r = x 2 + y 2 ; Ω = {r : r [0 R]} Ω = (nieprzeliczalna) Przestrzenią zdarzeń elementarnych jest zbiór o nieskończonej i nieprzeliczalnej ilości zdarzeń elementarnych. Ze względu na liczbę zdarzeń elementarnych, przestrzenie zdarzeń elementarnych dzielimy na: 2
skończone (przykłady 2.1, 2.2) nieskończone przeliczalne (przykład 2.3) nieprzeliczalne (przykład 2.4) Definicja 2.3 (Zdarzenie losowe). Zdarzeniem losowym, A, nazywamy każdy podzbiór przestrzeni Ω, A Ω. Przykład 2.5 (Rzut dwiema kostkami). A-suma wyrzuconych oczek jest mniejsza od 5. A = {(1 1); (1 2); (1 3); (2 1); (2 2); (3 1)}; A Ω 1 A jest podzbiorem przestrzeni zdarzeń elementarnych z przykładu 2.1. W przestrzeni z przykładu 2.2 to samo zdarzenie jest podzbiorem złożonym z trzech zdarzeń elementarnych: Przykład 2.6 (Rzut dwiema kostkami). B-w dwóch rzutach kostką wypadła ta sama liczba oczek A = {2 3 4} A Ω 2 B = {(1 1); (2 2); (3 3); (4 4); (5 5); (6 6)}; B Ω 1 B nie da się przedstawić jako podzbioru przestrzeni Ω 2 B jest podzbiorem przestrzeni zdarzeń elementarnych z przykładu 2.1. W przestrzeni z przykładu 2.2 to samo zdarzenie nie jest podzbiorem przestrzeni zdarzeń elementarnych w tym sensie nie jest ono zdarzeniem losowym w tej przestrzeni zdarzeń elementarnych. Jeżeli wynikiem eksperymentu jest zdarzenie elementarne zawarte w podzbiorze reprezentowanym przez zdarzenie losowe A to mówimy, że zdarzenie A zaszło. Relacje między zdarzeniami losowymi Definicja 2.4 (Zawieranie się zdarzeń). Zdarzenie A zawiera się w zdarzeniu B, A B, jeśli każde zdarzenie elementarne należące do zbioru A należy do zbioru B Definicja 2.5 (Równość zdarzeń). Zdarzenie A i B są równe, A = B, gdy A B i B A. Definicja 2.6 (Zdarzenie pewne). Jeśli zdarzenie losowe A jest zbiorem wszystkich zdarzeń elementarnych, A = Ω, to zdarzenie takie nazywamy pewnym Definicja 2.7 (Zdarzenie niemożliwe). Jeśli zdarzenie A jest zbiorem pustym, A =, to nazywamy je zdarzeniem niemożliwym. 3
Operacje na zdarzeniach Definicja 2.8 (Suma zdarzeń). Sumą (alternatywą) zdarzeń, A B, nazywamy zdarzenie zawierające te i tylko te zdarzenia elementarne które należą do któregokolwiek ze zdarzeń A i B Definicja 2.9 (Iloczyn zdarzeń). Iloczynem (koniunkcją) zdarzeń, A B, nazywamy zdarzenie zawierające te i tylko te zdarzenia elementarne które należą do obu zdarzeń A i B. Definicja 2.10 (Rozłączność zdarzeń). Zdarzenia A i B nazywamy rozłącznymi gdy A B =. Definicja 2.11 (Różnica zdarzeń). Różnicą zdarzeń, AB, nazywamy zdarzenie zawierające te i tylko te zdarzenia elementarne, które należą do zdarzenia A i nie należą do zdarzenia B. Definicja 2.12 (Zdarzenie przeciwne). Zdarzeniem przeciwnym do zdarzenia A nazywamy zdarzenie A c = Ω A Twierdzenie 2.1 (Prawa rozdzielności). (A B) C = (A C) (B C) (A B) C = (A C) (B C) 4
Twierdzenie 2.2 (Prawa De Morgana). (A B) c = A c B c (A B) c = A c B c Obowiązują pozostałe prawa teorii mnogości: prawa przemienności i łączności sumy i iloczynu. Wszystkie te prawa wynikają z definicji działań na zbiorach i ich prawdziwość można łatwo udowodnić samodzielnie. Prawdopodobieństwo Prawdopodobieństwo zdarzenia A można określić na wiele sposobów. Najbardziej popularne to: Definicja częstościowa n N (A) P (A) = lim N N Definicja klasyczna (logiczna) oparta o aksjomaty Kołmogorowa. Prawdopodobieństwo zdarzenia obliczane jest na podstawie wydedukowanych na drodze logicznego wnioskowania prawdopodobieństw zdarzeń elementarnych. Definicja subiektywna (współczesna, Bayesowska) Prawdopodobieństwo to miara stopnia zaufania w to że zdarzenia zaszło lub zajdzie. Definicja częstościowa prawdopodobieństwa jest podstawą metody Monte Carlo. Definicja klasyczna będzie podstawą większości kolejnych wykładów. O definicji subiektywnej wspomnę zaledwie kilka razy. Współcześnie większość matematyków przyznaje, że definicja częstościowa oraz klasyczna nie definiują pojęcia prawdopodobieństwa a jedynie określają praktyczne sposoby jego obliczania. Definicja subiektywna definiuje prawdopodobieństwo ale definicja ta jest nie do przyjęcia przez naukowców którzy uważają że prawdopodobieństwo jest wielkością absolutną niezależną od stanu naszej obecnej wiedzy. Problemy te obrazują następujące przykłady: Jakie jest prawdopodobieństwo, że jutro będzie padał śnieg w Krakowie; Jakie jest prawdopodobieństwo, że w Krakowie padał deszcz w czasie bitwy pod Grunwaldem? Z punktu widzenia definicji częstościowej oraz klasycznej obu tym zdarzeniem możemy przypisać prawdopodobieństwo 0 lub 1. Problem polega na tym, że w chwili obecnej nie wiemy która z tych dwóch możliwości była (będzie) zrealizowana. Definicja subiektywna usuwa tę niedogdność przypisując tym zdarzeniom prawdopodobieństwo na podstawie stanu naszej obecnej wiedzy. Definicja 2.13 (Pewniki rachunku prawdopodobieństwa (aksjomaty Kołmogorowa)). Miarą prawdopodobieństwa jest funkcja, P (A), przyporządkowująca każdemu zdarzeniu losowemu A Ω liczbę rzeczywistą w taki sposób, że: 1. P (A) 0 2. P (Ω) = 1 3. P (A 1 A 2 A 3 ) = P (A 1 ) + P (A 2 ) + P (A 3 ) + jeśli A 1 A 2 A 3... są parami rozłączne. Twierdzenie 2.3 (Operacje na prawdopodobieństwie). Niech A B C Ω P (A c ) = 1 P (A) P ( ) = 0 A B P (A) P (B) 5
P (A B) = P (A) + P (B) P (A B) P (A B C) = P (A) + P (B) + P (C) P (A B) P (A C) P (B C) +P (A B C) Dowody oparte o pewniki Kołmogorowa obowiązują na ćwiczeniach. Ostatnie dwa twierdzenia nosza nazwę zasady włączeń i wyłączeń odpowiednio dla dwóch i trzech zdarzeń losowych. Przykład 2.7 (Zasada włączeń i wyłączeń). Wybieramy jedną z liczb 1 2... 120 z pr. 1/120. Jakie jest pr. wybrania liczby podzielnej przez 2 lub 3 lub 5? A k - wybrano liczbę podzielną przez k P (A 2 ) = 1 2 P (A 3 ) = 1 3 P (A 5 ) = 1 5 P (A 2 A 3 ) = P (A 6 ) = 1 6 P (A 2 A 5 ) = P (A 10 ) = 1 10 Twierdzenie 2.4 (Zasada włączeń i wyłączeń). Niech A 1 A 2... A n Ω P (A 3 A 5 ) = P (A 15 ) = 1 15 P (A 2 A 3 A 5 ) = P (A 30 ) = 1 30 P (A 2 A 3 A 5 ) = 1 2 + 1 3 + 1 1 5 6 + 1 10 + 1 + 1 15 30 = 11 15 P (A 1 A 2 A n ) = +. n P (A k ) i=1 n P (A i A j ) i<j n i<j<k P (A i A j A k ) ( 1) n+1 P (A 1 A 2 A n ) 6
Dowód na drodze indukcji matematycznej na ćwiczeniach. Twierdzenie 2.5 (Funkcja prawdopodobieństwa). Niech Ω = {ω 1 ω 2... } będzie skończoną lub przeliczalna przestrzenia zdarzeń elementarnych. Każda nieujemna funkcja f(ω) spełniająca warunek unormowania: f(ω) = 1 ω Ω definiuje prawdopodobieństwo P (A), A Ω w postaci P (A) = f(ω) ω A spełniające pewniki Kołmogorowa Dowód. 1. P (A) = ω A f(ω) 0 2. P (Ω) = ω Ω f(ω) = 1 3. P (A 1 A 2 A 3 ) = ω A 1 A 2 A 3 f(ω) = f(ω) + f(ω) + f(ω) + ω A 1 ω A 2 ω A 3 = P (A 1 ) + P (A 2 ) + P (A 3 ) + Wniosek 1 (Przeliczalna przestrzeń zdarzeń elementarnych). Niech Ω = {ω 1 ω 2... } będzie przeliczalną przestrzenią zdarzeń elementarnych. P (ω i ) = f(ω i ) = p i P (Ω) = i P (ω i ) = i p i = 1 P (A) = P (ω i ) = i:ω i A i:ω i A p i Liczby p i nazywamy rozkładem prawdopodobieństwa na przestrzeni Ω. Znając rozkład prawdopodobieństwa na przestrzeni zdarzeń elementarnych możemy obliczyć prawdopodobieństwo dowolnego zdarzenia losowego. W pewnych sytuacjach szczególnie prosto zaproponować na podstawie logicznego wnioskowania postać rozkładu prawdopodobieństwa na przestrzeni zdarzeń elementarnych. 7
Twierdzenie 2.6 (Prawdopodobieństwo kombinatoryczne). Niech Ω = {ω 1 ω 2... ω N } będzie skończoną przestrzenia równie prawdopodobnych zdarzeń elementarnych. Jeśli zdarzeniu losowemu A odpowiada zbiór zdarzeń elementarnych o liczebności K to P (A) = K N Dowód. 1 = P (Ω) = P (A) = p 1 = p 2 = = p N = C N p i = NC C = 1 N = p i i=1 k:ω k A p k = k:ω k A 1 N = K N Przykład 2.8 (Rzut rzetelną kostką do gry). Jakie jest prawdopodobieństwo zdarzenia A - wyrzucenia 6 oczek w rzucie rzetelną kostką do gry? Ω = {1 2 3 4 5 6} A = {6} P (A) = 1/6 Przykład 2.9 (Prawdopodobieństwo kombinatoryczne). Rzucamy dwukrotnie rzetelną monetą. Jakie jest prawdopodobieństwo zdarzenia A - wypadła jedna reszka i jeden orzeł? Ω = {(O O); (R O); (O R); (R R)} A = {(R O); (O R)} P (A) = 1 2 Ω = {0 1 2} A = {1} P (A) = 1 3 Założenie o równym prawdopodobieństwie zdarzeń elementarnych jest bardzo istotne. Zdarzenia elementarne przestrzeni Ω nie są równie prawdopodobne. Istnieje analogiczne twierdzenie do twierdzenia 2.5 dla przypadku nieprzeliczalnej przestrzeni zdarzeń elementarnych w którym sumy przechodzą w całki. Operacja przejścia granicznego nakłada w tym przypadku dodatkowe wymagania na funkcję f(ω) oraz na same zdarzenia elementarne o których nie będę wspominał. 8
0.5 Prawdopodobienstwo 0 0 1 2 Ilosc orlow Rysunek 2: Wyniki symulacji MC rzutu dwiema monetami. Rozkład prawdopodobieństwa zdarzeń elementarnych będących liczbą wyrzuconych orłów w rzucie dwiema monetami. Twierdzenie 2.7 (Funkcja gęstości prawdopodobieństwa). Niech Ω = {ω} będzie nieprzeliczalną przestrzenia zdarzeń elementarnych. Każda nieujemna funkca f(ω) spełniajaca warunek unormowania f(ω) = 1 f(ω)dω = 1 Ω ω Ω definiuje prawdopodobieństwo P (A), A Ω P (A) = f(ω) P (A) = ω A spełniające pewniki Kołmogorowa. A f(ω)dω Odpowiednikiem prawdopodobieństwa kombinatorycznego dla nieprzeliczalnych przestrzeni zdarzeń elementarnych jest prawdopodobieństwo geometryczne. Twierdzenie 2.8 (Prawdopodobieństwo geometryczne). Niech Ω = {ω} będzie nieprzeliczalna przestrzenia równie prawdopodobnych zdarzeń elementarnych a A zdarzeniem losowym A Ω. Jeśli zbiory Ω i A maja interpretację geometryczna (np. linia, płaszczyzna, obszar trójwymiarowy,...) o skończonej mierze geometrycznej Ω = dω A = dω Ω A (np. długość, powierzchnia, objętość,... ) to: P (A) = A Ω 9
Dowód. 1 = Ω f(ω)dω = C P (A) = A f(ω) = C Ω dω = C Ω C = 1 Ω = f(ω) dω = A Ω f(ω)dω = 1 Ω A Przykład 2.10 (Prawdopodobieństwo geometryczne). Rzucamy lotką do tarczy o promieniu R. Jakie jest prawdopodobieństwo zdarzenia losowego A- punkt trafienie leży w odległości mniejszej niż R/2 od środka tarczy? 3 Kombinatoryka Ω = {(x y) : x 2 + y 2 < R 2 } Ω = πr 2 A = {(x y) : x 2 + y 2 < (R/2) 2 } A = πr 2 /4 P (A) = A Ω = 1 4 Prawdopodobieństwo kombinatoryczne zdarzenia A wymaga obliczenia ilości zdarzeń elementarnych sprzyjących temu zdarzeniu oraz liczebności przestrzeni zdarzeń elementarnych Ω. Ich ręczne liczenia jest niepraktyczne. Dlatego stosowanie tego twierdzenia wymaga wypracowania technik obliczania liczebności konkretnych zbiorów zdarzeń elementarnych. Dział matematyki zajmujący się tymi zagadnieniami nazywamy kombinatoryką. Większość zagadnień kombinatorycznych daje się sprowadzić do kilku sposobów wybierania rozróżnialnych elementów z n-elementowego zbioru np. A = {a 1 a 2... a n }; Wszystkie obiekty makroświata są potencjalnie rozróżnialne; Takie same obiekty możemy ponumerować dzięki czemu stają się rozróżnialne; Jeśli po wykonaniu eksperymentu nie będziemy zwracać uwagi na numeracje, to musimy dojść do tych samych wyników które otrzymamy bez rozróżniania takich samych obiektów. Nierozróżnialne obiekty pojawiąja się w mechanice kwantowej. Twierdzenie 3.1 (Eksperyment k-stopniowy). Jeśli jakiś eksperyment można przedstawić jako k-stopniową procedurę, przy czym i-ta operacja może być wykonana na l i (i = 1... k) sposobów to eksperyment można wykonać na l 1 l 2 l k sposobów. Przykład 3.1 (Czterocyfrowe liczby parzyste). Ile jest różnych czterocyfrowych liczb parzystych. Należy założyć, że zero nie występuje na pierwszym miejscu a każda cyfra może się powtarzać dowolną ilość razy. Rozwiazanie. Kolejne cyfry możemy wybrać na 9,10,10 i 5 sposobów zatem: Liczba parzystych liczb czterocyfrowych = 9 10 10 5 = 4500 Definicja 3.1 (Wariacje z powtórzeniami). Uporządkowany ciąg k-elementów wybranych ze zbioru A ze zwracaniem nazywamy k-wyrazową wariacją z powtórzeniami. 10
Twierdzenie 3.2 (Wariacje z powtórzeniemi). Liczba możliwych k-wyrazowych wariacji z powtórzeniami elementów zbioru n-elementowego wynosi V k n = nk Dowód. Jest to k-stopniowy eksperyment. i-ta operacja może być wykonana na l i = n sposobów. V k n = l 1 l 2 l k = n k Przykład 3.2 (Liczba aminokwasów). Każda trójka spośród czterech nukleotydów A, C, T i G koduje jeden aminokwas w łańcuchu nici DNA. Ile jest możliwych a priori różnych aminokwasów? Rozwiazanie. Każda 3-wyrazowa wariacja z powtórzeniami ze zbioru czterech nukleotydów A = {A C T G} potencjalnie koduje jeden aminokwas. Ich liczba wynosi zatem V 3 4 = 4 3 = 64 Definicja 3.2 (Wariacje bez powtórzeń). Uporządkowany ciąg k-elementów wybranych ze zbioru A bez zwracania nazywamy k-wyrazową wariacją bez powtórzeń. Twierdzenie 3.3 (Wariacje bez powtórzeń). Liczba możliwych k-wyrazowych wariacji bez powtórzeń elementów zbioru n-elementowego wynosi V k n = n (n k) Dowód. Jest to k-stopniowy eksperyment. i-ta operacja może być wykonana na l i = n i + 1 sposobów. V k n = l 1 l 2 l k = n (n 1) (n k + 1) = n (n k) Definicja 3.3 (Permutacje bez powtórzeń). Jeśli k = n to wybieranie bez zwracania wyczerpuje wszystkie elementy zbioru n-elementowego. Wariacje n-wyrazowe bez powtórzeń elementów ze zbioru n-elementowego nazywamy permutacjami bez powtórzeń. P n = V n n = n (n n) = n Definicja 3.4 (Permutacje z powtórzeniami). Uporządkowany ciąg k-elementów wybranych ze zbioru A, przy czym kolejne elementy zbioru A powtarzają się odpowiednio k 1 k 2... k n razy (k = k 1 + k 2 + + k n ), nazywamy k-wyrazową permutacją z powtórzeniami odpowiednio k 1 k 2... k n -krotnymi kolejnych elementów zbioru A. W wariacjach z powtórzeniami elementy zbioru mogą się powtarzać dowolną ilość razy; W permutacjach z powtórzeniami krotności każdego elementu są ściśle określone. 11
Przykład 3.3 (Słowo STATYSTYKA). Ile różnych słów można ułożyć ze zbioru A = {S T A Y K} w których kolejne litery powtarzają się dokładnie 2 3 2 2 1-razy? Rozwiazanie. Rozważmy permutacje bez powtórzeń 10-literowego zbioru rozróżnialnych liter: B = {S 1 S 2 T 1 T 2 T 3 A 1 A 2 Y 1 Y 2 K 1 } gdzie te same litery zostały ponumerowane. Po usunięciu numerów przykładową permutacją (z powtórzeniami) jest słowo ST AT Y ST Y KA Słowo STATYSTYKA pojawi się 2 3 2 2 1 razy wśród permutacji elementów zbioru B. Zatem liczba permutacji z powtórzeniami zbioru A wynosi: 10 2 3 2 2 1 Twierdzenie 3.4 (Permutacje z powtórzeniami). Liczba możliwych k-wyrazowych permutacji n-elementowego zbioru z powtórzeniami, odpowiednio k 1 k 2... k n - krotnymi kolejnych elementów tego zbioru wynosi (k = k 1 + k 2 + + k n ) Dowód. k P k1k2...kn k = k 1 k 2 k n Permutacje z powtórzeniami A = {a 1 a 2... a n } odpowiednio k 1 k 2... k n -krotne zastępujemy: permutacjami bez powtórzeń B = {b 1 b 2 b k }, gdzie k i rozróżnialnych elementów zbioru B odpowiada elementowi a i ; k = k 1 + k 2 + + k n Każda permutacja z powtórzeniami zbioru A powtarza się k 1 k 2 k n -krotnie wśród permutacji bez powtórzeń zbioru B. Zatem P P k1k2...kn k k k = = P k1 P k2 P kn k 1 k 2 k n 12