prof. RNDr. Roman Kotecký DrSc., Dr. Rudolf Blažek, PhD Pravděpodobnost a statistika Katedra teoretické informatiky Fakulta informačních technologií

Transkrypt

1 Základní pojmy pravděpodobnosti prof. RNDr. Roman Kotecký DrSc., Dr. Rudolf Blažek, PhD Katedra teoretické informatiky Fakulta informačních technologií České vysoké učení technické v Praze c Rudolf Blažek, Roman Kotecký, 2011 Pravděpodobnost a statistika BI-PST, LS 2010/11, Přednáška 1 Evropský sociální fond. Praha & EU: Investujeme do vaší budoucnosti Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 1 / 18

2 Organizace Organizace předmětu Pravděpodobnost a statistika Cíle: základní pojmy teorie pravděpodobnosti podmíněná pravděpodobnost, náhodná veličina, základní pravděpodobnostní rozdělení, atd. základy teorie markovských řetězců aplikace ve statistice: náhodný výběr, odhady parametrů, testování hypotéz atd. Cvičení: seminární, u tabule, 10 písemek po 2b = 20b, domácí úkoly 20b, zápočet: min 20b (z možných 40), povinnost absolvovat aspoň 8 písemek. Zkouška: Písemná (povinná), 60b, min 30b. Body dosažené ze cvičení a ze zkoušky se sčítají. Nebudete-li spokojeni s celkovým hodnocením, můžete si polepšit až o 5b u nepovinné ústní zkoušky. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 2 / 18

3 Organizace Literatura pro první polovinu semestru Používám (často sleduji tyto zdroje dosti věrně i když velmi selektivně) tři základní knihy: Bertsekas, Tsitsiklis: Introduction to Probability, Athena Scientific (MIT) Grimmett, Stirzaker: Probability and Random Processes, Oxford University Press (Oxbridge) Grinstead, Snell: Introduction to Probability, AMS 1997 Poslední citovaná kniha je asi nejlépe dostupná. Je volně ke stažení (plus další materiály jako prográmky v Mathematice, řešení ke všem lichým cvičením, atd) na stránce articles/probability_book/book.html Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 3 / 18

4 Prostor elementárních jevů a pravděpodobnost Prostor elementárních jevů Prostor elementárních jevů Jde nám o matematický popis nejisté situace ve které hraje roli náhoda. Při náhodném procesu, experimentu, testu, či sérii testů dostáváme náhodné výsledky. Množinu všech možných náhodných výsledků nazýváme prostor elementárních jevů Ω ω Ω: náhodný výsledek, elementární jev. Příklady Házení mincí, Ω m = {O, P} (orel, panna) Vrh hrací kostkou, Ω k = {1, 2, 3, 4, 5, 6} Série n vrhů kostkou, Ω = {1, 2, 3, 4, 5, 6} n Série n vrhů kostkou, při které nás zajímá jen to, kolikrát padne ta která strana, Ω = {(k 1, k 2, k 3, k 4, k 5, k 6 ) Z 6 + : 6 l=1 k l = n} Hod šipkou do terče T R 2. Zde Ω = T { }, kde { } je jednobodová množina reprezentující výsledek šipka netrefila terč. Pokud je terč rozdělen, dejme tomu, na 5 pásem a jde nám jen o to do kterého pásma se šipka zabodla, je Ω = {1, 2, 3, 4, 5, }. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 4 / 18

5 Prostor elementárních jevů a pravděpodobnost Prostor elementárních jevů První krok tedy vždy je: analýza možných výsledků vedoucí k volbě prostoru elementárních jevů Ω. Elementární jevy v Ω by měly být vzájemně exklusivní a ve svém souhrnu vyčerpávající. Vzájemně exklusivní: elementární jevy: na kostce padlo 1 nebo 2, 1 nebo 3,...? Když padne 1, není jasné o který z nich jde! Ve svém souhrnu vyčerpávající: každý výsledek experimentu je možno interpretovat jako některý elementární jev. Při házení micí bychom vlastně měli mít Ω = {P, O, H}, kde H označuje výsledek, při kterém mince zůstala na hraně: Prostor elementárních jevů by měl být dostatečně detailní aby rozlišil výsledky, které vnímáme jako odlišné, měl by však pominout nepodstatné detaily. Příklady Házení mincí dokud nepadne první orel: spočetný prostor Ω = {ω 1, ω 2, ω 3,... }, ω i : výsledek kdy prvních i 1 hodů padla panna a i-tý hod je orel. Házení mincí nekonečně mnoho krát nespočetný prostor Ω = {P, O} N Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 5 / 18

6 Prostor elementárních jevů a pravděpodobnost Prostor elementárních jevů Znázornění elementárních jevů pro sérii experimentů Např. pro 2 hody kostkou: souřadnicový popis a znázornění ve formě stromu kde každá posloupnost výsledků jednotlivých hodů odpovídá jednomu listu je jednoznačně určena cestou od kořene stromu k tomuto listu (na obr. jsou explicite označeny jen 3 listy). druhý hod první hod ,5 5,4 6,6 Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 6 / 18

7 Prostor elementárních jevů a pravděpodobnost Náhodné jevy Náhodné jevy Zajímají nás pravděpodobnosti různých náhodných jevů Příklad Série tří vrhů kostkou, Ω = {1, 2, 3, 4, 5, 6} 3. Náhodný jev A: šestka padla aspoň jednou. Tento jev se dá ztotožnit s jistou podmnožinou výsledků: A = {ω = (ω 1, ω 2, ω 3 ) Ω : 3 l=1 δ ω l,6 1} Náhodné jevy jsou podmnožiny Ω, A Ω. Pro nejvýše spočetné Ω, má smysl uvažovat každou podmnožinu A Ω. Pro nespočetné Ω je potřeba opatrnosti: musí se uvažovat jen jevy z jisté podmnožiny F P(Ω) (P(Ω) je soubor všech podmnožin Ω). Je potřeba vyloučit neměřitelné množiny. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 7 / 18

8 Prostor elementárních jevů a pravděpodobnost Pravděpodobnost Pravděpodobnostní zákon Každému náhodnému jevu A přiřadíme jeho pravděpodobnost P(A). Ta musí splňovat přirozené axiomy: Definice (Axiomy pravděpodobnosti) Nezápornost. P(A) 0 pro každý jev A. Normalizace. Pravděpodobnost souboru všech elementárních jevů je 1, P(Ω) = 1. (Množina Ω je ve svém souhrnu vyčerpávající.) Aditivita. Jsou-li A a B dva disjunktní jevy (jinými slovy vzájemně exklusivní), je pravděpodobnost jejich sjednocení součtem jejich pravděpodobností, P(A B) = P(A) + P(B). Obecněji, je-li A 1, A 2,... posloupnost disjunktních jevů (A i A j = pro i j), pak P( i 1 A i ) = i 1 P(A i ). Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 8 / 18

9 Prostor elementárních jevů a pravděpodobnost Pravděpodobnost Příklad Pro nejvýše spočetnou Ω stačí zadat funkci (hustota pravděpodobnosti, pravděpodobnostní hmota) p : Ω [0, 1] tak, že ω Ω p(ω) = 1. Pravděpodobnost P je pak dána jako P(A) = ω A p(ω) pro každé A Ω. Intermezzo: Pro nespočetnou Ω však není možné definovat P(A) pro každé A Ω. Věta (Vitali, 1905) Budiž Ω = {0, 1} N. Neexistuje funkce P : P(Ω) [0, 1] splňující základní axiomy (Nezápornost, Normalizace, Aditivita), a navíc i podmínku Invariance. Pro každé A Ω a n 1 je P(T n A) = P(A). Zde T n : ω = (ω 1, ω 2,... ) (ω 1,..., ω n 1, ω n, ω n+1,... ), kde 0 = 1, 1 = 0, a Tn (A) = {T n (ω) : ω A}. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 9 / 18

10 Prostor elementárních jevů a pravděpodobnost Pravděpodobnost Důkaz. (Hlavní myšlenka) Uvažujme relaci ekvivalence na Ω: ω ω pokud se liší jen na konečné mnoha souřadnicích. Uvažujme A obsahující po jednom ω z každé třídy ekvivalence (axiom výběru). Nechť S = {S N : S je konečná } a T S je pro S = {n 1,..., n k } definováno vztahem T S = T n1 T nk. Pak: Ω = S S T S (A) T S (A) and T S (A) jsou disjunktní pro S S. Odsud, 1 = P(Ω) = S S P(T S (A)) = S S P(A), což je spor (nekonečná suma stejného čísla je buď 0 nebo ). Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 10 / 18

11 Volba pravděpodobnostního zákona Hustota pravděpodobnosti P(A) je obvykle specifikována pomocí hustoty pravděpodobnosti. Diskrétní případ: (nejvýše spočetná Ω). Zadáno p : Ω [0, 1] tak, že ω Ω p(ω) = 1. Pak P(A) = p(ω) ω A pro každé A Ω. Spojitý případ: (Ω R n, třeba při házení šipkou, Ω = T R 2 ). Uvažujme funkci ϱ : Ω [0, ] takovou, že Ω ϱ(x)dx = 1 (zde jde o n-rozměrný integrál přes množinu Ω). Pak P(A) = pro každou rozumnou množinu A R n. ϱ(x)dx A Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 11 / 18

12 Volba pravděpodobnostního zákona Rovnoměrné rozdělení Rovnoměrné rozdělení pravděpodobnosti Diskrétní případ: Předpokládejme, že Ω je konečné a rozdělení pravděpodobnosti je rovnoměrné (jako při házení mincí, vrhání kostkou, atd). Pak p(ω) = 1 Ω pro každé ω Ω, a P(A) = A Ω = # příznivých případů # všech možných případů pro každou A Ω. Spojitý případ: Na Ω R n konečného objemu, 0 < λ n (Ω) = Ω dx < uvažujeme stejnoměrné rozdělením ϱ(x) = 1/λ n (Ω) (tak, že Ω ϱ(x)dx = 1). Pak P(A) = A 1/λ n (Ω)dx = λn (A) λ n (Ω) pro každou množinu A Ω. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 12 / 18

13 Volba pravděpodobnostního zákona Rovnoměrné rozdělení Příklad (Romeo a Julie) R. a J. se mají setkat u Staroměstského Orloje mezi polednem a 1 hod. po poledni. Každý dorazí v náhodném okamžiku v tomto rozmezí, ale počká jen 15 minut a pokud ten druhý nedorazí, odejde. Jaká je pravděpodobnost, že se setkají? 1 Romeo S 1/4 0 1/4 Julie 1 Ω = [0, 1] 2, S = {(x, y) : x y 1/4, 0 x 1, 0 y 1} P(S) = λ2 (S) 1 (3/4) (3/4) = = 7/16. λ 2 (Ω) 1 Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 13 / 18

14 Volba pravděpodobnostního zákona Bertrandův paradox Přesné zadání pravděpodobnostního zákona závisí na detailech experimentu. Vágní zadání o jakou pravděpodobnost nám jde může vést k nejednoznačnostnem: Příklad (Bertrandův paradox) Náhodná tětiva χ na jednotkové kružnici. Jaká je pravděpodobnost P(A), kde A = { χ > l} a l strana vepsaného rovnostranného trojúhelníka? To záleží na tom, co přesně míníme slovem náhodná : 1. Vyberme rovnoměrně náhodně střed χ: Ω 1 = {x R 2 : x < 1}, A 1 = {x Ω 1 : x < 1/2}, P 1 (A 1 ) = π(1/2)2 π1 2 = Vyberme rovnoměrně náhodně úhlovou velikost a směr (irrelevantní díky symmetrii) tětivy χ viděné ze středu: Ω 2 = (0, π], A 2 = (2π/3, π], P 2 (A 2 ) = π/3 π = Vyberme rovnoměrně náhodně vzdálenost tětivy χ od středu a (opět irrelevantní) směr: Ω 3 = [0, 1), A 3 = [0, 1/2), P 3 (A 3 ) = 1 2. Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 14 / 18

15 Základní vlastnosti pravděpodobnosti Důsledky axiomů Věta Uvažujme pravděpodobnost P na Ω a nechť A, B a C jsou náhodné jevy. Pak, (i) P( ) = 0. (ii) Monotonicita. Jestliže A B, pak P(A) P(B). (iii) Disjunktní jevy. P(A B) = P(A) + P(B) (a tedy taky P(A c ) = 1 P(A)). (iv) Obecný případ. P(A B) + P(A B) = P(A) + P(B) (tj. P(A B) = P(A) + P(B) P(A B)) (v) Princip inkluse-exkluse. P(A B C) = P(A) + P(B) + P(C) P(A B) P(B C) P(A C) + P(A B C). Důkaz. (i) P( ) = 0: Ω a jsou disjunktní (Ω = ). Tudíž, P(Ω) = P(Ω ) = P(Ω) + P( ) což je možné pouze když P( ) = 0. (ii) B A, pak P(B) = P(A) + P(B \ A) P(A). Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 15 / 18

16 Základní vlastnosti pravděpodobnosti Důsledky axiomů Důkaz. (pokračování) (iii) Aditivita disjunktních je axiom. Množiny A a A c jsou disjunktní a A A c = Ω. Tudíž P(A) + P(A c ) = P(Ω) = 1. (iv) Pokud A B (a podobně A B), máme A B = A a A B = B. Tudíž, P(A B) + P(A B) = P(A) + P(B). Jinak, označíme-li, disjunktní sjednocení, je A = (A \ (A B)) (A B) (a podobně pro B) a A B = (A \ (A B)) (B \ (A B)) (A B) a tudíž P(A B) = P(A) P(A B) + P(B) P(A B) + P(A B) = P(A) + P(B) P(A B). A\(A B) A B B\(A B) Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 16 / 18

17 Základní vlastnosti pravděpodobnosti Důsledky axiomů Důkaz. (pokračování) (v) Podobně, využitím disjunktního rozložení množiny A B C podle následujícího Vénova diagramu, kde dosadíme (se zkratkou D = A B C) vztah P((A C) \ D) = P(A C) P(D) plynoucí z A C = ((A C) \ D) D a P((A \ (B C)) = P(A) + P(D) P(A C) P(A B) plynoucí z A = (A \ (B C) ((A C) \ D) ((A B) \ D) D (a podobně pro B a C), dostáváme pro P(A B C) tvrzení (v). C\(A B) (A C)\D (B C)\D A\(B C) D (A B)\D B\(A C) Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 17 / 18

18 Základní vlastnosti pravděpodobnosti Důsledky axiomů Věta Uvažujme pravděpodobnost P na Ω a náhodné jevy A 1, A 2,.... Pak (i) σ-subadditivita. P( n 1 A n ) n 1 P(A n). (ii) σ-spojitost. Pokud buď A n A (tj., A 1 A 2... and A = n 1 A n ) nebo A n A (A 1 A 2... a A = n 1 A n ), pak lim n P(A n ) = P(A). Důkaz. (i) P( n 1 A n ) = P( n 1 (A n \ m<n A m )) = n 1 P(A n \ m<n A m ) n 1 P(A n). (ii) A n A: P(A) = P( n 1 (A n \ A n 1 )) = n 1 P(A n \ A n 1 ) = lim N N n=1 P(A n \ A n 1 ) = lim N P(A N ). Roman Kotecký, Rudolf Blažek (FIT ČVUT) Základní pojmy pravděpodobnosti BI-PST, LS 2010/11, Přednáška 1 18 / 18