1 Wykład 6 Przykład 1.1 Podczas rozprawy sadowej, wykorzystujac zebrane dowody i zeznania świadków, sedzia musi odpowiedzieć napytanie:czy prawda jest,úze podsadny jest winien? Zadanie to moúzna przedstawić wjezyku testowania hipotez: H 0 : H 1 : Podsadny jest niewinny Podsadny jest winien Decyzja, podejmowana przez sad, polega na wyborze hipotezy, która jego zdaniem jest prawdziwa. Sad moúze jednak popełnić jeden z dwóch moúzliwych błedów: lub teúz H 0 jest prawdziwa, a sad twierdzi, úze H 1 jest prawdziwa ( sad skazał niewinnego) H 1 jest prawdziwa, a sad twierdzi, úze H 0 jest prawdziwa ( sad uwolnił winnego) Skutki tych błedów sa róúzne. W prawodawstwie wielu krajów przyjmuje sie, úze pierwszy bład jest bardziej dotkliwy - sady skazuja gdy dysponujamocnymiar- gumentami przeciw podsadnemu. Ten sposób postepowania nazywa sie zasada domniemania niewinności. Jeúzeli θ jest parametrem modelu statystycznego, układ dwóch hipotez moúze być sformułowany jako: H 0 : θ Θ 0 H 1 : θ Θ 1, oraz Θ 0 Θ 1. W post epowaniu, prowadzacym do rozstrzygni ecia, która ztychdwóchhipotezjestprawdziwa,moúzemy popełnić dwabł edy: bład pierwszego rodzaju: twierdzimy, úze H 1 jest prawdziwa gdy H 0 jest prawdziwa bład drugiego rodzaju: twierdzimy, úze H 0 jest prawdziwa gdy H 1 jest prawdziwa Optymalne post epowanie powinno prowadzić do zmniejszenia ryzyka popełnienia bł edu. Niestety, nie moúzna uniknać popełnienia obu bł edów jednocześnie. Zazwyczaj, przy próbie zminimalizowania bł edu pierwszego rodzaju zwi eksza sie szansa popełnienia bł edu drugiego rodzaju. Podobnie jest z bł edem drugiego rodzaju. Aby uniknać kłopotów post epuje si e wstatystycepodobnie jak w orzecznictwie sadowym: obowiazuje zasada domniemania prawdziwości hipotezy zerowej, czesto nazywana zasada konserwatyzmu. Zasada domniemania prawdziwości hipotezy zerowej oznacza, úze chcemy mieć gwarancje, úze bład pierwszego rodzaju 1 nie wystapi zbyt cz esto. Musimy 1 awiec bład polegajacy na tym, úze odzrucamy hipotez e zerow a, gdy jest ona prawdziwa 61
wi ec określić dopuszczalnagranicebł edu I rodzaju. Spośród wszystkich znanych nam sposobów podj ecia decyzji odrzucenia hipotezy zerowej, spełniajacych ten warunek, wybieramy ten, który daje najmniejszy bład II rodzaju. Jeúzeli jako hipotez e zerowa wybierzemy stan wiedzy przed przeprowadzeniem eksperymentu to zasada domniemania prawdziwości hipotezy zerowej oznacza, úze przyjmiemy nowe fakty 2 jedynie wtedy, gdy jej odrzucenie b edzie dobrze udokumentowane. Podobnie, jak w post epowaniu sadowym, gdzie odrzucenie hipotezy o niewinnościmusibyćdobrzeudokumentowane(w atpliwości sa uwzgledniane z korzyścia dla oskarúzonego). DeÞnicja 1.1 Hipoteze nazywamy prosta jeúzeli zbiór parametrów jakreślaj a- cych jest jednoelementowy. Hipoteza jest złoúzona jesli nie jest prosta. Przykład 1.2 Rzucamy moneta i chcielibyśmy dowiedzieć si e, czy moneta jest symetryczna czy niesymetryczna. Układ dwóch hipotez w tym przypadku byłby nastepuj acy: H 0 : θ 1 2, H 1 : θ 6 1 2 Hipoteza zerowa jest prosta, hipoteza konkurencyjna jest złoúzona. Przykład 1.3 Obserwujemy w doświadczeniu wartości pewnej zmiennej o dystrybuancie F, pochodzacej z rodziny dystrybuant F. Chcemy rozstrzygnać, czy ma ona rozkład normalny.układ dwóch hipotez w tym przypadku jest nastepu- jacy: H 0 : F N {N (µ, σ) :µ R, σ (0, ]} H 1 : F F N Wtymprzykładzie zarówno hipoteza zerowa jak i konkurencyjna sazłoúzone. DeÞnicja 1.2 Hipoteza, w której zbiór parametrów jest podzbiorem R k nazywa sie hipoteza parametryczna, w przeciwnym przypadku mówimy o hipotezie nieparametrycznej. Dodatkowo, jeśli w hipotezie zerowej jest mowa o typie rozkładu, to mówimy o hipotezie zgodności. Hipotezy w przykładzie 1.2 sa parametryczne, natomiast w przykładzie 1.3 sa nieparametrycznymi hipotezami zgodności. Decyzja o wyborze hipotezy powinna być oparta na obserwacjach i musi wskazywać, jakie warunki muszaonespełniaćabymoúzna było odrzucaćhipoteze zerowa. A wi ec reguła podjecia decyzji oznacza wskazanie zbioru C R n, zwanego zbiorem krytycznym. Ustalenie zbioru krytycznego nazywa si e teúz wyborem testu statystycznego. Gdy obserwacja X C to b edziemy odrzucać hipotez e zerowa 3. W przeciwnym przypadku hipotezy zerowej nie b edziemy odrzucać. W post epowaniu sadowym zbiór krytyczny oznaczałby określenie, jakie dowody wystarcza do udowodnienia winy oskarúzonemu. Bład I rodzaju oznacza zdarzenie X C pod warunkiem, úze hipoteza zerowa jest prawdziwa. Miara szansyzajścia tego zdarzenia jest jego prawdopodobieństwo. 2 awiec odrzucimy hipotez e zerow a 3 co oznacza przyj ecie hipotezy konkurencyjnej 62
DeÞnicja 1.3 Rozmiarem testu nazywamy prawdopodobieństwo sup {P (X C θ) :θ Θ 0 } Rozmiar testu jest wi ec najwi ekszym prawdopodobieństwem popełnienia bł edu I rodzaju. Podobnie moglibyśmy określić prawdopodobieństwo bł edu II rodzaju: sup {P (X / C θ) :θ Θ 1 } Zasada domniemania prawdziwości hipotezy zerowej oznacza, úze rozmiar testu nie przekroczy pewnej wartości α zwanej poziomem istotności: sup {P (X C θ) :θ Θ 0 } α Mówimy wtedy, úze test jest na poziomie istotności α. W praktyce przyjmuje si e dwastandardowepoziomyistotności: α 0.05 i α 0.01. Przykład 1. Rzucamy n 5razy moneta, w której prawdopodobieństwo wyrzucenia orła wynosiθ. Chcemyrozstrzygnać hipotez e przeciwko hipotezie H 0 : θ 1 2 H 1 : θ 1 Niech X oznacza liczbe orłów uzyskanych w tych 5 rzutach.jako zbiór krytyczny wybierzemy przedział C [0, 2]. Rozmiar tego testu wynosi: µ sup {P (X C θ) :θ Θ 0 } P X 2 θ 1 2 2X µ µ 5 5 1 1 i 2 2 i0 natomiast bład drugiego rodzaju wynosi sup {P (X / C θ) :θ Θ 1 } P 1 2X i0 µ 5 i µ 1 i µ 5 i 3 53 512.10 µ X>2 θ 1 Chcielibyśmy umieć konstruować moúzliwie najlepsze testy na zadanym poziomie ufności. Słowo najlepszy oznacza, úze wśród wszystkich testów na zadanym poziomie ufności ten test ma najmniejsze prawdopodobieństwo bł edu II rodzaju. Zagadnienie to w szczególnym przypadku, rozwiazali w 1928,Jerzy Neyman i Egon Pearson. Konstrukcja testów według Neymana i Pearsona opiera si enapojeciu ilorazu wiarygodności hipotez. Jerzy Spława-Neyman (198-1981), matematyk polski; Egon Sharpe Pearson (1895-1980) matematyk angielski 63
DeÞnicja 1. Iloraz wiarygodności hipotez H 0,H 1 jest ilorazem L x (H 0,H 1 ) L x (H 1 ) L x (H 0 ) gdzie L x (H) sup{θ Θ H : f X (x θ)} oraz gdzie Θ H jest zbiorem parametrów opisujacych hipoteze H a f X (x θ) jest gestości a(rozkładem w przypadku zmiennej dyskretnej) cechy X w punkcie x. Funkcje L x (H) nazywamy wiarygodnościa hipotezy H dla obserwacji x. Iloraz wiarygodności podaje, ile razy cz eściej wystapiłby wynik x gdyby prawdziwa była hipotezah 1 niúz gdyby prawdziwa była hipoteza H 0. Skłonni bylibyśmy odrzucać hipoteze H 0 na rzecz hipotezy H 1 na podstawie wyniku x gdyby iloraz wiarygodności L x (H 0,H 1 ) miał duúz awartość. Przykład 1.5 (cd przykladu (1.)) Iloraz wiarygodności hipotez gdy uzyskamy x orłów w 5 rzutach wynosi: L x (H 0,H 1 ) P X x θ 1 5 1 x 3 5 x P x X x θ 1 5 1 5 23 32 3 x 2 x 2 Widać, úze im mniejsza liczba wyrzuconych orłów, tym bardziej bylibyśmy skłonni odrzucaćhipotez e H 0 na rzecz hipotezy H 1,cojestzgodneznasz aintuicj a. Gdy, na przykład, w wyniku 5 rzutów wypadna 2 orły, to iloraz wiarygodności w tym przypadku wynosi 23 32 3 2.8 co sugeruje, úze hipoteza H 1 jest słabsza od hipotezy H 1. B edziemy rozwaúzać zbiory krytyczne postaci C {x : L x (H 0,H 1 ) >k}. Poniúzsze twierdzenie, znane pod nazwa lematu Neymana-Pearsona podaje konstrukcj e testów optymalnych, gdy testujemy prosta hipoteze przeciwko prostej hipotezie alternatywnej. Lemat 1.1 (Neymana - Pearsona) Niech H 0 : f f 0, H 1 : f f 1 i f 0 oraz f 1 bed ag estościami prawdopodobieństwa, ciagłymiidodatniminatym samym zbiorze. Wtedy wśród wszystkich testów o rozmiarze nie przekraczajacym α test o najmniejszym prawdopodobieństwie błedów II rodzaju dany jest wzorem: C {x : L x (H 0,H 1 ) >k}, gdzie k spełnia warunek Z α P (X C H 0 ) C f 0 (x) dx 6
úze Dowód. Niech D b edzie dowolnym testem na poziomie α. Oznacza to, P (X D H 0 ) α. Niech φ A (x) def ½ 1 gdy x A 0 gdy x/ A Wtedy dla kaúzdego x oraz 0 Z C 0 (φ C (x) φ D (x)) (f 1 (x) kf 0 (x)) (φ C (x) φ D (x)) (f 1 (x) kf 0 (x)) dx P (X C H 1 ) P (X D H 1 ) k (P (X C H 0 ) P (X D H 0 )) P (X C H 1 ) P (X D H 1 ) k (α P (X D H 0 )) P (X C H 1 ) P (X D H 1 ) T e ostatni anierówność moúzna zapisać w innej postaci: P (X / C H 1 ) P (X / D H 1 ) co oznacza, úze test C ma mniejszy bład II rodzaju niúz testd. Przykład 1.6 Niech X T (x 1,x 2,...,x n ) bedzie próbaprost azrozkładu normalnego N (µ, σ) i odchylenie standardowe σ jest znane. Chcemy testować hipotezy H 0 : µ µ 0, H 1 : µ µ 1 gdzie µ 1 >µ 0. Z lematu Neymana - Pearsona wynika, úze obszar krytyczny musi być skonstruowanyzapomoc ailorazuwiarygodności 2πσ 2 n/2 exp ³ P 2 n i1 (x i µ 1 ) 2 /2σ L x (H 0,H 1 ) ³ (2πσ 2 ) n/2 exp P 2 n i1 (x i µ 0 ) 2 /2σ Ã X n exp ³(x 2! i µ 0 ) 2 (x i µ 1 ) /2σ 2 i1 exp n 2x (µ 1 µ 0 )+ µ 2 0 µ 2 1 /2σ 2 Iloraz wiarygodności jest rosnac afunkcj a x tak wiec rozwiazyranie nierówności L x (H 0,H 1 ) >kjest równowaúzne rozwiazaniu nierówności x>k. Tak wi ec bedziemy odrzucać hipoteze H 0 gdy obserwacje X T (x 1,x 2,...,x n ) spełniać bed anierówność x>k 65
gdzie stała k jest rozwiazaniem równania P (x >k H 0 )α To ostatnie równanie da sie łatwo wyrazić przez dystrybuante Φ standardowego rozkładu normalnego, gdyúz zmiennalosowa Z X µ 0 σ/ n ma standardowy rozkład normalny. Korzystajac z tego faktu, µ X α P (x >k µ0 H 0 )P σ/ n > k µ 0 σ/ n µ k µ 1 Φ 0 σ/ n H0 Jeúzeli wprowadzimy oznaczenie z α def Φ 1 (1 α) to k z α σ/ n + µ 0. Na przykład, gdy α 0, 05 to z α 1.65,gdyα 0, 01 to z α 2.33 66