VIII WYKŁAD STATYSTYKA. 7/05/2014 B8 sala 0.10B Godz. 15:15

Transkrypt

1 VIII WYKŁAD STATYSTYKA 7/05/2014 B8 sala 0.10B Godz. 15:15

2 WYKŁAD 8 WERFIKACJA HIPOTEZ STATYSTYCZNYCH NIEPARAMETRYCZNE TESTY ISTOTNOŚCI

3 TEST ZGODNOŚCI χ 2 Problem: Populacja generalna ma dowolny rozkład o dystrybuancie należącej do pewnego zbioru Ω rozkładów o określonym typie postaci funkcyjnej dystrybuanty. Z populacji tej wylosowano niezależnie dużą próbę n-elementową, którą podzielono na r rozłącznych klas o liczebnościach n i w każdej klasie ( n=σ n i ). Otrzymano w ten sposób rozkład empiryczny. Na podstawie wyników tej próby sprawdzić hipotezę, że populacja generalna ma rozkład typu Ω, tzn: H o : F(x) є Ω, gdzie F(x) jest dystrybuantą populacji generalnej. Rozwiązanie: Z hipotetycznego rozkładu typu Ω obliczamy dla każdej z r klas wartości badanej cechy X prawdopodobieństwa p i, że zmienna losowa X o rozkładzie Ω przyjmuje wartości należące do klasy o numerze i. Z kolei mnożąc p i przez liczebność całej próby (n) otrzymuje się liczebności teoretyczne, które powinny były wystąpić w klasie i, gdyby populacja miała rozkład Ω, tzn gdyby H o była prawdziwa. Ze wszystkich liczebności praktycznych n i oraz hipotetycznych np i wyznacza się wartość statystyki: która ma rozkład χ 2 o k=r-j-1 stopniach swobody, gdzie j jest ilością parametrów szacowanych z próby Obszar krytyczny buduje się prawostronnie, wyznaczając. Jeśli: to H o należy odrzucić.

4 TEST ZGODNOŚCI χ 2 Cwiczenie 3. Losowa próba n=200 niezależnych wyników miesięcznych wydatków na żywność rodzin 3-osobowych dała następujące wyniki ( w tys.zł). Wydatki [kzł] 1,0-1,4 1,4-1,8 1,8-2, ,6 2,6 3,0 Liczba rodzin Zweryfikować na poziomie istotności α=0,05, że rozkład wydatków na żywność jest normalny. H o : F(x) є Ω gdzie Ω jest zbiorem wszystkich dystrybuant normalnych. Z tabeli uzyskujemy: s=0,43 kzł. Dalsze postępowanie znajduje się w poniższej tabeli, gdzie przedziału klasowego, a F(z i ) oznacza wartość dystrybuanty N(0,1) w punkcie z i.. dla prawego końca x i n i z i F(z i ) p i np i (n i -np i ) 2 1,4 15-1,39 0,082 0,082 16,4 1,96 0,12 1,8 45-0,46 0,323 0,241 48,2 10,24 0,21 2,2 70 0,46 0,677 0,354 70,8 0,64 0,01 2,6 50 1,39 0,918 0,241 48,2 3,24 0,07 3, ,082 16,4 12,96 0, , ,0 1,20 k=5-2-1=2 z tablicy rozkładu χ 2 : EXCEL, ROZKŁAD.CHI.ODW dla k=2 stopni swobody i α=0,05 mamy Ponieważ więc nie ma podstaw do odrzucenia H o

5 TEST NIEZALEŻNOŚCI χ 2 Badamy populację generalną ze względu na dwie cechy. Interesuje nas czy te cechy są ze sobą związane. Obie cechy są mierzalne: ANALIZA KORELACJI ( i REGRESJI) Przynajmniej jedna z nich jest niemierzalna ( np. zero-jedynkowa) TEST NIEZALEŻNOŚCI χ 2 TEST NIEZALEŻNOŚCI χ 2 : Wylosowano dużą próbę o liczebności n. Konstruujemy tablicę niezależności (o r wierszach i s kolumnach). W tabeli są elementy n ij gdzie i=1, 2,...r; j=1, 2,, s przy czym powinno być n ij 8. H o : cechy X i Y są niezależne czyli: P(X=x i, Y=y j )=P(X=x i )*P(Y=y j ) Wyznaczony z tablicy niezależności parametr 2 ma rozkład 2 o liczbie stopni swobody k= (r-1)(s-1). Prawostronny obszar krytyczny wyznaczamy z : ROZKŁAD.CHI.ODWR : 2 (α, k). Jeśli: 2 > 2 (α, k) to H o odrzucić (obie badane cechy są zależne)

6 TEST NIEZALEŻNOŚCI χ 2 (c.d) k= (r-1)(s-1) ROZKŁAD.CHI.ODW Jeśli: H o ODRZUCIĆ

7 TEST NIEZALEŻNOŚCI χ 2 (c.d) Przykład. W celu sprawdzenia czy nowy lek jest skuteczny na pewną chorobę wylosowano dwie grupy pacjentów chorych na tą chorobę. Pierwszej grupie o liczebności 120 podawano nowy lek, a drugiej o liczebności 80 dawano tradycyjne leki. Wyniki leczenia są w tabelce: Leczeni Bez poprawy Stan zdrowia po leczeniu Wyraźna Całkowite poprawa wyzdrowienie Badanym lekiem Tradycyjnie Na poziomie istotności α=0,001 zweryfikować hipotezę, że nowy lek poprawia istotnie stan zdrowia pacjentów. Rozwiązanie: Wysunięta hipotezę badawczą zamieniamy na hipotezę statystyczną, H o o niezależności obu badanych cech jakościowych (rodzaj leczenia i stan zdrowia po leczeniu). Jeżeli w oparciu o test niezależności 2 hipotezę H o należy odrzucić, to będzie oznaczać, że stan zdrowia po leczeniu zależy istotnie o zastosowania badanego leku => jego przydatność

8 TEST NIEZALEŻNOŚCI χ 2 (c.d) Leczeni Stan zdrowia po leczeniu Bez poprawy Wyraźna poprawa Całkowite wyzdrowienie n i. p i. Badanym lekiem ,60 Tradycyjnie ,40 n. j p. j 0,325 0,300 0,375 1, = = /200 = 0,60 65/200 = 0,325

9 TEST NIEZALEŻNOŚCI χ 2 (c.d) Leczeni Badanym lekiem Stan zdrowia po leczeniu Bez poprawy Wyraźna poprawa Całkowite wyzdrowienie n i. p i. 0,195 0,180 0, , ,130 0,120 0,150 Tradycyjnie , n. j p. j 0,325 0,300 0,375 1,00 0,325 *0,60 = 0,195 (p ij ) 0,325 *0,60 *200 = 0,195*200= 39 (np ij )

10 TEST NIEZALEŻNOŚCI χ 2 (c.d) n ij np ij (n ij - np ij ) 2 (n ij - np ij ) 2 / np ij ,26 0,44 5,00 13,88 0,67 7, ,75 2 =36,75 r=2; s=3 => k=(r-1)(s-1)=2 ROZKŁAD.CHI.ODWR => 2 (0,001, 2) =13,815 2 =36,75 > 2 (0,001, 2) =13,815 => H o odrzucić (podawanie pacjentom nowego leku w sposób istotny poprawia ich stan zdrowia)

11 TESTY SERII Definicja: Serią nazywamy każdy podciąg złożony z kolejnych elementów jednego rodzaju utworzony w ciągu uporządkowanych w dowolny sposób elementów dwóch rodzajów. Test losowości próby Dana jest populacja generalna o dowolnym rozkładzie. Z populacji tej pobrano próbę n-elementów. Sprawdzić hipotezę, że jest to próba losowa. Rozwiązanie: Z uporządkowanego wg. kolejności pobierania elementów do próby ciągu obliczamy medianę, me. Każdemu elementowi próby x i w tym ciągu przypisujemy symbol a jeśli x i <me, bądź symbol b jeżeli x i > me. Wyniki x i =me należy odrzucić. Otrzymujemy w ten sposób ciąg złożony z symboli a i b np. a bb aaaa bbbb a b aa b. W ciągu tym otrzymujemy pewną liczbę serii (tutaj 8). Statystyką k jest liczba serii. Przy założeniu prawdziwości hipotezy o losowości próby, liczba serii k ma znany i stablicowany rozkład zależny tylko od n 1 i n 2 liczebności elementów a i b.tablice rozkładu liczby serii podają taką wartość k α, że p(k k α )=α. Budujemy dwustronny obszar krytyczny dla przyjętego poziomu istotności, odczytując z tablic dwie wartości krytyczne k 1 i k 2, aby zachodziły relacje: Jeżeli zajdzie k 1 < k < k 2 to nie podstaw do odrzucenia hipotezy o losowości próby, w każdym innym przypadku, hipotezę tą odrzucamy.

12 ROZKŁAD SERII α=0,05 α=0,95 n 2 \ n n 1 \ n

13 Test losowości próby Ćwiczenie 3. W doświadczeniu farmakologicznym potrzebne są szczury o określonej wadze ciała. Po otwarciu klatki do próby wzięto pierwszych 15 zwierząt, które wyszły z klatki. Ich waga w [g] wynosiła kolejno: 530, 620, 560, 320, 480, 550, 490, 500, 460, 430, 380, 390, 360, 400, 370, Na poziomie istotności α=0,10 zweryfikować hipotezę, że taki dobór zwierząt do próby jest losowy. Rozwiązanie: Wyznaczamy medianę, która wynosi: me= 460 i wg. opisanego testu tworzymy ciąg: bbb a bbbb aaaaaa, stąd liczba serii k=4, liczba elementów a wynosi n 1 =7; liczba elementów b wynosi n 2 =7. Z tablicy rozkładu serii odczytujemy dla α=0,10 wartości krytyczne k 1 =4 oraz k 2 =11, wynika stąd, że hipotezę należy odrzucić ( otrzymaliśmy zbyt małą liczbę serii, k, by uznać próbę za losową. Prawdopodobnie dlatego, że najpierw z klatki wychodziły zwierzęta silniejsze, o większej wadze, potem mniejsze.

14 TEST SPRAWDZAJĄCY ŻE DWIE PRÓBY POCHODZĄ Z JEDNEJ POPULACJI Dane są 2 populacje generalne o dowolnych rozkładach badanej cechy. Wylosowano z nich próby o liczebnościach n 1 i n 2. Zweryfikować hipotezę że rozkłady nie różnią się, czyli hipotezę: H o : dwie próby pochodzą z jednej populacji. Rozwiązanie: Wyniki obu prób ustawiamy w jeden ciąg wg. rosnących wartości, oznaczając elementy próby z jednej populacji przez a, a z drugiej przez b. Odczytujemy liczbę serii k. Obszar krytyczny budujemy lewostronnie, odczytując z rozkładu serii dla odpowiednich α, n 1 i n 2 wartość krytyczną k α. Jeśli k k α to H o odrzucamy. Jeśli natomiast otrzymana liczb serii k spełnia nierówność k > k α to nie ma podstaw do odrzucenia hipotezy, że rozkłady populacji są takie same, czyli obie próby nie różnią się istotnie.

15 TEST SPRAWDZAJĄCY ŻE DWIE PRÓBY POCHODZĄ Z JEDNEJ POPULACJI (PRZYKŁAD) Przykład: Wykonano pomiary rezystancji elektrycznej dla 6-ciu wylosowanych próbek z dwu serii A i B preparatów i otrzymano następujące wyniki w kω: Próba A: 110, 112, 115, 98, 130, 123 Próba B: 88, 135, 140, 138, 95, 125. Za pomocą testu serii na poziomie istotności α=0,05 zweryfikować hipotezę, że obie próby pochodzą z jednej populacji o określonym rozkładzie. Rozwiązanie: Łączymy elementy obu prób ustawiając je w kolejności rosnącej: 88, 95, 98, 110, 112, 115, 123, 125, 130, 135, 138, 140 stąd: bb aaaaa b a bbb k=5; dla: α=0,05 ; n 1 =6 i n 2 =6 k α =3. Ponieważ: k=5 > 3= k α więc nie ma podstaw do odrzucenia H o => obie próby pochodzą z jednej populacji

16 TEST O LINIOWEJ POSTACI FUNKCJI REGRESJI Daną populację generalną badamy ze względu na dwie cechy: X i Y. Wylosowano z niej n elementów próby, otrzymując wyniki (x i, y i ). Na ich podstawie zweryfikować hipotezę, że funkcja regresji cechy Y względem X w populacji jest liniowa, tzn: y=ax+b Rozwiązanie: Z wyników próby metodą najmniejszych kwadratów wyznaczamy oszacowanie funkcji: oraz jej wartości dla wszystkich x i w próbie. Wartości y i z próby odpowiadające uporządkowanym wg. kolejności rosnącej x i oznaczamy symbolem a jeśli y i > (tj punkt empiryczny leży ponad prostą regresji), oraz symbolem b gdy y i < (tj. punkt empiryczny leży poniżej prostej). W uporządkowanym wg rosnących wartości x i ciągu wyników odczytujemy liczbę serii k. Z tablicy rozkładu liczby serii odczytujemy dla n 1 i n 2 oraz poziomu istotności α taką wartość krytyczną k α by p( k k α )=α. Jeśli otrzymana liczb serii k spełnia nierówność k k α to hipotezę o tym że regresja Y względem X jest liniowa należy odrzucić. Gdy zaś k > k α to nie ma podstaw do odrzucenia hipotezy. Wnioskowanie to jest słuszne gdy najmniejsza liczba serii wynosi k=3.

17 TEST O LINIOWEJ POSTACI FUNKCJI REGRESJI PRZYKŁADY n 1 =7; n 2 =8; α=0,05=> k α =3 a k=3 H o odrzucić, tj. Funkcja regresji nieliniowa n 1 =7; n 2 =8; α=0,05=> k α =3 a k=4 Nie ma podstaw do odrzucenia H o tj. Funkcja regresji liniowa

18 TEST ZNAKÓW TEST, że DWIE PRÓBY POCHODZĄ Z TEJ SAMEJ POPULACJI Dane są dwie populacje generalne o ciągłych dystrybuantach F 1 (x) i F 2 (x). Z populacji tych wylosowano jednakową liczbę parami odpowiadających sobie n elementów. Na podstawie wyników tych prób sprawdzić hipotezę, że obie próby pochodzą z tej samej populacji tzn H o : F 1 (x) = F 2 (x). Rozwiązanie: Badamy znak różnicy wyników w obu próbach i znajdujemy liczbę tych znaków, których jest mniej, oznaczamy ją przez r. Dla ustalonego poziomu istotności α i dla liczby par wyników n z tablicy liczby znaków odczytujemy taką wartość r α, że p( r r α )=α. Jeśli zajdzie: r r α, to H o odrzucamy. Czyli dwie próby pochodzą z dwu różnych rozkładów. Gdyby jakaś para miała identyczne wyniki (ich różnica=0), to ją w teście odrzucamy.

19 n r n r n r n r r- ROZKŁAD (LICZBY ZNAKÓW) α=0, Dla n>90 r jest największa liczbą całkowitą mniejsza niż: gdzie k=0,

20 TEST, że DWIE PRÓBY POCHODZĄ Z TEJ SAMEJ POPULACJI TEST ZNAKÓW- PRZYKŁAD Przykład: Celem stwierdzenia czy zastosowane szkolenie zwiększa wydajność pracy robotników wylosowano próbę n=14 pracowników i zbadano ich średnia wydajność pracy przed i po przeszkoleniu. Otrzymano nastepujące wyniki (wydajność pracy mierzoną ilością sztuk wyprodukowanych na godzinę: WYDAJNOŚĆ [ sztuk/godz] Przed szkoleniem Po szkoleniu Wzrost (+), spadek (-) Za pomocą testu znaków, na poziomie istotności 0,05 zweryfikować hipotezę, że wydajność pracy przed szkoleniem i po szkoleniu jest taka sama. Liczba znaków minus : r= 4. Z tablicy znaków dla: α=0,05 ; n=14 odczytujemy wartość krytyczną: r α =2. Ponieważ r=4 >2= r α, więc nie ma podstaw do odrzucenia hipotezy zerowej o jednakowej wydajności przed i po szkoleniu.

21 TEST RANGOWANYCH ZNAKÓW TEST, że DWIE PRÓBY POCHODZĄ Z TEJ SAMEJ POPULACJI Dane są dwie populacje generalne o ciągłych dystrybuantach F 1 (x) i F 2 (x). Z populacji tych wylosowano jednakową liczbę parami odpowiadających sobie n elementów. Na podstawie wyników tych prób sprawdzić hipotezę, że obie próby pochodzą z tej samej populacji tzn H o : F 1 (x) = F 2 (x). Rozwiązanie: Obliczamy różnice wyników dla wszystkich par. Rangujemy wartości bezwzględne tych różnic (tzn nadajemy im kolejne numery poczynając od 1 dla najmniejszej co do wartości bewzględnej różnicy). Wyznaczone rangi piszemy w dwu grupach, oddzielnie dla różnic dodatnich i ujemnych. Sumując rangi w tych grupach uzyskujemy sumę rang T + dla różnic dodatnich i sumę rang T - dla różnic ujemnych. Statystyką T jest mniejsza z tych dwu sum rang, tzn T=min {T +, T - }, ma ona określony rozkład T Dla ustalonego α i n odczytujemy T α takie, że: p(t T α )=α. Gdy T T α wtedy H o odrzucamy. Gdy występują jednakowe wartości różnic, to każdej z nich nadajemy rangę będącą średnią arytmetyczną rang, jakie by miały, gdyby nie były jednakowe.

22 ROZKŁAD T n α=0,05 α=0,

23 TEST, że DWIE PRÓBY POCHODZĄ Z TEJ SAMEJ POPULACJI TEST RANGOWANYCH ZNAKÓW- PRZYKŁAD Przykład: (Te same dane co w przykładze na test znaków). Celem stwierdzenia czy zastosowane szkolenie zwiększa wydajność pracy robotników wylosowano próbę n=14 pracowników i zbadano ich średnia wydajność pracy przed i po przeszkoleniu. Otrzymano następujące wyniki (wydajność pracy mierzoną ilością sztuk wyprodukowanych na godzinę: WYDAJNOŚĆ [ sztuk/godz] Przed szkoleniem(x i ) Po szkoleniu (y i ) y i -x i R + i 7 9, ,5 13 R - i Za pomocą testu rangowanych znaków, na poziomie istotności 0,05 zweryfikować hipotezę, że wydajność pracy przed szkoleniem i po szkoleniu jest taka sama. Z Tabeli: T + = suma R + i = 82,0 oraz T - = suma R - i =23,0, stąd: T=min {T +, T - }=23. Dla α=0,05 i n=14 otrzymujemy z rozkładu T: T α =21. Ponieważ T=23 >21= T α, więc nie ma podstaw do odrzucenia hipotezy zerowej o jednakowej wydajności przed i po szkoleniu.

24 TEST MEDIANY Dane są dwie populacje generalne o rozkładach dowolnych z dowolnymi dystrybuantami F 1 (x) i F 2 (x). Z populacji tych wylosowano dwie próby o liczebnościach n 1 i n 2. Na podstawie wyników tych prób sprawdzić hipotezę, że obie próby pochodzą z tej samej populacji tzn H o : F 1 (x) = F 2 (x). Rozwiązanie: Z wyników obu prób tworzymy jeden ciąg niemalejący, ustawiając wyniki w kolejności rosnącej. Wyznaczamy jego medianę me. Grupujemy wszystkie obserwacje w tablicę: Wyniki Próba I Próba II Razem > me me Razem Obliczamy statystykę χ 2 wg poniższego równania, rozkładu odwrotnego χ 2 Dla k=1 odczytujemy wartość krytyczną, by p( χ 2 χ 2 α)=α Jeśli zachodzi χ 2 χ 2 α to H o odrzucamy.

25 TEST MEDIANY (PRZYKŁAD) W dwu przedsiębiorstwach budowlanych A i B sporządzono próbki betonu. Wyniki badania wytrzymałości na ściskanie w MPa wynosiły: A: 19,0; 20,6; 20,6; 21,0; 21,2; 18,9; 19,8; 20,5; 21,6; 19,0; 19,9; 20,0; 17,5; 22,4; 21,9; 20,5; 20,0; 21,3; 18,0; 17,6; 19,6; 20,4; 21,9; 19,6; 20,8; 21,2 B: 20,2; 20,9; 18,6; 19,5; 22,5; 24,0; 21,5; 17,4; 19,5; 20,1; 19,3; 21,7; 20,1; 18,8; 18,1; 20,3; 22,9; 23,3; 18,5; 19,5; 21,1; 23,1; 21,7; 22,9; 22,5; 22,9; 22,0; 21,7; 20,9; 19,4 Na poziomie istotności 0,05 za pomocą testu mediany zweryfikować hipotezę, że oba przedsiębiorstwa wykonały beton o tej samej wydajności. Tworzymy z obu zbiorów wyników ciąg niemalejący n 1 +n 2 =26+30=56 me=1/2 * (x 28 +x 29 ) = 20,5 Wyniki Przedsiębiorstwo A Przedsiębiorstwo B Razem > me=20, me=20, Razem Traktując tę tablicę, jako tablicę niezależności obliczamy z niej wartość statystyki: =0,65 Ma ona rozkład 2 z k=(2-1)*(2-1) = 1 stopniem swobody. Odczytujemy wartość krytyczną: 2 (0,05; 1)=3,841. Ponieważ: 2 =0.65 < 3.841= 2 (0,05; 1) więc nie ma podstaw do odrzucenia H o (oba przedsiębiorstwa produkują beton o jednakowej wytrzymałości.

26 TEST SUMY RANG Jednym z najwygodniejszych, a równocześnie dość precyzyjnych testów dla wielu prób, jest tzw test sumy rang. Wartości uzyskanych w próbach nie klasyfikuje się jedynie na dwie grupy, jak w teście mediany, ale ustawia się je wg kolejności rosnącej i nadaje im rangi (tj kolejne numery). Problem: Danych jest k populacji generalnych o dowolnych rozkładach z ciągłymi dystrybuantami F 1 (x), F 2 (x),, F k (x). Z każdej tej populacji wylosowano niezależnie n i elementów do próby( i=1,2,, k). Na podstawie wyników tych prób sprawdzić hipotezę, że wszystkie próby pochodzą z tej samej populacji tzn H o : F 1 (x) = F 2 (x)=...=f k (x) Rozwiązanie: Wszystkim wynikom prób w liczbie n=σn i nadajemy rangi(numery kolejne) od 1 do n każdej próby oddzielnie wyznaczamy sumy rang T i ( i=1,2,, k). Z tych (przy jednakowych elementach dajemy średnią z mających kolejno nastąpić rang). Dla sum wyznaczamy wartość statystyki: Statystyka ta ma rozkład χ 2 z k-1 stopniami swobody, odczytujemy wartość krytyczną, by p( χ 2 χ 2 α)=α. Jeśli zachodzi χ 2 χ 2 α to H o odrzucamy.

27 TEST SUMY RANG (PRZYKŁAD) Przykład. Z 3 zakładów produkujących telewizory wylosowano odpowiednio: n 1 =10, n 2 =8, n 3 =12 sztuk i otrzymano następujące wyniki ich czułości w [μv]: Na poziomie istotności α=0,05 za pomocą testu sumy rang zweryfikować hipotezę, że czułość telewizorów, produkowanych przez te zakłady jest jednakowa. Rozwiązanie: Ogólna liczba wyników próby wynosi; n=n 1 +n 2 +n 3 =30.Nadajemy tym wynikom od najmniejszego do największego, kolejno rangi od 1 do 30: Zakład A Zakład B Zakład C Wynik Wynik Wynik

28 TEST SUMY RANG (PRZYKŁAD) Zakład A Zakład B Zakład C Wynik ranga Wynik ranga Wynik ranga = 8,29, liczba stopni swobody wynosi: 3-1=2, dla α=0,05 mamy: 2 (0,05; 2)=5,991 Ponieważ: 2 =8,29 > 5,991= 2 (0,05;2) Więc hipotezę H o należy odrzucić (tzn. wyprodukowane telewizory w A, B, C mają różną czułość) ,5 8, ,5 4 22, , ,5 27 Suma T 1 =127 Suma T 2 =85 Suma T 3 =253