Weryfikacja hipotez statystycznych - testy dla wartości średniej cz. 2

Transkrypt

1 Weryfikacja hipotez statystycznych - testy dla wartości średniej cz. 2 JERZY STEFANOWSKI Instytut Informatyki Politechnika Poznańska Studia niestacjonarne Informatyka 2016/17

2 Plan wykładu 1. Test t-studeta dla 1 zbiorowości 2. Testy dla dwóch zbiorowości. 3. Przykłady 4. Wspracie oprogramowania 5. Podsumowanie

3 Standardowy schemat postępowania (znane σ) Założenia: X ma rozkład normalny (lub zbliżony do normalnego), liczebność próby n jest wystarczająca. ma rozkład X Krok 1: Określenie hipotez: Krok 2: Identyfikacja statystyki testu i obliczenie jej wartości w oparciu o dane z próby. Z = X µ 0 σ Krok 3: Wybór poziomu istotności α. Krok 4: określenie obszarów krytycznych i zasad odrzucenia hipotezy H0, np. Krok 5: Podjęcie decyzji. X N( µ 0, σ X ) H 0 : µ = µ 0 1 : µ µ 0 σ = X σ n lub H H 1 : µ < µ 0 H 1 : µ > µ 0 Z z α

4 Inne przykłady testu Z Specjaliści sieci supermarketów podejrzewają, że mleko pochodzące od jednego z producentów ma niższą zawartość tłuszczu niż nominalna wartość 3.2%. Sprawdź, czy zawartość tłuszczu się zmniejszyła? Zakłada się, że deklarowane przez producenta odchylenie standardowe zawartości tłuszczu w mleku nie zmieniło się i nadal wynosi 0.05%. Faktyczna zawartość tłuszczu jest wielkością losową o rozkładzie normalnym.

5 Test wartości średniej w 1 zbiorowości Postanowiono poddać testowi hipotezę: H0 : µ = 3.2 przy hipotezie alternatywnej H1 : µ < 3.2 (test jednostronny) Pobrano próbę o liczności 30 (aby osiągnąć moc testu) 3.26; 3.12; 3.24; 3.16,., 3.14; 3.23; 3.09; 3.24 Pamiętaj, że deklarowane przez producenta odchylenie standardowe zawartości tłuszczu w mleku nie zmieniło się i wynosi 0.05%. Poziom istotności α = 0.05.

6 Zawartość mleka w W pobrano próbę 30 kartonów średnia w próbie oraz odchylenie 0.05 Statystyka testowa: x µ z = 0 = = = σ n Wartość krytyczna statystyki (0.05) = 1,645, czyli z kryt = Tradycyjnie Tablice statystyczne

7 Weryfikacja hipotez dla przypadku nieznanego σ Co robić, gdy σ w populacji jest nieznane? Z = X µ 0 σ X Odchylenie standardowe (S) z próby stanowi dobry estymator σ, S X = S n

8 Przykład testu Z - dwustronnego Firma kurierska dowożąca paczki na terenie pewnego miasta deklaruje, że na obszarze miasta średni czas dostarczenia przesyłki do miejsca przeznaczenia powinien wynosić 28 minut Dokonaj weryfikacji tej deklaracji Przykład za A.Aczel

9 Test dwustronny Postanowiono poddać testowi hipotezę: H0 : µ = 28 H1 : µ 28 (test dwustronny) Pobrano losową próbę z zapisu działania (100 zleceń w podobnym obszarze i podobnych warunkach brak czynników zakłócających) Odchylenie standardowe w rozkładzie czasu 5 min. Poziom istotności α = 0,05. Po obliczeniu z próby średni czas 31,5 min

10 To jeszcze nie koniec! Czytaj podręczniki! Licz samodzielnie! Dlaczego tak mało pytań?

11 Inne rozkłady statystyki testowej Czy nowo wyliczoną statystykę należy porównywać z tablicami rozkładu normalnego? Nie zawsze! Statystyka ma rozkład normalny tylko dla dużych prób! Karl Gauss, niemiecki matematyk

12 Rozkład statystyki testowej Dla mniejszych prób (n < 30) rozkład jest inny. Stosuje się rodzinę rozkładów nazywanych rozkładami t - Studenta William Gosset Born:1876 in Canterbury; Died: 1937 in Beaconsfield, England Obtained a post as a chemist in the Guinness brewery in Dublin in Invented the t-test to handle small samples for quality control in brewing. Wrote under the name "Student".

13 Rozkład t - Studenta Jest rozkładem symetrycznym względem x = 0, a jego kształt jest zbliżony do rozkładu normalnego standaryzowanego, lecz jest nieco bardziej spłaszczony. Wartość oczekiwana: E(T)=0 Wariancja: 2 k D ( T ) = k 2 Jest to rodzina rozkładów, które zależą od liczby stopni swobody k.

14 Rozkłady t - Studenta Różne liczby stopni swobody 0,500 Funkcja gęstości prawdopodobieństwa y=student(x;25) 0,500 Funkcja gęstości prawdopodobieństwa y=student(x;4) 0,375 0,375 0,250 0,250 0,125 0,125 0,000-3,50-1,75 0,00 1,75 3,50 0,000-3,50-1,75 0,00 1,75 3,50

15 Tablice rozkładu t - Studenta Co się znajduje w tablicach rozkładu? Stopnie swobody (ang. degrees of freedom) Miara stopnia w jakim wartości w zbiorze danych mogą się zmieniać spełniając jednocześnie warunki, które są nałożone na ten zbiór. Jak używać tablic rozkładu?

16 Przykład tablic rozkładu t - Studenta

17 Inna tabela z rozkładem t-studenta za Powell

18 Schemat postępowania (nieznane σ) Krok 1: Sprawdź założenia: czy zmienna X ma rozkład normalny (lub zbliżony do normalnego)? Jeśli NIE i ponadto liczebność próby n jest wystarczająca, to nie powinno się przeprowadzać testu (spróbuj powiększyć próbę). X ma rozkład normalny. Krok 2: Określenie hipotez: H 0 : µ = µ 0 1 : µ µ 0 H H 1 : µ < µ 0 lub H 1 : µ > µ 0 Krok 3: Sprawdzianem testu są statystyki. X µ 0 X µ : N( µ 0, SX ) lub T = 0 o rozkładzie t Studenta SX S X z n 1 stopniami swobody S gdzie S X = i S jest estymowany z próby n Krok 4: Wybór poziomu istotności α.

19 Schemat postępowania (nieznane σ) 2 Czy liczebność próby n > 30? Jeśli TAK to postępujemy standardowo stosując statystykę Z; Jeśli NIE to stosujemy statystykę t. Test jednostronny: H 0 : µ = µ 0 H0 odrzucamy, jeśli Test dwustronny: H 0 : µ = µ 0 T t α H 1 : µ < µ 0 lub H 1 : µ > µ 0 lub H 1 : µ µ 0 Hipotezę H0 odrzucamy, jeśli T t α 2 lub T t α 2 T t α

20 Obszary krytyczne Test jednostronny (prawostronny) H1 : µ < µ0 H0 odrzucamy, gdy p α (T tα) α tα

21 Obszary krytyczne Test jednostronny (lewostronny) H1 : µ < µ0 H0 odrzucamy, gdy p α (T -tα) α α -tα

22 Dwustronny obszar odrzucenia! Test dwustronny H1 : µ µ0 H0 odrzucamy gdy 2p α! tzn. T t α 2 lub T t α 2 α/2 α/2 -tα/2 tα/2

23 Zadania A teraz trochę popiszemy i policzymy!

24 Może mały przykład? W pewnym browarze oceniano, czy zawartość napoju jest istotnie niższa od 500 ml. Test istotności średniej dla jednej zbiorowości przy błędzie I rodzaju α = 5% H H 1 : µ < µ 0 0 : µ = µ 0 Próba losowa z produkcji 20 butelek.. 496; 480; 494;,483 ml Sprawdzianem testu jest statystka t o rozkładzie t- Studenta z df=20-1

25 Test jednostronny α Test dwustronny α /2

26 Trochę podglądu wartości statystyk t Oprogramowanie Statistica

27 Wprowadzenie do testowania dwóch zbiorowości Dotychczasowe schematy testów pomiar jednej zmiennej dla jednej zbiorowości (jedna seria pomiarowa); Pytanie czy wartość średnia spełnia jakiś warunek wobec pewnego progu stałej wartości Dalsze pytania mogą dotyczyć porównywanie parametru dotyczącego dwóch zbiorowości! Porównanie zdolności zawodowej studentów z dwóch różnych uczelni (czy są średnio tak samo zdolni? Czy któraś z uczelni lepiej średnio kształci ) Ocena skuteczności leku w pewnej terapii (grupa leczona vs. grupa kontrolna) Ocena oddziaływania pewnego bodźca na postawy klientów (np. skuteczność kampanii reklamowej) Typowy eksperyment statystyczny polega na pobraniu dwu próbek: badawczej, którą poddaje się działaniu danego czynnika kontrolnej, która nie podlega działaniu i służy do porównania

28 Etapy postępowania w testowaniu hipotez (test z) Pobrano 2 próby losowe: o liczności n1 z pierwszej populacji oraz o liczności n2 z drugiej populacji. W obu próbach zmierzono tą samą zmienną X, zakładamy że ma ona rozkłady N(µ 1,σ 1 ), N(µ 2,σ 2 ) oraz wariancje są znane Sformułowanie hipotez H0 : µ 1 = µ 2 H1 hipoteza alternatywna może być sformułowana na trzy sposoby: H1 : µ 1 > µ 2 (test jednostronny) H1 : µ 1 < µ 2 (test jednostronny) H1 : µ 1 µ 2 (test dwustronny)

29 Etapy postępowania w testowaniu hipotez (test z) Krok 2: Określenie statystyki testowej W teście istotności dla nieznanej średniej zbiorowości jest statystyka Z o rozkładzie normalnym standaryzowanym N(0,1). ( X Z = 1 X 2) ( µ 1 µ 2) 2 2 σ1 σ1 n 1 + n 1 Oblicz wartość Z na podstawie próby.

30 Etapy postępowania w testowaniu hipotez (test z) Krok 3/4 Ustalenie reguły decyzyjnej Ustalenie tzw. poziomu istotności α Znając rozkład statystyki określamy, które wartości są mało prawdopodobne (odrzuć H0), a które nie pozwalają na odrzucenie H0.

31 Reguły decyzyjne bez zmian jak poprzednie testy

32 Przykład do obliczenia Ocena wydatków posiadaczy kart kredytowych w USA VISA vs. American Express (potencjalnie zamożniejsi). Pobrano próby losowe: 1200 posiadaczy karty VISA średnie miesięczne obciążenie x1=452$ i odchylenie standardowe 212$ 800 posiadaczy karty AExp średnie miesięczne obciążenie x1=523$ i odchylenie standardowe 185$ Test dla α=0.01 Przykład wspólnie wyliczymy (patrz książka A.Aczel)

33 Przejście do wersji innego rozkładu Przypadek nieznanych odchyleń σ 1 i σ 2 standardowych lecz dla rozkładów rozważa się przy założeniu równości σ 1 = σ 2. (stosowny test aby to sprawdzić) Rozważa się wtedy zmodyfikowaną statystykę testową, która dla hipotezy zerowe ma rozkład t-studenta z n1+n2-2 stopniami swobody. t = 2 x 1 2 N1S1 + N2S N1 + N2 2 N1 N x 2 2 Podobne rozważanie dla tzw. małych prób. Nierówne wariancje, to test z tzw. poprawką estymacji wariancji

34 Przejście do wersji innego rozkładu Przypadek nieznanych odchyleń σ 1 i σ 2 standardowych lecz dla rozkładów rozważa się przy założeniu równości σ 1 = σ 2. (stosowny test aby to sprawdzić) Rozważa się wtedy zmodyfikowaną statystykę testową, która dla hipotezy zerowe ma rozkład t-studenta z n1+n2-2 stopniami swobody. t = 2 x 1 2 N1S1 + N2S N1 + N2 2 N1 N x 2 2 Podobne rozważanie dla tzw. małych prób. Nierówne wariancje, to test z tzw. poprawką estymacji wariancji.

35 Test różnic t - Studenta dla zmiennych niezależnych Kierowca może jechać dwoma różnymi drogami D1 i D2, ale nie jest pewien, która z nich jest szybsza. Eksperymentuje mierząc czas swojej podróży jeżdżąc codziennie inną drogą wyniki w tabeli poniżej. Dzień Droga D1 Dzień Droga D

36 Test różnic t - Studenta dla zmiennych niezależnych Stawia się hipotezę zerową H0 nie ma różnicy pomiędzy średnimi czasami podróży, Hipoteza alternatywna H1 mówi, iż różnica jest istotna. Liczba obserwacji N1 + N2 = = 11 Średni czas przejazdu x1= oraz x2=29.8 t = ( N x 2 1 x 2 1) S + ( N2 1) S N + N N N N N 2 2 Wartość statystyki t po obliczeniach jest równa 2,928 Przy założonym poziomie istotności 0.05 i dla stopni swobody=9 wartość krytyczna tk jest równa (test dwustronny) Jaki wyciągamy wniosek?

37 Zadanie dodatkowe Podano dwa leki A i B obniżające ciśnienie dwom grupom pacjentów. Poniżej podane mamy wielkości mówiące o ile obniżyło się ciśnienie po podaniu specyfiku. Lek A 5,00 6,00 12,0 9,00 8,00 5,00 7,00 8,00 15,0 7,00 Lek B 6,00 5,00 11,0 5,00 3,00 4,00 6,00 6,00 4,00 9,00 3,00 2,00 Określ, który z leków jest skuteczniejszy z uwagi na zdolności do obniżania ciśnienia (test jednostronny). Proszę założyć poziom istotności α=0.05 Średnie Lek A x1=8,2 i s1=3,16; Lek B x2=5,33 i s2=2,57 T-oblicz 2,351 dalej n1=10, n2=12 i df= =20 T-kryt (0.05 i 20) jest (1.725) Jaka jest konkluzja

38 Inne zadanie rozwiąż w Excelu

39

40 Dostępne oprogramowanie - Excel

41 Pakiet SPSS IBM Analytics

42 Pakiet SPSS IBM Analytics Syntax dla Testu T dla prób niezależnych

43 Próby zależne vs. niezależne Próby niezależne porównujemy ze sobą w tym samym czasie dwie zbiorowości, różniące się poziomem zmiennej niezależnej (np. klienci sklepu, mężczyźni i kobiety itp.) Obie próby są odzwierciedleniem dwóch różnych populacji a struktura jednej z nich nie ma żadnego wpływu na strukturę drugiej Próby zależne należą do tej samej grupy obiektów badanych, badane są wielokrotnie w kolejnych jednostkach czasu lub w tym samym czasie gdy dokonujemy pomiaru wielu zmiennych (np. ta sama grupa przed i po eksperymencie)

44 Test różnic t-studenta dla zmiennych zależnych Hipoteza zerowa Dla każdej pary liczb (w obu seriach) x_i oraz y_i obliczamy ich różnicę d_i = x_i y_i Inne sformułowanie hipotez Obliczenia H 0 : µ = µ 0 H 0 : µ(d) = 0 Zakładając, że populacja różnic ma rozkład normalny obliczamy dla wyników z prób d_i ich wartość średnią d oraz odchylenie standardowe Sd Statystyka testowa t = d Sd n ma rozkład t-studenta o n-1 stopniach swobody Spójrz Koronacki, Mielniczuk wersja z wartością progu H 0 : µ(d) = d0

45 Test różnic t-studenta dla zmiennych zależnych Przykład: Pewnej grupie 10 pacjentów leczonych na nadciśnienie podawano odpowiedni lek. Wyniki pomiarów pewnego parametru krwi przed leczeniem (sytuacja A) oraz po leczeniu (B) są następujące: Pacjent Syt. A Syt. B d Pytanie: Czy stosowanie leku powoduje istotną spadek poziomu parametry krwi (powiązanego z spadkiem ciśnienia tętniczego krwi).

46 Test różnic t-studenta dla zmiennych zależnych (2) Test: H H : µ µ : µ = µ 0 Pacjent Syt. A Syt. B d Obliczenia: d(śr)=36.5 i odchylenie Sd= Statystyka testowa t = = Wartość krytyczna dla α = 0.05 i df=9 jest t(kryt)=2.262

47 Dostępne oprogramowanie - Statistica

48 Statistica niezależne próby

49 Przykład ciąg dalszy

50 Przegląd różnych testów istotności różnic Za książką F.Clegg

51 Literatura Statystyka dla studentów kierunków technicznych i przyrodniczych, Koronacki Jacek, Mielniczuk Jan, WNT, Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych. G.Wieczorkowska, Scholar, Przystępny kurs statystyki, Stanisz A., Po prostu statystyka, Clegg F., Statystyczna analiza wyników badań, Dobosz M., I wiele innych

52 Dziękuję za uwagę Więcej możesz znaleźć na Czytaj także podręczniki