Podstawy Analiza zależności Statystyka opisowa STATYSTYKA. Stanisław Jaworski. Katedra Ekonometrii i Informatyki Zakład Statystyki

Transkrypt

1 Podstawy Analiza zależności Statystyka opisowa STATYSTYKA Stanisław Jaworski Katedra Ekonometrii i Informatyki Zakład Statystyki

2 Podstawy Analiza zależności Statystyka opisowa Wprowadzenie Wstęp Statystyka Populacja, próba, cecha Wymagane wiadomości Dystrybuanta Wybrane rozkłady prawdopodobieństwa Pytania

3 Podstawy Analiza zależności Statystyka opisowa Estymacja parametrów Estymacja punktowa Definicja Przykłady Estymacja przedziałowa Definicje Jedna populacja Dwie populacje Pytania

4 Podstawy Analiza zależności Statystyka opisowa Weryfikacja hipotez statystycznych Podstawowe pojęcia Hipoteza, test, statystyka Rodzaje błędów Porównanie z normą Porównanie średniej Porównanie zróżnicowania Porównanie frakcji Porównanie dwóch populacji Porównanie średnich Porównanie frakcji Test Wilcoxona Porównanie z rozkładem Test Chi-kwadrat zgodności Pytania

5 Podstawy Analiza zależności Statystyka opisowa Analiza korelacji, regresja Badanie zależności między dwiema cechami losowymi Wprowadzenie Weryfikacja niezależności cech Opis ilościowy, estymacja Badanie zależności między cechą losową a deterministyczną Model, opis ilościowy Weryfikacja niezależności cech Obszar ufności, Predykcja

6 Podstawy Analiza zależności Statystyka opisowa Testy nieparametryczne na niezależność Test Chi-kwadrat Wprowadzenie Oznaczenia Hipoteza oraz jej weryfikacja

7 Podstawy Analiza zależności Statystyka opisowa Elementy statystyki opisowej Dynamika zjawisk Indeksy agregatowe Analiza danych Szereg rozdzielczy Mierniki położenia i rozproszenia Koncentracja

8 Wstęp Wymagane wiadomości Pytania Cz eść I Wprowadzenie

9 Wstęp Wymagane wiadomości Pytania Statystyka Statystyka Nauka poświęcona metodom badania (analizowania) zjawisk masowych; polega na systematyzowaniu obserwowanych cech ilościowych i jakościowych oraz przedstawianiu wyników w postaci zestawień tabelarycznych, wykresów, itp.; posługuje się rachunkiem prawdopodobieństwa. Statystyka matematyczna Dział matematyki stosowanej oparty na rachunku prawdopodobieństwa; zajmuje się badaniem zbiorów na podstawie znajomości własności ich części.

10 Wstęp Wymagane wiadomości Pytania Populacja, próba, cecha Populacja. Zbiór obiektów z wyróżnioną cechą (cechami).obiektami mogą być przedmioty lub wartości cechy Próba. Wybrana część populacji podlegająca badaniu. Próba powinna stanowić reprezentację populacji w tym sensie, że częstości występowania w próbie każdej z badanych cech nie powinny się znacznie różnić od częstości występowania tych cech w populacji Cecha losowa. Wielkość losowa charakteryzująca obiekty danej populacji.

13 Wstęp Wymagane wiadomości Pytania Populacja, próba, cecha Rodzaje cech Cecha niemierzalna zwana też jakościową przyjmuje wartości nie będące liczbami (np. kolor, płeć,smakowitość) Cecha mierzalna zwana też ilościową przyjmuje pewne wartości liczbowe (np. długość, wytrzymałość, ciężar) Cecha (mierzalna) skokowa zwana też dyskretną nie przyjmuje wartości pośrednich (np. ilość bakterii, ilość pracowników, ilość pasażerów, ). Cecha (mierzalna) ciągła przyjmuje wartości z pewnego przedziału liczbowego (np. wzrost, waga, plon,czas obsługi)

17 Wstęp Wymagane wiadomości Pytania Dystrybuanta Dystrybuanta F jest funkcją określoną na zbiorze liczb rzeczywistych R wzorem F (x) = P{X x}, x R. Najważniejsze własności dystrybuanty 1. 0 F (x) 1 2. F ( ) = 0, F ( ) = 1 3. dystrybuanta jest funkcją niemalejącą 4. P{a < X b} = F (b) F (a)

18 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Zmienna losowa X ma rozkład dwupunktowy (X D(p)), jeżeli z dodatnimi prawdopodobieństwami przyjmuje jedynie dwie wartości x 1 i x 2: P(X = x 2) = p, P(X = x 1) = 1 p, 0 < p < 1. Zmienna losowa X ma rozkład dwumianowy (X B(n, p)), jeżeli P{X = k} = ( n k ) p k (1 p) n k, k = 0, 1,..., n.

19 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Schemat Bernoulliego. Wykonujemy dwuwynikowe doświadczenie. Wyniki nazywane są umownie sukces oraz porażka. Prawdopodobieństwo sukcesu wynosi p (porażki 1 p). Doświadczenie wykonujemy w sposób niezależny n krotnie. Niech zmienną losową X będzie ilość sukcesów. Zmienna losowa X ma rozkład B(n, p).

20 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Rozkład normalny N(µ, σ 2 ). Zmienna losowa X ma rozkład normalny o wartości średniej µ i wariancji σ 2, jeżeli jej funkcja gęstości wyraża się wzorem f µ,σ 2(x) = 1 σ x µ e ( σ ) 2, < x <. 2π Prawo trzech sigm P{ X µ < σ} = P{ X µ < 2σ} = P{ X µ < 3σ} =

21 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Rozkład N(0, 1) standardowy rozkład normalny

22 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Rozkład N(2, 1)

23 Wstęp Wymagane wiadomości Pytania Wybrane rozkłady prawdopodobieństwa Rozkład N(0, 2)

24 Wstęp Wymagane wiadomości Pytania Pytania Jaka jest różnica między cechą skokową i ciągłą podać przykłady każdej z nich. Wymienić typy cech i podać po jednym przykładzie. Podać znane nazwy rozkładów cech i jakiego typu są to cechy. Podać dwa przykłady cech o rozkładzie dwumianowym. Podać dwa przykłady cech o rozkładzie normalnym. Zmienna losowa ma rozkład N(20, 4). Ile wynosi P{X (16, 24)}? Omówić pojęcie populacji w badaniach statystycznych. Co to jest próba reprezentatywna? Jakie są zasady pobierania prób reprezentatywnych? Co to jest wnioskowanie statystyczne? Populacja i próba: wymienić przynajmniej dwie zasadnicze różnice.

25 Estymacja punktowa Estymacja przedziałowa Pytania Cz eść II Estymacja parametrów

26 Estymacja punktowa Estymacja przedziałowa Pytania Definicja Niech X 1, X 2,..., X n oznacza próbę z populacji oraz θ parametr charakteryzujący tę populację. Na podstawie próby chcemy oszacować (przybliżyć) wartość parametru θ. Estymator punktowy jest funkcją próby. Przybliża wartość parametru θ: ˆθ = ˆθ(X 1, X 2,..., X n)

27 Estymacja punktowa Estymacja przedziałowa Pytania Przykłady Estymacja punktowa parametrów cechy X N(µ, σ 2 ) Estymator średniej średnia arytmetyczna X = 1 n n X i = i=1 X1 + + Xn n Estymator wariancji wariancja próbkowa S 2 = 1 n 1 n (X i X ) 2 i=1 Estymator odchylenia standardowego S = S 2

28 Estymacja punktowa Estymacja przedziałowa Pytania Przykłady Estymacja punktowa parametru p cechy X D(p) Niech n oznacza liczbę obiektów wylosowanych z populacji, wśród których znalazło się k obiektów, które posiadają wyróżnioną właściwość. Przyjmując, że p oznacza prawdopodobieństwo wylosowania z populacji obiektu o wyróżnionej właściwości mamy: ˆp = k n Uwaga. Przyjmując dla i = 1, 2,..., n, że P(X i = 1) = p = 1 P(X i = 0), mamy ˆp = X.

29 Estymacja punktowa Estymacja przedziałowa Pytania Definicje Przedział ufności (estymator przedziałowy) jest przedziałem o końcach zależnych od próby, który z pewnym z góry zadanym prawdopodobieństwem 1 α pokrywa nieznaną wartość parametru θ: P{θ (θ(x 1,..., X n), θ(x 1,..., X n))} = 1 α. Poziom ufności jest to ustalone prawdopodobieństwo 1 α.

30 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Populacja z wyróżnioną cechą X Przedział ufności dla średniej µ w rozkładzie normalnym N(µ, σ 2 ) Wariancja σ 2 jest nieznana Poziom ufności: 1 α ( X t(α; n 1) S n, X + t(α; n 1) S n )

31 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja t(α; ν) jest stablicowaną wartością krytyczną rozkładu t (t Studenta) z ν stopniami swobody. Dwustronne wartości krytyczne Rozkładu t Studenta α ν

32 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Przykład. Na podstawie próby 1.1, 1.2, 0.8, 0.9, 1.2, 1.3, 1.0, 0.7, 0.8, 1.0 oszacować wartość średnią µ rozkładu obserwowanej cechy X N(µ, σ 2 ), na poziomie ufności 1 α = x = = (xi x) 2 = ( ) ( ) 2 = 0.36 s 2 = = 0.04, s = s 2 = 0.2

33 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja t(0.05; 9) = t(0.05; 9) s n = = 0.14 (1 0.14, ) = (0.86, 1.14) Wniosek. Średnia wartość cechy jest jakąś liczbą z przedziału (0.86, 1.14). Zaufanie do tego wniosku wynosi 95%.

34 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Przedział ufności dla wariancji w rozkładzie normalnym Średnia µ jest nieznana Poziom ufności: 1 α (X i X ) 2 (X i X ) 2 i χ 2 ( α ; n 1), i χ 2 (1 α ; n 1) 2

35 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja χ 2 (α; ν) jest stablicowaną wartością krytyczną rozkładu chi kwadrat z ν stopniami swobody. Wartości krytyczne χ 2 (α; r) ν α

36 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Przykład. Na podstawie próby 1.1, 1.2, 0.8, 0.9, 1.2, 1.3, 1.0, 0.7, 0.8, 1.0 oszacować zróżnicowanie rozkładu obserwowanej cechy x = = (x i x) 2 = ( ) ( ) 2 = 0.36 i s 2 = = 0.04, s = s 2 = 0.2

37 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Poziom ufności 1 α = 0.95, czyli α = χ 2 ( α 2 ; n 1) = χ2 (0.025; 9) = χ 2 (1 α 2 ; n 1) = χ2 (0.975; 9) = ( ) , 0.36 = (0.019, 0.133) Wniosek. Wariancja cechy jest liczbą z przedziału (0.019, 0.133). Zaufanie do tego wniosku wynosi 95%.

38 Estymacja punktowa Estymacja przedziałowa Pytania Jedna populacja Estymacja prawdopodobieństwa sukcesu Przedział przybliżony ( ) ˆp(1 ˆp) ˆp(1 ˆp) ˆp u 1 α 2, ˆp + u 1 α n 2 n Kwantyle u α rozkładu normalnego N(0, 1) α Na przykład u = 1.96

39 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Populacja 1, cecha X 1 Populacja 2, cecha X 2 Próby: X 11,..., X 1n1 ; X 21,..., X 2n2 Oznaczenia s 2 e = X i = 1 n i n i j=1 X ij, s 2 i = n i j=1 n 1 (X 1j X 1) 2 + n 2 (X 2j X 2) 2 j=1 j=1 n 1 + n 2 2 (X ij X i) 2 n i 1, s 2 r = s 2 e ( ) n 1 n 2

40 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Ocena różnicy między średnimi µ 1 µ 2 Ocena punktowa: X1 X 2 Założenia: 1. X 1 N(µ 1, σ 2 1), X 2 N(µ 2, σ 2 2) 2. X 1, X 2 są niezależne 3. σ 2 1 = σ 2 2 Przedział ufności (poziom ufności 1 α) ( X 1 X 2 t(α; n 1 + n 2 2)s r, X 1 X 2 + t(α; n 1 + n 2 2)s r )

41 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Przykład. Z dwóch populacji pobrano próby: 60, 62, 65, 63, 60 oraz 58, 53, 57, 56, 61. Ocenić różnicę średnich. x 1 = 62, 5 (x 1i x 1) 2 = 18, x 2 = 57, i=1 s 2 r = ( ) 5 5 (x 2i x 2) 2 = 34 i=1 = 2.6 t(0.05; 8) = ; t(0.05; 8)s r = 3.72 ( , ) = (1.28, 8.72) Wniosek. Różnica średnich jest liczbą z przedziału (1.28, 8.72)

42 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Ocena różnicy frakcji p 1 p 2 Założenia: X 1 D(p 1), X 2 D(p 2) Cechy X 1, X 2 są niezależne Próba 1: X 11, X 12,..., X 1n1 (X 1i = 0 lub 1) Próba 2: X 21, X 22,..., X 2n2 (X 2i = 0 lub 1) k 1 = n 1 i=1 X1i k 2 = n 2 i=1 X2i

43 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Ocena punktowa: ˆp 1 ˆp 2 = k 1 n 1 k 2 n 2 Przybliżony przedział ufności (poziom ufności 1 α) ˆp 1 ˆp 2 ± u 1 α 2 ˆp1(1 ˆp 1) n 1 + ˆp2(1 ˆp2) n 2

44 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Iloraz frakcji: p 1 p 2 (ryzyko względne) ln( ˆp1 ˆp 2 ) ± u 1 α 2 1 ˆp ˆp2 n 1ˆp 1 n 2ˆp 2 Przykład: Porównanie lekarstw ze względu na odsetek osób, które nie reagują na podany lek p 1 p 2 p 1 p 2 p 1/p

45 Estymacja punktowa Estymacja przedziałowa Pytania Dwie populacje Rozkład prawdopodobieństwa oraz dane Y Y X p 11 p 12 X n 11 n 12 p 21 p 22 n 21 n 22 Iloraz szans θ = p 11/p 12 p 21 /p 22 Estymator ilorazu szans ˆθ = ˆp 11/ˆp 12 ˆp 21 /ˆp 22 = n 11n 22 n 12 n 21 Przedział ufności dla ln(θ) ln(ˆθ) ± u 1 α 2 1 n n n n 22

46 Estymacja punktowa Estymacja przedziałowa Pytania Pytania Co to jest estymator? Co to znaczy, że estymator jest precyzyjny? Podać przynajmniej dwa różne oszacowania średniej wartości cechy? Co to jest przedział ufności? Co to jest poziom ufności? Jaka jest interpretacja poziomu ufności? Od jakich czynników i jak zależy długość przedziału ufności? Czy prowadzący doświadczenie może mieć wpływ na długość przedziału ufności? Na podstawie badań uzyskano dla średniej następujący przedział ufności (2, 13). Czy można uznać, że średnia w populacji jest równa 7 i dlaczego?

47 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Cz eść III Weryfikacja hipotez statystycznych

48 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Hipoteza, test, statystyka Hipoteza statystyczna dowolne przypuszczenie dotyczące rozkładu prawdopodobieństwa cechy (oznaczenie H 0). Testem hipotezy statystycznej nazywamy postępowanie mające na celu odrzucenie lub nie odrzucenie hipotezy statystycznej. Statystyką testową nazywamy funkcję próby na podstawie której wnioskuje się o odrzuceniu lub nie hipotezy statystycznej.

49 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Rodzaje błędów Błędem I rodzaju nazywamy błąd wnioskowania polegający na odrzuceniu hipotezy, gdy w rzeczywistości jest ona prawdziwa. Błędem II rodzaju nazywamy błąd wnioskowania polegający na nieodrzuceniu hipotezy, gdy w rzeczywistości jest ona fałszywa. Decyzja o hipotezie Hipoteza nie odrzucić odrzucić prawdziwa prawidłowa błędna fałszywa błędna prawidłowa

50 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Rodzaje błędów Błąd I rodzaju kontroluje się przez zadanie małej wartości dla poziomu istotności. Poziom istotności jest to górne ograniczenie prawdopodobieństwa popełnienia błędu I rodzaju. Błędu II rodzaju nie można kontrolować w taki sposób, jak błąd I rodzaju. W praktyce nie wiadomo, ile dokładnie wynosi prawdopodobieństwo popełnienia tego błędu.

51 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie średniej Cecha X ma rozkład normalny N(µ, σ 2 ) Średnia µ oraz wariancja σ 2 są nieznane Test Studenta (poziom istotności α) H 0 : µ = µ 0 Próba: X 1,..., X n Statystyka testowa Wartość krytyczna t(α; n 1) t emp = X µ 0 n. S Jeżeli t emp > t(α; n 1), to hipotezę odrzucamy.

52 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie średniej Przykład. W biochemicznym doświadczeniu badano czas życia komórek w pewnym środowisku. Dokonano ośmiu pomiarów uzyskując wyniki (w godzinach): 4.7, 5.3, 4.0, 3.8, 6.2, 5.5, 4.5, 6.0. Czy można uznać, że średni czas życia komórek w badanym środowisku wynosi 4 godziny? Cecha X czas życia komórki (X N(µ, σ 2 )) H 0 : µ = 4 Test Studenta; poziom istotności α = 0.05 x = 5, s = , t emp = , t(0.05, 7) = Weryfikacja: Ponieważ t emp > t(0.05, 7), odrzucamy hipotezę Wniosek: średni czas życia komórek w badanym środowisku nie wynosi 4 godziny.

53 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie zróżnicowania Cecha X ma rozkład normalny N(µ, σ 2 ) Średnia µ oraz wariancja σ 2 są nieznane H 0 : σ 2 = σ 2 0 Statystyka chi kwadrat (poziom istotności α) Próba: X 1,..., X n Statystyka testowa χ 2 emp = (X i X ) 2 i σ0 2 Wartości krytyczne χ 2 (1 α 2 ; n 1), χ2 ( α 2 ; n 1) Jeżeli χ 2 emp < χ 2 (1 α ; n 1) lub 2 χ2 emp > χ 2 ( α ; n 1) to hipotezę 2 H 0 : σ 2 = σ0 2 odrzucamy.

54 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie frakcji Cecha X D(p) p nie jest znane Statystyka testowa H 0 : p = p 0 u emp = ˆp p0 p 0 (1 p 0 ) n Wartość krytyczna: u 1 α 2 Jeżeli u emp > u 1 α 2, to hipotezę odrzucamy.

55 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie frakcji Przykład. Dziesięć lat temu odsetek dzieci chorych na astmę wynosił 4%. Czy odsetek ten uległ zmianie, jeżeli w próbie dwustu dzieci rozpoznano osiemnaście przypadków astmy? Niech X oznacza liczbę przypadków astmy wśród wylosowanych dzieci. Możemy założyć, że X B(200, p), gdzie p oznacza prawdopodobieństwo wylosowania dziecka chorego na astmę. Cel: Zweryfikować hipotezę H 0 : p = 0.04 Zadaję poziom istotności α = Wyznaczam ˆp = 0.09, u emp = (1 0.04) 200 Ponieważ u emp > u 0.975, hipotezę odrzucamy. = 2.887, u = 1.96 Wniosek: Odsetek dzieci chorych na astmę uległ zmianie.

56 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie średnich Cecha X 1 ma rozkład normalny N(µ 1, σ 2 1) Cecha X 2 ma rozkład normalny N(µ 2, σ 2 2) Średnia µ 1 oraz wariancja σ 2 1 są nieznane Średnia µ 2 oraz wariancja σ 2 2 są nieznane σ 2 1 = σ 2 2 test t Studenta H 0 : µ 1 = µ 2 t emp = X 1 X 2 S r Wartość krytyczna t(α; n 1 + n 2 2) Jeżeli t emp > t(α; n 1 + n 2 2), to hipotezę H 0 : µ 1 = µ 2 odrzucamy

57 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Porównanie frakcji Cecha X 1 ma rozkład dwupunktowy D(p 1) Cecha X 2 ma rozkład dwupunktowy D(p 2) Statystyka testowa H 0 : p 1 = p 2 ˆp 1 ˆp 2 u emp = ˆp(1 ˆp)( 1 n n 2 ) gdzie ˆp 1 = k1, ˆp 2 = k2 (k1 + k2), ˆp = n 1 n 2 (n 1 + n 2) Jeżeli u emp u 1 α/2, to hipotezę H 0 : p 1 = p 2 odrzucamy

58 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Wprowadzenie Przykład. Wybrano pięciu pacjentów, którzy w równym stopniu cierpieli na pewną chorobę. Trzech z nich wybrano losowo do grupy eksperymentalnej i poddano nowej kuracji. Po pewnym czasie wszystkich sklasyfikowano w zależności od stopnia zaawansowania choroby. Pacjent, którego sklasyfikowano jako najciężej chorego, otrzymał rangę 1, drugi w kolejności rangę 2 i analogicznie pozostali.

61 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Wszystkie możliwe układy rang Eksperymentalna (3,4,5) (2,4,5) (1,4,5) (2,3,5) (1,3,5) Kontrolna (1,2) (1,3) (2,3) (1,4) (2,4) Eksperymentalna (2,3,4) (1,3,4) (1,2,4) (1,2,3) (1,2,5) Kontrolna (1,5) (2,5) (3,5) (4,5) (3,4) Prawdopodobieństwo każdego układu, przy założeniu, że nowa kuracja nie ma efektu, wynosi ( ) 5 = Informacja, że pacjenci cierpią w równym stopniu na pewną chorobą nie wpływa na to prawdopodobieństwo.

64 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Ogólnie. Przypuśćmy, że mamy danych N obiektów. Spośród nich wybieramy losowo n do grupy eksperymentalnej. Pozostałych N n obiektów trafia do grupy kontrolnej. Niech S 1 < S 2 <... < S n będą rangami grupy eksperymentalnej. Wówczas ( ) N P H (S 1 = s 1, S 2 = s 2,..., S n = s n) = 1/, n gdzie P H ( ) oznacza prawdopodobieństwo przy założeniu, że hipoteza H : brak efektu grupy, jest prawdziwa.

65 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Test Wilcoxona W celu zbadania wpływu czynnika (na przykład efektu nowej kuracji) rozdzielamy losowo N obiektów do dwóch grup: n do eksperymantalnej, N n do kontrolnej. Po zakończeniu badań nadajemy obiektom rangi. Niech S 1 < S 2 <... < S n będą oznaczać rangi grupy eksperymentalnej. Hipotezę o braku wpływu czynnika odrzucimy na korzyść alternatywy, że jest efekt pozytywny, jeżeli rangi tej grupy okażą się istotnie duże, tzn. gdy W s := S 1 + S S n c, gdzie c jest wartością krytyczną wyznaczoną z równania (α poziom istotności) P H (W s c) = α

66 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Dla przykładu o pacjentach wyznaczymy rozkład zmiennej losowej W s oraz wartość c dla α = 0.1 (S 1, S 2, S 3) (3,4,5) (2,4,5) (1,4,5) (2,3,5) (1,3,5) W s (S 1, S 2, S 3) (2,3,4) (1,3,4) (1,2,4) (1,2,3) (1,2,5) W s w P H (W s = w) P H (W s 12) = P H (W s = 12) = 0.1 Zatem hipotezę H odrzucamy tylko wtedy, gdy W s = 12.

67 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Statystyka Manna-Withneya Niech X 1, X 2,..., X m będzie próbą kontrolną oraz Y 1, Y 2,..., Y n próbą eksperymentalną. Niech W XY liczba par (X i, Y j) dla których zachodzi X i < Y j Wówczas zachodzi W XY = W s 1 n(n + 1) 2 Statystykę W XY nazywamy statystyką Manna-Withneya

68 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Przykład. Chcemy sprawdzić czy zniechęcanie negatywnie wpływa na wynik testu Spośród dziesięciu ochotników losujemy pięciu i przydzielamy do grupy kontrolnej. Pozostałych do grupy eksperymentalnej. Każdej osobie dajemy test A do rozwiązania i po dwóch tygodniach test B. Grupę eksperymentalną krytykujemy przy rozwiązywaniu testu B. Obserwujemy różnicę: wynik A-wynik B.

72 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Wyniki Rangi Eksperymentalna Kontrolna Eksperymentalna Kontrolna Implementacja w pakiecie R eksperymentalna< c(5, 0, 16, 2, 9) kontrolna< c(6, -5, -6, 1, 4) wilcox.test(eksperymentalna,kontrolna,alternative= greater,exact=true)

73 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Wydruk z R Wilcoxon rank sum test data: eksperymentalna and kontrolna W = 19, p-value = alternative hypothesis: true location shift is greater than 0 Sprawdzić, że wartość statystyki W w procedurze wilcox.test jest wartością statystyki Manna Whithney a

74 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Przybliżenie rozkładem normalnym z poprawką na ciągłość: E(W s) = 1 2 n(n + 1); D2 (W s) = 1 mn(n + 1) 12 P(W s c) Φ ( c 1 n(n + 1) + ) mn(n + 1)/12

75 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Powiązania Przykład X 1 X 2 Y 1 X 3 Y 2 Y 3 Obserwacje Rangi Rangi połówkowe S1 S2 R1 S3 R2 R3 W s = S 1 + S 2 + S 3 (s1, s2, s3 ) (1.5,1.5,3) (1.5,1.5,5) (1.5,3,5) (1.5,5,5) (3,5,5) (5,5,5) P(s1, s2, s3 ) 1/20 3/20 6/20 6/20 3/20 1/20 P(W s 13) = 3/20 + 1/20 = 4/20 = 0.2 e = 3, d 1 = 2, d 2 = 1, d 3 = 3

76 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Przybliżenie rozkładem normalnym E(W s ) = 1 2 n(n + 1); D2 (W s ) = 1 12 mn(n + 1) 1 12 Rozkład statystyki W s E(W D(Ws ) s ) mn e (di 3 d i) i=1 N(N 1) zbiega do standardowego rozkładu ( normalnego, ) gdy m, n dążą do nieskończoności oraz max di i=1,...,e jest oddzielone od jedynki, gdy N N

77 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Alternatywa dwustronna Za pomocą prezentowanego testu Wilcoxona porównywaliśmy nowy zabieg ze standardowym. Porównanie to jest obciążone na korzyść zabiegu standardowego, tzn. prawdopodobieństwo decyzji na korzyść zabiegu standardowego (w sytuacji, gdy nie ma różnic między standardowym a nowym) wynosi 1 α (zwykle 0.9 lub więcej) Naszym celem jest teraz podjęcie decyzji, czy dwa zabiegi w ogóle się różnią. W tej sytuacji rozważane zabiegi odgrywają symetryczną rolę

78 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Alternatywa dwustronna Za pomocą prezentowanego testu Wilcoxona porównywaliśmy nowy zabieg ze standardowym. Porównanie to jest obciążone na korzyść zabiegu standardowego, tzn. prawdopodobieństwo decyzji na korzyść zabiegu standardowego (w sytuacji, gdy nie ma różnic między standardowym a nowym) wynosi 1 α (zwykle 0.9 lub więcej) Naszym celem jest teraz podjęcie decyzji, czy dwa zabiegi w ogóle się różnią. W tej sytuacji rozważane zabiegi odgrywają symetryczną rolę

79 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Mamy dwa zabiegi: A oraz B. N = m + n obiektów dzielimy losowo na dwie grupy. Na grupie o liczności m stosujemy zabieg A, a na grupie o liczności n zabieg B. Niech W A oraz W B oznaczają odpowiednie sumy rang. Hipotezę H o braku różnic między zabiegami odrzucamy wtedy, gdy wartość statystyki W B jest zbyt duża lub zbyt mała: Dobieramy c tak, aby P H ( W B 1 n(n + 1) c) = α 2 lub równoważnie P( W XY 1 mn c) = α 2 Interpretacja α: Prawdopodobieństwo błędnego uznania różnicy między zabiegami.

80 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Wybór lepszego zabiegu Dwa zabiegi są nowe. Chcemy podjąć decyzję, który zabieg jest lepszy. Nie chcemy jednak faworyzować jednego z niech. Wybieramy B, Wybieramy A, Zawieszamy decyzję, jeżeli W B 1 n(n + 1) + c 2 jeżeli W B 1 n(n + 1) c 2 jeżeli W B 1 n(n + 1) < c 2 Wybór c: α = P H (W B 1 2 n(n + 1) c) = P H(W B 1 n(n + 1) + c) 2 Interpretacja α: Maksymalne prawdopodobieństwo błędnego wyboru gorszego zabiegu.

81 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Porównywano dwie diety. W tym celu siedmiu szczurom przydzielono dietę A oraz pięciu dietę B (losowo). Obserwowano ubytek wagi. Po siedmiu tygodniach uzyskano wyniki: A B W B = = 28 Ponieważ 28 jest mniejsze od 1 n(n + 1) = 32.5, dane faworyzują A 2 Poziom krytyczny: P[W B 28] = P[W XY 13] = 0.265

82 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Model populacyjny N = n + m obiektów losujemy z populacji, n przydzielamy do grupy eksperymentalnej, m do kontrolnej. Przydział jest losowy. Wynik obiektu eksperymentalnego oznaczamy przez Y, a wynik obiektu kontrolnego przez X. Zatem X, Y są niezależnymi zmiennymi losowymi o dystrybuantach odpowiednio F oraz G: F (x) = P(X x), G(y) = P(Y y) Hipotezę o tym, że zabieg eksperymentalny nie ma wpływu zapisujemy w formie: H : F = G

83 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Twierdzenie Niech X 1,..., X m; Y 1,..., Y n będą niezależnymi zmiennymi losowymi o tym samym ciągłym rozkładzie F. Niech S 1 <... < S n oznaczają rangi Y ów przy wspólnym rangowaniu wszystkich N = n + m obiektów. Wtedy P H (S 1 = s 1,..., S n = s n) = 1 ( N n) dla każdego (s 1,..., s n) N n : 1 s 1 <... < s n N

84 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Wilcoxona Modele Model losowy do porównania dwóch zabiegów. Mamy N danych obiektów. Przydzielamy losowo m do grupy kontrolnej (grupa pod działaniem pierwszego zabiegu) oraz m do grupy eksperymentalnej (grupa pod działaniem drugiego zabiegu). Model populacyjny (porównanie dwóch zabiegów). W sposób całkowicie losowy wybieramy z populacji N obiektów. Również losowo przydzielamy m do grupy kontrolnej oraz m do grupy eksperymentalnej. Porównanie dwóch atrybutów lub dwóch podpopulacji poprzez losowanie z każdej podpopulacji. W sposób całkowicie losowy wybieramy m obiektów z pierwszej podpopulacji (wyznaczonej przez pierwszy atrybut) oraz n obiektów z drugiej podpopulacji (wyznaczonej przez drugi atrybut) Porównanie dwóch atrybutów lub dwóch podpopulacji poprzez losowanie z całej populacji. W sposób całkowicie losowy wybieramy z populacji N obiektów. Okazuje się, że m obiektów należy do pierwszej podpopulacji, a pozostałych n do drugiej.

85 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Chi-kwadrat zgodności Postać danych (próba) Klasa Liczebność 1 n 1 2 n 2.. k n k Oznaczenia F ustalony rozkład prawdopodobieństwa k ni t = Npi t, N = n i, i=1 p t i = P F {X przyjęła wartość z klasy i}

86 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Chi-kwadrat zgodności Hipoteza Statystyka testowa χ 2 emp = H 0 : X F k (n i ni t ) 2 Wartość krytyczna χ 2 (α; k u 1) (u jest liczbą nieznanych parametrów hipotetycznego rozkładu F ) i=1 n t i Wniosek. Jeżeli χ 2 emp > χ 2 (α; k u 1), to hipotezę H 0 odrzucamy

87 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Chi-kwadrat zgodności Przykład. Pracodawca przypuszcza, że liczba pracowników nieobecnych w różne dni tygodnia nie jest taka sama. Chcemy to sprawdzić na podstawie danych Dzień tygodnia Liczba nieobecnych Poniedziałek 200 Wtorek 160 Środa 140 Czwartek 140 Piątek 100

88 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Chi-kwadrat zgodności Cecha X dzień nieobecności pracownika H 0 : X ma rozkład Pon Wtk Śro Czw Ptk 1/5 1/5 1/5 1/5 1/5 Szereg rozdzielczy ma k = 5 klas. Hipotetyczny rozkład jest całkowicie określony w hipotezie, czyli u = 0 Wartość krytyczna χ 2 (α; k u 1) = χ 2 (0.05; 5 0 1) =

89 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Test Chi-kwadrat zgodności Wyznaczenie wartości statystyki χ 2 emp Klasa n i pi t ni t (n i ni t )2 /ni t ( ) Poniedziałek 200 1/5 148 = ( ) Wtorek 160 1/5 148 = ( ) Środa 140 1/5 148 = ( ) Czwartek 140 1/5 148 = ( ) Piątek 100 1/5 148 = χ 2 emp = Ponieważ χ 2 emp > χ 2 (0.05; 4), więc odrzucamy hipotezę H 0 Wniosek: Odrzucamy hipotezę o równomiernym rozkładzie nieobecności w tygodniu. Zatem przypuszczenie pracodawcy można uznać za uzasadnione

90 Podstawowe pojęcia Porównanie z normą Porównanie dwóch populacji Porównanie z rozkładem Pytania Pytania Co to jest hipoteza statystyczna? Podać przykład hipotezy statystycznej oraz przykład hipotezy, która nie jest statystyczna. Co rozumiemy pod pojęciem testu statystycznego? Jaki błąd wnioskowania nazywamy błędem I rodzaju? Co to jest poziom istotności? Jaka jest interpretacja poziomu istotności? Co to jest błąd II rodzaju? Zinterpretować wniosek: odrzucono weryfikowaną hipotezę na poziomie istotności Jakie założenia muszą być spełnione, by hipotezę dotyczącą różnicy między średnimi dwóch populacji można było weryfikować testem Studenta? Jak można te założenia sprawdzić? Jakim testem można zweryfikować hipotezę H 0 : µ = µ 0.

91 Korelacja prosta Regresja Cz eść IV Analiza korelacji, regresja

92 Korelacja prosta Regresja Wprowadzenie Obserwujemy dwie cechy: X oraz Y Obiekt (X, Y ) Czy cechy X oraz Y są zależne? Opis ilościowy zależności. Wnioski. Zakładamy, że łączny rozkład cech X, Y jest normalny. Założenie to oznacza, że przypuszczalna zależność między X i Y ma charakter liniowy

93 Korelacja prosta Regresja Weryfikacja niezależności cech Test współczynnika korelacji Pearsona H 0 : ϱ = 0 (Cechy X, Y są niezależne) Statystyka testowa (X i X )(Y i Ȳ ) i R = (X i X ) 2 (Y j Ȳ ) 2 i i Wartość krytyczna: r(α, n) Hipotezę odrzucamy, jeżeli R > r(α, n).

94 Korelacja prosta Regresja Opis ilościowy, estymacja Przy założeniu, że łączny rozkład cech X, Y jest normalny, średnia wartość cechy Y zależy liniowo od wartości cechy X : E(Y X = x) = β 0 + β 1x Funkcję f (x) = β 0 + β 1x nazywamy liniową funkcją regresji. Na podstawie par obserwacji (x i, y i), i = 1, 2,..., n, szacujemy parametry β 0 oraz β 1. Oszacowane parametry oznaczamy przez ˆβ 0 oraz ˆβ 1.

95 Korelacja prosta Regresja Opis ilościowy, estymacja Metoda najmniejszych kwadratów Szukamy takich parametrów β 0, β 1, które minimalizują sumę kwadratów reszt, n tzn. ε 2 i, gdzie reszty i=1 ε i = y i (β 0 + β 1x i), i = 1, 1,..., n Tak znalezione parametry wyrażają się wzorami: (x i x)(y i ȳ) i ˆβ 1 =, (x i x) 2 ˆβ0 = ȳ ˆβ 1 x i

96 Korelacja prosta Regresja Opis ilościowy, estymacja ε 4 > 0 ε 3 <0 Minimalizujemy sumę kwadratów reszt: i ε2 i =Min!

97 Korelacja prosta Regresja Opis ilościowy, estymacja Ocena przedziałowa parametrów funkcji regresji Przedziały ufności (poziom ufności (1 α)) β 1 ( ˆβ 1 t(α; n 2)S β1, ˆβ 1 + t(α; n 2)S β1 ) gdzie β 0 ( ˆβ 0 t(α; n 2)S β0, ˆβ 0 + t(α; n 2)S β0 ) Sβ 2 S 2 1 = (X i X ), S 2 S 2 (X i X ) 2 2 β 0 = (X i X i + X 2 ) 2 n i (Y j Ȳ )2 ˆβ 1 (X i X )(Y i Ȳ ) S 2 i i = n 2 i = vary (1 R2 ) n 2

98 Korelacja prosta Regresja Opis ilościowy, estymacja Przykład. Badano czy w pewnej grupie społecznej istnieje zależność między miesięcznymi wydatkami na produkty tytoniowe (X ) oraz alkoholowe (Y ). W tym celu wylosowano osiem rodzin uzyskując następujące wyniki: X Y Populacja. Rodziny w badanej grupie społecznej Cechy. X miesięczne wydatki na produkty tytoniowe Y miesięczne wydatki na produkty alkoholowe Założenie. Cechy X oraz Y mają łączny rozkład normalny

99 Korelacja prosta Regresja Opis ilościowy, estymacja Zadajemy poziom istotności α = 0.05 Rachunki. x = 63.88, ȳ = 36.50, (x i x) 2 = , i H 0 : ϱ = 0 (nie ma zależności między X i Y ) (y j ȳ) 2 = (x i x)(y i ȳ) i R = (x i x) = 2 (y j ȳ) 2 i j Wartość krytyczna r(0.05, 8) = j (x i x)(y i ȳ) = i = 0.85

100 Korelacja prosta Regresja Opis ilościowy, estymacja Wnioskowanie. Ponieważ R > r(0.05, 8), odrzucamy hipotezę zerową. Stwierdzamy, że między miesięcznymi wydatkami na produkty tytoniowe oraz alkoholowe istnieje zależność o charakterze liniowym (ϱ 0 ). Chcemy znaleźć analityczną postać tej zależności

101 Korelacja prosta Regresja Opis ilościowy, estymacja ˆβ 1 = = 0.67 ˆβ 0 = = 6.18 t(0.05; 6)S β1 = 0.41 Oszacowana zależność przeciętne miesięczne wydatki na produkty alkoholowe = 0.67 miesięczne wydatki na prod. tytoniowe 6.18

102 Korelacja prosta Regresja Opis ilościowy, estymacja Rysunek: Regresja Y względem X

103 Korelacja prosta Regresja Opis ilościowy, estymacja Interpretacja współczynnika kierunkowego oszacowanej funkcji regresji: Jeżeli jakieś rodziny wydają, w stosunku do innych rodzin, o złotówkę więcej na produkty tytoniowe, to tym samym na alkohol wydają średnio o około 67 groszy więcej; błąd statystyczny tej oceny wynosi 41 groszy: β 1 ( ; ).

104 Korelacja prosta Regresja Model, opis ilościowy Y zmienna zależna (objaśniana) X zmienna niezależna (objaśniająca) (Y 1, x 1), (Y 2, x 2),, (Y n, x n) próba Model. Y i = β 0 + β 1x i + ɛ i, i = 1,..., n Zakładamy, że ɛ i, i = 1,..., n, są niezależnymi zmienymi losowymi o tym samym rozkładzie normalnym N(0, σ 2 )

105 Korelacja prosta Regresja Model, opis ilościowy Estymacja punktowa. (x i x)(y i Ȳ ) i ˆβ 1 =, (x i x) 2 ˆβ0 = Ȳ ˆβ 1 x i Estymacja przedziałowa. β 1 ( ˆβ 1 t(α; n 2)S β1, ˆβ 1 + t(α; n 2)S β1 ) β 0 ( ˆβ 0 t(α; n 2)S β0, ˆβ 0 + t(α; n 2)S β0 ) Interpretacja oceny parametru β 1. Jeżeli wartość x zmiennej niezależnej zwiększymy o jednostkę, to średnia wartość cechy Y zmieni się o około ˆβ 1 jednostek, a dokładniej zmieni się o wartość z przedziału ˆβ 1 ± t(α; n 2)S β1.

106 Korelacja prosta Regresja Weryfikacja niezależności cech H 0 : β 1 = 0 (Y nie zależy od X ) Statystyka testowa F emp = ˆβ 2 1 S 2 β 1 = ˆβ 1 (x i x)(y i Ȳ ) i S 2 Hipotezę odrzucamy, jeżeli F emp > F (α; 1, n 2). F (α; 1, n 2) jest wartością krytyczną rozkładu F.

107 Korelacja prosta Regresja Obszar ufności, Predykcja Obszar ufności dla prostej regresji umożliwia nam wnioskowanie o wartościach średnich zmiennej Y jednocześnie dla wielu wybranych wartości zmiennej X. gdzie f (x) (ˆf (x) t(α; n 2)S Y ; ˆf (x) + t(α; n 2)S Y ) ˆf (x) = ˆβ 0 + ˆβ 1x SY 2 = S 2 1 n + (x x)2 (x i x) 2 i

108 Korelacja prosta Regresja Obszar ufności, Predykcja Rysunek: Obszar ufności

109 Korelacja prosta Regresja Obszar ufności, Predykcja Obszar predykcji umożliwia nam wnioskowanie o wartościach zmiennej Y jednocześnie dla wielu wybranych wartości zmiennej X. Y (x) (ˆf (x) t(α; n 2)S Y (x) ; ˆf (x) + t(α; n 2)S Y (x) ) gdzie Y (x) oznacza wartość zmiennej Y dla wybranej wartości x zmiennej X oraz S 2 Y (x) = S n + (x x)2 (x i x) 2 i

110 Korelacja prosta Regresja Obszar ufności, Predykcja Rysunek: Obszar predykcji

111 Test Chi-kwadrat Cz eść V Testy nieparametryczne na niezależność

112 Test Chi-kwadrat Wprowadzenie Obserwujemy dwie cechy: X oraz Y. Obiekt (X, Y ) Cechy X oraz Y są dowolnego typu. Wartości obu cech są podzielone na klasy. Test nie służy do badania kierunku powiązania cech Zaleca się, aby próba była na tyle duża, aby liczebności teoretyczne poszczególnych klas były równe co najmniej 5

113 Test Chi-kwadrat Oznaczenia Klasy Klasy cechy X cechy Y m 1 n 11 n n 1m 2 n 21 n n 2m.... k n k1 n k2... n km nij t = n i n j, N = k m N i=1 j=1 nij, ni = m j=1 nij, n j = k i=1 nij

114 Test Chi-kwadrat Hipoteza oraz jej weryfikacja Hipoteza H 0 : Cechy X, Y są niezależne α poziom istotności Statystyka testowa χ 2 emp = k m (n ij nij) t 2 n t i=1 j=1 ij Jeżeli χ 2 emp > χ 2 (α; (k 1)(m 1)), to hipotezę H 0 odrzucamy

115 Test Chi-kwadrat Hipoteza oraz jej weryfikacja Przykład. Badano związek pomiędzy wykształceniem (X ) a zarobkami (Y ). H 0: cechy X oraz Y są niezależne Test chi kwadrat niezależności (α = 0.05) Zbadano łącznie N = 950 osób Tabela obserwacji n ij podstawowe średnie wyższe ponad wyższe

116 Test Chi-kwadrat Hipoteza oraz jej weryfikacja Liczebności brzegowe: n 1 = = 202 n 2 = 158, n 3 = 190, n 4 = 183, n 5 = 217 n 1 = = 200 n 2 = 248, n 3 = 254, n 4 = 248. Liczebności teoretyczne: n t 11 = n t 43 = n1 n 1 N n4 n 3 N = = = =

117 Test Chi-kwadrat Hipoteza oraz jej weryfikacja Tabela liczbności teoretycznych n t ij podstawowe średnie wyższe ponad wyższe Wyznaczenie (n ij n t ij) 2 /n t ij dla wszystkich dwudziestu kombinacji i, j. (n 11 n t 11) 2 n t 11 = ( ) =

118 Test Chi-kwadrat Hipoteza oraz jej weryfikacja Tabela wartości (n ij n t ij )2 n t ij podstawowe średnie wyższe ponad wyższe Wartość statystyki testowej jest sumą wartości podanych w powyższej tabeli χ 2 emp =

119 Test Chi-kwadrat Hipoteza oraz jej weryfikacja W tablicach znajdujemy wartość krytyczną zmiennej losowej o rozkładzie chi kwadrat na poziomie istotności α = 0.05 oraz dla (4 1)(5 1) = 12 stopni swobody: χ 2 (0.05; 12) = Ponieważ χ 2 emp > χ 2 (0.05; 12), więc stwierdzamy, że istnieje zależność między wykształceniem i zarobkami.

120 Dynamika zjawisk Analiza danych Cz eść VI Elementy statystyki opisowej

121 Dynamika zjawisk Analiza danych Indeksy agregatowe OZNACZENIA Ilość Cena jednostkowa artykułu Rok 0 Rok 1 Rok 0 Rok 1 1 q 10 q 11 p 10 p 11 2 q 20 q 21 p 20 p k q k0 q 1k p k0 p 1k

122 Dynamika zjawisk Analiza danych Indeksy agregatowe OZNACZENIA Numer Wartość Wartość Wartość Wartość 1 q 10p 10 q 11p 11 q 10p 11 q 11p 10 2 q 20p 20 q 21p 21 q 20p 21 q 21p k q k0 p k0 q k1 p k1 q k0 p k1 q k1 p k0 Suma w 00 w 11 w 01 w 10..

123 Dynamika zjawisk Analiza danych Indeksy agregatowe Indeksy agregatowe Indeks zmian wartości I w = w 11/w 00 Indeks Laspayresa zmian ilości I L q = w 10/w 00 Indeks Laspayresa zmian cen I L p = w 01/w 00 Indeks Paaschego zmian ilości I P q = w 11/w 01 Indeks Paaschego zmian cen Ip P = w 11/w 10 Indeks Fishera zmian ilości Iq F = Iq L Iq P Indeks Fishera zmian cen I F p = I L p I P p

124 Dynamika zjawisk Analiza danych Szereg rozdzielczy SZEREG ROZDZIELCZY: opisuje rozkład wartości badanej cechy (np. cechy X ) Przedział klasowy Liczebność Liczebność skumulowana x 0 x 1 n 1 n (1) = n 1 x 1 x 2 n 2 n (2) = n 1 + n 2... x k 1 x k n k n (k) = n 1 + n n k (= n) Dla liczby p takiej, 0 p 1 niech x p, n p, h p oznaczają początek, liczebność i długość przedziału zawierającego obserwację o numerze p n oraz niech n (p) oznacza liczebność skumulowaną przedziału poprzedzającego przedział o początku x p. Niech ẋ i oznacza środek i tego przedziału.

125 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Mierniki położenia opisują poziom badanej cechy, tzn. w sposób syntetyczny charakteryzują wartości przyjmowane przez badaną cechę. Mierniki położenia średnia x 1 n k i=1 ẋini mediana Me ( x h 0.5 n n ) n (0.5) dolny kwartyl Q 1 ( x h 0.25 n n ) n (0.25) górny kwartyl Q 3 ( x h n n ) n (0.75) dominanta (moda) D x D + h D n D n D 1 2n D n D+1 n D 1 minimum Min x 0 maksimum Max x k

126 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Mierniki rozproszenia opisują zróżnicowanie cechy, tzn. w sposób syntetyczny opisują zróżnicowanie wartości przyjmowanych przez badaną cechę Mierniki rozproszenia rozstęp R Max Min wariancja S 2 1 k n 1 i=1 ni(ẋi x)2 odchylenie standardowe S = S 2 1 n 1 k i=1 ni(ẋi x)2 odchylenie przeciętne d odchylenie ćwiartkowe Q współczynnik zmienności V 1 k n i=1 ni ẋi x Q 3 Q 1 2 S x 100%

127 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Przykład

128 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia i x i 1 x i ẋ i n i n (i) SUMA 1000

129 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Mierniki położenia średnia x = mediana Me ( ) = dolny kwartyl Q ( ) = górny kwartyl Q ( ) = dominanta (moda) D minimum Min 0 maksimum Max =127.78

130 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Mierniki rozproszenia R = = 300 S 2 = 1 ( 155( ) ( ) ( ) 2) = S = = V = % = 99.1%

131 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Jeżeli rozkład wartości cechy X jest podobny do rozkładu normalnego, to w przybliżeniu 70% wartości tej cechy zawiera się w przedziale ( x S, x + S) spełnia nierówność (o ile x > 0) x x x 100% < V gdzie x wartość cechy X.

132 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Wielobok liczebności: {(ẋ i, n i) : i = 1, 2,... k}

133 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Wielobok skumulowanej liczebności: { ( ẋ i, n (i) ) : i = 1, 2,... k}

134 Dynamika zjawisk Analiza danych Mierniki położenia i rozproszenia Dodatkowe wyliczenia i ẋ i n i n (i) n (i) /n w i w (i) w (i) /w gdzie w i = n iẋ i, w (i) = w 1 + w w i oraz w = i wi

135 Dynamika zjawisk Analiza danych Koncentracja Krzywa koncentracji (Lorenza): {( n (i), w (i) n w ) : i = 0,..., k} Krzywa koncentracji obrazuje nierównomierność rozdziału ogólnej sumy wartości cechy pomiędzy poszczególne jednostki zbiorowości

136 Dynamika zjawisk Analiza danych Koncentracja Oś X : skumulowany odsetek dłużników Oś Y : skumulowany odsetek sumy pożyczek Brak koncentracji: n (i) n = w (i), dla i = 1,..., k. w

137 Dynamika zjawisk Analiza danych Koncentracja Współczynnik koncentracji Giniego G = a a + b