Statystyka to nauka o metodach badań (liczbowo wyrażalnych) własności zbiorowości. Próba. Próba Populacja. Próba

Transkrypt

1 Statystyka Opisowa Wstępna analiza danych Rodzaje prezentacji danych Miary tendencji centralnej Miary zmienności (zróżnicowania) Miara asymetrii (skośności) Miara spłaszczenia

2 Statystyka to nauka o metodach badań (liczbowo wyrażalnych) własności zbiorowości. Próba Próba Populacja Próba

3 Populacja jest pojmowana jako zbiór wyników wszystkich pomiarów, którymi badacz jest zainteresowany. Próba jest podzbiorem wyników pomiarów wybranych z populacji. Pobierania próby dokonuje się w sposób losowy, tj. w taki sposób, żeby każda możliwa próba złożona z elementów miała taką samą szansę, że zostanie wybrana. Taką wybraną próbę nazywa się prostą próbą losową lub krócej próbą losową. Próba Wnioskowanie statystyczne - przebiega od próby do populacji Populacja

4 Przykład 1. W trakcie kontroli drogowej 25 przejeżdżających samochodów zanotowano dane: o liczbie pasażerów - cecha mierzalna, skokowa; o zarejestrowanej prędkości - cecha mierzalna, ciągła; o płci kierowcy - cecha niemierzalna. nr kontroli liczba pasażerów prędkość pojazdu [km/h] płeć kierującego k m m m k m m k m k m k m k m m k k m m k m k k m Cechy mogą być: mierzalne skokowe (np. liczba pasażerów) mierzalne ciągłe (np. prędkość pojazdu) niemierzalne (jakościowe, np. płeć)

5 Wykres punktowy danych o prędkości Wykres punktowy danych o liczbie pasażerów Wykres słupkowy danych wg płci kierowców Kobiety 14 Mężczyźni

6 Zakres prędkości [km/h] y0i - y1i Liczba samochodów ni Częstość względna wi = ni/n , , , , ,

7 Pobieranie próby losowej Losowanie proste ma spełniać następujące warunki: każda jednostka populacji ma jednakową szansę znalezienia się w próbie, każda n-elementowa próba ma jednakową szansę bycia wylosowaną. Istnieją dwa sposoby pobierania próby spełniające powyższe warunki: losowanie ze zwracaniem (losowanie proste niezależne), losowanie bez zwracania (losowanie proste zależne). Stosuje się też inne, bardziej skomplikowane, sposoby losowania. Problemem tym zajmuje się dział statystyki zwany metodą reprezentacyjną.

8 Pobieranie próby losowej Tworzenie wykazu wszystkich elementów populacji, tak zwanego operatu losowania. Losowe generowanie numerów elementów z utworzonego wykazu. Tablica liczb losowych służąca do generowania numerów

9 Miary opisowe rozkładu cechy Miary tendencji centralnej (Średnia, Mediana, Dominanta) Miary zróżnicowania, zmienności (Wariancja, Odchylenie standardowe, Odstęp międzykwartylowy, Współczynnik zmienności) Miary asymetrii (Współczynnik skośności,współczynnik asymetrii) Miary koncentracji (Kurtoza, Współczynnik Giniego)

10 P-tym percentylem w zbiorze liczb uporządkowanych według wielkości jest taka wartość obserwacji, poniżej której znajduje się (co najwyżej) P% liczb z tego zbioru. Miejsce P-tego percentyla określa wzór (n+1)p/100, gdzie n jest liczbą elementów zbioru. Pierwszy kwartyl Q1= 25-ty percentyl = wartość, poniżej której znajduje się 1/4 wyników obserwacji Drugi kwartyl (mediana) me= 50-ty percentyl = wartość, poniżej której znajduje się połowa obserwacji Trzeci kwartyl Q3= 75-ty percentyl = wartość, poniżej której znajduje się 3/4 wyników obserwacji

11 Przykład. Magazyn Forbes co roku publikuje listę najbogatszych osób na świecie. W roku 2007 majątek netto dwudziestu najbogatszych osób w miliardach dolarów wynosił odpowiednio: 33, 26, 24, 21, 19, 20, 18, 18, 52, 56, 27, 22, 18, 49, 22, 20, 23, 32, 20, 18. Znajdziemy 50-ty i 80-ty percentyl. Uporządkujmy najpierw dane od najmniejszej do największej: 18, 18, 18, 18, 19, 20, 20, 20, 21, 22, 22, 23, 24, 26, 27, 32, 33, 49, 52, 56 i ponumerujmy: Aby wyznaczyć 50-ty percentyl musimy wyznaczyć jego miesce wg wzoru (n+1)p/100=(20+1)50/100=10,5. Stąd odszukujemy wartość obserwacji na miejscu 10,5. 10-tą obserwacją jest 22, a 11-tą jest również 22. Zatem obserwacją, która stoi na miejscu 10,5 (w połowie między 10-tą i 11-tą) jest 22. Stąd 50-ty percentyl jest równy 22.

12 Podobnie dla 80-tego percentyla ,8 0, ,8 miejsce 80-tego percentyla przesunięcie 16-tej wartości 16-ta wartość obserwacji 80-ty percentyl

13 Średnia Średnia = średnia arytmetyczna wartości wszystkich wyników obserwacji: x = x 1 + x x n n 1. nx = x 1 + x x n 2. min 16j6n {x j} 6 x 6 max 16j6n {x j} 3. nx (x j x)=0 j=1

14 Średnia W obliczaniu średniej uwzględnione są wszystkie wartości obserwacji. Inaczej mówiąc, zmiana jakiejkolwiek wartości w zbiorze danych pociąga zmianę wartości średniej. Średnia jest bardzo wrażliwa na skrajne wartości obserwacji (bardzo niskie lub bardzo wysokie). Pojawienie się takich wartości znacznie obciąża wynik i ocenę tendencji centralnej

15 Średnia w populacji Gdy zbiór wyników obserwacji jest tożsamy z całą populacją (próbą jest populacja), to średnią oznaczamy grecką literą µ. Liczbę elementów populacji oznaczamy przez N nie przez n. Wówczas µ = x x N N

16 Mediana Mediana (wartość środkowa) = 50-ty percentyl. Medianę oznaczamy symbolem me. Jeśli x 1,, x n są kolejnymi uporządkowanymi rosnąco wartościami próby, to x (n+1)/2, gdy n nieparzyste me = (x n/2 + x n/2+1 ) / 2, gdy n parzyste Mediana nie jest wrażliwa na skrajne wartości. Mediana jest lepszą miarą tendencji centralnej w przypadku rozkładów o wyraźnej asymetrii (np. rozkład dochodów obywateli)

17 Dominanta Dominanta (moda) w zbiorze danych jest to wartość, która w tym zbiorze występuje najczęściej. Do wyznaczenia dominanty potrzebna jest wystarczająco duża liczba obserwacji. Zasadniczo dominantę należy wyznaczać na podstawie danych pogrupowanych w szereg rozdzielczy o tych samych rozpiętościach.

18 x =15, 85 mediana=dominanta=16 Wartość Częstość

19 Symetryczny zbiór wyników obserwacji Średnia=Mediana=Dominanta

20 I zbiór obserwacji II zbiór obserwacji I zbiór - dane rozproszone - średnia = II zbiór - dane skupione - średnia =

21 Wariancja Wariancją w zbiorze wyników obserwacji nazywamy przeciętne kwadratowe odchylenie poszczególnych wyników od ich średniej. Wariancja w próbie s 2 = np (x i x) 2 i=1 n 1 Wariancja w populacji 2 = NP (x i µ) 2 i=1 N

22 I zbiór obserwacji II zbiór obserwacji I zbiór - dane rozproszone, średnia = 6, wariancja = II zbiór - dane skupione, średnia = 6, wariancja = 1,

23 Odchylenie standardowe Odchyleniem standardowym w zbiorze wyników obserwacji nazywamy pierwiastek kwadratowy z wariancji Odchylenie standardowe w próbie s = p s 2 = v u t np (x i x) 2 i=1 n 1 Odchylenie standardowe w populacji = p 2 = v u t NP (x i µ) 2 i=1 N

24 I zbiór obserwacji II zbiór obserwacji I zbiór - dane rozproszone, średnia = 6, wariancja = 10, odchylenie = 3, II zbiór - dane skupione, średnia = 6, wariancja = 1,27, odchylenie = 1,

25 Rozstęp Rozstępem w zbiorze wyników obserwacji nazywamy różnicę między największą i najmniejszą zaobserwowaną wartością. RozstÍp = x max x min

26 2 I zbiór - dane rozproszone, średnia = 6, wariancja = 10, odchylenie = 3,16, rozstęp = 11-1= II zbiór - dane skupione, średnia = 6, wariancja = 1,27, odchylenie = 1,13, rozstęp = 8-4=

27 Odstęp międzykwartylowy Odstępem międzykwartylowym IQR w zbiorze wyników obserwacji nazywamy różnicę między trzecim (górnym) kwartylem Q3 i pierwszym (dolnym) kwartylem Q1. IQR = Q 3 Q 1 Odchylenie ćwiartkowe Q to połowa odstępu IQR Q =(Q 3 Q 1 )/2

28 pozycja kwartyla 3,25 9,75 Odstęp międzykwartylowy nr I zbiór obserwacji II zbiór obserwacji Q1 = 3,25 Q3 = 8, IQR=8,75-3,25=5,5 Q1 = 5 Q3 = 7 IQR=7-5=2

29 Skośność f(x) Symmetric Rozkład symetryczny distribution Right-skewed Rozkład prawoskośny distribution Mean = Median = Mode Mode Mean Średnia = Mediana = Dominanta Dominanta Średnia Mediana x f(x) Left-skewed Rozkład lewoskośny distribution Symmetric Rozkład symetryczny distribution dwumodalny with two modes Mean Mode Mode Mode Średnia Dominanta Dominanta Dominanta Mediana Mean Średnia = Mediana x

30 Współczynnik asymetrii w populacji A = NP i=1 x i µ 3 N A=0 symetryczny A>0 prawoskośny A<0 lewoskośny

31 Kurtoza (spłaszczenie) f(x) Leptokurtic Rozkład spiczasty distribution Platykurtic distribution Rozkład spłaszczony x

32 Absolutny współczynnik spłaszczenia K a = NP i=1 x i µ 4 N Kurtoza względna K = K a 3 K=0 spłaszczenie rozkładu normalnego K>0 rozkład bardziej spiczasty niż normalny K<0 rozkład bardziej spłaszczony niż normalny

33 Wstępna analiza danych Jest to bogaty zestaw technik graficznych, które: pozwalają na wielostronne spojrzenie na dane, ułatwiają ustalenie trendów i zależności, umożliwiają wyodrębnienie wyników istotnych od nietypowych lub odizolowanych, pozwalają ma szybki i syntetyczny opis zbioru danych.

34 Zestawienie danych w formie łodyga-liście Pozwala na bardzo szybki wgląd w dane. Przypomina histogram lub operację karbowania. Wykorzystuje fakt, że posługujemy się dziesiętnym systemem liczbowym. Łodygą jest liczba po opuszczeniu jej ostatniej cyfry (liścia); dla liczb: 105, 106, 107, 107, 109 wykres łodyga-liście ma postać

35 Zestawienie danych w formie łodyga-liście oup of 42 engineers to perform a given task: 11, 12, 12, 13, 15, 15, 15, 16, 17, 20, 21, 21, 21, 22, 22, 22, 23, 24, 26, 27, 27, 27, 28, 29, 29, 30, 31, 32, 34, 35, 37, 41, 41, 42, 45, 47, 50, 52, 53, 56, 60, 62 se a stem-and-leaf display to analyze these data

36 Wykres pudełkowy (box plot) Wykres pudełkowy jest obrazem następujących pięciu charakterystyk rozkładu danych: mediana, dolny kwartyl Q1, górny kwartyl Q3, najmniejszy wynik obserwacji, największy wynik obserwacji.

37 IQR Median Mediana Whisker Wąs Whisker Wąs X X Smallest observation within obserwacji 1.5(IQR) w of lower hinge Najmniejszy wynik granicach 1,5 IQR od Q1 Lower quartile Q1 (hinge) Upper quartile Q3 (hinge) Largest observation Największy wynik within obserwacji 1.5(IQR) w granicach 1,5 IQR of upper hinge od Q3

38 Obserwacja Outlier nietypowa Smallest Najmniejszy data wynik obserwacji point wewnątrz płotka not wewnętrznego below inner fence Half Wyniki the obserwacji data are mieszczące się w pudełku within the box Largest data Największy point wynik obserwacji not wewnątrz płotka exceeding wewnętrznego inner fence Obserwacja Suspected podejrzana o nietypowość outlier O X X * Outer Płotek zewnętrzny fence Q1-3 Q L 3(IQR) Inner Płotek wewnętrzny fence Q1-1,5 Q L 1.5(IQR) Mediana Q L Q Inner Płotek wewnętrzny fence Q1 Q3 U Q3 + 1,5 Q U + 1.5(IQR) Outer Płotek zewnętrzny fence Q3 + 3 IQR Q U + 3(IQR)

39 Wykres pudełkowy (box plot) Wykres pudełkowy pomaga: zlokalizować zbiór danych wokół jego podstawowej charakterystyki, jaką jest mediana, zidentyfikować rozproszenie danych biorąc pod uwagę długość pudełka reprezentującą wielkość IQR i długość wąsów reprezentującą rozstęp między wynikami obserwacji, bez brania pod uwagę wyników nietypowych lub podejrzanych o nietypowość, zidentyfikować ewentualną skośność rozkładu danych, zidentyfikować wyniki nietypowe, porównać dwa zbiory danych.

40 Right-skewed Prawoskośny Left-skewed Symmetric Small Mała wariancja variance Suspected Obserwacja podejrzana outlier * Inner Płotek fence wewnętrzny Lewoskośny Symetryczny A B Outer fence Płotek zewnętrzny Outlier Obserwacja nietypowa Data sets A and B seem to be similar; sets C and D are not similar. Zbiory danych A i B są podobne; zbiory danych C i D nie są podobne C D

41 Szereg rozdzielczy Jest to zbiorowość wyników obserwacji podzielona na klasy według określonej cechy jakościowej lub ilościowej z podaniem liczebności każdej z wyodrębnionych klas. Histogram to wykres utworzony ze słupków o różnej wysokości. Wysokość słupka reprezentuje częstość, z jaką pojawiały się wyniki obserwacji należące do klasy reprezentowanej przez słupek.

42 ,5 197,50 284,50 334, ,5 197,50 284,50 334, ,50 113,00 197,50 284,50 334, , ,50 14,99 114, , , , , ,5 15,50 115, ,50 115,00 201,00 288,00 338,00 458,5 15,75 115,25 201,25 288,25 338, ,90 115,40 201,40 288,40 348, ,90 115,40 201,40 288,40 348, ,90 115,40 201,40 288,40 348, ,5 201,5 288,5 348,5 490, ,5 201,5 288,5 348,5 490,90 17,20 116,70 202,70 289,70 349,70 490,90 17,20 116,70 202,70 289,70 349, ,50 117,00 203,00 290,00 350,00 499, ,5 203,5 290,5 370, ,5 203,5 290,5 370, ,5 228,5 298,5 378, ,5 233, ,5 248, ,5 258,5 299,90 379, ,5 268,5 299,99 379, ,5 273, ,5 277,

43

44 ,5 197,50 284,50 334, ,5 197,50 284,50 334, ,50 113,00 197,50 284,50 334, , ,50 14,99 114, , , , , ,5 15,50 115, ,50 115,00 201,00 288,00 338,00 458,5 15,75 115,25 201,25 288,25 338, ,90 115,40 201,40 288,40 348, ,90 115,40 201,40 288,40 348, ,90 115,40 201,40 288,40 348, ,5 201,5 288,5 348,5 490, ,5 201,5 288,5 348,5 490,90 17,20 116,70 202,70 289,70 349,70 490,90 17,20 116,70 202,70 289,70 349, ,50 117,00 203,00 290,00 350,00 499, ,5 203,5 290,5 370, ,5 203,5 290,5 370, ,5 228,5 298,5 378, ,5 233, ,5 248, ,5 258,5 299,90 379, ,5 268,5 299,99 379, ,5 273, ,5 277,

45 Klasa wydatków x Częstość, liczba klientów f(x) Klasa wydatków x Częstość względna 0 x < x < x < x < x < x < Razem x < /184 = 0, x < /184 = 0, x < /184 = 0, x < /184 = 0, x < /184 = 0, x < /184 = 0,070 Razem 1,000

46 50 Histogram częstości absolutnych 37,5 Częstość 25 12,5 0 Od 0 do 100 Od 100 do 200 Od 200 do 300 Od 300 do 400 Od 400 do 500 Od 500 do 600 Wydatki klientów w dolarach

47 0,3 Histogram częstości względnych Częstość względna 0,2 0,1 0 Od 0 do 100 Od 100 do 200 Od 200 do 300 Od 300 do 400 Od 400 do 500 Od 500 do 600 Wydatki klientów w dolarach

48 Ustalenie liczby klas - k k n k 1+ 3,322logn k k 1+ 3,322log

49 Klasa wydatków x Częstość, liczba 0 x < 50 klientów 23 f(x) 50 x < x < x < x < x < x < x < x < x < x < x < Razem 184

50 40 Histogram częstości absolutnych 30 Częstość Od 0 do 50 Od 50 do 100 Od 100 do 150 Od 150 do 200 Od 200 do 250 Od 250 do 300 Od 300 do 350 Od 350 do 400 Od 400 do 450 Od 450 do 500 Od 500 do 550 Od 550 do 600 Wydatki klientów w dolarach

51 Klasa dominująca To klasa, do której częstość należenia jest największa. 50 Histogram częstości absolutnych Częstość 37, ,5 0 Od 0 do 100 Od 100 do 200 Od 200 do 300 Od 300 do 400 Od 400 do 500 Od 500 do 600 Wydatki klientów w dolarach klasa dominująca: od 200 do mniej niż 300

52 Klasa medialna Medianą w zbiorze danych pogrupowanych jest taka wartość na osi poziomej, która dzieli powierchnię histogramu na dwie równe części. 50 Histogram częstości absolutnych Częstość 37, ,5 0 Od 0 do 100 Od 100 do 200 Od 200 do 300 Od 300 do 400 Od 400 do 500 Od 500 do 600 Wydatki klientów w dolarach 50% 50%

53 Klasa medialna Klasą medialną jest klasa zawierająca medianę. 50 Histogram częstości absolutnych Częstość 37, ,5 0 Od 0 do 100 Od 100 do 200 Od 200 do 300 Od 300 do 400 Od 400 do 500 Od 500 do 600 Wydatki klientów w dolarach

54 Klasa medialna Medianę dla pogrupowanych danych szacuje się wg wzoru: L + ( j/f )W, gdzie: L - dolna granica klasy medialnej, f - liczebność klasy medialnej, W - rozpiętość przedziału wartości odpowiadającego klasie medialnej, j - liczba danych, które trzeba minąć po osiągnięciu L, żeby dojść do mediany. Miejsce mediany = (n+1)/2 = 185/2 = 92,5

55 Klasa medialna Medianę dla pogrupowanych danych szacuje się wg wzoru: L + ( j/f )W, gdzie: L - dolna granica klasy medialnej, f - liczebność klasy medialnej, W - rozpiętość przedziału wartości odpowiadającego klasie medialnej, j - liczba danych, które trzeba minąć po osiągnięciu L, żeby dojść do mediany. Miejsce mediany = (n+1)/2 = 185/2 = 92,5 Klasa wydatków x Częstość 0 x < x < x < x < x < x < Razem =68 68<92,5< =118 Klasa medialna: od 200 do mniej niż 300.

56 Klasa medialna Medianę dla pogrupowanych danych szacuje się wg wzoru: L + ( j/f )W, gdzie: L - dolna granica klasy medialnej, f - liczebność klasy medialnej, W - rozpiętość przedziału wartości odpowiadającego klasie medialnej, j - liczba danych, które trzeba minąć po osiągnięciu L, żeby dojść do mediany. Klasa medialna: od 200 do mniej niż 300. Klasa wydatków x Częstość 0 x < x < x < x < L = 200, f = 50, W = 100, j = 92,5-68 = 24,5 400 x < x < Razem 184 me = L + ( j/f )W = 249

57 Średnia i wariancja Średnią i wariancję dla pogrupowanych danych szacuje się wg wzorów: x = k i=1 f i m i n s 2 = k f i (m i ) 2 nx 2 i=1 n 1 gdzie: k - liczba wyróżnionych klas, f i - częstość (liczebność) klasy o numerze i, - środek i-tej klasy. m i

58 Średnia i wariancja x = k i=1 f i m i n s 2 = k f i (m i ) 2 nx 2 i=1 n 1 Klasa wydatków x Częstość 0 x < x = = 258, x < x < x < x < x < Razem 184 s 2 = , s = s 2 = 21454,03 = 146,47 = 21454,03