Podstawy statystyki opisowej

Transkrypt

1 Podstawy statystyki opisowej JERZY STEFANOWSKI Instytut Informatyki Politechnika Poznańska Aktualizacja 2017

2 Literatura Podstawowa: Statystyka dla studentów kierunków technicznych i przyrodniczych, Koronacki Jacek, Mielniczuk Jan, Statystyka w zarządzaniu, Amir D. Aczel (tłum), PWN, Warszawa Uzupełniająca Statystyka praktyczna, Starzyńska Wacława, PWN, Przystępny kurs statystyki, Stanisz A., 1997.

3 Wiele innych źródeł

4 Cóż to jest ta Statystyka?

5 Cele przedmiotu Praktyczne: Przedstawienie przystępnego wprowadzenia do metod statystycznej analizy danych i zdobycie umiejętności PRAKTYCZNEGO wykorzystania tych metod. Świadomość poprawnego wykorzystania metod (jakie informacje są niezbędnie, aby daną metodę użyć; założenia do spełnienienia; jakie obliczenia należy wykonać) oraz interpretacji wyników. Formalne karta ECTS / KRK Dostępne na stronie WWW Wydziału

6 Plan wykładu 1. Uwagi wstępne 2. Cel przedmiotu 3. Statystyka i pojęcia z nią związane 4. Statystyka opisowa i wnioskowanie statystyczne 5. Pomiar cech i skale pomiarowe 6. Opracowywanie materiału statystycznego (szeregi ) 7. Graficzne przedstawianie danych 8. Podsumowanie

7 Statystyka przedmiot i historia Terminy statystyka, statystyk, statystyczny w ich obecnym znaczeniu liczą stokilkadziesiąt lat. Słowo statystyka pochodzi od łacińskiego status, oznaczającym stan państwa. XVI wiek Włochów, których zadaniem było opisanie stanu państwa (włoskie stato ) za pomocą liczb nazywano statiti, a pracę, którą wykonywali statystyką. Statystyka rozumiana jako metoda liczbowego opisu stanu państwa, rozwinęła się dopiero w XVII i XVIII wieku, głównie w Niemczech i Anglii. Spojrzenie spisowo-państwowe książka pruskiego barona Jacoba Friedricha von Bielfelda The Elements of Universal Erudition (1770).

8 W okresie, gdy powstawały metody statystyki opisowej, rozwijana była równolegle metodologia rachunku prawdopodobieństwa. Matematycy: Pascal ( ), James Bernoulli ( ), Abraham De Moivre ( ), Laplace ( ), Gaus ( ), Joseph Louis Lagrange ( ), Leonhard Euler ( ) - wkład do rozwoju teorii prawdopodobieństwa. Połączenie tych dwóch dziedzin wiedzy zaowocowało powstaniem statystyki matematycznej, i teorią wnioskowania statystycznego.

9 Współczesne definicje Statystyka nauka zajmująca się metodami badania przedmiotów i zjawisk w ich masowych przejawach oraz ich ilościową, lub jakościową analizą z punktu widzenia dyscypliny naukowej, w której zakres wchodzą (Encyklopedia Powszechna PWN, W-wa, 1987) Zjawiska masowe procesy powtarzające się dużą ilość razy Przykłady: * Procesy gospodarcze (produkcja, konsumpcja, marketing, ), * Zjawiska demograficzne (urodzenia, starzenie się ludności, ), * Produkcja (kontrola jakości), pomiary eksperymentalne,...

10 Podstawowe pojęcia statystyki Statystyczna analiza danych to przetwarzanie danych oparte na metodach statystycznych. Z uwagi na zróżnicowany charakter danych reprezentujących badane zbiorowości jak i różne cele badań, w praktyce stosuje się różne metody statystyczne. Dwa podstawowe działy statystyki: Statystyka opisowa - obejmuje, metody gromadzenia, danych, ich prezentacji oraz sumarycznego (syntetycznego) opisu zebranego materiału. Statystyka matematyczna - (wnioskowanie statystyczne) zajmuje się metodami wnioskowania o populacji generalnej na podstawie danych pochodzących od jednostek stanowiących jedynie część tej populacji

11 Zbiorowość, populacja i próba Zbiorowość statystyczna - zbiór elementów (osób, obserwacji, przedmiotów,...) podobnych do siebie pod względem określonych cech (ale nie identycznych) i objętych badaniem statystycznym. Jednorodność badanej grupy - składa się z jednostek, które nie różnią się od siebie z punktu widzenia celu badania. Populacja - zbiór elementów obejmujący wszystkie jednostki będące przedmiotem badań. Badanie pełne vs. częściowe. Próba - podzbiór populacji, obejmujący część jej elementów wybranych w określony sposób (losowy lub celowy). Reprezentatywność badanie, które przeprowadza się na części danych, może być również odniesione wszystkich elementów, które nie są badane.

12 Typowe obszary badań statystycznych Analiza wyników eksperymentalnych Pomiary charakterystyk algorytmów, programów Ocena jakości produkcji Badania marketingowe Analiza skuteczności nowego leku Badania sondażowe Zarządzanie, ocena grup ludzkich Ekonometria Wiele innych

13 Lecz również Analiza sieci społecznych i eksploracja zawartości WWW Wyszukiwanie informacji (information retrieval), automatyczne tłumaczenie tekstów (statistical NLP) Rozpoznawanie obrazów Systemy uczące się (machine learning)

14 Pomiar cech i skale pomiarowe Model pominięcie części cech rzeczywistych badanego zdarzenia oraz akcentowanie tych aspektów, które są szczególnie użyteczne dla celu badania. Pomiar wybranych zmiennych niezbędnym aspektem definiowania modelu. Pomiar - przyporządkowanie liczb lub odpowiednich symboli obiektom zgodnie z określonymi regułami w taki sposób, aby odzwierciedlały one relacje zachodzące między tymi obiektami. Rodzaje pomiarów: 1. Liczba obiektów lub zdarzeń 2. Natężenie lub intensywność występowania pewnej właściwości, którą wykazuje obiekt lub zdarzenie. 3. Częstość (lub częstotliwość) występowania właściwości lub zdarzeń.

15 Jakie dane analizujemy?

16 Cechy zmienne - statystyczne Cecha statystyczna to podlegająca badaniu właściwość jednostki statystycznej Także - wielkość losowa charakteryzująca obiekty danej populacji lub interesująca badacza zmienna losowa Klasyfikacja Cechy statystyczne cech Mierzalne (ilościowe) Wyrażone za pomocą wartości liczbowych mianowanych Niemierzalne (jakościowe) Wyrażone w sposób opisowy Ciągłe Mogą przyjąć każdą wartość z pewnego przedziału liczbowego Skokowe (Dyskretne) Przyjmują skończoną, lub przeliczalną liczbę wartości

17 Skale pomiarowe SKALA NOMINALNA wartości na tej skali nie mają oczywistego uporządkowania (np. płeć), relacją umożliwiającą porównanie jest równoważność (równość) SKALA PORZĄDKOWA wartości mają jasno określony porządek (np. wykształcenie), oprócz równoważności możliwe są relacje porządkujące SKALA PRZEDZIAŁOWA (INTERWAŁOWA) różnice między wartościami mają sensowną interpretację, ale ich iloraz nie ma sensu (np. data urodzenia, temperatura w stopniach Celsjusza) SKALA ILORAZOWA (STOSUNKOWA) nie tylko różnice, ale także ilorazy wielkości mają interpretację (np. masa coś może być dwa razy cięższe), wielkości w skali ilorazowej można dodawać, odejmować i dzielić przez siebie

18 Skala nominalna

19 Skala porządkowa

20 Skale metryczne

21 zajmuje się metodami Gromadzenia danych statystycznych, (zbiorowości statystyczne), Statystyka opisowa Prezentacji danych statystycznych ( w sposób tabelaryczny i graficzny), Sumarycznego opisu danych statystycznych (za pomocą parametrów statystycznych)

22 Szereg statystyczny prezentacja danych Zmienna skokowa rzut kostką Jak czytelnie prezentować takie surowe dane? Opis tabelaryczny rozkładu

23 Inne szeregi statystyczne

24 Opracowanie materiału statystycznego Klasyfikacja szeregów statystycznych Szeregi statystyczne szczegółowe rozdzielcze czasowe cechy ilościowej cechy jakościowej momentów okresów punktowe przedziałowe geograficzne inne proste skumulowane proste skumulowane

25 Przykład. W 30 rzutach kostką sześcienną otrzymano liczby oczek: wartość ( liczba oczek ) liczność ( liczba wystąpień ) częstość

26 Histogram liczebności grafika prezentacyjna Liczba oczek

27 Tabele czy wykresy Tabele Konieczna analiza pojedynczych wartości Porównywanie wartości Wymagana precyzja przedstawienia danych Lecz na ogół ograniczona liczba punktów pomiarowych Wykresy Przekazanie wiadomości ukrytej w kształcie danych (trendy, wzorce, anomalie, ) Bardziej ogólne spojrzenie na dane niż precyzyjne wartości Pokazanie zależności między wieloma wartościami Częściej większa liczba pomiarów Tabele odwołują się do werbalnego systemu człowieka Bezpośrednie odwołanie sie do wizualnej percepcji

28 Inne rodzaje wykresów statystycznych Kiedy stosować, który rodzaj wykresu?

29 Podstawowe wykresy statystyczne % 80% 60% 40% 20% R 2 = % Wykres liniowy (typu szeregu czasowego) Ilustracja zmian wartości zmiennej liczbowej w funkcji czasu (+ porównanie kilku zmiennych) Poszukiwanie trendów, wzorców w przebiegu zmiennej Wykres rozrzutu (Scatter Plot) Badanie współzależności między zmiennymi liczbowymi Wykres słupkowy (Bar Graph) Względne porównanie wielu wartości (zmienne jakościowe lub dyskretyzowane liczbowe) Wiele odmian wykresów Wykres pudełkowy (Box plots) Porównywanie wartości zmiennych liczbowych i ich statystyk opisowych Wykres Kołowy (Pie Chart) Podkreślenie różnicy proporcji części do całości (skala ilorazowa) Stosuj b. ostrożnie, ale rzadko

30 Jak tworzyć szeregi / histogramy? Szereg rozdzielczy dla zmiennej / cechy liczbowej Tzw. szereg przedziałowy

31 Przykład. Wiek 25 osób, które ubezpieczyły się w III filarze emerytalnym w pewnym zakładzie pracy: 30, 49, 33, 35, 37, 20, 31, 30, 36, 46, 39, 40, 38, 41, 35, 37, 24, 27, 36, 43, 45, 25, 32, 29, 28. q 21 różnych wartości: diagram rozkładu lat nieczytelny. q Agregacja danych: przedziały wiekowe zawierające wszystkie obserwacje, liczba obserwacji w tych przedziałach.

32 Przedział Obserwacje Liczność Częstość (klasa) [18,23) /25 = 0,04 [23,28) 24, 27, /25 = 0,12 [28,33) 30, 30, 31, 32, 29, /25 = 0,24 [33,38) 33, 35, 37, 36, 35, 37, /25 = 0,28 [38,43) 39, 40, 38, /25 = 0,16 [43,48) 43, 45, /25 = 0,12 [48,53) /25 = 0,04

33 procent Histogram wiek Prezentacja graficzna wieku pracowników

34 Przykład doboru przedziałów w szeregu Za książką J.Koronacki, J.Mielniczuk

35 Opracowanie materiału statystycznego Tworzenie szeregu rozdzielczego z przedziałami klasowymi wymaga ustalenia: liczby klas (k), rozpiętości przedziałów klasowych Rekomendowane wartości liczby klas zależą od liczebności danych (n): według tabeli Liczba obserwacji Liczba klas według wzorów k k k n, 1+ 3,322log n, < 5log n, (W praktyce liczba przedziałów klasowych waha się od kilku do kilkunastu) Przy tworzeniu szeregów rozdzielczych, G. U. Yule i J. S. Neyman zalecają na ogół podział całej zbiorowości na niewielką liczbę klas, około (porównaj K. Zając [1994] s. 85).

36 KONSTRUKCJA HISTOGRAMU q Początkowy wybór długości przedziałów: h = 2,64 IQR n 1/ 3 n = liczność próbki, IQR = rozstęp międzykwartylowy = zakres 50% "środkowych" wartości w próbce q Obserwacja wpływu stopniowego zwiększania lub zmniejszania długości przedziałów na kształt histogramu: 2 α h, α 2 h,... lub α h, α h,... ; α > 1 1

37 R project tworzenie histogramów Prosty przykład > dane<-c(3,4,5,6,7,7,7,8,8,8,9) > hist(dane,col="red",xlab="wartosci",main="histogram")

38 Co będzie dalej? Miary statystyki opisowej Wartości centralne / przeciętne Rozproszenie Ocena empirycznych rozkładów zmiennych Związki z rozkładem normalnym zmiennej losowej Asymetria rozkładu Kurtoza Wsparcie obliczeniowe Inne miary

39 Parametry opisowe -- określanie: przeciętnego poziomu zmiennych - tj. miary przeciętnej (położenia), reprezentującej wszystkie wartości szeregu, zmienności (dyspersji, rozproszenia) wartości zmiennych w obserwowanej zbiorowości, tj. określenie miary zmienności, rozmieszczenia wariantów cechy w zbiorze, przez obliczenie momentów oraz wskazanie skupienia (koncentracji) i spłaszczenia (ekscesu) w stosunku do kształtu krzywej normalnej, przez obliczenie wskaźnika spłaszczenia. w jakim stopniu badany szereg odbiega od idealnej symetrii, tj. określenie miary asymetrii.

40 Literatura Statystyka dla studentów kierunków technicznych i przyrodniczych, Koronacki Jacek, Mielniczuk Jan, WNT, Statystyka w zarządzaniu, Amir D. Aczel (tłum), PWN, Warszawa Przystępny kurs statystyki, Stanisz A., Po prostu statystyka, Clegg F., Statystyczna analiza wyników badań, Dobosz M., I wiele innych

41 Dziękuję za uwagę Więcej możesz znaleźć na Czytaj także podręczniki