Statystyczne metody analizy danych Agnieszka Nowak - Brzezińska
SZEREGI STATYSTYCZNE SZEREGI STATYSTYCZNE odpowiednio usystematyzowany i uporządkowany surowy materiał statystyczny. Szeregi statystyczne dzielimy na szeregi: szczegółowe rozdzielcze (punktowe, przedziałowe) czasowe (momentów, okresów)
Szereg rozdzielczy Szereg rozdzielczy to uporządkowany i pogrupowany materiał statystyczny. Poszczególnym wariantom cech ilościowym lub jakościowym przyporządkowane są odpowiadające im liczebności. szereg rozdzielczy punktowy (buduje się przeważnie dla cechy skokowej). szereg rozdzielczy przedziałowy (budowany jest dla cech ciągłych. Złożony jest z przedziałów klasowych, ich granice mogą być domknięte lub otwarte. Rozpiętość przedziału (interwał), jest różnicą między górną i dolną granicą klasy).
Etapy budowy przedziałów w szeregach rozdzielczych przedziałowych mogą być następujące: ustalenie liczby klas Można skorzystać ze wzoru: gdzie: k liczba klas, N liczba obserwacji ustalenie wartości cechy minimalnej i maksymalnej Są to wartości cech odpowiednio najmniejsze (x max ) oraz (x min ), które mogą stanowić początek pierwszego przedziału (x min ) oraz koniec ostatniego (x max ). ustalenie rozpiętości przedziałów klasowych Rozpiętość można wyznaczyć następująco: gdzie: h - rozpiętość przedziału budowa przedziałów klasowych
szereg rozdzielczy punktowy - przykład Badaniu objęto 20 studentów pod względem liczby rodzeństwa. Otrzymano następujące wyniki: 2, 3, 1, 0, 4, 2, 3, 1, 0, 2, 3, 2, 4, 0, 0, 4, 2, 3, 1, 5. Badana cecha (liczba rodzeństwa) jest cechą skokową. W celu utworzeni szeregu rozdzielczego punktowego należy obliczyć liczebność związaną z wariantami badanej cechy.
szereg rozdzielczy przedziałowy - przykład Badaniu objęto 20 pracowników pewnej firmy ze względu na staż pracy. Otrzymano następujące wartości: 12, 20, 2, 15, 16, 30, 6, 21, 5, 13, 12, 25, 4, 16, 21, 23, 14, 18, 16, 9. W tym przypadku wskazana jest budowa szeregu rozdzielczego przedziałowego. Liczbę klas oraz rozpiętość można wyznaczyć z powyrzej podanych wzorów: N=20, xmin=2, xmax=30, k=4 (po zaokrągleniu), h=6 (po zaokrągleniu).
PRZYKŁAD 1 (szereg szczegółowy i szereg rozdzielczy)
SZEREG ROZDZIELCZY PUNKTOWY
ZALECENIA przy grupowaniu w szereg rozdzielczy przedziałowy
Średnia arytmetyczna Średnią arytmetyczną - definiuje się jako sumę wartości cechy mierzalnej podzieloną przez liczbę jednostek skończonej zbiorowości statystycznej. gdzie: n - liczebność zbiorowości próbnej (próby), x i - wariant cechy.
Y Należy pamiętać, że przy pogrupowaniu danych źródłowych w szereg rozdzielczy przedziałowy następuje pewna utrata informacji. Jeżeli policzymy średnią dla szeregu szczegółowego lub szeregu rozdzielczego punktowego, to wynik będzie dokładny i taki sam. Dla danych w postaci szeregu rozdzielczego przedziałowego średnia będzie już przybliżeniem. Tym większym, im szersze są przedziały klasowe, im jest ich mniej, itd.
Ważniejsze własności ŚREDNIEJ arytmetycznej
Średnia geometryczna Średnią geometryczną - stosuje się w badaniach średniego tempa zmian zjawisk, a więc gdy zjawiska są ujmowane dynamicznie.
Moda Modalna (dominanta D, moda, wartość najczęstsza) - jest to wartość cechy statystycznej, która w danym rozdziale empirycznym występuje najczęściej. Dla szeregów szczegółowych oraz szeregów rozdzielczych punktowych modalna odpowiada wartości cechy o największej liczebności (częstości). W szeregach rozdzielczych z przedziałami klasowymi bezpośrednio można określić tylko przedział, w którym modalna występuje, jej przybliżoną wartość wyznacza się graficznie z histogramu liczebności (częstości) lub ze wzoru interpolacyjnego: gdzie: m - numer przedziału (klasy), w którym występuje modalna, - dolna granica przedziału, w którym występuje modalna, n m - liczebność przedziału modalnej, tzn. klasy o numerze m, n m-1 ; n m+1 - liczebność klas poprzedzającej i następnej, o numerach m -1 i m + 1, h m - rozpiętość przedziału klasowego, w którym występuje modalna.
Modalna (Mo) zwana też dominantą (D) jest to wartość cechy, która występuje najczęściej w badanej zbiorowości.
Dominanta Dominanta (modalna, wartość najczęstsza) należy do średnich pozycyjnych i jest taką wartością zmiennej, która w danym rozkładzie empirycznym najczęściej występuje. Zastosowanie Dominanta stosowana jest do wskazania jaka wartość cechy statystycznej ma największą liczebność (jest najbardziej popularna) w określonej zbiorowości. Wyznaczenie modalnej możliwe jest gdy rozkład empiryczny posiada jeden ośrodek dominujący, asymetria rozkładu jest umiarkowana oraz gdy przedział dominanty i dwa sąsiednie mają taki sam interwał (rozpiętość przedziału, czyli wartość różnicy między górną i dolną granicą badanej cechy). dla szeregu szczegółowego i rozdzielczego punktowego W szeregach szczegółowych i rozdzielczych punktowych dominantą jest wartość cechy, której odpowiada największa liczebność. dla szeregu rozdzielczego przedziałowego W szeregach rozdzielczych przedziałowych modalna znajduję się w przedziale o największej liczebności. Dla wyznaczenia konkretnej wartości liczbowej wartości najczęstszej, znajdującej się w danym przedziale zastosowanie ma wzór:
Y Y
Y Y
Y
Modalna możemy wyznaczyć graficznie tak jak to pokazano na rysunku
Modalną wyznaczamy i sensownie interpretujemy tylko wtedy, gdy dane są pogrupowane w szereg rozdzielczy (punktowy lub przedziałowy). 2. Liczebność populacji powinna być dostatecznie duża. 3. Diagram lub histogram liczebności (częstości) ma wyraźnie zaznaczone jedno maksimum (rozkład jednomodalny). 4. Dla danych pogrupowanych w szereg rozdzielczy przedziałowy modalna nie występuje w skrajnych przedziałach (pierwszym lub ostatnim) - przypadek skrajnej asymetrii. Nie da się w takim przypadku analitycznie wyznaczyć modalnej. 5. Dla danych pogrupowanych w szereg rozdzielczy przedziałowy przedział modalnej oraz dwa sąsiednie przedziały (poprzedzający i następujący po przedziale modalnej) powinny mieć taką samą rozpiętość.
Mediana Mediana (Me) - wartość środkowa, inaczej: kwartyl 2 (QII). Jest to taka wartość cechy X, która dzieli zbiorowość na dwie równe części, tj. połowa zbiorowości charakteryzuje się wartością cechy X mniejszą lub równą medianie, a druga połowa większą lub równą. Mediana dla szeregu szczegółowego Szereg musi być posortowany rosnąco!!! Wartość mediany wyznacza się inaczej gdy liczebność populacji (n) jest nieparzysta, a inaczej gdy jest parzysta.
Y Y
Y Y
Kwartyl pierwszy i trzeci Dla szeregu szczegółowego kwartyl pierwszy i trzeci wyznacza się w ten sposób, że w dwóch częściach zbiorowości, które powstały po wyznaczeniu mediany, ponownie wyznacza się medianę; mediana w pierwszej części odpowiada kwartylowi pierwszemu, a w drugiej kwartylowi trzeciemu. Dla szeregu rozdzielczego wyznaczenie kwartyli poprzedza się ustaleniem ich pozycji:
gdzie: m - numer przedziału (klasy), w którym występuje odpowiadający mu kwartyl, - dolna granica tego przedziału, n m - liczebność przedziału, w którym występuje odpowiedni kwartyl, - liczebność skumulowana do przedziału poprzedzającego kwartyl, h m - rozpiętość przedziału klasowego, w którym jest odpowiedni kwartyl.
Dla szeregów szczegółowych
przykład Weźmy dane o liczbie braków: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 3, 3, 3, 3, 4, 4 Jak pamiętamy: n=50
Dla szeregów rozdzielczych punktowych
Dla szeregów rozdzielczych przedziałowych
czas dojazdu pracowników firmy Y
Rozstęp Najprostszą i najbardziej intuicyjną miarą zmienności przypadków w populacji próby jest rozstęp. Rozstęp - różnica pomiędzy wartością maksymalną, a minimalną cechy - jest miarą charakteryzującą empiryczny obszar zmienności badanej cechy. W związku z tym, że przy jego obliczeniu ignoruje się wszystkie dane (za wyjątkiem dwóch wartości - minimalnej i maksymalnej), nie daje on jednak informacji o zróżnicowaniu poszczególnych wartości cechy w zbiorowości.
Dla szeregów szczegółowych Weźmy dane z (liczba braków): 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2,2, 2, 2, 2, 3, 3, 3, 3, 4, 4
Inny przykład Weźmy dane z innego przykładu 10, 10, 10, 12, 12, 12, 12, 13, 13, 13, 13, 13, 14, 14, 15, 15, 15
Dla szeregów rozdzielczych punktowych
Dla szeregów rozdzielczych przedziałowych
Graficzny opis danych histogramy i wykresy częstości wykresy rozrzutu (scatterplots) wykresy pudełkowe (boxplot)
histogramy Histogram to jeden z graficznych sposobów przedstawienia rozkładu empirycznego cechy. Składa się z szeregu prostokątów umieszczonych na osi współrzędnych. Na osi X mamy przedziały klasowe wartości cechy np. dla atrybutu płeć: K, M, na osi Y liczebność tych przedziałów. Dla danych jakościowych Porządkują wiedze o danych analizowanych Pokazują odchylenia w danych Pokazują dane dominujące w zbiorze
Histogram Najpopularniejsza statystyka graficzna. Przedstawia liczności pacjentów w poszczególnych przedziałach (nazywanych tez kubełkami) danej zmiennej. Domyślnie w funkcji histogram liczba kubełków dobierana jest w zależności od liczby obserwacji jak i ich zmienności. Możemy jednak subiektywnie wybrać interesującą nas liczbę kubełków.
Histogram a rodzaj danych Dane jakościowe Dane ilościowe
Wykres punktowy (rozrzutu)
Dla tych samych danych O tym która linia regresji lepiej odwzrowuje dane decyduje współczynnik determinacji R 2.
Wykresy rozrzutu pokazują relację między daną na osi X a daną na osi Y Wykresy rozrzutu też wskazują dobrze odchylenia w danych
Typ korelacji Nieliniowa zależność danych Scatterplot showing no discernable relationship Korelacja ujemna
Wykres pudełkowy Wykres pudełkowy można wyznaczać dla pojedynczej zmiennej, dla kilku zmiennych lub dla pojedynczej zmiennej w rozbiciu na grupy. Wykres przedstawia medianę (środek pudełka), kwartyle (dolna i górna granica pudełka), obserwacje odstające (zaznaczane kropkami) oraz maksimum i minimum po usunięciu obserwacji odstających. Wykres pudełkowy jest bardzo popularną metodą prezentacji zmienności pojedynczej zmiennej.
Co można odczytać z wykresów? Boxplot Kwantyl tak nie Mediana tak nie Wartość min tak tak Wartość max tak tak Wartość cechy tak tak Liczebność nie tak Częstość nie tak Wzajemna korelacja zmiennych nie Histogram tak
Wykres łodygowo-liściowy Diagram łodygowo-listkowy (ang. stemplot lub stemand-leaf diagram) jest graficznym sposobem prezentacji danych ilościowych. Podobnie jak histogram, służy on do przedstawiania kształtu rozkładu, ma jednak nad nim tę przewagę, że przedstawia wszystkie dane, które tworzą rozkład. Diagram łodygowo-listkowy rysuje się w bardzo prosty sposób. Ustalamy najpierw, jakie liczby stanowić będą łodygę, zwykle opuszczając jedną lub dwie cyfry w zapisie dziesiętnym, a następnie sortujemy je rosnąco. Uzyskane liczby zapisujemy w jednej kolumnie, oddzielamy pionową kreską i dopisujemy obok obcięte końcówki liście.
Histogram wykres częstości danych. Wykonamy go za pomocą polecenia: hist()
Scatter plot wykres rozrzutu Wykres rozrzutu punktów na osiach X i Y. plot(x-variable, y-variable)
Box-and-Whisker Plot wykres pudełkowy. boxplot(var1,var2) na wykresie zmienne będą zaprezentowane w takiej kolejności jak argument funkcji boxplot a więc najpierw var1 a potem var2. > boxplot(gnp,invest)
Wykres kołowy (Pie charts) świetnie przedstawiają procentowy rozkład danych. > pie(gnp)
Obowiązkowa lektura http://zsi.tech.us.edu.pl/~nowak/smad/smad_lab4.pdf