Matematyka z el. statystyki, # 1 /Geodezja i kartografia II/ Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowań Matematyki i Informatyki ul. Akademicka 15, p.211a bud. Agro II, e-mail: zdzislaw.otachel@up.lublin.pl materiały: http://kzmi.up.lublin.pl/ zotachel/geo2i3 konsultacje: poniedziałek, wtorek 10-12 Lublin, 2016/17
Zakres materiału Statystyka opisowa - analiza struktury zjawisk masowych Podstawowe pojęcia rachunku prawdopodobieństwa Zmienne losowe i ich rozkłady Estymacja punktowa i przedziałowa Testowanie hipotez statystycznych
Literatura Krysicki W. i in. Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach, cz. 1 i 2, PWN Oktaba W. Rachunek prawdopodobieństwa i statystyka matematyczna. WAR Koronacki J., Mielniczuk J. Statystyka dla studentów kierunków technicznych i przyrodniczych, WNT, 2001. Parlińska M., Parliński J. Badania statystyczne z Excelem, Wyd. SGGW W-wa 2003.
Przedmiot statystyki Termin statystyka wywodzi się od włoskiego słowa stato, czyli państwo. Został on użyty po raz pierwszy przez niemieckiego politologa Gotfrieda Achenwalla (1719-1772) profesora uniwersytetów w Magdeburgu i Getyndze, na oznaczenie szeroko rozumianych wiadomości o państwie. Dla uporządkowania wywodów ujmowano opisy w tabele, dlatego kierunek ten ochrzczono mianem statystyki tabelarycznej. Za twórców współczesnej statystyki uznaje się Anglików Johna Grunta (1620-1674) i Williama Petty ego (1623-1687), arytmetyków politycznych. Na podstawie danych liczbowych szukali oni prawidłowości wśród pozornie chaotycznych zjawisk masowych.
Przedmiot statystyki Dalszy rozwój statystyki stymulowała teoria rachunku prawdopodobieństwa, zapoczątkowana w drugiej połowie XVII w. przez francuskich matematyków: Blaise Pascala (1623-1662) i Pierra Fermata (1601-1665). Podwaliny pod metody współczesnej statystyki położył Carl Friedrich Gauss (1777-1855) tworząc teorię, za pomocą której na podstawie szeregu pomiarów jakiegoś obiektu można oszacować jego rzeczywisty wymiar. Najwybitniejsi twórcy współczesnych metod statystycznych to: Karl Pearson (1857-1936), Ronald Aylmer Fisher (1890-1962), Jerzy Spława-Neyman (1894-1981), E.S. Pearson (1895-1980), Abraham Wald (1902-1950).
Statystyka opisowa
Podstawowe pojęcia statystyczne Przedmiotem badań statystycznych są populacje - określone zbiory osób, rzeczy lub zjawisk. Będą one badane pod kątem określonych cech tj. funkcji, które przyporządkowują każdemu elementowi populacji wartość liczbową, będącą najczęściej, wynikiem pomiaru. Cechy podzielimy na: Skokowe - przyjmujące skończoną lub przeliczalną liczbę wartości. Ciągłe - przyjmujące dowolne wartości z pewnego przedziału.
Przykłady Zbiór studentów GiK UP Lublin (obecnych i przyszłych), zbiór pomiarów odległości pomiędzy dwoma ustalonymi punktami w przestrzeni to populacje. Pierwsza z nich jest tzw. populacją przedmiotową. Natomiast zbiór wszystkich pomiarów pewnej wielkości fizycznej (tutaj, odległość) tworzy tzw. przestrzeń próby związaną z tą wielkością. Wzrost, waga, ocena z matematyki studenta to cechy. Dwie pierwsze są ciągłe, trzecia jest skokowa. W drugim przypadku pojęcia populacji i cechy trudno odróżnić.
Całkowite i częściowe badanie populacji Wnioskując o cechach pewnej populacji można wykonać następujące rodzaje badań statystycznych: Badanie całkowite - mierząc wartości interesujących cech dla każdego elementu populacji, Badanie częściowe - oznaczając wartości cech dla wytypowanych na drodze losowania niektórych elementów populacji i uogólniając wyniki, za pomocą technik statystycznych, na całą populację. Statystyka interesuje tylko ten drugi rodzaj badania.
Szereg statystyczny Na razie zajmiemy się analizą wyników badania statystycznego dotyczącego jednej cechy, oznaczymy ją x. Badanie częściowe prowadzi do uzyskania pierwotnego szeregu statystycznego. Jest to ciąg pomiarów cechy x dla n obiektów z populacji wytypowanych do badania najczęściej drogą losowania, mianowicie: x 1, x 2,..., x n, gdzie x i jest wartością (lub, inaczej mówiąc, obserwacją lub pomiarem) cechy x dla i-tego elementu wytypowanego z populacji do badania, a n ilością przebadanych obiektów (rozmiarem, liczebnością, długością szeregu statystycznego).
Statystyczne szeregi rozdzielcze Rozstęp szeregu statystycznego (R) to różnica: R = x max x min, gdzie x max i x min oznacza odpowiednio największy i najmniejszy zaobserwowany pomiar. Pierwotny szereg statystyczny zawiera nieistotne informacje, dlatego podlega obróbce mającej na celu pominięcie tychże, a przez to zyskanie na przejrzystości. Takie zabiegi prowadzą do otrzymania następujących, przetworzonych danych statystycznych: Szereg szczegółowy - pomiary uporządkowane w kolejności rosnącej lub malejącej, Szereg rozdzielczy - zestawienie uporządkowanych zaobserwowanych wartości lub zakresów (przedziałów klasowych) z odpowiadającymi im liczebnościami. Szeregi rozdzielcze tworzy się z licznych (zawierających więcej niż 30 obserwacji) szeregów statystycznych lub, gdy w szeregu występują powtarzające się wartości.
Rodzaje szeregów rozdzielczych Punktowy szereg rozdzielczy - dla cech skokowych przyjmujących skończoną liczbę wartości; ma on postać zestawienia: (x i, l i ), gdzie x i - i-ta w kolejności wzrostu zaobserwowana wartość, l i - ilość powtórzeń w szeregu statystycznym, Przedziałowy szereg rozdzielczy - dla cech ciągłych lub skokowych o licznych różnych wartościach (w praktyce, więcej niż 30) i ma on postać zestawienia: (π i, l i ), gdzie π i - i-ty przedział klasowy, l i - ilość obserwacji należących do tego przedziału. Przedziały klasowe na ogół są jednakowej długości, muszą być rozłączne i ich suma ma pokrywać wszystkie wartości szeregu rozdzielczego. Suma liczebności jest zawsze równa długości szeregu statystycznego: l 1 + l 2 + + l r = n.
Zależność liczby klas od ilości pomiarów Liczba pomiarów (N) Liczba klas (k) 30-60 6-8 60-100 7-10 100-200 9-12 200-500 11-17 500-1500 16-25 Liczbę klas można wyznaczyć także na podstawie jednej z zależności: k 5 ln n, k 1 + 3, 332 ln n, k n. Nie stosuje się większej ilości klas niż 30. Długość przedziału klasowego obliczamy dzieląc rozstęp R przez liczbę klas k. Graficzne przedstawienie szeregu rozdzielczego to histogram (dla szeregów przedziałowych) lub diagram liczebności (dla szeregów punktowych).
Rozkład empiryczny Zastępując w szeregu rozdzielczym liczebności l i przez częstości f i = l i /n otrzymujemy zestawienie zwane empirycznym rozkładem cechy. Zauważmy i zapamiętajmy, że f i = 1. i
Charakterystyki używane do opisu danych statystycznych Zbiór danych statystycznych szereg statystyczny niesie informację o cesze trudną do operowania. Statystyk decyduje się wykorzystywać tylko taką część tej informacji, którą zawierają charakterystyki danych liczbowych. Do charakterystyk najczęściej wykorzystywanych przy opisie struktury zbiorowości liczbowych należą: miary położenia (średnie, przeciętne) podają one tą wartość wokół której skupiają się pozostałe liczby (obserwacje), jeżeli x jest taką miarą, to zawsze x min x x max ; miary zmienności (rozproszenia, zróżnicowania, dyspersji) określają stopień zróżnicowania wartości w analizowanej zbiorowości, jeżeli d jest taką miarą, to d 0,
Charakterystyki używane do opisu danych statystycznychcd. przypadek d = 0 oznacza brak zmienności, wszystkie wartości są równe swojej średniej; miary asymetrii (skośności) określają kierunek zróżnicowania wartości; miary koncentracji określają stopień skupienia wartości wokół średniej.
Miary położenia Dzielą się na: 1 średnie klasyczne: średnia arytmetyczna (A), średnia geometryczna (G), średnia harmoniczna (H), 2 średnie pozycyjne: dominanta (moda, wartość modalna, najczęstsza), kwantyle kwartyle wartości dzielące uporządkowaną zbiorowość na cztery części o równej liczebności, decyle dzielące zbiorowość na dziesięć części, percentyle dzielące zbiorowość na sto części. Średnie klasyczne są obliczane na podstawie wszystkich wartości szeregu statystycznego, średnie pozycyjne są często wartościami konkretnych wyrazów szeregu wyróżniających się pod pewnym względem.
Średnia arytmetyczna Średnią x cechy x na podstawie szeregu statystycznego x 1, x 2,..., x n najczęściej policzymy posługując się wzorem na średnią arytmetyczną: x = x 1 + x 2 + + x ni=1 n x i =. n n Ta sama średnia dla szeregu rozdzielczego będzie liczona wg wzoru na średnią ważoną, gdzie wagami są liczebności: x = x 1l 1 + x 2 l 2 + + x r l r l 1 + l 2 + + l r = ri=1 x i l i ri=1 l i, gdzie x 1, x 2,..., x r oznaczają tu wartości zaoobserwowane dla szeregu punktowego lub środki przedziałów klasowych dla szeregu klasowego. Średnia arytmetyczna jest miarą wiarygodną tylko dla zbiorowości o niewielkim stopniu zróżnicowania obserwacji. Jej wadą jest wrażliwość na obserwacje odstające. Obserwacje odstające to pomiary, których wartość zdecydowanie odbiega od większości pozostałych. Najczęściej są one wynikiem błędów.
Średnia harmoniczna Jeżeli obserwowane wartości cechy są określone w jednostkach względnych (tzn. wielkość/jednostka miary) w odniesieniu do stałej wartości wielkości, to wartość przeciętną szeregu x 1, x 2,..., x n możemy policzyć wg średniej harmonicznej: H = n ni=1 1 x i. Dotyczy to takich cech jak prędkość w km/h, gęstość zaludnienia w osobach/km2, spożycie w kg/osobę, itp. Dla szeregów rozdzielczych należałoby stosować wzór z liczebnościami l i : H = l 1 + l 2 + + l r ri=1 1. x i
Średnia arytmetyczna a harmoniczna - przykład Obserwujemy prędkość v pewnych obiektów. Wykonano 2 eksperymenty. W I-szym mierzono prędkości obiektów w tym samym interwale czasowym τ uzyskując dane: v 1,..., v n. Stąd v A = s t = v 1τ + + v n τ nτ = v 1 + + v n. n W II-gim mierzono prędkości obiektów na tym samym odcinku drogi σ uzyskując dane: v 1,..., v N. Stąd v H = s t = σ v 1 Nσ + + σ v N N = 1 v + + 1. 1 v N
Średnia geometryczna W przypadku, gdy chcemy policzyć przeciętną wartość względnego przyrostu lub spadku badanej cechy użyjemy średniej geometrycznej, dokładniej: niech x 0, x 1, x 2,..., x n będzie szeregiem statystycznym związanym z cechą x, cecha y to względna zmiana cechy x, a y 1, y 2,..., y n to szereg z nią związany, gdzie y i = x i /x i 1, i = 1, 2,... n. Wtedy y = n y 1 y 2 y n. Dla szeregu rozdzielczego, z wagami l i użyjemy wzoru: gdzie n = l 1 + l 2 + + l r. y = n y l 1 1 y l 2 2 y lr r,
Średnia geometryczna - przykład Liczba studentów rozpoczynających naukę na pewnym kierunku w trzech kolejnych latach wynosiła: x 0 = 40, x 1 = 50, x 2 = 90. Odpowiadające, względne przyrosty liczby studiujących to: y 1 = 50/40 = 1, 25; y 2 = 90/50 = 1, 8. Średni wzgledny przyrost liczby studiujących: y G = 1, 25 1, 8 = 1, 5. Zauważmy, że 40 1, 5 1, 5 = 90. Średnia wyznaczona dla tych danych wg średniej arytmetycznej nie ma tej własności.
Średnia arytmetyczna, geometryczna, harmoniczna - własności Niech x 1, x 2,..., x n będą liczbami dodatnimi. x min x A, x G, x H x max, x H x G x A, jeżeli x 1 = x 2 = = x n = x, to x A = x G = x H = x.
Średnie pozycyjne Dominanta (moda) D to taka wartość obserwacji, która w szeregu statystycznym występuje najczęściej, ma sens tylko dla zbiorowości jednomodalnych (o jednej wartości maksymalnej). Kwartyle: Q 1 (dolny),q 2 (środkowy mediana), Q 3 (górny) dzielą szereg na 4 części, równe pod względem liczebności (po 25% obserwacji). Mediana (M e ) wartość znajdująca się dokładnie w środku szeregu uporządkowanego. Liczba obserwacji mniejszych od mediany jest równa ilości obserwacji większych o mediany. Mediana to środkowy kwartyl.
Miary zmienności (dyspersji) wariancja Wariancja pomiarów cechy x (ozn.: S 2 x := S 2 ) średnia arytmetyczna z kwadratów różnic poszczególnych, zaobserwowanych wartości cechy x od średniej arytmetycznej x wszystkich obserwacji. Dla szeregu surowego lub szczegółowego liczymy ją wg wzoru: S 2 = 1 N N (x i x) 2, i=1 Dla szeregów rozdzielczych użyjemy wzoru z wagami: S 2 = 1 N r l i (x i x) 2, N = i=1 r l i. gdzie tutaj x i są wartościami zaobserwowanymi lub środkami przedziałów klasowych, natomiast l i - liczebnościami związanymi z zaobserwowanymi wartościami x i lub ilościami obserwacji należących do kolejnych przedziałów klasowych. i=1
Wariancja - cd. W każdej sytuacji słuszny jest wzór: S 2 = x 2 (x) 2, gdzie x 2 oznacza średnią arytmetyczną kwadratów obserwacji (tzw. średni kwadrat), tj.: x 2 == x 1 2 + x 2 2 + + x N 2 N dla szeregu nieuporządkowanego, lub = Ni=1 x 2 i N x 2 = x 2 1 l 1 + x 2 2 l 2 + + x 2 r l r l 1 + l 2 + + l r = ri=1 x 2 i l i ri=1 l i, dla szeregów rozdzielczych, gdzie x 1, x 2,..., x r oznaczają tu wartości obserwowane (szeregi punktowe) lub środki przedziałów klasowych (szeregi klasowe) związane z liczebnościami l 1, l 2,..., l r. Wariancja jest zawsze liczbą nieujemną, wyrażoną w kwadracie jednostki fizycznej użytej do pomiaru cechy x. Duża jej wartość świadczy o dużym zróżnicowaniu (zmienności) obserwacji.
Poprawka Shepparda Wariancja liczona dla szeregu nieuporządkowanego i klasowego różnią się. Gdy histogram badanej cechy ma jedno maksimum (jest jednomodalny) i liczności klas maleją do 0 w obu kierunkach, to od wariancji S 2 liczonej dla szeregu klasowego odejmujemy poprawkę Shepparda równą 1/12 kwadratu długości klasy d. Wariancja S 2 uwzględniajaca poprawkę jest określona wzorem: S 2 = S 2 1 12 d 2. Poprawkę Shepparda stosuje sie w praktyce, gdy liczebność szeregu N 1000 zaś liczba klas k 20.
Odchylenie standardowe Odchylenie standardowe pomiarów cechy x (ozn.: S x := S) jest pierwiastkiem kwadratowym z wariancji: S = S 2 i określa o ile średnio obserwacje różnią się od średniej arytmetycznej pomiarów badanej cechy. Odchylenie standardowe służy do do konstrukcji typowego przedziału zmienności dla badanej cechy. W tym obszarze mieści się około 2/3 wszystkich wartości obserwowanych dla tej cechy. Typowy przedział zmienności określa wzór: x S x x + S. By porównywać zmienność dwóch zbiorowości użyjemy niemianowanego współczynnika zmienności (ozn. V ): V = S x 100%.
Momenty Niech r będzie liczbą naturalną. Moment zwykły m r rzędu r dla szeregu x 1,..., x N to m r = 1 N xi r. N i=1 Moment centralny M r rzędu r dla szeregu x 1,..., x N to M r = 1 N (x i x) r. N Dla szeregów rozdzielczych i=1 (x i, l i ), i = 1,..., n, l 1 + l 2 + + l n = N : m r = 1 N xi r l i, M r = 1 N (x i x) r l i. N N i=1 i=1 Pierwszy moment zwykły m 1 jest średnią arytmetyczną. Pierwszy moment centralny M 1 jest zawsze równy 0. Drugi moment centralny M 2 jest wariancją.
Miary asymetrii Określają czy większość obserwacji znajduje się powyżej czy poniżej średniej wartości. Asymetrię zbiorowości najłatwiej określić przez uporządkowanie dominanty (D) i średniej arytmetycznej. Zbiorowość symetryczna to taka, dla której te wartości są równe.
Miary asymetrii - cd. Dla rozkładów symetrycznych momenty centralne rzedów nieparzystych są równe 0. Stąd trzeci moment centralny wykorzystano do konstrukcji współczynnika asymetrii (skośności) Wartość A S jest: A s = M 3 S 3. równa zero, dla zbiorowości symetrycznej, dodatnia, dla zbiorowości o asymetrii prawostronnej, ujemna, dla zbiorowości o asymetrii lewostronnej. Na ogół wartość współczynnika asymetrii jest w przedziale od -1 do +1, czasami, w przypadku silnej asymetrii leży nieznacznie poza tym przedziałem. Im większa wartość bezwzględna współczynnika skośności tym większa asymetria badanej zbiorowości.
Miary koncetracji Za pomocą czwartego momentu centralnego określamy koncentrację (skupienie) pomiarów wokół średniej K = M 4 S 4. Współczynnik ten nazywa sie też kurtozą. Inny współczynnik tego rodzaju to eksces (współczynnik spłaszczenia), obliczamy go następujaco: K 3 = M 4 S 4 3. Im większa kurtoza tym większe skupienie pomiarów wokół wartości średniej, co przekłada się na większą smukłość empirycznego rozkładu cechy. Mała jej wartość daje efekt odwrotny czyli większe spłaszczenie.
Koncetracja a smukłość rozkładu