Statystyczna analiza danych w programie STATISTICA 7.1 PL (wykład 1) Dariusz Gozdowski Katedra Doświadczalnictwa i Bioinformatyki Wydział Rolnictwa i Biologii SGGW
STATYSTYKA to nauka, której przedmiotem zainteresowania są metody pozyskiwania i prezentacji, a przede wszystkim analizy danych opisujących zjawiska masowe. Metody statystyczne oparte są na rachunku prawdopodobieństwa. Różnica między rachunkiem prawdopodobieństwa a statystyką
There are three kinds of lies: lies, damned lies, and statistics Benjamin Disraeli
ZDARZENIE ELEMENTARNE to możliwy wynik doświadczenia losowego. Wszystkie takie możliwe wyniki tworzą zbiór zdarzeń elementarnych. Na przykład zbiór zdarzeń elementarnych przy pojedynczym rzucie monetą składa się z dwóch elementów tj. może wypaść orzeł, bądź reszka.
POPULACJA STATYSTYCZNA (inaczej populacja generalna) to zbiór elementów, podlegających badaniu statystycznemu. Elementy populacji są do siebie podobne pod względem badanej cechy, ale nie są identyczne. Np. osoby zamieszkujące w pewnym regionie, rośliny pewnej odmiany pszenicy, kolonie grzybów pleśni, produkty jednego rodzaju produkowane przez pewien zakład itp. Nie wszystkie populacje muszą istnieć w rzeczywistości, niektóre z nich mają charakter wyłącznie hipotetyczny. (np. zakładamy to przy przeprowadzaniu doświadczenia planowanego)
Elementy populacji statystycznej nazywamy jednostkami statystycznymi, zaś badana cecha to cecha statystyczna. Ze względu na liczebność zbioru, populacje można podzielić na: -populacje skończone - np. powiaty w woj. mazowieckim (określona liczba w danym czasie nie ulegająca zmianie) - populacje nieskończone w rzeczywistości raczej nie istnieją, ale często zakłada się, przy bardzo dużej liczebności np. rośliny pewnego gatunku, że reprezentują one populację nieskończoną, gdyż teoretycznie można zwiększać ciągle ich liczebność
ZMIENNA LOSOWA, to funkcja, która zdarzeniom losowym przypisuje liczby. Na przykład, losując z pewnej populacji jednego osobnika przypisujemy mu jego wagę, lub też rzucając monetą przyjmujemy, że wyrzucenie reszki będzie oznaczało wartość 0 a wyrzucenie orła wartość 1. Zmienne losowe dzielimy na: - Skokowe (dyskretne) -Ciągłe 1 0
ZMIENNE LOSOWE -skokowe (dyskretne), które przyjmują skończoną liczbę wartości, zazwyczaj wartości są liczbami całkowitymi z pewnego przedziału (np. liczba oczek na kostce sześciennej do gry, liczba osób w rodzinie, liczba kwiatów na roślinie itp.) - ciągłe, czyli takie które przyjmują niekończenie wiele wartości, np. wszystkie liczby rzeczywiste z pewnego przedziału (przykłady: wzrost człowieka, zawartość cukru w jabłkach, temperatura powietrza). Często takie zmienne podajemy z pewną dokładnością, wynikającą z ograniczeń przyrządów pomiarowych (np. termometru, wagi itp.) ale należy miećświadomość, że dysponując dokładniejszym przyrządem pomiarowym możemy ustalić wartość z coraz większą dokładnością.
PRAWDOPODOBIEŃSTWEM (wg Laplace) zajścia zdarzenia A nazywamy iloraz liczby zdarzeń sprzyjających zdarzeniu A do liczby wszystkich możliwych przypadków Ώ, zakładając, że wszystkie przypadki wzajemnie się wykluczają i są jednakowo prawdopodobne. Na przykład przy pojedynczym rzucie kostką sześcienną prawdopodobieństwo wyrzucenia dokładnie 3 oczek wynosi 1/6 gdyż wszystkich możliwych zdarzeń jest 6 a tylko jedno spełnia ten warunek. Prawdopodobieństwo przyjmuje wartości z przedziału [0;1]. Wartość prawdopodobieństwa bliższa 1 oznacza zdarzenie bardziej prawdopodobne, czyli zachodzące częściej, natomiast wartość prawdopodobieństwa bliższa 0 oznacza zdarzenie, które jest mało prawdopodobne, czyli zachodzi rzadziej.
ROZKŁAD PRAWDOPODOBIEŃSTWA ZMIENNEJ LOSOWEJ zbiór wartości zmiennej losowej oraz prawdopodobieństwa, z jakimi są te wartości przyjmowane. np. dla pojedynczego rzutu kostką rozkład prawdopodobieństwa można przedstawić następująco: x i 1 2 3 4 5 6 p i 1/6 1/6 1/6 1/6 1/6 1/6 Jedynie dla rozkładów zmiennych skokowych możliwe jest przedstawienie rozkładu prawdopodobieństwa w takiej postaci jak powyżej. Niemożliwe jest to w przypadku rozkładów ciągłych, gdyż nie możemy określić prawdopodobieństwa, że zmienna przyjmie określoną wartość. Możemy natomiast określić prawdopodobieństwo, że zmienna przyjmie wartość z określonego przedziału.
Typowe rozkłady zmiennych losowych skokowych 1) Rozkład dwupunktowy 2) Rozkład dwumianowy (Bernoulliego) 3) Rozkład Poissona
1) Rozkład dwupunktowy Z rozkładem dwupunktowym mamy do czynienia wówczas, gdy w wyniku doświadczenia możemy uzyskać tylko jedną z dwóch wartości zmiennej losowej: x 1 lub x 2 z prawdopodobieństwami odpowiednio p oraz 1-p. W szczególnym przypadku, gdy x 1 =0 oraz x 2 =1 rozkład ten nazywany jest rozkładem zero-jedynkowym. Rozkład dwupunktowy mają wszystkie zjawiska losowe, w których są tylko dwie możliwości np. wystąpienie opadów w pewnym dniu, odpowiedź ankietowanej osoby na pytanie czy pali papierosy, wykiełkowanie nasionka (we wszystkich tych zjawiskach są tylko dwie wykluczające się możliwości) lub
2) Rozkład dwumianowy (Bernoulliego) Rozkład dwumianowy występuje wówczas, gdy przeprowadza się n jednakowych doświadczeń, z których każde może zakończyć się jednym z dwóch wyników: sukcesem z prawdopodobieństwem p lub porażką z prawdopodobieństwem 1-p. Zmienną losową X w tym eksperymencie jest liczba sukcesów w n próbach. Przykłady rozkładu dwumianowego mogą być podobne jak powyżej, tylko w przypadku większej liczby powtarzanych zdarzeń np. jeśli pytamy 10 osób czy pala papierosy, to liczba osób które odpowiedzą twierdząco jest zmienną mająca rozkład dwumianowy. Rozkład prawdopodobieństwa w rozkładzie dwumianowym jest określony wzorem: n k n k P(X = k) = p ( p) k 1 gdzie n = k n! k!( n k)! k-liczba sukcesów; n liczba prób; p- prawdopodobieństwo sukcesu
3) Rozkład Poissona Jest rozkładem zmiennej losowej skokowej, z którym mamy do czynienia w przypadku określania prawdopodobieństwa zajścia zdarzeń stosunkowo rzadkich i niezależnych od siebie, takich jak np. liczba usterek w produkowanej partii materiału, liczba osób nieobecnych na zajęciach w pewnym dniu. Rozkład Poissona jest przybliżeniem rozkładu Bernoulliego dla dużychpróbi przymałym prawdopodobieństwie zajścia zdarzenia ( sukcesu ). P(X k λ = k) = e k! λ e - podstawa logarytmów naturalnych (e=2,718 ) λ - stała, która jest wartością oczekiwaną i równocześnie wariancją rozkładu,
Typowe rozkłady zmiennych losowych ciągłych 1) Rozkład jednostajny 2) Rozkład normalny
1) Rozkład jednostajny Jest to najprostszy z rozkładów zmiennej losowej ciągłej. Mamy z nim do czynienia wtedy, gdy prawdopodobieństwo zajścia zdarzenia jest stałe w pewnym przedziale [a, b]. Przykładem zmiennej mającej rozkład jednostajny jest np. czas oczekiwania na przystanku na autobus przy założeniu, że autobus jeździ dokładnie co np. 20 min. a my wychodzimy nie znając rozkładu jazdy tego autobusu (oczywiście sytuacja jest zupełnie teoretyczna, gdyż zakładamy, że autobus nigdy nie przyjeżdża wcześniej ani się nie spóźnia). Czas oczekiwania na autobus jest w takim wypadku między 0 a 20 min.
2) Rozkład normalny Zwany także rozkładem Gaussa-Laplace'a jest najczęściej spotykanym w naturze rozkładem zmiennej losowej ciągłej. Ciągła zmienna losowa X ma rozkład normalny o wartości oczekiwanej µ (często zamiast µ używamy oznaczenia literą m) i odchyleniu standardowym σ co oznaczamy X~N(µ,σ 2 ) lub X~N(µ,σ). Funkcja gęstości prawdopodobieństwa rozkładu normalnego standardowego (o średniej równej 0 i odchyleniu standardowym równym 1) oraz wartości prawdopodobieństwa dla wartości zmiennej.
Standaryzacja zmiennych jest to przekształcenie (transformacja) wartości zmiennej wg następującego wzoru: Z = X σ m gdzie, m- średnia, σ- odchylenie standardowe, X wartość zmiennej przed standaryzacją, Z wartość zmiennej po standaryzacji zmienna po standaryzacji ma rozkład normalny Z ~ N(0, 1), czyli o średniej równej 0 i odchyleniu standardowym równym 1. Standaryzację stosuje się w celu wyrażenia zmiennych w tej samej skali np. w analizie skupień.
Grupowanie danych szereg rozdzielczy i histogram. Wartości zmiennej można uporządkować w ten sposób, że ustalamy liczebność obserwacji w poszczególnych przedziałach wartości. Przedstawienie liczebności w poszczególnych przedziałach nazywany szeregiem rozdzielczym jeśli przedstawiamy to w formie tabeli, natomiast jeśli przedstawimy to w formie wykresu nazywamy to histogramem. Wartości cechy (np. wiek) Liczebność Częstość 10 8 0-10 5 0,25 6 10-20 8 0,40 4 20-30 5 0,25 2 30-40 40-50 1 1 0,05 0,05 0 0-10 10-20 20-30 30-40 40-50
Estymacja punktowa i przedziałowa w rozkładzie normalnym Oszacowania parametrów punktowych rozkładów ciągłych określane na podstawie próby (estymatory punktowe) Parametry rozkładów określane na podstawie próby, czyli na wybranych jednostkach z populacji nazywamy estymatorami. Najpowszechniej wykorzystywanymi estymatorami są: Średnia arytmetyczna n 1 X = Xi n i= 1 = x 1 + x 2 +... + x n n s Wariancja 2 1 = n 1 n i= 1 (xi x ) Wariancja mówi o zmienności wartości w próbie, czyli ich odchyleniach od średniej. Ze względu, że przy obliczaniu wartości wariancji odchylenia od średniej podnoszone są do kwadratu, to często zamiast wariancji posługujemy się jej pierwiastkiem, czyli odchyleniem standardowym. 2 Współczynnik zmienności s CV = 100% x s = Odchylenie standardowe s 2 1 = n 1 n i= 1 (xi x ) 2
Parametry przedziałowe rozkładów ciągłych określane na podstawie próby (przedziały ufności) Przedział ufności dla średniej s X t( α ;n 1),X + t( α ;n 1) n s n t (α; n 1): wartość krytyczna rozkładu t - Studenta n-1lub v - stopnie swobody α - poziom istotności (zazwyczaj przyjmujemy α=0,05) Poziom ufności: 1 α ustalone z góry prawdopodobieństwo z jakim ten przedział pokrywa nieznaną wartość parametru np. w tym przypadku średnią