Wstęp do statystyki praktycznej. Semestr zimowy 2019/2020 Wykładowca: dr Damian Brzyski Strona internetowa:

Transkrypt

1 Wstęp do statystyki praktycznej Semestr zimowy 2019/2020 Wykładowca: dr Damian Brzyski Strona internetowa:

2 Schemat oceniania: Wymagam obecności. Proszę niezwłocznie usprawiedliwiać absencje. 2 kolokwia podczas semestru Maksymalnie 4 Kartkówki

3 Zalecane podręczniki: Statystyka dla studentów kierunków technicznych i przyrodniczych, J. Koronacki, J. Mielniczuk, WNT 2004, wyd. II Introduction to the Practice of Statistics, D. Moore, G. McCabe, Freeman 2003, wyd. IV (w bibliotece w C-11) Statistics for the Life Sciences, M. Samuels, J. Witmer, 2003, wyd. III

4 Dodatkowe uwagi: Część zadań pochodzi z podanych podręczników, a część-ze skryptu H. Jasiulewicz i W. Kordeckiego Rachunek prawdopodobieństwa i statystyka matematyczna. Przykłady i zadania", wyd. II. Proszę zaopatrzyć się w kalkulator; powinien on przynajmniej liczyć średnią i odchylenie standardowe dla zadanego ciągu liczb. Kalkulator jest obowiązkowy na zajęciach i testach. Telefony komórkowe są niedozwolone na testach.

5 Przygotowanie studenta do zajęć: Proszę przeczytać poprzedni wykład, rozwiązać aktualną listę zadań, przejrzec bieżącą prezentację z Internetu, żeby ułatwić sobie śledzenie wykładu i notowanie. Zachęcam do zadawania pytań i dyskusji.

6 Dane Używamy danych, aby odpowiedzieć na pytania dotyczące badanych populacji. Na ogół dane charakteryzują się losową zmiennością. Oceniamy informację zawartą w danych, w obliczu losowego szumu.

7 Przykład 1 Pewne badania dotyczą wpływu aktywności fizycznej na poziom cholesterolu. Pytanie: Czy poziom cholesterolu jest niższy u osób, które ćwiczą? Grupa eksperymentalna ćwiczy, grupa kontrolna-nie. Kogo dotyczy pytanie? Kogo dotyczą pomiary? Co wpłynie na pomiary? Ludzie mają naturalnie różne poziomy cholesterolu, reagują różnie na ten sam reżim ćwiczeń. Ćwiczenia mogą wpływać na inne czynniki.

8 Przykład 2 Eksperyment mikromacierzowy porównuje komórki rakowe i normalne. Czy zaobserwowany dwukrotnie wyższy poziom ekspresji genu dowodzi faktycznie różnej ekspresji komórek rakowych w ogólności? Ważne aspekty: Czy mamy dość liczne powtórzenia eksperymentu? Czy w powtórzeniach wyniki są podobne? Dwukrotnie, czy raczej czterokrotnie wyższy poziom ekspresji stanowiłby wystarczający dowód?

9 Przykład 3 Reakcja owiec na bakterie wąglika Reakcja Szczepione Nie szczepione Śmierć 0 24 Przeżycie 24 0 Procent przetrwania 100% 0%

10 Przykład 4 E. coli a rozwój raka wątroby u myszy E. coli Wolne od zarazków Rak wątroby 8 19 Zdrowa 5 30 Suma Procent myszy z rakiem wątroby 62% 39%

11 Sygnał i szum Przykład 3 brak zmienności, mocna konkluzja Przykład 4 duża zmienność, niepewna konkluzja Ważne pytania metodologiczne: Czy na podstawie danej proby można wnioskować, że badany czynnik ma wpływ na interesujące nas zjawisko w populacji? Jak duża powinna być próba, aby tak wnioskować?

12 Schemat badań naukowych Pytanie naukowe Planowanie eksperymentu Eksperyment / zbieranie danych Analiza danych Wnioski statystyczne Wnioski naukowe

13 Próba: Składa się z obserwacji lub z danych eksperymentalnych. Jest konkretną reprezentacją populacji. Rozmiar próby: n np. n=10, n=35, n=556 Przykłady: Wysokość 10 kłosów żyta (10 obserwacji) Poziom hemoglobiny u 35 dawców Kolor i kształt ziaren grochu

14 Zmienna Jakiś aspekt tego, co obserwujemy. Przykłady: wysokość, poziom hemoglobiny, kolor i kształt.

15 Rodzaje zmiennych: Zmienne Jakościowe Ilościowe Porządkowe Nieporządkowe Ciągłe Dyskretne

16 Zmienne jakościowe (kategoryczne) Jakościowe=kwalifikujące do kategorii: Porządkowe, np. wybory w ankiecie: nigdy, rzadko, czasami, często, zawsze Nie porządkowe, np.: kolor i kształt

17 Zmienne ilościowe (liczbowe) Ilościowe=wynik jest liczbą: Ciągłe, np. wzrost, waga, stężenie Dyskretne, np. liczba wadliwych elementów, liczba gładkich i żółtych groszków w strączku

18 Typowe oznaczenia Zmienne: X, Y, Z; np.y=wzrost (pojęcie) Obserwacja: x, y, z; np. y=182cm (wartość) Próba: y 1, y 2,, y n (ciąg obserwacji) Rozmiar próby: n, czasem n 1, n 2

19 Próba a próbka Biolog mierzy poziom glukozy we krwi 20 ludzi. Biolog: 20 próbek krwi. Statystyk: Jedna próba; 20 pomiarów glukozy. Bezpieczniej jest użyć słowa pomiar tam, gdzie biolog użyłby słowa próbka.

20 Statystyka opisowa: Opisy rozkładu: Tabela częstości Groszki: gładkie/pomarszczone, zielone/żółte Klasy Liczba Gładkie, żółte 315 Gładkie, zielone 108 Pomarszczone, żółte 101 Pomarszczone, zielone 32

21 Wykres słupkowy (dla danych jakościowych) 400 groszki generacji F2 liczność round, yellow round, green wrinkled, yellow wrinkled, green

22 Tabela częstości dla poziomu wykształcenia (USA, ludzie w wieku lat, rok 2000) Wykształcenie Liczba (w mln) Procent Podstawowe lub zawodowe Szkoła średnia Szkoła policealna Licencjat Wykształcenie wyższe

23 Wykres słupkowy

24 Wykres kołowy

25 Dane ilościowe dyskretne (przykład) Liczba potomstwa u n=36 macior. Liczność miotu jest liczbą całkowitą (zmienna dyskretna).

26 Dane/próba (wielkość miotu):

27 Tabela (rozkład) liczności miotu Liczność miotu Liczba macior

28 Histogram liczności Liczba (macior) Liczność miotu

29 Histogram (liczności) Grupowanie podobnych obserwacji zwykle poprawia czytelność. Prawie zawsze postępujemy tak z danymi ciągłymi. Definiujemy klasy (przedziały) obserwacji i zliczamy liczbę obserwacji wpadających do każdej klasy.

30 Jak wybierać klasy: Klasy są rozłączne i pokrywają wszystkie możliwe wyniki (każda obserwacja wpada do dokładnie jednej klasy). Rozmiar (szerokość) klas (przedziałów) jest często stały. Używamy wygodnych granic przedziałów, np , a nie Używamy 5 do 15 klas dla umiarkowanych zbiorów danych (n 50); używamy więcej, gdy próba jest duża.

31 Przykład Dane: długość łodygi papryki (n=15)

32 Min=10.9, max=14.1, rozstęp=max-min=3.2 Wybieramy np. szerokość klasy 0.5 oraz początek 10.5, by pokryć zakres Zliczamy liczby wystąpień i rysujemy histogram. Rozważamy zmianę szerokości klas, aby uzyskać bardziej informacyjny i czytelny kształt. Za mała szerokość klas=mała czytelność, za duża = utrata informacji.

33 Tabela liczności (dla klas) Klasa Liczność

34 Histogram liczności Liczność ,99 11,49 11,99 12,49 12,99 13,49 13,99 14,49 Klasa

35 Przykład: Stężenia CK (kinaza kreatynowa) w surowicy krwi

36 Dane do histogramu: Min=25, max=203 Rozstęp=178 Szerokość klasy=20 Punkt początkowy=20

37 Serum CK Liczność Suma 36

38

39 Opis histogramu CK: Centralny szczyt (moda) w okolicach 100 J/L Zasadnicza masa rozkładu między 40 a 140 J/L Niesymetryczny skośny na prawo (=wyciągnięty w prawo)

40 Dygresja: interpretacja pola powierzchni pod histogramem przy równej szerokość klas Do odcinka J/L wpada 42% (15 z 36) wartości CK. = Nad odcinkiem J/L leży: 42% całkowitej powierzchni histogramu.

41 Co robić przy nierównej szerokości klas? Wizualna wielkość klasy = pole słupka. Dlatego warto podzielić liczności klas przez długość odcinka tak, aby pole było proporcjonalne do liczności.

42 Histogram częstości Często rysujemy histogram tak, że na osi pionowej zaznaczamy częstość (względną) =liczba wystąpień / n Histogram częstości jest użyteczny np. dla porównania zbiorów danych o różnych rozmiarach n

43 Histogram liczności Histogram częstości 6 0,35 5 0,3 Liczność Częstość 0,25 0,2 0,15 0,1 0, ,99 11,49 11,99 12,49 12,99 13,49 13,99 14,49 Długość łodygi 10,99 11,49 11,99 12,49 12,99 13,49 13,99 14,49 Długość łodygi

44 Diagram łodygi i liścia (Stem and leaf plot) Jest to inny sposób podsumowania rozkładu danych; zachowuje prawie pełne informacje. Wybieramy łodygę ( pień ) liczby-zwykle opuszczając jedną lub dwie ostatnie cyfry w zapisie dziesiętnym. Zapisujemy możliwe łodygi w jednej kolumnie w kolejności rosnącej, i rysujemy pionową linię oddzielającą je od liści.

45 Diagram łodygi i liścia (Stem and leaf plot) cd. Znajdujemy łodygę odpowiadającą każdej obserwacji. Za linią pionową zapisujemy pozostałe cyfry danej obserwacji= liść. Uwagi: Wygodne do szybkiego zilustrowania rozkładu Dostajemy obrócony histogram Ograniczenie: trudniej manipulować liczbą klas

46 Przykład: Stężenie glukozy w przedniej komorze prawego oka u 31 zdrowych psów

47 Miejsce na diagram łodygi i liścia:

48 Słownictwo dla opisu histogramu/rozkładu ():

49 Statystyka jako procedura obliczeniowa Statystyka = (najczęściej) liczbowa charakterystyka danych Przykłady statystyk dla próby y 1 =24, y 2 =35, y 3 =26, y 4 =36: min=24, max=36 rozstęp= 36-24=12 Statystyka może precyzować kształt, centrum rozkładu, rozrzut itp.

50 Miary położenia rozkładu Średnia z próby: Symbol y oznacza konkretną liczbę: arytmetyczną średnią z obserwacji. Średnia jest środkiem ciężkości zbioru danych. Y Symbol oznacza pojęcie/ procedurę obliczania średniej z próby dla różnych prób

51 Przykład: Przyrost wagi owiec Dane : 11, 13, 19, 2, 10, 1 y 1 =11, y 2 =13,, y 6 =1 6 i 1 y y y... y i y 56 /

52 Mediana próbkowa: Definicja: Środkowa obserwacja, jeżeli n jest nieparzyste Średnia z dwóch środkowych wartości, gdy n jest parzyste

53 Przykłady Przykład 1 (n = 5) Dane: Średnia z próby = 32/5 = 6.4 Mediana = Przykład 2 (n = 6) Dane: Średnia z próby = Mediana =

54 Średnia a mediana Przykład 1 cd. (n = 5) Dane: Średnia = 32/5 = 6.4 Mediana = 6.3 Błąd w zapisie danych: Dane: Średnia = 19 Mediana = 6.3

55 Średnia a mediana (cd.) Mediana dzieli powierzchnię histogramu na połowę. Mediana jest odporna, to znaczy nie mają na nią wpływu obserwacje odstające. Przypomnienie: średnia to środek ciężkości histogramu; obserwacje odstające mają duży wpływ na średnią średnia nie jest odporna.

56 Średnia a mediana (cd.) Jeżeli histogram jest w przybliżeniu symetryczny, to średnia i mediana są zbliżone. Jeżeli histogram jest skośny na prawo, to średnia jest zwykle większa niż mediana. Obie te miary położenia są jednakowo ważne. Średnia jest częściej wykorzystywana do testowania i estymacji (o tym później).

57 Miary położenia cd.: Kwartyle Kwartyle dzielą zbiór danych na ćwiartki,tzn.: Drugi kwartyl (Q2) to mediana. Pierwszy kwartyl (Q1) to mediana grupy obserwacji mniejszych niż Q2. Trzeci kwartyl (Q3) to mediana grupy obserwacji większych niż Q2.

58 Przykład Dane:

59 Przykład (n=15)

60 Rozstęp międzykwartylowy IQR=Q3-Q1 (inter-quartile range)

61 Wykres ramkowy (Boxplot) Boxplot graficzna reprezentacja 5 liczb: kwartyli, maximum i minimum. Ramka ( pudełko ) powstaje z obrysowania kwartyli. Linie ( wąsy ) ciągną się do wartości najmniejszej i największej.

62 BoxPlot

63 Zmodyfikowany Boxplot Obserwacja odstająca: Typowe żródła oo: błąd w zapisie danych, błąd maszyny, zmiana warunków eksperymentu itp. Nasze kryterium dla identyfikacji obserwacji odstających: Dolna granica = Q1-1.5*IQR Górna granica = Q *IQR

64 Dane : Czy są oo?

65 Zmodyfikowany wykres ramkowy (zmodyfikowany boxplot) wskazuje też oo:

66 Miary rozrzutu: Rozstęp=max min Rozstęp jest bardzo wrażliwy na obserwacje odstające, nieprzydatny do testowania. Rozstęp międzykwartylowy=iqr=q3-q1 = rozstęp środkowych 50% obserwacji Wariancja Odchylenie standardowe Współczynnik zmienności (CV)

67 Odchylenia (od średniej): dev y y i i dev y y Fakt: Σ dev i =0 (?)

68 Próbkowe odchylenie standardowe (SD, s) Wyrażone w jednostkach pomiarowych Informuje o ile przeciętnie odległe od średniej są obserwacje. n i 1 i 1 2 s ( y y) /( n 1) (definition) n i 2 2 i ( y ny ) /( n 1) (calculations)

69 Uwaga: w mianowniku jest n-1: s SS n 1,where n n ( ) i i i 1 i 1 SS y y y ny

70 Próbkowa wariancja: s 2 Podaje przeciętny kwadrat odległości od średniej próbkowej: s 2 =SS/(n-1), tzn.: ss= Jest mierzona w jednostkach będących kwadratem jednostek, w których wyrażone są dane.

71 Dlaczego n-1? s 2 jest nieobciążonym estymatorem wariancji w populacji (te pojęcia wyjaśnimy później) Σ dev i =0, skąd dev n 1 Heurystyka: n obserwacji daje tylko n-1 stopni swobody = n-1 jednostek informacji i 1 Sprawdź, jak Twój kalkulator liczy SD. (!) n dev i

72 Miary rozrzutu, cd. Współczynnik zmienności (CV) CV s / y

73 Przykład: dane 35.1, 30.6, 36.9, 29.8 (n=4) Suma obserwacji: y = = średnia: = SS = wariancja: s 2 = s= CV= y Uwaga: Proszę zachowywać dużo cyfr znaczących przy rachunkach, zwłaszcza przed odejmowaniem. Zaokrąglamy na koniec (po odejmowaniu). Odpowiedzi wymagają 3 lub więcej cyfr znaczących. (!)

74 Ogólne uwagi Duże s=duży rozrzut. Małe s=mały rozrzut. Jeżeli histogram (rozkład) jest w kształcie dzwonu ( normalny ), to w przybliżeniu: 68% obserwacji jest w odległości 1 s od średniej 95% obserwacji jest w odległości 2 s od średniej 99% obserwacji jest w odległości 3 s od średniej

75

76 Nierówność Czebyszewa Gdy rozkład jest dowolny, to zawsze: co najmniej 75% obserwacji jest w odległości 2 s od średniej, co najmniej 89% obserwacji jest w odległości 3 s od średniej.

77 Przykład

78 Przykład cd. Średnia y = 14.4, odchylenie std. s = 2.9. I ( y 2 s, y 2 s) zawiera około 95% danych. Ocena s = (długość I) /4. Reguła działa, gdy histogram jest w kształcie dzwonu (bliski normalnemu).

79 Odporność miar rozrzutu i położenia Załóżmy, że mamy dość skupiony dzwonowy (normalny) zbiór danych. Czy statystyki zmienią się, gdy jedną obserwację zastąpimy bardzo dużą wartością/błędem? Mediana: tak/nie Rozstęp: Średnia: Kwartyle i rozstęp międzykwartylowy: Standardowe odchylenie:

80 Praca własna (przypomnienie): 1. Proszę przeczytać ponownie wykład, 2. przeczytać i przygotować listę zadań, zapisać w zeszycie rozwiązania, 3. wydrukować i przejrzeć następny wykład (WWW, za kilka dni), 4. powtórzyć po każdym wykładzie.