Wykład 2. Wpływ stałej (odejmujemy 20) Liniowa transformacja zmiennych, cd. Liniowa transformacja zmiennych, cd. Liniowa transformacja zmiennych, cd.

Transkrypt

1 Wykład 2 Wpływ przekształceń Co się stanie ze średnią i odchyleniem standardowym gdy zmienimy jednostki? stopnie Celsiusza stopnie Fahrenheita dolary 1,000 dolarów wartość faktyczna odległość od minimum cm : mm, in, nm, m, ft; dolary : euro Zmiana wartości wynikająca ze zmiany jednostek dana jest zwykle funkcją liniową: y = ay + c Przykłady: y = 1.8 y + 32 y = 1/1000 y ( + 0) y = (1)y - y min Liniowa transformacja zmiennych, cd. Wpływ stałej (odejmujemy 20) Uwagi: a-współczynnik (kierunkowy) c-stała czasami a = 1 lub c = 0 Funkcja liniowa nie zmienia w zasadniczy sposób kształtu histogramu. Może go rozszerzyć ( a >1), ścieśnić ( a <1), przesunąć (c<>0) i obrócić (a<0). Średnia y Dev y Dev Liniowa transformacja zmiennych, cd. Średnia y zmienia się tak jak y. Mamy: y = a y + c Odchylenie standardowe s zmienia się tylko w zależności od współczynnika a. Stała c nie ma wpływu na odchylenie standardowe, ponieważ zależy ono jedynie od odchyleń od średniej. Mamy: s = a s Liniowa transformacja zmiennych, cd. Wariancja Wariancja jest kwadratem SD. Mamy: s 2 = a 2 s 2 Przykład: Y- temperatura w F: y = 98.6, s = 0.9, s 2 = 0.81 Pytanie 1: Oblicz średnią, odchylenie standardowe i wariancję dla tych samych danych wyrażonych w stopniach Celsjusza. 1

2 Odpowiedź Standardyzacja Pytanie 2: Jakich wyników należy oczekiwać, gdy dane przekształcimy w następujący sposób Y' = (Y- y)/s =(Y-98.6)/0.9? Jest to transformacja liniowa: Y' = 1/s Y - y/s. Odpowiedź: Liniowa transformacja zmiennych: inne statystyki Funkcja liniowa zmienia: medianę i kwartyle tak jak średnią, rozstęp i IQR tak jak odchylenie standardowe. Transformacje nieliniowe Funkcje nieliniowe (np. logarytm) zmieniają kształt histogramu i na ogół nie ma dla nich prostych formuł umożliwiających obliczenie nowej średniej i nowego odchylenia standardowego. Parametry te liczymy z definicji korzystając z nowego zbioru danych. Przykład : dla Y =log(y) na ogół y log y Z medianą i kwartylami jest lepiej... Czasami używamy funkcji nieliniowych, aby przekształcić skośne dane w bardziej symetryczne. 2

3 Wnioskowanie statystyczne Próba a populacja Populacja: Zbiór, z którego losujemy próbę i który chcemy opisać. Czasami rzeczywista, czasami abstrakcyjna (np. nieskończenie duża próba ). Próba: Podzbiór populacji. Próba powinna być reprezentatywna dla populacji. Wnioskowanie statystyczne: Wnioskowanie o populacji w oparciu o próbę. Populacja Grupa wykładowa Wszyscy pacjenci biorący Prozac ``wszystkie rzuty kostkami Wszystkie owocówki ześmietnika, albo Wszystkie owocówki w okolicy Parametry : µ, σ Populacja µ σ Próbkowanie Próba 10 losowo wybranych studentów 30 pacjentów biorących Prozac 25 rzutów kostką Owocówki złapane na śmietniku Wnioskowanie Próba y s Statystyki y, s Parametry populacji µ = średnia w populacji, µ=ey, wartość oczekiwana zmiennej Y σ = odchylenie standardowe w populacji, σ =(Var Y) 1/2, pierwiastek kwadratowy wariancji zmiennej Y, Var Y=E(Y-µ) 2...i inne. Statystyki z próby są estymatorami, służą do oceny parametrów całej populacji. Przykład Grupy krwi u 3696 osóbżyjących w Anglii. Grupa krwi A B AB O suma Liczność 1, Około 44% ludzi w próbie ma grupę krwi A. A w Anglii?? Czy nie było systematycznego błędu przy próbkowaniu? Czy rozmiar próby był dość duży? Możliwe błędy przy próbkowaniu: Próba złożona z przyjaciół i pracowników może nie być reprezentatywna. Mimo tego... Grupy krwi mogą być reprezentatywne. Ale już... Pomiary ciśnienia nie byłyby reprezentatywne (ciśnienie na ogół wzrasta z wiekiem). 3

4 Populacja a próba Średnia z próby y na ogół różni się od wartości oczekiwanej µ=ey (średniej w populacji), ale w miarę wzrostu rozmiaru próby różnica między tymi wielkościami zwykle dąży do zera. Średnia z próby jest estymatorem wartości oczekiwanej. Podobnie próbkowe odchylenie standardowe s i wariancja próbkowa s 2 są estymatorami odpowiednich parametrów w populacji: σ i σ 2 =Var Y. Przykład Rozmiar populacji=50, średnia w populacji =26.48 Dane: stopniowo powiększamy próbę losową do rozmiarów n=10, 20, 30, 40 otrzymana średnia z próby: 23.5 (dla n=10), 27.3 (n=20), 26.7 (n=30), 26.4 (n=40) Histogram z populacji a histogram próbkowy Dane dyskretne (klasy) Oznaczamy: p i =frakcja (częstość) osobników w całej populacji w i-tej kategorii. p i można ustalić w oparciu o histogram skonstruowany dla całej populacji. Oznaczamy: pˆ i= estymator obliczony w oparciu o histogram z próby (zaobserwowana częstość w danej kategorii). Przykład Rozmiar populacji = klas o tej samej częstości p i = (?). W tabeli tylko kategorie 1. i 5. n ˆp ˆp n=10 4

5 Histogram a gęstość rozkładu prawdopodobieństwa Liczbowe dane ciągłe więcej klas + jeszcze więcej danych= bardziej regularny histogram Gęstość rozkładu prawdopodobieństwa Gdy rozmiar próby dąży do nieskończoności i szerokość klas dąży do zera histogram zbiega do wykresu gęstości rozkładu badanej zmiennej w populacji. Podobnie jak dla histogramu, pole pod wykresem gęstości (całka) jest równe frakcji osobników w całej populacji wpadających do danego przedziału, czyli prawdopodobieństwu tego, że losowo wybrany osobnik jest w danym przedziale. Gęstość Gęstość, f, rozkładu prawdopodobieństwa spełnia następujące dwa warunki: f(x) 0 dla wszystkich x. Całkowite pole pod wykresem f(x) wynosi 1: f ( x) dx =1 5

6 Przykłady rozkładów ciągłych Rozkład jednostajny na odcinku [a,b] f(x)= Rozkład wykładniczy z parametrem λ>0 f(x)= Rozkłady ciągłe cd. Rozkłady ciągłe określają prawdopodobieństwa tego, że obserwacje wpadają do pewnych odcinków = P ( X ( a, b)) f ( x) dx b a Niech Y ma rozkład jednostajny na odcinku [0,1]. Y>0.3)=? Y<0.3)=? Y=0.3)=? Próbkowanie, cd. Prosta próba losowa: Każdy osobnik z populacji może być wybrany z tym samym prawdopodobieństwem. Wybory poszczególnych osobników są od siebie niezależne. Jak wybrać prostą próbę losową: Mechanizm losujący, np.: Przyznajemy numer każdemu osobnikowi Zapisujemy numery na kulach Mieszamy kule w urnie Losujemy kule=numery=osobników, tyle razy, ile wynosi rozmiar próby Do losowania możemy również użyć komputera lub gotowej tablicy liczb (numerów) losowych (zob. dalej). Gdy rozmiar populacji nie jest ustalony lub nie mamy dostępu do wszystkich osobników, zadanie jest dużo trudniejsze. Błędy w póbkowaniu, cd, Przykład 1 (Ochotnicy) Dziennikarka Ann Landers spytała swoich czytelników Gdybyście mogli zacząć jeszcze raz: czy mielibyście znowu dzieci? Odpisało prawie 10,000 czytelników i 70% powiedziało: Nie! Populacja: wszyscy rodzice w USA 6

7 Przykład 1 (Ochotnicy) cd. Próba: pewna część populacji, która zdecydowała się odpisać, n=10,000. Czasopismo Newsday przeprowadziło statystycznie zaplanowaną ankietę, w której 91% z 1,373 przepytanych rodziców odpowiedziało: Tak! Ochotnicy: bardzo zła reprezentatywność (badanie bezwartościowe). Przykład 2 Przewidywanie wyników wyborów prezydenckich w USA, 1936: Literary Digest wysłało kwestionariusze do 10 milionów ludzi (25% głosujących) Odpowiedziało 2.4 miliona: Przewidywanie: Landon 57%, Roosevelt 43% Wynik wyborów: Roosevelt 62%, Landon 38% Uwagi: F.D. Roosevelt, Partia Demokratyczna, prezydent w latach ; Wielki Kryzys: Przyczyny błędu Literary Digest: Złe (dyskryminujące) próbkowanie Użyto książek telefonicznych, list członkowskich klubów, listy zamówień pocztowych, listy właścicieli pojazdów Brak odpowiedzi Tylko 24% odpowiedziało (niemal wyłącznie Republikanie) Uwaga: George Gallup przewidział poprawnie na podstawie reprezentatywnej próbki osób. Obciążenie w próbkowaniu Obciążenie w próbkowaniu występuje, gdy mamy do czynienia z systematycznym błędem faworyzującym pewną część populacji. W przypadku takiego obciążenia nie pomoże nawet duży rozmiar próby. Losowy wybór elementów do próby zwykle eliminuje takie obciążenie. Warianty losowego wyboru: Stratyfikacja Dzielimy populację na pod-populacje podobnych jednostek (warstwy) i oddzielnie próbkujemy w każdej warstwie. Przykłady warstw: studenci & studentki grupy zawodowe regiony geograficzne Warianty losowego wyboru cd.: Próbkowanie wielostopniowe Przykład: Badanie w USA dotyczące struktury zatrudnienia. Ankietuje się około gospodarstw domowych co miesiąc. Poziom 1: losowa próba z 3,000 counties Poziom 2: losowa próba reprezentująca powiaty w każdym wybranym county Poziom 3: losowa próba reprezentująca gminy w każdym wybranym powiecie Poziom 4: losowa próba gospodarstw domowych w każdej wybranej gminie 7

8 S Prawdopodobieństwo: formalizm matematyczny A, B, C zdarzenia losowe A) prawdopodobieństwo zdarzenia E 0 A) 1 S przestrzeń probabilistyczna (zbiór wszystkich możliwych wyników eksperymentu-zdarzeń elementarnych) A B A B Działania na zbiorach i własności prawdopodobieństwa A B = A = A) + S)=? Diagramy Venna A A \ B B B \ A A B A B W praktyce prawdopodobieństwo często ustalamy jako częstość/proporcję grupy posiadającą interesującą nas własność. Przykład: Na 45-ciu studentów 15-tu dostało 5.0 z egzaminu. Jakie jest prawdopodobieństwo, że losując studenta z tej grupy trafimy na takiego, który dostał 5.0 z egzaminu? Prawdopodobieństwo klasyczne Założenie wszystkie możliwe elementarne wyniki eksperymentu są jednakowo prawdopodobne (np. prawdopodobieństwo wylosowania każdego studenta jest takie samo). N liczba możliwych wyników eksperymentu (Tu N=?) x liczba tych wyników, które spełniają/sprzyjają zdarzeniu E (Tu E= Dostał/a 5.0 z egzaminu, x=?) E)=x/N (Tu E)=?) Interpretacja częstościowa prawdopodobieństwa Gdy liczba niezależnych powtórzeń eksperymentu dąży do nieskończoności to względna częstość występowania zdarzenia E dąży do E). 8

9 Przykłady zdarzeń E = wyrzucenie orła w rzucie symetryczną monetą : E) = E = wyrzucenie 4 w rzucie symetryczną kostką : E) = E = otrzymam 1 lub 6 w rzucie kostką : E) = Ania i Basia rzucają monetą. E = obie dostaną orła. E) = Uzasadnienie A dostanie O i B dostanie O A dostanie O i B dostanie R A dostanie R i B dostanie O A dostanie R i B dostanie R Te cztery zdarzenia są jednakowo prawdopodobne (E)=OO)=OR)=RO)=RR)=? ) Prawdopodobieństwo, że dostaniemy dokładnie jednego orła (Ania albo Basia) = Niezależność Krzyżówka dwóch heterozygot Genotyp obu rodziców : Aa Dzieci: AA) =? Pr(Aa albo aa) =? aa) =? Jeżeli liczba dzieci będzie bardzo duża to frakcja heterozygot będzie bliska? Przypomnienie: frakcja w próbie aproksymuje frakcję w populacji. Definicja: Zdarzenia A i B są niezależne, gdy A = A) Przykład: Rozważmy dwa rzuty monetą. A=otrzymano orła w pierwszym rzucie B=otrzymano orła w drugim rzucie dwa orły) =? Prawdopodobieństwo warunkowe O Zdarzenie OO P-stwo A prawdopodobieństwo zajścia zdarzenia A pod warunkiem, że zajdzie zdarzenie B. O Definicja matematyczna: R R O O OR RO RR A A = A = A 9

10 Przykład: Przypuśćmy, że 2% populacji zarażone jest wirusem HIV, a test do wykrywania obecności wirusa HIV ma następujące własności: Jeżeli się ma HIV, to prawdopodobieństwo jego wykrycia wynosi (prawdziwy dodatni wynik testu). Gdy się nie ma HIV, to prawdopodobieństwo właściwej diagnozy wynosi (prawdziwy ujemny wynik testu). A wybrany losowo człowiek jest chory B test wykazuje obecność wirusa A)= B A)= A - wybrany losowo człowiek jest zdrowy B -test nie wykazuje obecności wirusa B A )= Zdarzenie P-stwo Test + Prawdziwy + HIV + Test - Fałszywy - Jakie jest p-stwo, że u losowo wybranej osoby test wykaże obecność wirusa? Test + Fałszywy + HIV Test - Prawdziwy - Wzór Bayesa Jakie jest p-stwo, ze osoba u której test wskazał obecność wirusa jest faktycznie zakażona? B A) A) A = 10