Agata Boratyńska. WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ (II rok WNE) Warszawa 2014

Transkrypt

1 1 Agata Boratyńska WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ (II rok WNE) Warszawa 2014

2 Agata Boratyńska Wykłady ze statystyki matematycznej 2 Literatura W. Niemiro Rachunek prawdopodobieństwa i statystyka matematyczna, SNS 1999 J. Koronacki i J. Mielniczuk Statystyka WNT 2004 J. Jóźwiak i J. Podgórski, Statystyka od podstaw, PWE 1994 H. Kassyk-Rokicka, Statystyka, zbiór zadań, 2005 lub inne wydania W. Krysicki Rachunek prawdopodobieństwa i statystyka matematyczna w zadaniach, cz. 2. PWN 1998 D. Silvey Wnioskowanie statystyczne, PWN R. Zieliński Siedem wykładów wprowadzających do statystyki matematycznej, PWN rziel/7all.pdf A. Boratyńska Zadania ze statystyki matematycznej, akson.sgh.waw.pl/ aborata/ekonomia/zadsek2.pdf A. Boratyńska Wykłady ze statystyki matematycznej, akson.sgh.waw.pl/ aborata/ekonomia/wykladsm.pdf J. Ciecieląg i K. Marek Statystyka matematyczna, zbiór zadań, WNE A. Jokiel-Rokita i R. Magiera, Modele i metody statystyki matematycznej w zadaniach, Oficyna Wydawnicza GiS, Wrocław 2005 A.D. Aczel, Statystyka w zarządzaniu, PWN W. Zieliński Tablice statystyczne. C.R. Rao Statystyka i prawda, PWN 1994

3 Agata Boratyńska Wykłady ze statystyki matematycznej 3 Statystyka jest bardziej sposobem myślenia lub wnioskowania niż pęczkiem recept na młócenie danych w celu odsłonięcia odpowiedzi C. R. Rao... statystyka jest nauką o tym, jak wykorzystywać informacje do analizy i wytyczania kierunków działania w warunkach niepewności. V. Barnett Comparative Statistical Inference Nauka nie stara się wyjaśniać, a nawet niemal nie stara się interpretować, zajmuje się ona głównie budową modeli. Model rozumiany jest jako matematyczny twór, który, po dodaniu słownej interpretacji, opisuje badane zjawiska. Jedynym i właściwym uzasadnieniem takiego tworu matematycznego jest oczekiwanie, że sprawdzi się on w działaniu. John von Neumann Kłamstwo, wierutne kłamstwo, statystyka Liczby nie kłamią ale kłamcy liczą Ch. H. Grosvenor Prawa naukowe nie są formułowane na mocy autorytetów ani uzasadniane przez wiarę czy średniowieczną filozofię. Jedynym sądem odwoławczym dla nowej wiedzy jest statystyka P.C. Mahanalobis

4 Agata Boratyńska Wykłady ze statystyki matematycznej 4 STATYSTYKA - nauka poświęcona metodom badania i analizowania zjawisk masowych; polega na systematyzowaniu obserwowanych cech ilościowych i jakościowych oraz przedstawianiu wyników w postaci zestawień tabelarycznych, wykresów, diagramów itp. Zajmuje się zbieraniem, przetwarzanie, przedstawianiem danych oraz wniskowaniem na ich podstawie. STATYSTYKA MATEMATYCZNA - dział matematyki stosowanej oparty na rachunku prawdopodobieństwa, zajmuje się badaniem zbiorów i wnioskowaniem o pewnych charakterystykach cech (zmiennych losowych) na podstawie znajomości podzbiorów i obserwacji wartości zmiennej losowej w postaci próby losowej.

5 Agata Boratyńska Wykłady ze statystyki matematycznej 5 STATYSTYKA OPISOWA, WSTĘPNA ANALIZA DANYCH. populacja - zbiór obiektów z wyróżnioną cechą, zbiorowość poddawana badaniu. cecha - wielkość losowa charakteryzująca obiekty danej populacji lub interesująca badacza zmienna losowa, cecha ilościowa (np waga, ocena, wiek, zarobki) i jakościowa (kolor oczu, płeć, wykształcenie) jednostka badania - element populacji poddany badaniu próba - wybrana część populacji poddana badaniu, zbiór jednostek badania jednostka cecha X cecha Y cecha Z... 1 x 1 y 1 z x 2 y 2 z x 3 y 3 z badanie pełne - obejmuje całą populację (np. spis powszechny) badanie reprezentacyjne - obejmuje część populacji Wnioskowanie o całej populacji na podstawie próby losowej wymaga metod rachunku prawdopodobieństwa.

6 Agata Boratyńska Wykłady ze statystyki matematycznej 6 PREZENTACJA DANYCH Szereg rozdzielczy punktowy (tablica kontyngencji) wartości cechy liczności (liczba jednostek) x 1 n 1 x 2 n x k n k PRZYKŁAD 1. W grupie 20 studentów oceny z egzaminu ze statystyki były następujące: Dane w szeregu ocena liczba studentów Razem 20 Przejrzystym sposobem prezentacji jest wykres słupkowy

7 Agata Boratyńska Wykłady ze statystyki matematycznej 7 Szereg rozdzielczy przedziałowy Uwagi: c i = c i 1+c i 2 przedział środek przedziału liczności częstości (c 0, c 1 ] c 1 n 1 f 1 = n 1 n (c 1, c 2 ] c 2 n 2 f 2 = n 2 n (c k 1, c k ] c k n k f k = n k n Najczęściej klasy o jednakowej szerokości lub o zbliżonej liczności Liczba klas k spełnia 3 4 n k n liczbę klas można też dobierać ustalając szerokość, jedna z reguł to b 2, 64 IQR n 1 3 gdzie IQR - rozstęp międzykwartylowy Jeżeli liczba klas jest równa k i klasy są jednakowej długości, to długość b spełnia b X n:n X 1:n k gdzie X 1:n - najmniejsza obserwacja X n:n - największa obserwacja

8 Agata Boratyńska Wykłady ze statystyki matematycznej 8 PRZYKŁAD 2. Powierzchnię mieszkań w pewnym osiedlu podaje tabela 32,45 33,21 34,36 35,78 37,79 38,54 38,91 38,96 39,50 39,67 39,80 41,45 41,55 42,27 42,40 42,45 44,25 44,50 44,70 44,83 44,90 45,10 45,90 46,52 47,65 48,10 48,55 48,90 49,00 49,24 49,55 49,65 49,70 49,90 50,90 51,40 51,50 51,65 51,70 51,80 51,98 52,00 52,10 52,30 53,65 53,89 53,90 54,00 54,10 55,20 55,30 55,56 55,62 56,00 56,70 56,80 56,90 56,95 57,13 57,45 57,70 57,90 58,00 58,50 58,67 58,80 59,23 63,40 63,70 64,20 64,30 64,60 65,00 66,29 66,78 67,80 68,90 69,00 69,50 73,20 76,80 77,10 77,80 78,90 79,50 82,70 83,40 84,50 84,90 85,00 86,00 89,10 89,60 93,00 96,70 98,78 103,00 107,90 112,70 118,90 przedział środek liczba mieszkań częstości razem 100 1

9 Agata Boratyńska Wykłady ze statystyki matematycznej 9 Histogram - jest to wykres słupkowy, którego podstawę stanowią przedziały klasowe, a wysokości słupków sa proporcjonalne do liczności n i poszczególnych klas. Jeżeli wysokości są równe licznościom klas to mamy histogram liczności, jeżeli są równe częstościom to histogram częstości. W sytuacji, gdy klasy nie mają równej długości wysokość słupków określa się wg wzoru h i = f i b i gdzie f i - to częstość, a b i - szerokość klasy. (porównaj histogramy - przykład 1,2,3) Łącząc punkty o współrzędnych ( c i, n i ) otrzymujemy łamaną liczności, a łącząc punkty o współrzędnych ( c i, f i ) albo ( c i, h i ) łamaną częstości. W szeregu rozdzielczym możemy również podawać liczności i częstości skumulowane. przedział liczności częstości skumulowane cn i skumulowane cf i (c 0, c 1 ] n 1 f 1 = n 1 n (c 1, c 2 ] n 1 + n 2 f 1 + f (c k 1, c k ] n 1 + n n k = n f 1 + f f k = 1

10 Agata Boratyńska Wykłady ze statystyki matematycznej 10 Jeżeli wysokości słupków histogramu są równe licznościom (częstościom) skumulowanym to otrzymujemy histogram liczności (częstości) skumulowanych. Łącząc punkty o współrzędnych (c i, cn i ) otrzymujemy łamaną liczności skumulowanych, a łącząc punkty o współrzędnych (c i, cf i ) otrzymujemy łamaną częstości skumulowanych.

11 Agata Boratyńska Wykłady ze statystyki matematycznej 11 CHARAKTERYSTYKI PRÓBKOWE MIARY POŁOŻENIA Średnia arytmetyczna X z próby losowej X 1, X 2,..., X n (dane surowe) X = X 1 + X X n n dane z szeregu rozdzielczego punktowego X = 1 n k i=1 x i n i dane z szeregu rozdzielczego przedziałowego X 1 n k i=1 c i n i PRZYKŁAD 1 cd X = = PRZYKŁAD 2 cd. dla danych z szeregu rozdzielczego X = 1 ( ) = Uwaga: jeżeli dostępne są dane surowe zaleca się korzystanie ze wzoru pierwszego.

12 Agata Boratyńska Wykłady ze statystyki matematycznej 12 Mediana Med z próby losowej jest to liczba, taka że co najmniej 50% obserwacji przyjmuje wartość nie większą od niej i co najmniej 50% obserwacji wartość nie mniejszą od niej. Wyliczamy ją w następujący sposób: dane surowe: ustawiamy rosnąco, i-tą obserwację w ciągu ustawionym rosnąco oznaczamy symbolem X i:n i nazywamy i-tą statystyką pozycyjną Med = 1 Xn+1 2 :n gdy n nieparzyste 2 (X n 2 :n + Xn+2 2 :n) gdy n parzyste dane z szeregu rozdzielczego przedziałowego Med c L + b n 2 M 1 n M gdzie c L - dolna granica klasy mediany b - szerokość klasy mediany n M - liczność klasy mediany M - numer klasy i=1 n i PRZYKŁAD 1 cd. Med = X 10:20+X 11:20 2 = 3,5+3,5 2 = 3, 5 PRZYKŁAD 2 cd. dla danych z szeregu rozdzielczego M = 3, n 3 = 33, c L = 50, b = 10 Med (50 34) = 54, 85 33

13 Agata Boratyńska Wykłady ze statystyki matematycznej 13 Moda (dominanta) M o - wartość najczęściej powtarzająca się w próbie (często zakłada się, że nie może być to wartość największa ani najmniejsza) Przy danych z szeregu rozdzielczego Mo c L + n Mo n Mo 1 (n Mo n Mo 1 ) + (n Mo n Mo+1 ) b gdzie n Mo - liczność najliczniejszej klasy zwanej klasą mody, c L - lewy koniec klasy mody PRZYKŁAD 1 cd. Mo = 3 PRZYKŁAD 2 cd. Mo = 53, 2 PRZYKŁAD 3 cd. 0, , Mo 250+ = 354, , , ,

14 Agata Boratyńska Wykłady ze statystyki matematycznej 14 PRZYKŁAD 4. Miesięczne zarobki zasadnicze pracowników z wyższym wykształceniem w pewnej firmie zarobki liczba osób Razem 31 X = 3506 Med = X 16:31 = 3100 Mo = 3000 Uwaga: średnia jest nieodporna na obserwacje odstające

15 Agata Boratyńska Wykłady ze statystyki matematycznej 15 Kwartyle Pierwszy kwartyl (dolny kwartyl) Q 1 - to taka wartość cechy, że co najmniej 25% obserwacji przyjmuje wartość nie większą od niej i co najmniej 75% obserwacji wartość nie mniejszą od niej. Drugi kwartyl = Mediana Trzeci kwartyl (kwartyl górny) Q 3 - to taka wartość cechy, że co najmniej 75% obserwacji przyjmuje wartość nie większą od niej i co najmniej 25% obserwacji wartość nie mniejszą od niej. W praktyce dolny kwartyl wyznacza się jako medianę podpróby złożonej z obserwacji o wartościach mniejszych od mediany, a górny kwartyl jako medianę z podpróby złożonej z obserwacji większych od mediany. PRZYKŁAD 1 cd. Q 1 = X 5:20 + X 6:20 2 Q 3 = X 15:20 + X 16:20 2 = 3 = 4

16 Agata Boratyńska Wykłady ze statystyki matematycznej 16 Przy danych z szeregu rozdzielczego Q 1 c L + b n M1 gdzie c L - dolna granica klasy kwartyla b - szerokość klasy kwartyla n M1 - liczność klasy kwartyla M 1 - numer klasy Q 3 c L + b n M3 gdzie c L - dolna granica klasy kwartyla b - szerokość klasy kwartyla n M3 - liczność klasy kwartyla M 3 - numer klasy n 4 M1 1 i=1 3n 4 M3 1 i=1 n i n i PRZYKŁAD 2 cd. Za Q 1 odpowiada obserwacja o numerze n 4 = 25, stąd klasa kwartyla jest klasa druga M = 2 Q (25 11) = Za Q 3 odpowiada obserwacja o numerze 3 4n = 75, stąd klasą kwartyla jest klasa czwarta M = 4 Q (75 67) =

17 Agata Boratyńska Wykłady ze statystyki matematycznej 17 Kwartyle dzielą próbę na cztery równe części (ze względu na liczność), w każdej jest w przybliżeniu 25% obserwacji. Porównanie wskaźników dla danych surowych i szeregu rozdzielczego miara dane surowe szereg rozdzielczy średnia 59,58 58,70 mediana 55,25 54,85 Q 1 47,88 46,09 Q 3 67,29 66,67 Kwantyl próbkowy rzędu p Q p = X np:n +X np+1:n 2 gdy np Z X [np]+1:n w pp lub Q p = X [np]+1:n

18 Agata Boratyńska Wykłady ze statystyki matematycznej 18 MIARY ROZPROSZENIA Rozstęp czyli odległość między największą i najmniejszą obserwacją r = X n:n X 1:n Rozstęp międzykwartylowy IQR = Q 3 Q 1 podaje długość odcinka, na którym leży 50% środkowych wartości w uporządkowanej niemalejąco próbie. Uwaga: rozstęp jest funkcją tylko krańcowych obserwacji, jest nieodporny na obserwacje odstające, tej wady pozbawiony jest rozstęp międzykwartylowy Wariancją z próby losowej X 1, X 2,..., X n (dane surowe) nazywamy liczbę Ŝ 2 = 1 n = 1 n n i=1 n i=1 (X i X) 2 Xi 2 n X 2 Dla danych pogrupowanych w szeregu rozdzielczym otrzymujemy Ŝ 2 1 n k i=1 n i ( c i X) 2

19 Agata Boratyńska Wykłady ze statystyki matematycznej 19 Przy danych pogrupowanych w szeregu rozdzielczym stosuje się jeszcze poprawkę związaną z założeniem rozkładu równomiernego danych na poszczególnych przedziałach S 2 = 1 n k i=1 n i ( c i X) n k i=1 n i (c i c i 1 ) 2 Odchylenie standardowe Ŝ = Ŝ 2 lub S = S2 Odchylenie przeciętne d = 1 n n i=1 X i X W sytuacji gdy chcemy porównać rozrzut dwóch lub więcej prób korzystamy ze współczynnika zmienności V = Ŝ X 100% PRZYKŁAD 1 cd. r = 5 2 = 3 IQR = 4 3 = 1 Ŝ 2 = 1 20 { 2(2 3, 5) 2 + 6(3 3, 5) 2 + 5(3, 5 3, 5) 2 +4(4 3, 5) 2 + 1(4, 5 3, 5) 2 + 2(5 3, 5) 2} = 0, 63 Ŝ = 0, 658 = 0, 79 d = 1 20 {2 2 3, , , 5 3, , , 5 3, , 5 } = 0, 6

20 Agata Boratyńska Wykłady ze statystyki matematycznej 20 PRZYKŁAD 2 cd. Dla danych z szeregu rozdzielczego r = 90 IQR 66, 67 46, 09 = 20, 58 Ŝ 2 331, 31 Ŝ 18, 20 S 2 = 322, 98 S = 17, 97 d 13, 96 Wariancja z danych surowych Ŝ 2 = 333, 85

21 Agata Boratyńska Wykłady ze statystyki matematycznej 21 WYKRES RAMKOWY, PUDEŁKO Z WĄSAMI Pozwala na jednym rysunku przedstawić wiadomości dotyczące położenia, rozproszenia i kształtu rozkładu empirycznego badanej cechy. Na wykresie zaznacza się kwartyle, średnią, medianę, największą i najmniejszą obserwację, obserwacje odstające. Obserwacje odstające są to obserwacje o wartościach x < x lub x > x gdzie x = min{x i : X i [Q IQR, Q 1]} x = max{x i : X i [Q 3, Q IQR]}

22 Agata Boratyńska Wykłady ze statystyki matematycznej 22 WSKAŹNIKI ASYMETRII Współczynnik asymetrii (klasyczny) A = M 3 S 3 gdzie M 3 jest trzecim momentem centralnym równym dla danych surowych n M 3 = 1 (X i n X) 3, i=1 dla danych pogrupowanych w szeregu rozdzielczym otrzymujemy M 3 1 n i ( c i n X) 3 i=1 Pozycyjny miernik asymetrii A 2 = Q 3 2Med + Q 1 Q 3 Q 1 Współczynnik skośności k A 1 = X Mo S Asymetria dodatnia (prawostronna) - wskaźniki asymetrii dodatnie Asymetria ujemna (lewostronna) - wskaźniki asymetrii ujemne PRZYKŁAD 1 cd. A = 0, 08, PRZYKŁAD 2cd. A = 1, 10 PRZYKŁAD 3cd. A 1 = ,57 = 0, 3 A 1 = 3,5 3,5 0,79 = 0 A 1 = 58,70 50,10 18,20 = 0, 47

23 Agata Boratyńska Wykłady ze statystyki matematycznej 23 INDEKSY STATYSTYCZNE Zbiór wartości danej cechy lub wartości określonego zjawiska zaobserwowany w różnych (ale chronologicznych) momentach czasu nazywamy szeregiem czasowym. PRZYKŁAD. cena akcji w kolejnych dniach stycznia, zarobki w pewnej gałęzi przemysłu w kolejnych latach, wielkość produkcji w kolejnych miesiącach Indeksy statystyczne służą do badania dynamiki zjawiska na podstawie danych z kolejnych okresów czasowych (na podstawie szeregu czasowego). y t - poziom zjawiska (wartość cechy) w chwili (okresie) t, t {0, 1, 2,..., n} t = y t y t 1 - przyrost absolutny δ t = y t y t y t - przyrost względny względem wartości w chwili t. INDEKSY PROSTE - mierniki tempa zmian zjawiska Indeks łańcuchowy dynamiki i t t 1 = y t y t 1 Tempo zmian wartości zjawiska w okresie t w stosunku do okresu t 1 jest równe (i t t 1 1)100% Indeks jednopodstawowy dynamiki i t t = y t y t, gdzie t jest ustaloną chwilą (ustalonym okresem) czasu.

24 Agata Boratyńska Wykłady ze statystyki matematycznej 24 Tempo zmian wartości zjawiska w okresie t w stosunku do okresu t jest równe (i t t 1)100% Związki między indeksami: i t t 1 = i t t i t 1 t, jeśli t > t to jeśli t < t to i t t = t i t t = t=t +1 t t=t +1 i t t 1, 1 i t t 1. Średnie tempo zmian wartości zjawiska r = ī g 1 = 1 n i t t 1 t=1 n 1 = y 1 n y 0 n 1 = ( in 0 ) 1 n 1 Średnie tempo zmian wartości zjawiska określa tempo zmian zjawiska jakie powinno występować przez cały okres (0, n), aby przyrost z okresu (0, n) rozłożyć równomiernie w czasie. Zatem y n = y 0 (r + 1) n.

25 Agata Boratyńska Wykłady ze statystyki matematycznej 25 AGREGATOWE INDEKSY WARTOŚCI, ILOŚCI I CEN. Indeksy agragatowe oceniają dynamikę zjawiska w niejednorodnej zbiorowości (np. dynamika cen różnych artykułów, dynamika spożycia różnych produktów, dynamika sprzedaży, produkcji kilku dóbr). Dane z dwóch okresów (momentów) czasowych: t = 0 - okres podstawowy i t = 1 okres badany produkt cena jednostki ilość wartość t = 0 t = 1 t = 0 t = 1 t = 0 t = 1 1 p 10 p 11 q 10 q 11 w 10 = p 10 q 10 w 11 = p 11 q 11 2 p 20 p 21 q 20 q 21 w 20 = p 20 q 20 w 21 = p 21 q j p j0 p j1 q j0 q j1 w j0 = p j0 q j0 w j1 = p j1 q j k p k0 p k1 q k0 q k1 w k0 = p k0 q k0 w k1 = p k1 q k1 Agregatowy indeks wartości I w = k j=1 w j1 k j=1 w j0 informuje o łącznej zmianie wartości wszystkich produktów w momencie badanym do momentu podstawowego

26 Agata Boratyńska Wykłady ze statystyki matematycznej 26 Agregatowy indeks cen określa wpływ zmian cen na dynamikę wartości (gdyby ilości w obu momentach czasu były niezmienione), mówi o przeciętnych zmianach cen wszystkich rozważanych produktów Agregatowy indeks cen Laspeyresa LI p = k j=1 p j1 q j0 k j=1 p j0 q j0 = Agregatowy indeks cen Paaschego k j=1 p j1 p j0 p j0 q j0 k j=1 p j0 q j0 PI p = k j=1 p j1 q j1 k j=1 p j0 q j1 Agregatowy indeks cen Fishera FI p = LI pp I p Agregatowy indeks ilości określa wpływ zmian ilości na dynamikę wartości (gdyby w obu momentach ceny były niezmienione), informuje o przeciętnych zmianach ilości poszczególnych produktów w obu porównywanych momentach czasu Agregatowy indeks ilości Laspeyresa LI q = k j=1 p j0 q j1 k j=1 p j0 q j0 = Agregatowy indeks ilości Paaschego k PI q = j=1 p j1 q j1 k j=1 p j1 q j0 k j=1 q j1 q j0 p j0 q j0 k j=1 p j0 q j0

27 Agata Boratyńska Wykłady ze statystyki matematycznej 27 Agregatowy indeks ilości Fishera FI q = LI qp I q Związki między indeksami I w = L I pp I q = L I qp I p = F I pf I q

28 Agata Boratyńska Wykłady ze statystyki matematycznej 28 MODEL STATYSTYCZNY, PODSTAWOWE ZADANIA STATYSTYKI MATEMATYCZNEJ ZADANIE z rachunku prawdopodobieństwa Rzucamy niezależnie 100 razy symetryczną monetą. Oblicz: prawdopodobieństwo wyrzucenia 60 orłów wartość oczekiwaną liczby wyrzuconych orłów Rozwiązanie: Model probabilistyczny: X - liczba wyrzuconych orłów, zmienna losowa o rozkładzie dwumianowym 100 P (X = 60) = EX = nθ = 50

29 Agata Boratyńska Wykłady ze statystyki matematycznej 29 ZADANIE ze statystyki matematycznej Rzucono niezależnie 100 razy pewna monetą uzyskując 60 orłów. Polecenia: 1. oszacuj prawdopodobieństwo uzyskania orła w pojedynczym rzucie; 2. czy moneta jest symetryczna Co znamy? Model probabilistyczny z dokładnością do parametru X - liczba wyrzuconych orłów, obserwowana zmienna losowa o rozkładzie dwumianowym P θ (X = x) = θ (0, 1) - nieznany parametr 100 (θ) x (1 θ) 100 x x Wynik obserwacji X = 60, na jego podstawie chcemy wnioskować o nieznanym parametrze θ.

30 Agata Boratyńska Wykłady ze statystyki matematycznej 30 Zagadnienie estymacji - szacowanie nieznanego parametru na podstawie wyniku obserwacji; estymacja punktowa - podanie oszacowania w postaci liczbowej; estymacja przedziałowa - podanie oszacowania w postaci przedziału nazywanego przedziałem ufności Testowanie hipotez statystycznych - weryfikacja hipotezy dotyczącej nieznanej wielkości rozkładu obserwowanej zmiennej losowej na podstawie wyniku obserwacji Polecenia: wyznacz estymator lub przedział ufności parametru θ zweryfikuj hipotezę H : θ = 1 2

31 Agata Boratyńska Wykłady ze statystyki matematycznej 31 MODEL STATYSTYCZNY (X, F X, P) X - przestrzeń wartości obserwowanej zmiennej losowej X F X - σ-ciało podzbiorów P - rodzina rozkładów prawdopodobieństwa indeksowanych pewnym parametrem θ P = {P θ : θ Θ} Statystyką nazywamy zmienną losową T będącą funkcją obserwowanej zmiennej losowej X. Rozkład statystyki zależy od rozkładu zmienne X Wnioskowanie statystyczne: estymacja nieznanych parametrów: punktowa i przedziałowa testowanie hipotez statystycznych predykcja (przewidywanie) - przewidywanie wartości zmiennej losowej nieobserwowanej Y za pomocą obserwowanej zmiennej X, rozkłady zmiennej Y i X zależą od tego samego parametru.

32 Agata Boratyńska Wykłady ze statystyki matematycznej 32 PEWNE WAŻNE ROZKŁADY Rozkład χ 2 Niech Z i N(0, 1), i = 1... k, Z i niezależne Rozkładem χ 2 z k stopniami swobody nazywamy rozkład prawdopodobieństwa zmiennej losowej i oznaczamy Y = k Zi 2 i=1 gęstość p k (x) = EY = k i V ary = 2k Y χ 2 k 1 2 k 2Γ( k 2 1 exp 1 2 x 1 (0, ) (x) 2 )xk kwantyl rzędu p - F 1 χ 2 (p) - jest to liczba taka, że P {Y k F 1 χ 2 (p)} = p k wartość krytyczna rzędu α χ 2 (α, k) = F 1 χ 2 (1 α) k - jest to liczba, taka że prawdopodobieństwo zdarzenia Y > χ 2 (α, k) jest równe α.

33 Agata Boratyńska Wykłady ze statystyki matematycznej 33 Rozkład t-studenta Niech Z N(0, 1) i Y χ 2 k oraz Z i Y niezależne, wtedy rozkład zmiennej losowej T = Z Y k nazywamy rozkładem t-studenta z k stopniami swobody i oznaczamy T t k gęstość ET = 0 gdy k > 1 V art = k k 2 gdy k > 2 f k (x) = 1 Γ ( k+1 2 ) kπ kwantyl rzędu p - Ft 1 k (p)} = p F 1 t k Γ ( k 2 ) 1 + x2 2 k+1 2 (p) - jest to liczba taka, że P {T wartość krytyczna dwustronna rzędu α t(α, k) = F 1 t k ( 1 α ) 2 - jest to liczba, taka że prawdopodobieństwo zdarzenia T > t(α, k) jest równe α.

34 Agata Boratyńska Wykłady ze statystyki matematycznej 34 Rozkład F (Fishera-Snedecora) Niech Y χ 2 k i V χ 2 r oraz zmienne Y i V są niezależne, wtedy rozkład zmiennej losowej F = Y/k V/r nazywamy rozkładem F z k i r stopniami swobody i oznaczamy gęstość gdy x > 0 p k,r (x) = Γ ( ) k+r 2 Γ ( ) ( ) k 2 Γ r 2 kwantyl rzędu p - F 1 F k,r (p) wartość krytyczna rzędu α F F k,r ( ) r r 2 x k 2 1 k ( )k+r x + r 2 k F (α, k, r) = F 1 F k,r (1 α) 1 (0, ) (x) - jest to liczba, taka że prawdopodobieństwo zdarzenia F > F (α, k, r) jest równe α.

35 Agata Boratyńska Wykłady ze statystyki matematycznej 35 Rozkłady pewnych statystyk w modelu normalnym X 1, X 2,..., X n i.i.d. N(µ, σ 2 ), µ R, σ > 0 X = 1 n n i=1 X i Własności S 2 = 1 n n 1 i=1 (X i X) 2 X i S 2 są niezależne; X N(µ, σ2 n ) E X = 1 n E n i=1 X i = 1 n nex 1 = µ V ar X = 1 n V ar n i=1 X i = 1 n 2 nv arx 1 = σ2 n Zmienna n i=1 (X i µ) 2 σ 2 (n 1)S2 = n (X i X) 2 σ 2 i=1 σ 2 E (n 1)S2 σ 2 ma rozkład χ 2 n χ 2 n 1 = n 1 i V ar (n 1)S2 σ 2 = 2(n 1) stąd ES 2 = σ 2 i V ars 2 = 2σ4 n 1

36 Agata Boratyńska Wykłady ze statystyki matematycznej 36 X µ σ n N(0, 1) i (n 1)S 2 σ 2 χ 2 n 1 zatem T = n X µ σ (n 1)S 2 σ 2 (n 1) = X µ n tn 1 S Niech X 1, X 2,..., X n i.i.d. N(µ 1, σ 2 ) i Y 1, Y 2,..., Y m i.i.d. N(µ 2, σ 2 ) Niech i Wtedy SX 2 = 1 n n 1 i=1 (X i X) 2 SY 2 = 1 m m 1 i=1 (Y i Ȳ )2 (n 1)S 2 X σ 2 χ 2 n 1 i zmienne sa niezależne, stąd (m 1)S 2 Y σ 2 χ 2 m 1 (n 1)S 2 X σ 2 (n 1) (m 1)S 2 Y σ 2 (m 1) = S2 X S 2 Y F n 1,m 1

37 Agata Boratyńska Wykłady ze statystyki matematycznej 37 ZAGADNIENIE ESTYMACJI Zagadnienie estymacji - szacowanie nieznanego parametru lub funkcji na podstawie wyników obserwacji; X 1, X 2,..., X n - niezależne zmienne losowe o tym samym rozkładzie (i.i.d.) P θ - próba losowa θ Θ - nieznany parametr, Θ R(R k ) Estymatorem parametru θ nazywamy dowolną funkcję ˆθ(X 1, X 2,..., X n ), której wartości należą do przestrzeni Θ, i której celem jest oszacowanie parametru θ. CHARAKTERYSTYKI PRÓBKOWE - estymatory w oparciu o dystrybuantę empiryczną Model: (R, F) n, gdzie F rodzina dystrybuant na prostej rzeczywistej x = (x 1, x 2,..., x n ) - próbka losowa z rozkładu o dystrybuancie F k-ta statystyka pozycyjna z próby losowej x 1, x 2,..., x n jest równa k-tej wartości, gdy obserwacje ustawimy w ciąg rosnący. Oznaczenie: X k:n W szczególności x 1:n = min{x 1, x 2,..., x n } x n:n = max{x 1, x 2,..., x n }

38 Agata Boratyńska Wykłady ze statystyki matematycznej 38 Dystrybuanta empiryczna gdzie F n (x, t) = F n (t) = liczba x i, takich że x i t n F n (t) = 1 n Σ1 (,t](x i ) = 1 n Σ1 [x i:n, )(t) 1 (,t] (X i ) = jest zmienną losową dwupunktową, 1 gdy X i (, t] 0 w przeciwnym przypadku P F (1 (,t] (X i ) = 1) = F (t) Dystrybuanta empiryczna jest statystyką jako funkcja próby losowej i jest dystrybuantą rozkładu jednostajnego skupionego w punktach x 1, x 2,..., x n jako funkcja zmiennej t. Własności F n jako statystyki: 1. E F F n (t) = E F 1 n Σ1 (,t](x i ) = 1 n ne F1 (,t] (X i ) = F (t) 2. V arf n (t) = 1 nf (t)(1 F (t))

39 Agata Boratyńska Wykłady ze statystyki matematycznej CTG F n (t) F (t) F (t)(1 F (t)) n N(0, 1) P x : F n (t) F (t) F (t)(1 F (t)) n z Φ(z) dla każdego z. 4. Twierdzenie Gliwenki Cantellego Dla prawie wszystkich x gdy n sup t F n (t) F (t) 0, Charakterystyki próbkowe: średnia - estymator wartości oczekiwanej mediana próbkowa - estymator mediany kwantyl próbkowy - estymator kwantyla rozkładu wariancja z próby - estymator wariancji itd

40 Agata Boratyńska Wykłady ze statystyki matematycznej 40 Przykład 4: Dane - 40 strat spowodowanych wichurami: wartość liczebność

41 Agata Boratyńska Wykłady ze statystyki matematycznej 41 METODY WYZNACZANIA ESTYMATORÓW EMM (estymacja metodą momentów) X 1, X 2,..., X n i.i.d z rozkładu P θ, θ- nieznany parametr 1. θ R (jednowymiarowa przestrzeń parametrów), rozwiąż (niewiadomą jest θ): E θ X = X 2. θ = (θ 1, θ 2 ) R 2, rozwiąż układ (niewiadomą jest θ): E θ X = X V ar θ X = Ŝ2 3. θ = (θ 1, θ 2,..., θ k ) (k-wymiarowa przestrzeń parametrów), rozwiąż układ (niewiadomą jest θ): gdzie µ = E θ X. E θ X = X V ar θ X = Ŝ2 E θ (X µ) 3 = 1 n (X i X) E θ (X µ) k = 1 n (X i X) k

42 Agata Boratyńska Wykłady ze statystyki matematycznej 42 Przykład 1. X = (X 1, X 2,..., X n ), X i Ex(θ) i są niezależne, θ > 0 EMM(θ) =? Rozwiązujemy równanie: stąd Przykład 2. E θ X i = + 0 xθe θx dx = 1 θ 1 θ = X EMM(θ) = ˆθ = 1 X X = (X 1, X 2,..., X n ), X i α, β > 0 Gamma(α, β) i są niezależne, EMM(α) =? i EMM(β) =?. p α,β (x) = βα Γ(α) xα 1 e βx gdy x > 0 E α,β X i = α β V ar α,β X i = α β 2

43 Agata Boratyńska Wykłady ze statystyki matematycznej 43 Otrzymujemy układ: Stąd: Przykład 3. α β = X α β 2 = Ŝ2 ˆβ = X i ˆα = X 2 Ŝ 2 Ŝ 2 Wyznaczyć EMM parametrów w rozkładzie P areto(θ, λ), θ > 2, λ > 0. Rozwiązanie: X = (X 1, X 2,..., X n ), X i P areto(θ, λ) i są niezależne Otrzymujemy układ: p θ,λ (x) = θλ θ (λ + x) θ+1, x > 0 Stąd: ˆθ = λ θ 1 = X λ 2 θ (θ 1) 2 (θ 2) = S2 2S2 S 2 X 2 ˆλ = X(ˆθ 1).

44 Agata Boratyńska Wykłady ze statystyki matematycznej 44 EMK (estymacja metodą kwantyli) X 1, X 2,..., X n i.i.d z rozkładu P θ, θ- nieznany parametr 1. θ R (jednowymiarowa przestrzeń parametrów), rozwiąż (niewiadomą jest θ): q1 2 (θ) = Q1 2 F θ (Q1 2 ) = θ = (θ 1, θ 2 ), rozwiąż układ (niewiadomą jest θ): lub układ równoważny: q1 4 (θ) = Q1 4 i q3 4 (θ) = Q3 4 F θ (Q1 4 ) = 1 4 i F θ (Q3 4 ) = θ = (θ 1, θ 2, θ 3 ). Otrzymujemy układ: F θ (Q1 4 ) = 1 4 i F θ (Q1 2 ) = 1 2 i F θ (Q3 4 ) = θ = (θ 1, θ 2, θ 3, θ 4 ). Rozważamy kwantyle rzędu 1 8, 3 8, 5 8 i 7 8.

45 Agata Boratyńska Wykłady ze statystyki matematycznej 45 Przykład 1. X 1, X 2,..., X n i.i.d, X i Ex(θ), θ > 0 EMK(θ) =? F θ ( ) ) q1 = 1 exp 2 ( θq12 Rozwiązujemy równanie: = 1 2 q1 2 = 1 θ ln θ ln 1 2 = Q1 2 stąd EMK(θ) = ˆθ(X) = 1 Q1 2 ln 1 2

46 Agata Boratyńska Wykłady ze statystyki matematycznej 46 Przykład 2. Niech X 1, X 2,..., X n i.i.d z rozkładu W eibull(c, τ), EMK(c) =? i EMK(τ) =? Dystrybuanta w rozkładzie Weibulla ma postać: F c,τ (x) = 1 exp ( cx τ ) x > 0 Otrzymujemy układ: Stąd 1 e cqτ 1 4 = e cqτ 3 4 = 3 4 ln 0.75 = cq τ 1 4. Estymatory mają postać: ln 0.25 = cq τ 3 4 τ Q1 4 Q3 4 ˆτ = log Q 14 Q 34 = ln 0.75 ln 0.25 ln 0.75 ln 0.25 ĉ = ln 0.75 Qˆτ 1 4

47 Agata Boratyńska Wykłady ze statystyki matematycznej 47 ENW (estymacja metodą największej wiarogodności) Niech X 1, X 2,..., X n i.i.d. z rozkładu o gęstości f θ (x), gdzie θ jest nieznanym parametrem. Funkcją wiarogodności nazywamy funkcję zmiennej θ równą L(θ, x) = f θ (x 1 )f θ (x 2 )... f θ (x n ) gdzie x = (x 1, x 2,..., x n ) jest próbką zaobserwowanych wartości zmiennych X 1, X 2,..., X n Estymatorem największej wiarogodności parametru θ (EN W (θ)) nazywamy argument maksimum funkcji L ENW (θ) = arg max θ L(θ, x). Zachodzi: arg max θ L(θ, x) = arg max θ ln L(θ, x). ENW (g(θ)) = g(enw (θ)) Jeżeli θ = (θ 1,..., θ k ) jest parametrem ciągłym i L jest funkcją różniczkowalną, to ENW wyznaczamy rozwiązując układ równań: lub równoważny układ: L(θ, x) θ j = 0, j = 1, 2,..., k ln L(θ, x) θ j = 0, j = 1, 2,..., k.

48 Agata Boratyńska Wykłady ze statystyki matematycznej 48 PRZYKŁAD 1. X bin(n, θ) L(θ, x) θ L(θ, x) = = n θ x (1 θ) n x x n θ x 1 (1 θ) n x 1 (x nθ) = 0 x ENW (θ) = X n

49 Agata Boratyńska Wykłady ze statystyki matematycznej 49 PRZYKŁAD 2. X 1, X 2,..., X n i.i.d Ex(θ), θ > 0 Funkcja wiarogodności Pochodna ln L(θ,x) θ PRZYKŁAD 3. L(θ, x) = θ n exp θ n ln L = n ln θ θ n i=1 x i i=1 x i = n θ n i=1 x i Rozwiązujemy równanie n θ n x i = 0 i=1 ENW (θ) = 1 X X 1, X 2,..., X n i.i.d N(µ, σ), niech v = σ 2 L(µ, v) = 1 n 2 exp 1 2πv 2v ln L = n 2 ln(2π) n 2 ln v 1 2v n i=1 (x i µ) 2 n i=1 (x i µ) 2 Po obliczeniu pochodnych cząstkowych otrzymujemy układ 2 1 n 2v i=1 (x i µ) = 0 n 2v + 1 n 2v 2 i=1 (x i µ) 2 = 0 ENW (µ) = X ENW (σ 2 ) = Ŝ2 = 1 n n i=1 ( Xi X )2.

50 Agata Boratyńska Wykłady ze statystyki matematycznej 50 WŁASNOŚCI ESTYMATORÓW, PORÓWNYWANIE ESTYMATORÓW X = (X 1, X 2,..., X n ) - obserwowana zmienna losowa P θ - rozkład zmiennej X, θ -nieznany parametr ˆθ - estymator θ, ĝ - estymator funkcji g(θ) 1. Obciążenie estymatora Obciążenie estymatora parametru θ: B θ (ˆθ) = E θ ˆθ(X) θ Obciążenie estymatora funkcji g(θ): B θ (ĝ) = E θ ĝ(x) g(θ) Estymator ˆθ ( ĝ) jest estymatorem nieobciążonym θ Θ E θ ˆθ(X) = θ (Eθ ĝ(x) = g(θ)) PRZYKŁADY: X 1, X 2,..., X n i.i.d z rozkładu o nieznanej dystrybuancie F i nieznanych EX i = µ i V arx i = σ 2 F n - dystrybuanta empiryczna (estymator F ) X - estymator µ S 2, Ŝ 2 - estymatory σ 2

51 Agata Boratyńska Wykłady ze statystyki matematycznej 51 EF n (t) = F (t) = F n (t) estymator nieobciążony dystrybuanty F (t) E X = 1 n E n i=1 X i = 1 n nex 1 = µ = X - estymator nieobciążony wartości oczekiwanej ES 2 = 1 n 1 E = 1 n 1 E n Xi 2 n X 2 ES 2 = i=1 n n 1 = n i=1 σ 2 + µ 2 (X i X) 2 n n 1 EX2 1 σ 2 n + µ2 = S 2 jest estymatorem nieobciążonym wariancji EŜ2 = E n 1 n S2 = n 1 n σ2 B(Ŝ2 ) = n 1 n σ2 σ 2 = 1 n σ2 Ŝ 2 - estymator obciążony n n 1 E X 2 = σ 2 B(Ŝ2 ) = 1 n σ2 0 gdy n +

52 Agata Boratyńska Wykłady ze statystyki matematycznej 52 Mówimy, że estymator jest asymptotycznie nieobciążony gdy θ Θ lim B n + θ(ˆθ) = 0 2. Ryzyko estymatora (błąd średniokwadratowy) Funkcję R(θ, ĝ) = E θ (ĝ(x) g(θ)) 2 nazywamy ryzykiem estymatora ĝ przy kwadratowej funkcji straty lub błędem średniokwadratowym. R(θ, ĝ) = E θ (ĝ(x) g(θ)) 2 = B 2 θ(ĝ) + V ar θ (ĝ) Mówimy, że estymator ĝ 1 jest lepszy niż ĝ 2 θ R(θ, ĝ 1 ) R(θ, ĝ 2 ) i θ 0 R(θ 0, ĝ 1 ) < R(θ 0, ĝ 2 ). Jeżeli ĝ jest estymatorem nieobciążonym funkcji g(θ), tzn. E θ (ĝ) = g(θ) dla każdego θ Θ, to R(θ, ĝ) = V ar θ (ĝ). WNIOSEK: Przy estymatorach nieobciażonych miernikiem jakości estymatora jest jego wariancja.

53 Agata Boratyńska Wykłady ze statystyki matematycznej 53 PRZYKŁAD 1. X 1, X 2,..., X n i.i.d P oiss(θ), θ > 0 ENW (θ) =? x i L(θ, x) = e nθθ x i! ln L(θ, x) = nθ + x i ln θ ln x i! ln L(θ, x) θ = n + X i ENW (θ) = ˆθ = n E θ X = θ = ˆθ estymator nieobciążony x i R(θ, ˆθ) = V ar θ ˆθ = θ n θ = X

54 Agata Boratyńska Wykłady ze statystyki matematycznej 54 PRZYKŁAD 2. X 1, X 2,..., X n i.i.d N(µ, σ 2 ), oba parametry nieznane Porównamy ryzyka estymatorów wariancji S 2 i Ŝ2 = R(µ, σ, S 2 ) = V ar µ,σ S 2 σ 4 (n 1) 2V ar µ,σ = n i=1 (X i X) 2 σ 2 σ 4 2σ4 (n 1) 22(n 1) = (n 1) Zatem = R(µ, σ, Ŝ2 ) = V ar µ,σ Ŝ 2 + B 2 µ,σ(ŝ2 ) = V ar n 1 µ,σ n n 1 2 2σ 4 n S n σ2 (n 1) + σ4 n 2 = 2n 1 n 2 σ 4 µ, σ R(µ, σ, Ŝ2 ) < R(µ, σ, S 2 )

55 Agata Boratyńska Wykłady ze statystyki matematycznej 55 X = (X 1, X 2,..., X n ), p θ (x) - gęstość rozkładu zmiennej X Informacją Fishera nazywamy funkcję I n (θ) = X I n (θ) = E θ p θ (x) θ p θ (x) 2 P θ (x) 2 θ x P θ (x) p θ (x)dx P θ (x) ln p θ (X) θ 2 dla zmiennej ciągłej dla zmiennej dyskretnej Jeżeli p θ (x) jest dwukrotnie różniczkowalną funkcją zmiennej θ, to I n (θ) = E θ 2 ln p θ (X) θ 2. Jeżeli X 1, X 2,..., X n i.i.d. z rozkładu o gęstości f θ (x), to I n (θ) = ni 1 (θ), gdzie I 1 (θ) jest informacją Fishera w oparciu o zmienną X 1.

56 Agata Boratyńska Wykłady ze statystyki matematycznej 56 NIERÓWNOŚĆ INFORMACYJNA Przy pewnych warunkach regularności, jeżeli ĝ jest estymatorem nieobciążonym funkcji różniczkowalnej g(θ), to θ Θ V ar θ ĝ (g (θ)) 2 I n (θ). Efektywność estymatora niobciążonego ĝ(x 1, X 2,..., X n ) funkcji różniczkowalnej g(θ): eff θ (ĝ(x 1, X 2,..., X n ) = (g (θ)) 2 I n (θ)v ar θ (ĝ) Wielkość ( g (θ)) 2 I n (θ) nazywamy dolnym ograniczeniem Cramera-Rao

57 Agata Boratyńska Wykłady ze statystyki matematycznej 57 PRZYKŁAD 1 cd. X 1, X 2,..., X n i.i.d P oiss(θ), θ > 0 ENW (θ) = X i V ar θ X = θ n Wyznaczymy dolne ograniczenie Cramera Rao θ θx P θ (x) = e x! ln P θ (x) = θ + x ln θ ln x! ( I n (θ) = ni 1 (θ) = ne ln Pθ (X) ) 2 θ θ ln P θ (X) θ = 1 + x θ I n (θ) = ne X θ 2 θ = n 1 θ θ 2E θ(x θ) 2 = n θ Dolne ograniczenie Cramera Rao (g (θ)) 2 I n (θ) = 1 I n (θ) = θ n

58 Agata Boratyńska Wykłady ze statystyki matematycznej Zgodność estymatora ĝ(x 1, X 2,..., X n ) = ĝ n funkcji g(θ) dla każdego ε > 0 i θ Θ lim P n + θ ( ĝ n g(θ) > ε) = 0 4. Asymptotyczna normalność ĝ(x 1, X 2,..., X n ) istnieje σ(θ) > 0 takie, że dla każdego z lim n + P θ ĝ n g(θ) σ(θ) n < z = Φ(z) gdzie Φ jest dystrybuantą rozkładu normalnego N(0, 1) ĝ n N g(θ), σ2 (θ) przy dużym n n ĝ n g(θ) n N(0, 1) przy n + σ(θ) Wielkość σ 2 (θ) nazywamy wariancją asymptotyczną.

59 Agata Boratyńska Wykłady ze statystyki matematycznej 59 PRZYKŁADY X 1, X 2,..., X n i.i.d z rozkładu dystrybuancie F i EX i = µ i V arx i = σ 2 1. Z praw wielkich liczb wynika 2. Z CTG wynika X µ przy n + S 2 σ 2 przy n + F n (t) F (t) przy n + X µ n N(0, 1) przy n + σ F n (t) F (t) F (t)(1 F (t)) n N(0, 1) przy n + 3. Niech ˆQ p = X [np]:n. Jeżeli funkcja gęstosci f θ jest ciągła i spełnia f θ (q p ) 0, to ( ˆQ p q p ) n N 0, p(1 p) fθ 2 przy n + (q p )

60 Agata Boratyńska Wykłady ze statystyki matematycznej 60 Lemat DELTA Jeżeli ciąg Z n rzeczywistych zmiennych losowych spełnia (Z n θ) n N(0, σ 2 ) dla pewnego σ 2 i g(θ) jest różniczkowalną funkcją θ i g (θ) 0, to (g(z n ) g(θ)) n N(0, [g (θ)] 2 σ 2 ). PRZYKŁAD 1. X 1, X 2,..., X n i.i.d., EX i = µ i V arx i = σ 2 X 2 - estymator parametru µ 2 Z CTG ( X µ) n N(0, σ 2 ) przy n + Niech Z lematu DELTA g(µ) = µ 2 ( X 2 µ 2 ) n N ( 0, 4σ 2 µ 2)

61 Agata Boratyńska Wykłady ze statystyki matematycznej 61 PRZYKŁAD 2. X 1, X 2,..., X n i.i.d. Ex(θ), θ > 0, E θ X = 1 θ, V ar θx = 1 θ 2 ENW (θ) = 1 X Z CTG Niech wtedy ( X 1 θ ) n N 0, 1 θ 2 przy n + g(t) = 1 t g (t) = 1 t 2 = g( X) = 1 X, g( 1 θ ) = θ, g Z lematu DELTA 1 X θ n N 0, 1 θ 2 θ4 1 = θ 2 θ

62 Agata Boratyńska Wykłady ze statystyki matematycznej 62 ASYMPTOTYCZNA ZGODNOŚĆ I NORMALNOŚĆ ENW 1. Niech X 1, X 2,..., X n,... będą i.i.d z rozkładu o gęstości f θ, gdzie θ jest nieznanym parametrem. Niech gęstości f θ mają wspólny nośnik i przestrzeń Θ będzie przedziałem otwartym. Jeżeli układ równań Σ n ln L(θ, X i ) i=1 θ = 0 ma dokładnie jedno rozwiązanie, to jest ono ENW (θ) i jest to estymator zgodny. 2. Jeżeli dodatkowo istnieje 3 ln L(θ,x 1,...,x n ), i spełnione są założenia umożliwiające zamianę kolejności operacji różniczkowa- θ 3 nia po 2 θ lub i całkowania... dx i I(θ) > 0 jest określona, θ 2 to ˆθ n = ˆθ(X 1, X 2,..., X n ) = ENW (θ) jest asymptotycznie normalny i (ˆθ n θ) n N 0, 1 przy n +. I 1 (θ) 3. (Z Lematu DELTA) Przy powyższych założeniach jeżeli g jest różniczkowalna i g (θ) 0 i ˆθ n = ENW (θ), to (g(ˆθ n ) g(θ)) n N(0, [g (θ)] 2 I 1 (θ)).

63 Agata Boratyńska Wykłady ze statystyki matematycznej 63 Mówimy, że estymator ĝ n jest estymatorem asymptotycznie efektywnym parametru g(θ) jeżeli jest estymatorem asymptotycznie normalnym o wariancji asymptotycznej σ 2 (θ) = [g (θ)] 2 I 1 (θ) Jeśli ĝ 1 i ĝ 2 są dwoma estymatorami asymptotycznie normalnymi funkcji g(θ) o wariancjach asymptotycznych odpowiednio równych σ 2 1(θ) i σ 2 2(θ), to asymptotyczną efektywnością względną nazywamy stosunek as.ef(ĝ 1, ĝ 2 ) = σ2 2(θ) σ 2 1(θ).

64 Agata Boratyńska Wykłady ze statystyki matematycznej 64 PRZYKŁAD. X 1, X 2,..., X n i.i.d P oiss(θ), θ > 0 Znamy: ENW (θ) = X, V ar θ X = θ n, I 1(θ) = 1 θ Chcemy estymować funkcję Rozważamy dwa estymatory: ( X θ) n N(0, θ) g(θ) = e θ = P θ (X 1 = 0) ĝ 1 = e X ĝ 2 = liczba X i, takich że X i = 0 n Rozkłady asymptotyczne = 1 n n i=1 1(X i = 0) Niech h(t) = e t, wtedy h (t) = e t i z lematu DELTA ( e X e θ) n N ( 0, θe 2θ ) Niech Wtedy Y i = 1 gdy X i = 0 0 w pp E θ Y i = e θ i V ar θ Y i = e θ (1 e θ )

65 Agata Boratyńska Wykłady ze statystyki matematycznej 65 oraz ĝ 2 = 1 n n Y i i=1 Z CTG (ĝ2 e θ) n N ( 0, e θ (1 e θ ) ) Porównujemy wariancje asymptotyczne θ > 0 e θ (1 e θ ) > θe 2θ = as.ef(ĝ 1, ĝ 2 ) > 1 Estymator ĝ 1 jest bardziej efektywny niż estymator ĝ 2.

66 Agata Boratyńska Wykłady ze statystyki matematycznej 66 ESTYMACJA PRZEDZIAŁOWA, PRZEDZIAŁY UFNOŚCI X 1, X 2,..., X n - próbka losowa z rozkładu z nieznanym parametrem θ Przedziałem ufności dla parametru θ na poziomie ufności 1 α nazywamy przedział [θ(x 1, X 2,..., X n ), θ(x 1, X 2,..., X n )], którego końce są statystykami (funkcjami obserwowanej zmiennej losowej) i który spełnia warunek θ P θ ( θ(x1, X 2,..., X n ) θ θ(x 1, X 2,..., X n ) ) 1 α. α - mała liczba np. 0,1, 0,05, 0,01. Warunek P θ (θ [θ, θ]) = 1 α należy rozumieć tak: losowy przedział [θ, θ] pokrywa nieznaną liczbę θ z dużym prawdopodobieństwem. Pojęcie przedziału ufności precyzuje ideę estymacji z określoną dokładnością. Zamiast pojedynczego oszacowania nieznanego parametru, podajemy dolną i górną granicę oszacowania. Nie możemy gwarantować, że parametr leży na pewno między tymi granicami, ale możemy wymagać by tak było z odpowiednio dużym prawdopodobieństwem.

67 Agata Boratyńska Wykłady ze statystyki matematycznej 67 Model I. X 1, X 2,..., X n i.i.d. z rozkładu N(µ, σ 2 ), µ R nieznane, σ > 0 znane. ENW (µ) = EMM(µ) = X - estymator punktowy X N(µ, σ2 U = X µ σ n ) n N(0, 1), U - funkcja centralna szukamy z, tak aby P X µ σ n z = u 1 α 2 - kwantyl rzędu 1 α 2 Rozwiążmy nierówność (wyznaczamy µ) Otrzymujemy X µ σ z = 1 α w rozkładzie normalnym N(0, 1) n u 1 α 2 X u 1 α 2 σ n µ X + u 1 α 2 σ n Zatem P σ X u1 α 2 n µ X σ + u 1 α 2 n = 1 α

68 Agata Boratyńska Wykłady ze statystyki matematycznej 68 Przedział σ X u1 α 2 n, X σ + u 1 α 2 n jest przedziałem ufności dla parametru µ na poziomie ufności 1 α. 2d - długość przedziału ufności 2d = 2u 1 α 2 σ n d nazywamy błędem oszacowania 1 α rośnie = 2d rośnie n rośnie = 2d maleje Aby otrzymać przedział z maksymalnym błędem d 0 na zadanym poziomie ufności 1 α należy wziąć próbę losową o liczebności n u 1 α 2 σ d 0 2

69 Agata Boratyńska Wykłady ze statystyki matematycznej 69 Model II. X 1, X 2,..., X n i.i.d. z rozkładu N(µ, σ 2 ), µ R nieznane, σ > 0 nieznane. X - estymator punktowy parametru µ S 2 = 1 n n 1 i=1 (X i X) 2 - estymator punktowy parametru σ 2 X N(µ, σ2 n ) X µ σ n N(0, 1) T = X µ S n tn 1, T - funkcja centralna, t n 1 - rozkład t-studenta z n 1 stopniami swobody Analogicznie, jak poprzednio szukamy liczby z tak aby P X µ S n z = 1 α z = t(α, n 1) - wartość krytyczna rzędu α, lub równoważnie kwantyl rzędu 1 α 2 w rozkładzie t-studenta z n 1 stopniami swobody Rozwiązujemy nierówność (wyznaczamy µ) X µ S n t(α, n 1)

70 Agata Boratyńska Wykłady ze statystyki matematycznej 70 Przedział S X t(α, n 1) n, X + t(α, n 1) S n jest przedziałem ufności dla parametru µ na poziomie ufności 1 α. Aby wyznaczyć liczebność próbki potrzebną do uzyskania przedziału o danej długości postępujemy zgodnie z dwuetapową procedurą Steina. Przedział ufności dla wariancji (n 1)S 2 σ 2 χ 2 n 1 - funkcja centralna χ 2 n 1 - rozkład chi kwadrat z n 1 stopniami swobody Szukamy liczb a, b tak, aby P a (n 1)S2 σ 2 b = 1 α a = χ 2 (1 α 2, n 1) - wartość krytyczna rzędu 1 α 2 lub równoważnie kwantyl rzędu α 2 w rozkładzie chi kwadrat z n 1 stopniami swobody b = χ 2 ( α 2, n 1) - wartość krytyczna rzędu α 2 lub równoważnie kwantyl rzędu 1 α 2 w rozkładzie chi kwadrat z n 1 stopniami swobody

71 Agata Boratyńska Wykłady ze statystyki matematycznej 71 Rozwiązujemy nierówności (wyznaczamy σ 2 ) χ 2 (1 α 2, n 1) (n 1)S2 σ 2 χ 2 ( α 2, n 1) Przedział (n 1)S 2 (n 1)S 2 χ 2 ( α 2, n 1), χ 2 (1 α 2, n 1) jest przedziałem ufności dla parametru σ 2 na poziomie ufności 1 α.

72 Agata Boratyńska Wykłady ze statystyki matematycznej 72 ASYMPTOTYCZNE PRZEDZIAŁY UFNOŚCI Model III. X 1, X 2,..., X n i.i.d. z dowolnego rozkładu o skończonej wartości oczekiwanej i wariancji, zakładamy, że n duże (n > 50) Cel: przedział ufności dla wartości oczekiwanej EX i = µ. Korzystamy z Centralnego twierdzenia granicznego przy n + X µ n N(0, 1) S Postępujemy analogicznie jak w modelu I Przedział S X u1 α 2 n, X S + u 1 α 2 n jest przybliżonym przedziałem ufności dla parametru µ na poziomie ufności 1 α.

73 Agata Boratyńska Wykłady ze statystyki matematycznej 73 Niech X 1, X 2,..., X n i.i.d. z rozkładu o gęstości f θ (x), θ - nieznany parametr Niech ˆθ = ENW (θ) i ˆθ ma asymptotyczny rozkład normalny z wariancją asymptotyczną I 1 (θ). Wtedy ˆθ N(θ, (ni(θ)) 1 ) dla dużych n. Jeśli dodatkowo I(ˆθ) jest estymatorem zgodnym funkcji I(θ), to ( ˆθ θ ) ni(ˆθ) N(0, 1). Otrzymujemy asymptotyczny przedział ufności dla θ na poziomie ufności 1 α postaci 1 ˆθ u 1 α 2 ni(ˆθ), ˆθ 1 + u 1 α 2. ni(ˆθ) Model IV. Wykonujemy n niezależnych doświadczeń typu sukces - porażka (np. sondaż opinii publicznej - pytanie o preferowanie pewnej wielkości lub nie, kontrola jakości - pojawienie się braku lub nie), n duże. Obserwowana zmienna losowa Y ma rozkład dwupunktowy P (Y = 1) = p P (Y = 0) = 1 p p (0, 1) - prawdopodobieństwo sukcesu w pojedynczym doświadczeniu, nieznany parametr nazywany też wskaźnikiem struktury

74 Agata Boratyńska Wykłady ze statystyki matematycznej 74 Niech X oznacza liczbę sukcesów w n próbach X bin(n, p) ˆp = ENW (p) = X n (ˆp p) n N(0, p(1 p)) przy n + ˆp p ˆp(1 ˆp) n N(0, 1) Zatem P Rozwiązujemy nierówność wyznaczamy p. Przedział ˆp p n u ˆp(1 ˆp) 1 α 2 1 α ˆp u 1 α 2 ˆp p n u 1 α ˆp(1 ˆp) 2, ˆp(1 ˆp) n, ˆp + u 1 α 2 ˆp(1 ˆp) n jest przybliżonym przedziałem ufności dla parametru p na poziomie ufności 1 α.

75 Agata Boratyńska Wykłady ze statystyki matematycznej 75 2d = 2u 1 α 2 ˆp(1 ˆp) n - długość przedziału ufności Zauważmy, że dla każdego ˆp (0, 1) zachodzi ˆp(1 ˆp) = Zatem dla każdego ˆp 1 d u 1 α 2 2 n Aby otrzymać przedział z maksymalnym błędem d 0 na zadanym poziomie ufności 1 α należy wziąć próbę losową o liczebności n 1 u 1 α 2 2d 0 2

76 Agata Boratyńska Wykłady ze statystyki matematycznej 76 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Piękna teoria zniszczona przez złośliwy wstrętny fakcik T. H. Huxley Hipotezą statystyczną nazywamy dowolne przypuszczenie dotyczące rozkładu prawdopodobieństwa obserwowanej zmiennej losowej lub charakterystyki tegoż rozkładu, o prawdziwości którego wnioskujemy na podstawie zaobserwowanych wartości tej zmiennej losowej. PRZYKŁADY: 1) Przypuśćmy, że czas życia pewnego elementu X jest zmienną losowa o rozkładzie wykładniczym Ex(θ), θ > 0 - nieznane Obserwujemy X 1, X 2,..., X n i.i.d. Ex(θ) H 0 : EX = 1 θ = 100 2) Pomiary i ich dokładność obserwujemy X 1, X 2,..., X n i.i.d. N(µ, σ 2 ), oba parametry nieznane H 0 : σ 1 3) θ - prawdopodobieństwo spłaty kredytu przez klienta w pewnej grupie ryzyka, nieznane obserwujemy X 1, X 2,..., X n i.i.d. bin(1, θ) H 0 : θ 0.8

77 Agata Boratyńska Wykłady ze statystyki matematycznej 77 4) µ 1 - średni plon z ha przy I metodzie nawożenia µ 2 - średni plon z ha przy II metodzie nawożenia Obie wielkości nieznane Obserwujemy: X 1, X 2,..., X n i.i.d. z rozkładu o EX = µ 1 (plony przy I metodzie nawożenia) Y 1, Y 2,..., Y m i.i.d. z rozkładu o EX = µ 2 (plony przy II metodzie nawożenia) H 0 : µ 1 = µ 2 5) Interesuje nas wielkość roszczenia X w pewnej grupie klientów towarzystwa ubezpieczeniowego Obserwujemy: X 1, X 2,..., X n wielkości roszczeń dla losowo wybranych klientów H 0 : X Wykładniczy

78 Agata Boratyńska Wykłady ze statystyki matematycznej 78 Hipoteza prosta - wyznacza dokładnie jeden rozkład (1) Hipoteza złożona - wyznacza rodzinę rozkładów (2,3,4,5) Hipoteza parametryczna - dotyczy parametrów rozkładu (1,2,3,4) Hipoteza nieparametryczna - dotyczy postaci rozkładu (5) Z hipotezą H 0 często wiążemy jeszcze drugą hipotezę nazywaną hipotezą alternatywną (kontr hipotezą) H 1, jest to hipoteza, którą jesteśmy skłonni akceptować po odrzuceniu hipotezy H 0. Hipotezę H 0 nazywamy też hipotezą zerową. Testem statystycznym nazywamy metodę postępowania, która każdej wartości obserwowanej zmiennej losowej przyporządkowuje jedna z dwóch decyzji: odrzucić hipotezę H 0 (na korzyść H 1 ), nie ma podstaw do odrzucenia hipotezy H 0.

79 Agata Boratyńska Wykłady ze statystyki matematycznej 79 X P θ, θ Θ, gdzie Θ 0, Θ 1 Θ i Θ 0 Θ 1 = H 0 : θ Θ 0 H 1 : θ Θ 1 X = K A K - zbiór krytyczny, zbiór wyników obserwacji przy których odrzucamy H 0 ; A - zbiór afirmacji, zbiór wyników, przy których nie odrzucamy H 0. Jeśli mamy podany zbiór K to mamy podany test statystyczny Najczęściej test ma postać: K = {T (x) > c} co oznacza odrzuć H 0, gdy obliczona wartość funkcji T (x) jest większa niż c. Funkcję T nazywamy statystyką testową, a stałą c wartością krytyczną.

80 Agata Boratyńska Wykłady ze statystyki matematycznej 80 PRZYKŁAD 1. Chcemy sprawdzić, czy moneta jest symetryczna. W tym celu rzucamy monetą 400 razy. Niech X oznacza liczbę orłów, X bin(400, p) p - nieznane H 0 : p = 1 2 H 1 : p 1 2 test: K = { X 200 > 19, 6} T = X statystyka testowa; 19,6 - wartość krytyczna

81 Agata Boratyńska Wykłady ze statystyki matematycznej 81 BŁĄD PIERWSZEGO I DRUGIEGO RODZAJU decyzja H 0 prawdziwa H 0 - fałszywa odrzucić H 0 błąd decyzja I rodzaju poprawna nie odrzucać H 0 decyzja błąd poprawna II rodzaju P θ (K), θ Θ 0 - prawdopodobieństwo błędu I rodzaju P θ (A) = 1 P θ (K), θ Θ 1 - prawdopodobieństwo błędu II rodzaju Najlepszym testem byłby test, który minimalizuje prawdopodobieństwa popełnienia obu błędów jednocześnie. Taki test nie istnieje, przy ustalonej liczebności próby losowej zmniejszanie prawdopodobieństwa błędu I rodzaju powoduje wzrost prawdopodobieństwa błędu II rodzaju i na odwrót. Test jest na poziomie istotności α, jeśli θ Θ 0 P θ (K) α Poziom istotności α ustala statystyk, zabezpiecza się przed zbyt dużym prawdopodobieństwem błędu I rodzaju.

82 Agata Boratyńska Wykłady ze statystyki matematycznej 82 PRZYKŁAD 1cd. Przy prawdziwości hipotezy H 0 mamy Z CTG = P p= 1 2 X X N (200, P p= 1 2 ( X 200 > 19, 6) jest to test na poziomie istotności 0,05. > 1, 96 = 2(1 Φ(1, 96)) = 0, 05 Wielkość P θ (K) nazywamy mocą testu przy alternatywie θ Θ 1 (testy buduje się tak aby moc była jak największa) Funkcja mocy testu β : Θ 1 [0, 1] β(θ) = P θ (K)

83 Agata Boratyńska Wykłady ze statystyki matematycznej 83 ALGORYTM TESTOWANIA HIPOTEZY STATYSTYCZNEJ 1) określić model statystyczny (np. próba losowa X 1, X 2,..., X n pochodzi z rozkładu normalnego o nieznanej wartości oczekiwanej µ i wariancji σ 2 = 4) 2) postawić hipotezę zerową H 0 i alternatywę H 1 (np. H 0 : µ = 0, H 1 : µ 0); 3) przyjąć poziom istotności (np. α = 0, 05); 4) podać postać statystyki testowej T, obszaru krytycznego, wyznaczyć wartość krytyczną (postać statystyki T, zbioru K i wartości krytycznej zależy od obu hipotez i poziomu istotności α); 5) obliczyć wartość statystyki testowej dla danych wartości próby losowej; 6) podjąć decyzję: jeśli T (X 1, X 2,..., X n ) K - odrzucić H 0 jeśli T (X 1, X 2,..., X n ) / K - nie ma podstaw do odrzucenia H 0, czyli otrzymane dane nie dają wystarczających argumentów do odrzucenia H 0.

84 Agata Boratyńska Wykłady ze statystyki matematycznej 84 p-wartość (p-value) X P θ, θ Θ, H 0 : θ = θ 0, α poziom istotności Test K = {T (X) > c α } x - obserwowana wartość zmiennej X t = T (x) p-wartość jest równa P θ0 (T (X) > t) Wnioskowanie: Jeśli p-wartość < α, to hipotezę H 0 odrzucamy. Jeśli p-wartość > α, to nie ma podstaw do odrzucenia H 0.

85 Agata Boratyńska Wykłady ze statystyki matematycznej 85 PORÓWNYWANIE TESTÓW X P θ, θ Θ, gdzie Θ 0, Θ 1 Θ i Θ 0 Θ 1 = H 0 : θ Θ 0 H 1 : θ Θ 1 Mówimy, że test o obszarze krytycznym K 1 jest mocniejszy niż test o obszarze krytycznym K 2 (oba testy na tym samym poziomie istotności α) dla testowania hipotezy H 0 przy alternatywie H 1 θ Θ 0 P θ (K 1 ) α i P θ (K 2 ) α i i θ Θ 1 P θ (K 1 ) P θ (K 2 ) θ 1 Θ 1 P θ1 (K 1 ) > P θ1 (K 2 ). Test o obszarze krytycznym K nazywamy testem jednostajnie najmocniejszym dla testowania hipotezy H 0 przy alternatywie H 1 na poziomie istotności α jest to test na poziomie istotności α oraz K X speniajacego warunek P θ (K) α gdy θ Θ 0 zachodzi θ Θ 1 P θ (K ) P θ (K).

86 Agata Boratyńska Wykłady ze statystyki matematycznej 86 LEMAT NEYMANA-PEARSONA Niech X będzie obserwowaną zmienną losowa i P 0, P 1 dwoma rozkładami prawdopodobieństwa o gęstościach odpowiednio równych f 0 i f 1. Niech K = x : f 1(x) f 0 (x) > c i P 0 (K ) = α. Wtedy test o obszarze krytycznym K jest testem najmocniejszym dla testowania hipotezy H 0 : X P 0 przy alternatywie H 1 : X P 1 na poziomie istotności α.

87 Agata Boratyńska Wykłady ze statystyki matematycznej 87 TESTY OPARTE NA ILORAZIE WIAROGODNOŚCI X P θ, θ Θ, H 0 : θ Θ 0 H 1 : θ Θ 1 gdzie Θ 0, Θ 1 Θ i Θ 0 Θ 1 = i Θ 0 Θ 1 = Θ Λ 1 (X) = sup θ Θ 1 L(θ, X) sup θ Θ0 L(θ, X) lub Λ(X) = sup θ Θ L(θ, X) sup θ Θ0 L(θ, X) Test o obszarze krytycznym postaci K 1 = {x : Λ 1 (x) > λ 1 } lub K = {x : Λ(x) > λ}, gdzie λ 1, λ spełniają warunki θ Θ 0 P θ (K 1 ) α, θ Θ 0 P θ (K) α nazywamy testem opartym na ilorazie wiarogodności dla testowania hipotezy H 0 przy alternatywie H 1 na poziomie istotności α. Przy prostej hipotezie i prostej alternatywie test oparty na ilorazie wiarogodności o rozmiarze α pokrywa się z testem Neymana- Pearsona o tym rozmiarze.

88 Agata Boratyńska Wykłady ze statystyki matematycznej 88 TESTOWANIE HIPOTEZ - PORÓWNANIE Z NORMĄ Model I. X 1, X 2,..., X n próba losowa z rozkładu normalnego N(µ, σ 2 ), σ znane Hipoteza zerowa H 0 : µ = µ 0 X - estymator parametru µ Statystyka testowa Poziom istotności α U = X µ 0 n σ Alternatywa Zbiór krytyczny H 1 : µ µ 0 K 1 = { U > u 1 α 2 } H 2 : µ > µ 0 K 2 = { U > u 1 α } H 3 : µ < µ 0 K 3 = { U < u 1 α }

89 Agata Boratyńska Wykłady ze statystyki matematycznej 89 Model II. X 1, X 2,..., X n próba losowa z rozkładu normalnego N(µ, σ 2 ), µ, σ nieznane Hipoteza zerowa H 0 : µ = µ 0 X - estymator parametru µ S 2 = 1 n n 1 i=1 (X i X) 2 estymator parametru σ 2 Statystyka testowa T = X µ 0 n S Przy H 0 prawdziwej statystyka T ma rozkład t-studenta z n 1 stopniami swobody Poziom istotności α Alternatywa Zbiór krytyczny H 1 : µ µ 0 K 1 = { T > t(α, n 1) } H 2 : µ > µ 0 K 2 = { T > t(2α, n 1) } H 3 : µ < µ 0 K 3 = { T < t(2α, n 1) }