Historia Rachunku Prawdopodobieństwa i Statystyki WYKŁAD VII: Ronald Fisher. Statystyka Matematyczna jako oddzielna dyscyplina

Transkrypt

1 Historia Rachunku Prawdopodobieństwa i Statystyki WYKŁAD VII: Ronald Fisher. Statystyka Matematyczna jako oddzielna dyscyplina MiNI PW, semestr zimowy 2016/2017

2 Ronald Fisher ( ) Studiował matematykę i astronomię w Cambridge. Od 1919 r statystyk w Rothamstead Experimental Station, gdzie stworzył znany departament statystyki. W 1933 w University College Karl Pearson przechodzi na emeryturę i kierowany przez niego Departament Statystyki zostaje podzielony na dwa: Departament Statystyki (kierownik: Egon Pearson); Departament Eugeniki (kierownik: Ronald Fisher); profesor genetyki na Uniwersytecie w Cambridge Research Fellow Uniwersytetu w Adelaidzie. Nie byl nigdy profesorem statystyki.

3 Głowne osiągnięcia Książka: Statistical Methods for Research Workers (1925) i wiele następnych uzupełnianych wydań. podstawy statystyki teoretycznej (rodzina parametryczna, dostateczność,..) planowanie eksperymentu; metoda randomizacji; metoda największej wiarogodności i jej optymalność; testy dla małych prób; studentyzacja i jej wykorzystanie;...

4 Ronald Fisher ( )

5 Główne spory Fisher versus Pearson (miał rację); Fisher versus Mendel (miał rację); Fisher versus Neyman (?); Fisher versus Jeffreys (?); Fisher versus Barnard (nie miał).

6 Liczba stopni swobody i statystyka χ 2 χ 2 1 = k i=1 (n i np i ) 2 np i = χ 2 2 = k i=1 k i=1 Podejście parametryczne Fishera: p i = p i (θ), ˆp i = p i (ˆθ). n 2 i + n 2 p 2 i 2nn i p i np i = (n i nˆp i ) 2 nˆp i = k i=1 n 2 i nˆp i n. k i=1 n 2 i np i n.

7 Liczba stopni swobody i statystyka χ 2 Rozwiniecie χ 2 1 χ2 2 wykorzystujace ( θ = θ ˆθ) 1 p i (θ) 1 p i (ˆθ) = p i (ˆθ) pi 2(ˆθ) θ + 1 ( 2 Daje w efekcie 2 (pi 2(ˆθ) 3 [p i (ˆθ)] 2 1 pi 2 p (ˆθ) χ 2 1 χ 2 2 (θ ˆθ) 2. σ 2ˆθ ) i (ˆθ) ( θ) 2

8 Jerzy Neyman ( ) Był wnukiem powstańca z Urodził się i wychował w Rosji. Studiował na uniwersytecie w Charkowie, był studentem S. Bernsteina. Po traktacie ryskim w 1921 r rodzina JN przenosi się do Polski. Pracuje jako statystyk w Instytucie Naukowo-Przyrodniczym w Bydgoszczy, PIM i SGGW w Warszawie. 1924: roczne stypendium w University College u Karla Pearsona. Mimo opublikowania trzech prac w Biometrika, stypendium zawiodło go. 1925: stypendium Rockefellera w Paryżu wykłady Lebesgue a, Hadamarda). Wspólpraca z E. Pearsonem (po przejściu na emeryturę K. Pearsona): wykładowca w University College w Londynie.

9 Jerzy Neyman ( ) 1938: profesura na Uniwersytecie w Berkeley (pensja 4500 dolarów rocznie). Stworzył tam Laboratorium Statystyczne. Organizator Sympozjów Berkeleyowskich z RP i S.

10 J. Neyman

11 J. Neyman

12 Głowne osiągnięcia problem testowania w języku optymalizacji, lemat N-P; metoda reprezentacyjna; przedziały ufności; gładkie testy zgodności; Laboratorium Statystyczne w Berkeley i sympozja berkeleyowskie

13 Prace o testowaniu Dwie podstawowe prace o testowaniu: 1928 i 1933 Pytanie E. Pearsona zadane Gossetowi: jakimi kryteriami należy się kieroować przy wyborze statystyki testowej do testowania hipotezy? Dotąd robiono to ad hoc. Praca z 1928 r. wyrosła z odpowiedzi Gosseta, który m.in stwierdził, że one is inclined to reject a hypothesis under which the observed sample is very improbable if there is an alternative hypothesis which will explain the occurrence of the test with more reasonable probability. Pearson zgłosił się po matematyczną pomoc do Neymanna.

14 Prace o testowaniu Praca zawierała pojęcie bledów pierwszego i drugiego rodzaju, mocy, hipotezy prostej i złożonej. Praca (1933) On a problem of the most efficient test for statistical hypotheses : maksymalizacja mocy przy warunku ograniczenia na bład pierwszego rodzaju. Jeśli test JNM istnieje to jest to test LRT. Konsekwencje tej pracy wykraczają poza teorię testowania; miały wpływ na sformułowanie i metody teorii decyzji statystycznych.

15 Trzy podejścia do testowania: Fisher, Neyman i Pearson X f (x θ). H 0 : θ = θ 0 Fisher: wybierz statystykę testową T = T (X ), oblicz jej wartość dla danych t(x). Znajdź P θ0 (T (X ) t(x)). Raportuj p-wartość. Neyman: wybierz c przed eksperymentem i obszar krytyczny {T c}, sformułuj H 1 : θ = θ 1. Oblicz Raportuj α i β. α = P θ0 (T (X ) c) β = P θ0 (T (X ) < c)

16 Jeffreys: Oblicz czynnik Bayesowski (iloraz wiarogodności) B(x) = f (x θ 0) f (x θ 1 ) Odrzuć H 0 jeśli B(x) 1 i przyjmij w p.p. Raportuj prawdopodobieństwa aposteriori (obliczone przy prawd. apriori 1/2) f (x θ 0 )/2 P(H 0 x) = (f (x θ 0 ) + f (x θ 1 ))/2 = B(x) 1 + B(x) P(H 1 x) = B(x)

17 Zasada częstotliwościowa Zasada częstotliwościowa: Przy wielokrotnym powtarzaniu procedury częstości błędow nie powinny przewyższać błędow raportowanych. Błedy pierwszego i drugiego rodzaju spełniają tę zasadę.

18 Testy oparte na warunkowaniu Przykład: dwie obserwacje X 1 i X 2, gdzie X i = θ + 1 z prawdopodobieństwem 1/2 X i = θ 1 z prawdopodobieństwem 1/2 Przedział ufności dla θ: C(X 1, X 2 ) = (X 1 + X 2 ) 2 jeśli X 1 X 2 C(X 1, X 2 ) = (X 1 1) jeśli X 1 = X 2 Prawdopodobieństwo pokrycia 0, 75. Sensowniej liczyć to waunkowo: P θ = (θ C(X 1, X 2 ) X 1 X 2 = 2) = 1 P θ = (θ C(X 1, X 2 ) X 1 X 2 = 0) = 1/2

19 Testy oparte na warunkowaniu α(s) = P 0 (odrzuć H 0 S(x) = s) α(s) = P 1 (przyjmij H 0 S(x) = s)

20 Statystyka Matematyczna jako oddzielna dyscyplina Około 1930 Statystyka Matematyczna matematyczna zaczeła się wyodrębniać jako oddzielna dyscyplina. Kilka dat: 1930: utworzenie The Annals of Mathematical Statistics finansowanej przz American Statistical Association; 1933: Utworzenie Institute of Mathematical Statistics i przejęcie AMS; 1933: ukazują się Grundbegriffe der Wahrsheinlichkeitsrechnung Kołmogorowa; 1933: ukazuje się praca Neymana i Pearsona o testowaniu hipotez;