Stanisław Cichocki. Natalia Nehrebecka. Wykład 9

Transkrypt

1 Stanisław Cichocki Natalia Nehrebecka Wykład 9 1

2 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności 4. Testowanie hipotez łącznych

3 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności 4. Testowanie hipotez łącznych

4 Y ~ N( 0, 2 I) Reszty mają rozkład normalny z wartością oczekiwaną znajdującą się na linii regresji. X

5 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności 4. Testowanie hipotez łącznych

6 Badamy czy hipotezy teoretyczne (wynikające z teorii) znajdują potwierdzenie w danych Hipotezy narzucają pewne ograniczenia na wartości parametrów Oszacowania parametrów powinny spełniać te ograniczenia w przybliżeniu Jeśli oszacowania parametrów odbiegają od postulowanych związków wynikających z teorii to odrzucamy hipotezę jako sprzeczną z danymi Uwzględnienie w modelu wiedzy z hipotezy prawdziwej poprawia precyzję oszacowań Uwzględnienie w modelu wiedzy z hipotezy fałszywej prowadzi do obciążenia estymatora Do testowania hipotez wykorzystujemy testy statystyczne

7 Rozkład estymatora b: b ~ N(, 2 ( X ' X ) 1 ) Rozkład pojedynczego elementu tego wektora b k : b k ~ N(,[ ] k b kk )

8 b k Korzystając z rozkładu : b k k k k [ ] b kk b se( b ) k N(0,1) Tej statystyki nie da się policzyć ponieważ macierz jest nieznana Oszacowaniem tej macierzy jest b ale zastosowanie jej w powyższym wzorze wpłynie na rozkład statystyki b Tak zmodyfikowana statystyka (będziemy ją nazywać t) będzie miała rozkład t-studenta

9 Hipoteza prosta: dotyczy pojedynczego parametru modelu albo kombinacji liniowej parametrów * Załóżmy, że H0: k k, spełnione są założenia KMRL, błąd losowy ma rozkład normalny i H0 jest prawdziwa, wtedy t b k * k se( b ) k t NK

10 Najczęściej testujemy H0: przy hipotezie alternatywnej H1: stosując dwustronny obszar krytyczny Możliwe także jest testowanie H0: przy hipotezie alternatywnej H1: lub H1: używając jednostronnych obszarów krytycznych * k k * k k * k k * k k * k k

11 Testowanie prostych hipotez przebiega w następujących krokach: Dla modelu: y i X... którego oszacowaniem jest: 1 Krok 1. Stawiamy tak zwaną hipotezę zerową co do wartości nieznanego parametru K Hipotezie tej towarzyszy hipoteza alternatywna: 2 2i ˆi b1 b2 X 2i y H0 : K 0 (zmienna XKi jest nieistotna) H1 : K 0 (zmienna XKi jest istotna) K... b X K Ki X Ki i

12 Krok 2. Przy założeniu, że postawiona hipoteza zerowa jest prawdziwa, wyznaczamy statystykę testową z rozkładu t - Studenta o N - K stopniach swobody postaci: t b K se( b ) K Gdzie: ( ) se b K - oszacowanie odchylenia standardowego estymatora b K

13 Krok 3. Odczytujemy z tablic rozkładu t-studenta wartość krytyczną (α - poziom istotności 1) ) t* t N K;1 2 Stopni swobody Rząd kwantyla 1) maksymalne dopuszczalne prawdopodobieństwo popełnienia błędu polegającego na odrzuceniu prawdziwej hipotezy zerowej

14 Krok 4. Podjęcie decyzji statystyka krytyczna.95 statystyka krytyczna Obszar Odrzucenia Obszar Nieodrzucenia Obszar Odrzucenia t t * - odrzucamy hipotezę zerowa, czyli zmienna X Ki jest istotna. t < t * - nie ma podstaw do odrzucenia hipotezy zerowej, czyli zmienna X Ki jest nieistotna.

15 Przykład xi: reg wynagrodzenie i.plec i.wyksztalcenie godziny wiek szara dorywcza Source SS df MS Number of obs = F( 9, 26342) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wynagrodze~e Coef. Std. Err. t P> t [95% Conf. Interval] _Iplec_ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ godziny wiek _Iszara_ dorywcza _cons

16 W popularnych pakietach ekonometrycznych obok wyliczonej wartości statystyki t podawane jest również odpowiadające mu prawdopodobieństwo p, że. Oznaczane ono jest z angielskiego k 0 przez p value. W przypadku hipotez dwustronnych: p * 2[1 F( k )] gdzie: F- dystrybuanta rozkładu, k* - wartość statystyki testowej W przypadku hipotez jednostronnych: p * 1 F( k ) gdzie: F- dystrybuanta rozkładu, k* - wartość statystyki testowej

17 Jeśli p-value < α (poziomu istotności), to odrzucamy hipotezę zerową. Jeśli p-value > α (poziomu istotności), to brak podstaw do odrzucenia hipotezy zerowej.

18 Przykład xi: reg wynagrodzenie i.plec i.wyksztalcenie godziny wiek szara dorywcza Source SS df MS Number of obs = F( 9, 26342) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wynagrodze~e Coef. Std. Err. t P> t [95% Conf. Interval] _Iplec_ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ godziny wiek _Iszara_ dorywcza _cons

19 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności 4. Testowanie hipotez łącznych

20 Jaki jest przedział, w którym z określonym prawdopodobieństwem znajdzie się nieznana wartość parametru K. Odpowiedź na to pytanie uzyskamy wyznaczając tak zwany przedział ufności. Przedział ufności pozwala na sprawdzenie precyzji oszacowań Przedział ufności dla nieznanego parametru K na poziomie ufności 1 α budujemy w oparciu o wzór: b Pr( t t ) Pr t 1 2[1 F ( t )] 1 k k tnk se( b ) 2 2 k

21 Na podstawie ostatniego równania znajdujemy: Przedział ufności uzyskujemy: t 2 1 F t (1 ) 1 N K 2 bk Pr k t Pr( bk k t1 2se( bk )) 1 se( b ) 2 k Pr( b t se( b ) b t se( b )) K 1 2 K K K 1 2 K

22 Przykład xi: reg wynagrodzenie i.plec i.wyksztalcenie godziny wiek szara dorywcza Source SS df MS Number of obs = F( 9, 26342) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wynagrodze~e Coef. Std. Err. t P> t [95% Conf. Interval] _Iplec_ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ _Iwyksztal~ godziny wiek _Iszara_ dorywcza _cons

23 Przedział ufności dla wieku przy 0,05 Pr( b t se( b ) b t se( b )) K 1 2 K K K 1 2 K t F t (0,975) 1, ,59-13,53*1,95-121,97-95,59+ 13,53*1,95-69,20

24 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności 4. Testowanie hipotez łącznych

25 Hipoteza łączna: H0: H h Jest to układ g równań liniowych Macierz H ma pełen rząd wierszowy równy g (liczba ograniczeń) Poszczególne równania powinny być liniowo niezależne Układ równań nie powinien być sprzeczny

26 Przykład model: y X X X Testujemy hipotezę: i 1 2 2i 3 3i 4 4i i H0:

27 H h

28 Testowanie hipotez prostych nie jest równoważne testowaniu hipotezy łącznej, że wszystkie rozważane hipotezy proste są łącznie prawdziwe

29 Krok 1. Stawiamy przykładową hipotezę zerową H0: Brak podstaw do odrzucenia tej hipotezy oznacza, że zmienne są łącznie nieistotne Model bez ograniczeń Model z ograniczeniami 0 0 : H i Ki K i i i x x x y i i x x 3 2, i Ki K i i i x x x y i Ki K i i x x y 4 4 1

30 Krok 2. Przy założeniu, że postawiona hipoteza zerowa jest prawdziwa, wyznaczamy statystykę testową z rozkładu F: F g R R g ee / ( N K) (1 R ) / ( N K) 2 2 ( erer e e) / ( R ) 2 Gdzie: R², e e oznaczają współczynnik determinacji i sumę kwadratów reszt dla modelu bez ograniczeń R 2 R, e R e R to te sama wielkości, ale dla modelu z ograniczeniami, g oznacza liczbę ograniczeń, K ilość szacowanych parametrów w modelu bez ograniczeń, N liczba obserwacji

31 Krok 3. Odczytujemy z tablic rozkładu F wartość krytyczna (α - poziom istotności) F* F( g, n K)

32 Krok 4. Podjęcie decyzji Dystrybuanta rozkładu F-Snedecora f(f) 0 F* F F F * - odrzucamy hipotezę F < F * - nie ma podstaw do odrzucenia hipotezy zerowej

33 Przykład xi: reg wydg dochg i.klm (model bez ograniczeń) Source SS df MS Number of obs = F( 6, 31698) = Model e e+09 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wydg Coef. Std. Err. t P> t [95% Conf. Interval] dochg _Iklm_ _Iklm_ _Iklm_ _Iklm_ _Iklm_ _cons

34 Przykład xi: reg wydg dochg (model z ograniczeniami) Source SS df MS Number of obs = F( 1, 31703) = Model e e+10 Prob > F = Residual e R-squared = Adj R-squared = Total e Root MSE = wydg Coef. Std. Err. t P> t [95% Conf. Interval] dochg _cons

35 F ( ere R ee) / g (3,4401e 10 3,4278e 10) / 5 ee / ( N K) (3,4278e 10) / ( ) 22,65

36 test _Iklm_2 _Iklm_3 _Iklm_4 _Iklm_5 _Iklm_6 ( 1) _Iklm_2 = 0 ( 2) _Iklm_3 = 0 ( 3) _Iklm_4 = 0 ( 4) _Iklm_5 = 0 ( 5) _Iklm_6 = 0 F( 5, 31698) = Prob > F =

37 1. Wyprowadzić rozkład małopróbkowy estymatora MNK. Jakie założenie, poza standardowymi założeniami KMRL, należy w tym przypadku przyjąć? 2. Jaką postać ma statystyka służąca do testowania hipotezy o * tym, że k k? 3. Mając oszacowanie b k oraz oszacowanie odchylenia standardowego tego oszacowania se( bk ) wyjaśnić, w jaki sposób należy zbudować przedział ufności dla parametru k. Ilość obserwacji wynosi N, ilość szacowanych parametrów K, a poziom ufności 1.

38 4. Jak należy testować hipotezę postaci: H : H h 0, używając do tego sumy kwadratów reszt z modelu bez ograniczeń i z ograniczeniami? 5. Wyjaśnić, jakie korzyści i niebezpieczeństwa łączą się z narzucaniem ograniczeń na model.

39 Dziękuję za uwagę 39