Testowanie hipotez statystycznych Wyk lad 8 Natalia Nehrebecka Stanis law Cichocki 29 listopada 2015
Plan zajeć 1 Rozk lad estymatora b Rozk lad sumy kwadratów reszt 2 Hipotezy proste - test t Badanie istotności zmiennych w modelu 3 dla parametrów 4 Hipotezy laczne - test F 5
Dodatkowe za lożenie Rozk lad estymatora b Rozk lad sumy kwadratów reszt Oprócz za lożeń o: braku autokorelacji i homoskedastyczności: Var(ε) = σ 2 I zerowej wartości oczekiwanej: E(ε) = 0 Dochodzi za lożenie o: normalności rozk ladu b ledów losowych. Reasumujac: ε N(0, σ 2 I)
Rozk lad estymatora b Rozk lad sumy kwadratów reszt Wiemy już że: b = β + (X X) 1 X ε E(b) = β oraz Var(b) = σ 2 (X X) 1 Stad: b N(β, σ 2 (X X) 1 )
Rozk lad estymatora b Rozk lad sumy kwadratów reszt Wiemy już, że: Stad: e e = ε M X ε macierz M X - symetryczna i idempotentna rzad macierzy M X = N K N i=1 e2 i σ 2 = e e σ 2 = ε M X ε σ 2 χ 2 N K
Brak korelacji miedzy b a e Rozk lad estymatora b Rozk lad sumy kwadratów reszt cov(b, e) = 0 co implikuje, że: cov(b, e e) = 0
Testowanie hipotez Hipotezy proste - test t Badanie istotności zmiennych w modelu Hipotezy proste dotycza pojedynczego parametru modelu lub kombinacji liniowej parametrów
Rozk lad statystyki t Hipotezy proste - test t Badanie istotności zmiennych w modelu t = b k β k se(b ˆ k ) = = b k β k σ 2 (X X) 1 kk e e σ 2 N K Ponieważ: b k β k σ 2 (X X) 1 kk N(0, 1) oraz e e σ 2 χ 2 N K, stad t t N K
Przyk lad (1/2) Hipotezy proste - test t Badanie istotności zmiennych w modelu Za lóżmy, że teoria mówi, że pewien parametr modelu, β k, jest równy określonej wartości, β k, β k = β k Jeżeli: spe lnione sa za lożenia KMRL b lad losowy ma rozk lad normalny teoria jest s luszna / hipoteza zerowa H 0 jest prawdziwa
Przyk lad (2/2) Hipotezy proste - test t Badanie istotności zmiennych w modelu Wtedy: statystyka testowa: t = b k βk se(b ˆ k ) t N K statystyka krytyczna (odczytujemy z tablic rozk ladu t-studenta ): t = t N K }{{} Stopni swobody, 1 α 2 }{{} Rzad kwantyla gdzie: α- poziom istotności Jeśli t t - odrzucamy H 0 Jeśli t < t - nie ma podstaw do odrzucenia H 0
Hipotezy dwustronne Hipotezy proste - test t Badanie istotności zmiennych w modelu { H0 : β k = 0 H 1 : β k 0 Jeśli brak podstaw do odrzucenia H 0, wówczas model ma postać: y = β 0 + + β }{{} k x k + + β K x K + ε 0 zmienna x k nie ma znaczenia dla wyjaśnienia zmienności y
Statystyka testowa Hipotezy proste - test t Badanie istotności zmiennych w modelu statystyka testowa: t = b k se(b ˆ k ) czyli jest to stosunek wielkości estymatora parametru przez estymator jego odchylenia standardowego statystyka krytyczna (odczytujemy z tablic rozk ladu t-studenta ): t = t ( N K, 1 α ) 2 Jeśli t t - odrzucamy H 0 Jeśli t < t - nie ma podstaw do odrzucenia H 0
Wnioskowanie statystyczne hipotezy dwustronne Hipotezy proste - test t Badanie istotności zmiennych w modelu P( t > t ) = 2[1 F tn K (t )] = α gdzie: t statystyka krytyczna. Obecnie, zamiast stosować wartości krytyczne, oblicza sie p value (policzony poziom istotności): gdzie: t statystyka testowa. 2[1 F tn K (t)] = p value Jeśli p value poniżej określonego poziomu istotności (np. 0, 05) - odrzucamy H 0 W przeciwnym przypadku - nie ma podstaw do odrzucenia H 0
dla parametrów Jaki jest przedzia l, w którym z określonym prawdopodobieństwem znajdzie sie nieznana wartość parametru β k. Odpowiedź na to pytanie uzyskamy wyznaczajac tak zwany przedzia l ufności. Przedzia l ufności dla nieznanego parametru β k na poziomie ufności 1 α można skonstruować nastepujaco: ( P( t < t b k β ) = P k se(b ˆ k ) ) < t = gdzie: = P (b k se(b ˆ k )t < β k < b k + se(b ˆ k )t ) = 1 α t = t ( N K, 1 α ) 2
Hipotezy laczne - test F Hipotezy laczne sa ważne z punktu widzenia: rozważań teoretycznych doboru zmiennych do modelu Uwaga: Hipotezy laczne nie sa równoważne iloczynowi hipotez prostych!
Typowa hipoteza laczna Hipotezy laczne - test F dana jest uk ladem równań: H 0 : Hβ = h gdzie: H - macierz o pe lnym rzedzie wierszowym = g. Liczba równań w tym uk ladzie nazywana jest liczba ograniczeń Uk lad równań: zawiera równania liniowo niezależne nie jest sprzeczny
1 (*) Udowodnić, że rozk lad sumy kwadratów reszt jest rozk ladem χ 2 N K niezależnym od rozk ladu b. 2 Wyprowadzić rozk lad ma lopróbkowy estymatora MNK. Jakie za lożenie, poza standardowymi KMRL, należy w tym przypadku przyjać? 3 Jaka postać ma statystyka s lużaca do testowania hipotezy o tym, że β k = β k? 4 Majac oszacowanie b k oraz oszacowanie odchylenia standardowego tego oszacowania se(b ˆ k ) wyjaśnić w jaki sposób należy zbudować przedzia l ufności dla β k. Ilość obserwacji wynosi N, ilość szacowanych parametrów K, a poziom ufności 1 α.