Analiza wariancji w analizie regresji - weryfikacja prawdziwości przyjętego układu ograniczeń Problem Przykłady

Transkrypt

1 Analiza wariancji w analizie regresji - weryfikacja prawdziwości przyjętego układu ograniczeń 1. Problem ozwaŝamy zjawisko (model): Y = β 1 X 1 X β k X k +Z Ηβ = w r Hipoteza alternatywna: Ηβ w r Przykłady: 1. estrykcje: β 1 = i β 1 = β 3 i β 1 = β H = estrykcje: β = i β 3 = (współczynniki regresji spełniają restrykcje liniowe ) w = H = w = 1

2 1. ZałoŜenia 1. r(h) = m < k. Z ~ N(, Σ). Oznaczenia: SK SK = min ( Y Xβ) ( Y Xβ) = ( Y Xb K β = min ( Y Xβ) ( Y Xβ) H β= w ) ( Y Xb ) Fakty: Fakt 1. Jeśli Z ~ N(, σ 1 I), to Cov(Hb) = σ H ( X X) H = σ V Fakt. Dla danej wariancji σ zachodzi: Fakt 3. Fakt 4. r( V) = r( H ( X ( Hb w X) ) 1 H V ( Hb w ) / σ ~ χ ( r( V 1 1 ) = m 1 SK = ( Hb w ) V ( Hb w ) + SK )) Fakt 5. Jeśli X i Y są niezaleŝnymi zmiennych losowych o rozkładach χ (k 1 ) oraz χ (k ) to iloraz X / k1 F = Y / k ma rozkład F-Snedecora o k 1 i k stopniach swobody F(k 1, k ) Wniosek: PoniŜsza statystyka F ( SK SK F = SK ) n k m ma rozkład F-Snedecora o m i (n-k) stopniach swobody

3 ablica ANOVA SK (SS) Stopnie swobody (df) Średnie sumy kwadratów F p-value ( istotność testu) odchylenie od hipotezy Hβ = w (redukcja SK) SK = SK - SK m SK/m SK / m SK /( n k) H odrzucamy gdy p<α (uznajemy, Ŝe restrykcje są nieprawdziwe) eszty w modelu SK n-k SK/(n-k) Ogółem SK n-k+m. est ilorazowy Walda dla testowania istotności grupy zmiennych objaśniających Model bez restrykcji: Model z restrykcjami : Y = β 1 X 1 X β k X k + V Y = β 1 X 1 X β k-m X k-m + Z β k-m+1 =...= β k = (wszystkie zmienne od X k-m+1 do X k są nieistotne) Hipoteza alternatywna: β k-m+1 lub... lub β k- (przynajmniej jedna z odrzuconych jest istotna) Pamiętamy: załoŝenie dodatkowe: zmienne losowe Z i V mają rozkłady normalne 3

4 . est ilorazowy Walda dla testowania istotności grupy zmiennych objaśniających ( SK SK F = SK ) n k m gdzie SK to suma kwadratów reszt w MNK dla modelu z restrykcjami, a SK to suma kwadratów reszt w MNK dla modelu bez restrykcji Zbiór krytyczny: W ( 1, ) = F α gdzie F 1-α jest kwantylem rzędu 1-α z rozkładu F-Snedecora o m oraz (n-k) stopniach swobody, α jest przyjętym poziomem istotności testu. est ilorazowy Walda dla modelu z restrykcjami - szczególny przypadek Model: Y = β 1 X β k X k + Z (uwaga: to model z wyrazem wolnym) Hipoteza alternatywna: β =...= β k = (wszystkie zmienne są nieistotne) W tym przypadku: β lub β 3...lub β k (przynajmniej jedna zmienna jest istotna) ( SK SK F = SK ) n k CSK SK n k = = m SK k 1 1 gdzie, przypomnijmy, SK =1 CSK jest współczynnikiem determinacji w modelu bez restrykcji, n k k 1 CSK = n i= 1 ( Y i Y ) 4

5 . est ilorazowy Walda dla modelu z restrykcjami - szczególny przypadek F = 1 n k k 1 Zbiór krytyczny: W = F α ( 1, ) gdzie F 1-α jest kwantylem rzędu 1-α z rozkładu F-Snedecora o (k-1) oraz (n-k) stopniach swobody, α jest przyjętym poziomem istotności testu. 5

6 3. est mnoŝnika Lagrange a dla podukładu zmiennych objaśniających Dla przeprowadzenia testu mnoŝnika Lagrange a nie potrzebujemy załoŝenia o normalności rozkładu zmiennych losowych. Korzystamy z rozkładu granicznego statystki Walda. Dlatego wymagana jest natomiast próba duŝego rozmiaru (n>3). Model model bez restrykcji: Model z restrykcjami : β k-m+1 =...= β k = Y = β 1 X 1 X β k X k + V Y = β 1 X 1 X β k-m X k-m + Z (wszystkie zmienne od X k-m+1 do X k są nieistotne) Hipoteza alternatywna: β k-m+1 lub... lub β k- (przynajmniej jedna z odrzuconych jest istotna) 3. est mnoŝnika Lagrange a dla podukładu zmiennych objaśniających Schemat obliczania wartości statystyki testowej. Krok 1 Estymujemy parametry modelu z restrykcjami: Y = β 1 X 1 X β k-m X k-m + Z Krok Obliczmy reszty w oszacowanym modelu z restrykcjami: p = (p 1,p,...,p n ) Krok 3 Estymujemy parametry pomocniczego modelu regresji (γ parametr) : p X γ + Z = Estymator MNK parametru γ: g = ( X Krok 4 Obliczmy współczynnik determinacji dla modelu pomocniczego - oznaczenie : H * X ) 1 X p 6

7 3. est mnoŝnika Lagrange a dla podukładu zmiennych objaśniających L = n H Zbiór krytyczny: W = α ( χ 1, ) gdzie χ 1-α jest kwantylem rzędu 1-α z rozkładu χ o m stopniach swobody, α jest przyjętym poziomem istotności testu 7

8 Przykład 1 Model ceny wynajmu apartamentów (miasto Medison, USA): - cena na m w dolarach (CM), - odległość od centrum w km (OC), - powierzchnia oryginalnie w stopach kw, (przeliczone na metry) (PA), -liczba apartamentów w budynku (LA), -wiek budynku (WK), -liczba miejsc parkingowych zarezerwowanych dla mieszkańców (MP) Model zapisywany na wykładzie jako Y = β 1 X + β 3 X 3 + β 4 X 4 + β 5 X 5 + β 6 X 6 + Z zapisujemy zwykle z uŝyciem symboli oddających sens zmiennych np.: CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z Y x x 3 x 4 x 4 x 5 CM OC PA LA WK MP 974,9, ,7, ,4, ,1, ,, ,, ,6 3, ,1, ,, ,, ,8 3, ,6, ,8 5, ,6, ,, ,9, ,8, ,4 3, ,9, ,3, ,9, ,6 5, ,8 3, ,4 5, ,4, ,5, ,8 1, ,8, ,, ,1, ,4, ,, ,9 3, ,9, ,4, ,1,

9 Dane: CM OC PA LA WK MP 974,9, ,7, ,4, ,1, ,4, ,1, X = 1, , , , , , Estymator MNK 974,9 961,7 877,4 1 14,1 b = (X X) -1 X Y = (X X) -1 X Y Y= ,4 738,1 b = (X X) -1 X Y = 1183,11-56,49-3, -,17 5,15 -,55 Model z oszacowanymi parametrami: CM = OC 3. PA -.17 LA WK.55 MP 9

10 Etap III Podstawowe wskaźniki jakości modelu: S Z = 1 SK SKW.85 SK = 58.5 n k SZ V = CM 14,9 7% 861,5 est Walda dla całego układu zmiennych objaśniających (model z wyrazem wolnym) - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP F = 1 n k k Zbiór krytyczny: W ( F 1, ) = (.53, ) = α Wniosek: 1

11 est Studenta dla poszczególnych zmiennych objaśniających - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP Obliczenia wstępne A = (X X) -1 Sb i = S Z A ii bi t = S b i Dla poprawnego przeprowadzenia obliczeń zalecamy korzystanie z arkusza kalkulacyjnego lub ze specjalistycznych programów 11

12 est Studenta dla istotności zmiennej OC - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP β = (zmienna OC jest nieistotna o ile wszystkie inne w modelu pozostaną ) Hipoteza alternatywna: β ( zmienna OC jest istotna) b t = S b 7.37 Zbiór krytyczny: W = (, t α ) ( t α, ) 1 1 W = (, t.975 ) ( t. 975, ) = (,.4) (.4, ) Wniosek: 1

13 est Studenta dla istotności zmiennej PA - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP β 3 = (zmienna PA jest nieistotna o ile wszystkie inne w modelu pozostaną ) Hipoteza alternatywna: β 3 ( zmienna PA jest istotna) Zbiór krytyczny: W b t = 3 S b = (, t.975 ) ( t. 975, ) = (,.4) (.4, ) Wniosek: est Studenta dla istotności zmiennej LA - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP β 4 = Hipoteza alternatywna: β 4 (zmienna LA jest nieistotna o ile wszystkie inne w modelu pozostaną ) ( zmienna LA jest istotna) b t = 4 S b 4.36 Zbiór krytyczny: W = (, t.975) ( t. 975, ) = (,.4) (.4, ) Wniosek: 13

14 est Studenta dla istotności zmiennej LA - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP β 5 = Hipoteza alternatywna: β 5 (zmienna WK jest nieistotna o ile wszystkie inne w modelu pozostaną ) ( zmienna WK jest istotna) b t = S b Zbiór krytyczny: W = (, t.975) ( t. 975, ) = (,.4) (.4, ) Wniosek: est Studenta dla istotności zmiennej LA - zakładamy normalny rozkład zmiennej losowej Z CM = OC 3. PA -.17 LA WK.55 MP β 6 = Hipoteza alternatywna: β 6 (zmienna MP jest nieistotna o ile wszystkie inne w modelu pozostaną ) ( zmienna MP jest istotna) b t = 6 S b Zbiór krytyczny: W = (, t.975) ( t. 975, ) = (,.4) (.4, ) Wniosek: 14

15 Etap III B: Istotność zmiennych objaśniających w modelu (poziom istotności α=.5) Uogólniony test Walda dla istotności zmiennych podejrzanych : LA, WK, MP CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z Model z restrykcjami: Model bez restrykcji: CM = β 1 OC+ β 3 PA+ V CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z β 4 =β 5 = β 6 = (wskazane zmienne są nieistotne) Hipoteza alternatywna: β 4 lub β 5 lub β 6 (wśród wskazanych zmiennych jest przynajmniej jedna istotna) Dla przeprowadzenia uogólnionego testu Walda musi być spełnione załoŝenie dodatkowe: zmienne losowe Z i V mają rozkłady normalne Uogólniony test Walda dla istotności zmiennych podejrzanych : LA, WK, MP CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z ( SK SK F = SK ) n m k m Zbiór krytyczny: W = ( F 1 α, ) U nas: n=36, m=3, k=3 Krok 1: budujemy model z restrykcjami i obliczamy sumę kwadratów reszt: CM = β 1 OC+ β 3 PA+ V Po obliczeniach otrzymujemy: SK P = 1413,8 15

16 est Walda dla istotności zmiennych podejrzanych : LA, WK, MP CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z Krok,3,4,5,6: budujemy model bez restrykcji i obliczamy sumę kwadratów reszt Po obliczeniach otrzymujemy: SK = 18,6 Podstawiamy do wzoru na statystykę testową (uwzględniając n=36, m=3, k=3) Otrzymujemy: Zbiór krytyczny: ( SK SK F = SK F=3.83 ) n m k m gdzie F.95 =.9 jest kwantylem rzędu.95 z rozkładu F-Snedecora o 3 (licznik) oraz 3 (mianownik) stopniach swobody Wniosek: W ( F 1, ) = (.9, ) = α est mnoŝnika Lagrange a dla istotności zmiennych podejrzanych : LA, WK, MP Model z restrykcjami: Model bez restrykcji: CM = β 1 OC+ β 3 PA+ V CM = β 1 OC+ β 3 PA+ β 4 LA + β 5 WK+ β 6 MP + Z β 4 =β 5 = β 6 = (wskazane zmienne są nieistotne) Hipoteza alternatywna: β 4 lub β 5 lub β 6 (wśród wskazanych zmiennych jest przynajmniej jedna istotna) Dla przeprowadzenia testu mnoŝnika Lagrange a nie potrzebujemy załoŝenia o normalności rozkładu zmiennych losowych. Wymagana jest natomiast próba duŝego rozmiaru (n>3). 16

17 est mnoŝnika Lagrange a dla istotności zmiennych podejrzanych : LA, WK, MP Procedura obliczania statystyki testowej w teście mnoŝnika Lagrange a. Krok 1 i Obliczmy reszty w oszacowanym modelu podstawowym: p 1,p,...,p 36 Krok 3,4,5 Obliczamy współczynnik determinacji w modelu wyjaśniającym zachowanie się reszt w zaleŝności od wszystkich zmiennych objaśniających występujących w modelu rozszerzonym Krok 3,4,5 Otrzymujemy: H, 77 est mnoŝnika Lagrange a dla istotności zmiennych podejrzanych : LA, WK, MP L = nh = 9.96 Zbiór krytyczny: W = ( χ1 α, ) = ( χ. 95, ) = (7.815, ) gdzie jest kwantylem rzędu 1-α=.95 z rozkładu χ o m=3 stopniach swobody Wniosek: 17

18 Schemat doboru zmiennych w modelu liniowym 1. Dla modelu z kompletem zmiennych objaśniających obliczamy wartości statystyki Studenta t. Identyfikujemy zmienne nieistotne, tzn. dla których t W 3. Usuwamy z modelu jedną (!) z nieistotnych 4. Dla nowego zestawu zmiennych powtarzamy 1-3, tak długo, aŝ wszystkie zmienne będą istotne 5. Do odrzuconego zestawu zmiennych stosujemy test Walda (lub Lagrange'a). 6. Jeśli test Walda pokaŝe, Ŝe przynajmniej jedna spośród odrzuconych jest istotna, zaczynamy procedurę odwrotną dołączmy kolejne zmienne (pojedynczo), o ile okaŝą się istotne. 18