Ekonometria, lista zadań nr 6 Zadanie 5 Poniższy diagram przedstawia porządek między rozważanymi modelami oparty na relacji zawierania pomiędzy podzbiorami zbioru zmiennych objaśniających: H, X 2, X 3 E, X 2 F, X 3 G X 2, X 3 B C X 2 D X 3 A Tylko wyraz wolny W każdym kroku procedury krokowej zestaw zmiennych może zmienić się tylko w ten sposób, że dodajemy do modelu zmienną lub usuwamy zeń zmienną. W takim razie w kolejnych krokach możemy się poruszać tylko po liniach zaznaczonych na diagramie. Modele umieszczone na jednej wysokości mają taką samą liczbę zmiennych, a zatem nigdy nie możemy poruszać się po diagramie w poziomie. Dobór zmiennych na podstawie skorygowanego współczynnika determinacji Przypomnijmy definicję skorygowanego współczynnika determinacji: Y Y R 2 A =1 n k =1 2 Y Y Y Y. n 1 n 1 Mianownik powyższego ułamka nie zależy od wyboru zmiennych do modelu. Zależy od niego jedynie 2. W takim razie można powiedzieć, że im mniejsze, tym skorygowany współczynnik determinacji 2 R A większy. Na diagramie na następnej stronie przedstawiono listę modeli jak poprzednio, z tym że dla każdego modelu odnotowano jeszcze. W każdym kroku procedury krokowej poruszamy się tylko po zaznaczonych liniach i postępujemy tak, aby za każdym razem możliwie jak najbardziej zmniejszyć (równoważnie: zwiększyć 2 R A ). Procedurę kończymy, gdy wszystkie modele, do których moglibyśmy przejść, mają większe (równoważnie: mniejsze 2 R A ) niż model, przy którym jesteśmy obecnie. a) selekcja postępująca Rozpoczynamy od modelu A (tylko z wyrazem wolnym) i poruszamy się tylko w górę diagramu, pamiętając, że krok możemy wykonać jedynie wtedy, gdy w kolejnym modelu będziemy mieli mniejsze. Rozpoczynamy od modelu A. Z niego możemy przejść do modeli B, C i D. Spośród nich wybieramy model B jako ten z najmniejszym spośród tej trójki. Dodatkowo przejście od modelu A do B spowoduje spadek, a zatem przechodzimy do modelu B. Z modelu B możemy przejść do modeli E i F. Spośród nich wybieramy model F jako ten z mniejszym spośród tej pary. Dodatkowo przejście od modelu B do F spowoduje spadek, a zatem przechodzimy do modelu F. Z modelu F możemy przejść tylko do modelu H, jednak przejście od modelu F do H spowoduje wzrost, a zatem pozostajemy przy modelu F i kończymy procedurę. Lista kroków: A B F.
H 1,341 E 1,573 F 1,309 G 1,952 B 1,529 C 2,109 D 1,922 A 2,097 b) eliminacja wsteczna Rozpoczynamy od modelu H (ze wszystkimi dostępnymi zmiennymi niezależnymi) i poruszamy się tylko w dół diagramu, pamiętając, że krok możemy wykonać jedynie wtedy, gdy w kolejnym modelu będziemy mieli mniejsze. Rozpoczynamy od modelu H. Z niego możemy przejść do modeli E, F i G. Spośród nich wybieramy model F jako ten z najmniejszym spośród tej trójki. Dodatkowo przejście od modelu H do F spowoduje spadek, a zatem przechodzimy do modelu F. Z modelu F możemy przejść do modeli B i D. Spośród nich wybieramy model B jako ten z mniejszym spośród tej pary, jednak przejście od modelu F do modelu B spowoduje wzrost, a zatem pozostajemy przy modelu F i kończymy procedurę. Lista kroków: H F. c) regresja krokowa postępująca Rozpoczynamy od modelu A (tylko z wyrazem wolnym) i po każdym kroku w górę diagramu schodzimy w dół diagramu aż do braku możliwości zejścia w dół, pamiętając, że krok możemy wykonać jedynie wtedy, gdy w kolejnym modelu będziemy mieli mniejsze. Rozpoczynamy od modelu A. Z niego możemy przejść w górę do modeli B, C i D. Spośród nich wybieramy model B jako ten z najmniejszym spośród tej trójki. Dodatkowo przejście od modelu A do B spowoduje spadek, a zatem przechodzimy do modelu B. Z modelu B możemy przejść w dół tylko do modelu A, jednak przejście od modelu B do A spowoduje wzrost, a zatem pozostajemy przy modelu B. Z modelu B możemy przejść w górę do modeli E i F. Spośród nich wybieramy model F jako ten z mniejszym spośród tej pary. Dodatkowo przejście od modelu B do F spowoduje spadek, a zatem przechodzimy do modelu F. Z modelu F możemy przejść w dół do modeli B i D. Spośród nich wybieramy model B jako ten z mniejszym spośród tej pary, jednak przejście od modelu F do modelu B spowoduje wzrost, a zatem pozostajemy przy modelu F. Z modelu F możemy przejść w górę tylko do modelu H, jednak przejście od modelu F do H spowoduje wzrost, a zatem pozostajemy przy modelu F i kończymy procedurę. Lista kroków: A B F. d) regresja krokowa wsteczna Rozpoczynamy od modelu H (ze wszystkimi dostępnymi zmiennymi niezależnymi) i po każdym kroku w dół diagramu poruszamy się w górę diagramu aż do braku możliwości pójścia do góry, pamiętając, że krok możemy wykonać jedynie wtedy, gdy w kolejnym modelu będziemy mieli mniejsze. Rozpoczynamy od modelu H. Z niego możemy przejść w dół do modeli E, F i G. Spośród nich wybieramy model F jako ten z najmniejszym spośród tej trójki. Dodatkowo przejście od modelu H
do F spowoduje spadek, a zatem przechodzimy do modelu F. Z modelu F możemy przejść w górę tylko do modelu H, jednak przejście od modelu F do H spowoduje wzrost, a zatem pozostajemy przy modelu F. Z modelu F możemy przejść w dół do modeli B i D. Spośród nich wybieramy model B jako ten z mniejszym spośród tej pary, jednak przejście od modelu F do modelu B spowoduje wzrost, a zatem pozostajemy przy modelu F i kończymy procedurę. Lista kroków: H F. Uwaga: W regresji krokowej (postępującej jak i wstecznej) opartej o kryteria zgodności modelu nigdy nie wracamy po własnych śladach tzn. jeśli byliśmy już w jakimś modelu, to do niego nie wracamy. Z tego wynika, że wykonanie kroku w dół po kroku w górę w wypadku regresji krokowej postępującej lub też wykonanie kroku w górę po kroku w dół w wypadku regresji krokowej wstecznej jest możliwe dopiero, gdy w bieżącym modelu znajdą się co najmniej trzy zmienne. Z tego powodu skoro ani w regresji krokowej postępującej ani w regresji krokowej wstecznej na żadnym etapie nie wybraliśmy modelu z trzema zmiennymi objaśniającymi (poza modelem, od którego rozpoczęliśmy regresję krokową wsteczną), jest oczywiste, że wyniki punktów a) i c) są takie same, jak również wyniki punktów b) i d). Mimo to omówiliśmy szczegółowo punkty c) i d) w celach dydaktycznych. Dobór zmiennych na podstawie testów Zanim przystąpimy do procedury, wypiszemy kwantyle, które będą nam potrzebne do testowania istotności zmiennych na poziomie 0,01 w rozważanych modelach: t 1 18 0,995 =2,8784, t 1 17 0,995 =2,8982, t 1 16 0,995 =2,9208. a) selekcja postępująca Rozpoczynamy od modelu A (tylko z wyrazem wolnym) i poruszamy się tylko w górę diagramu. Rozpoczynamy od modelu A. Z niego możemy przejść do modeli B, C i D. Poniżej odnotowujemy, którą zmienną modele te różnią się od modelu A, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w każdym z tych modeli: model którą zmienną różni się od modelu A statystyka testowa dla testowania istotności nowej B 4,211 (dla zmiennej w modelu B) C X 2 0,877 (dla zmiennej X 2 w modelu C) D X 3 2,149 (dla zmiennej X 3 w modelu D) Jako kandydatkę do włączenia do modelu typujemy zmienną z uwagi na największą wartość bezwzględną statystyki testowej. Statystyka ta wpada do obszaru krytycznego dla testowania istotności zmiennej w modelu B (wyznaczonego przez kwantyl t 1 18 0,995 =2,8784 ), a zatem włączamy zmienną do modelu i tym samym wybieramy model B. Z modelu B możemy przejść do modeli E i F. Poniżej odnotowujemy, którą zmienną modele te różnią się od modelu B, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w każdym z tych modeli: model którą zmienną różni się od modelu B statystyka testowa dla testowania istotności nowej E X 2 0,9053 (dla zmiennej X 2 w modelu E) F X 3 2,747 (dla zmiennej X 3 w modelu F) Jako kandydatkę do włączenia do modelu typujemy zmienną X 3 z uwagi na największą wartość bezwzględną statystyki testowej. Statystyka testowa dla testowania istotności zmiennej X 3 w modelu F nie wpada jednak do obszaru krytycznego (wyznaczone przez kwantyl t 1 17 nie włączamy zmiennej X 3 do modelu i tym samym pozostajemy przy modelu B. Lista kroków: A B. b) eliminacja wsteczna Rozpoczynamy od modelu H (ze wszystkimi dostępnymi zmiennymi niezależnymi) i poruszamy się tylko w dół diagramu Rozpoczynamy od modelu H. Z niego możemy przejść do modeli E, F i G. Poniżej odnotowujemy statystyki testowe dla testowania istotności poszczególnych zmiennych niezależnych w modelu H:
4,475 (dla zmiennej w modelu H) X 2 0,454 (dla zmiennej X 2 w modelu H) X 3 2,717 (dla zmiennej X 3 w modelu H) Jako kandydatkę do usunięcia z modelu typujemy zmienną X 2 z uwagi na najmniejszą wartość istotności zmiennej X 2 w modelu H (wyznaczonego przez kwantyl t 1 16 0,995 =2,9208 ), a zatem zmienną X 2 usuwamy z modelu i tym samym wybieramy model F. Z modelu F możemy przejść do modeli B i D. Poniżej odnotowujemy statystyki testowe dla testowania istotności poszczególnych zmiennych niezależnych w modelu H: 4,666 (dla zmiennej w modelu F) X 3 2,747 (dla zmiennej X 3 w modelu F) Jako kandydatkę do usunięcia z modelu typujemy zmienną X 3 z uwagi na mniejszą wartość istotności zmiennej X 3 w modelu F (wyznaczonego przez kwantyl t 1 17 zmienną X 3 usuwamy z modelu i tym samym wybieramy model B. Z modelu B możemy przejść tylko do modelu A. Poniżej odnotowujemy statystykę testową dla testowania istotności jedynej zmiennej niezależnej pozostałej w tym modelu: 4,211 (dla zmiennej w modelu B) Jako kandydatkę do usunięcia z modelu typujemy zmienną jako jedyną, która nam pozostała. Statystyka testowa dla testowania istotności zmiennej w modelu B wpada jednak do obszaru krytycznego (wyznaczonego przez kwantyl t 1 18 0,995 =2,8784 ), a zatem pozostaje w modelu. W takim razie pozostajemy przy modelu B. Lista kroków: H F B. c) regresja krokowa postępująca Rozpoczynamy od modelu A (tylko z wyrazem wolnym) i po każdym kroku w górę diagramu schodzimy w dół diagramu aż do braku możliwości zejścia w dół. Rozpoczynamy od modelu A. Z niego możemy przejść w górę do modeli B, C i D. Poniżej odnotowujemy, którą zmienną modele te różnią się od modelu A, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w każdym z tych modeli: model którą zmienną różni się od modelu A statystyka testowa dla testowania istotności nowej B 4,211 (dla zmiennej w modelu B) C X 2 0,877 (dla zmiennej X 2 w modelu C) D X 3 2,149 (dla zmiennej X 3 w modelu D) Jako kandydatkę do włączenia do modelu typujemy zmienną z uwagi na największą wartość bezwzględną statystyki testowej. Statystyka ta wpada do obszaru krytycznego dla testowania istotności zmiennej w modelu B (wyznaczonego przez kwantyl t 1 18 0,995 =2,8784 ), a zatem włączamy zmienną do modelu i tym samym wybieramy model B. Z modelu B możemy przejść w dół tylko do modelu A. Poniżej odnotowujemy statystykę testową dla testowania istotności jedynej zmiennej niezależnej pozostałej w tym modelu: 4,211 (dla zmiennej w modelu B) Jako kandydatkę do usunięcia z modelu typujemy zmienną jako jedyną, która nam pozostała do usunięcia. Statystyka testowa dla testowania istotności zmiennej X 2 w modelu B wpada jednak do obszaru krytycznego (wyznaczonego przez kwantyl t 1 18 0,995 =2,8784 ), a zatem pozostaje w modelu. W takim razie pozostajemy przy modelu B.
Z modelu B możemy przejść w górę do modeli E i F. Poniżej odnotowujemy, którą zmienną modele te różnią się od modelu B, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w każdym z tych modeli: model którą zmienną różni się od modelu B statystyka testowa dla testowania istotności nowej E X 2 0,9053 (dla zmiennej X 2 w modelu E) F X 3 2,747 (dla zmiennej X 3 w modelu F) Jako kandydatkę do włączenia do modelu typujemy zmienną X 3 z uwagi na największą wartość bezwzględną statystyki testowej. Statystyka testowa dla testowania istotności zmiennej X 3 w modelu F nie wpada jednak do obszaru krytycznego (wyznaczone przez kwantyl t 1 17 nie włączamy zmiennej X 3 do modelu i tym samym pozostajemy przy modelu B. Lista kroków: A B. d) regresja krokowa wsteczna Rozpoczynamy od modelu H (ze wszystkimi dostępnymi zmiennymi niezależnymi) i po każdym kroku w dół diagramu poruszamy się w górę diagramu aż do braku możliwości pójścia do góry. Rozpoczynamy od modelu H. Z niego możemy przejść w dół do modeli E, F i G. Poniżej odnotowujemy statystyki testowe dla testowania istotności poszczególnych zmiennych niezależnych w modelu H: 4,475 (dla zmiennej w modelu H) X 2 0,454 (dla zmiennej X 2 w modelu H) X 3 2,717 (dla zmiennej X 3 w modelu H) Jako kandydatkę do usunięcia z modelu typujemy zmienną X 2 z uwagi na najmniejszą wartość istotności zmiennej X 2 w modelu H (wyznaczonego przez kwantyl t 16 0,995 =2,9208 ), a zatem zmienną X 2 usuwamy z modelu i tym samym wybieramy model F. Z modelu F możemy przejść w górę tylko do modelu H. Poniżej odnotowujemy, którą zmienną modele te się różnią, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w modelu H: model którą zmienną różni się od modelu H statystyka testowa dla testowania istotności nowej F X 2 0,454 (dla zmiennej X 3 w modelu H) Jako kandydatkę do włączenia do modelu typujemy zmienną X 2 jako jedyną, którą mamy do dyspozycji. Statystyka testowa dla testowania istotności zmiennej X 2 w modelu H nie wpada jednak do obszaru krytycznego (wyznaczone przez kwantyl t 1 16 0,995 =2,9208 ), a zatem nie włączamy zmiennej X 2 do modelu i tym samym pozostajemy przy modelu F. Z modelu F możemy przejść w dół do modeli B i D. Poniżej odnotowujemy statystyki testowe dla testowania istotności poszczególnych zmiennych niezależnych w modelu F: 4,666 (dla zmiennej w modelu F) X 3 2,747 (dla zmiennej X 3 w modelu F) Jako kandydatkę do usunięcia z modelu typujemy zmienną X 3 z uwagi na mniejszą wartość istotności zmiennej X 3 w modelu F (wyznaczonego przez kwantyl t 17 zmienną X 3 usuwamy z modelu i tym samym wybieramy model B. Z modelu B możemy przejść w górę do modeli E i F. Poniżej odnotowujemy, którą zmienną modele te różnią się od modelu B, oraz podajemy wartość statystyki testowej dla testowania istotności potencjalnej nowej z zmiennej w każdym z tych modeli: model którą zmienną różni się od modelu B statystyka testowa dla testowania istotności nowej
E X 2 0,9053 (dla zmiennej X 2 w modelu E) F X 3 2,747 (dla zmiennej X 3 w modelu F) Jako kandydatkę do włączenia do modelu typujemy zmienną X 3 z uwagi na największą wartość bezwzględną statystyki testowej. Statystyka testowa dla testowania istotności zmiennej X 3 w modelu F nie wpada jednak do obszaru krytycznego (wyznaczone przez kwantyl t 1 17 nie włączamy zmiennej X 3 do modelu i tym samym pozostajemy przy modelu B. Z modelu B możemy przejść w dół tylko do modelu A. Poniżej odnotowujemy statystykę testową dla testowania istotności jedynej zmiennej niezależnej pozostałej w tym modelu: 4,211 (dla zmiennej w modelu B) Jako kandydatkę do usunięcia z modelu typujemy zmienną jako jedyną, która nam pozostała do usunięcia. Statystyka testowa dla testowania istotności zmiennej X 2 w modelu B wpada jednak do obszaru krytycznego (wyznaczonego przez kwantyl t 1 18 0,995 =2,8784 ), a zatem pozostaje w modelu. W takim razie pozostajemy przy modelu B. Lista kroków: H F B. Uwaga: W regresji krokowej (postępującej jak i wstecznej) opartej o testy poziom istotności testu dla włączenia zmiennej do modelu i dla usunięcia zmiennej z modelu nie musi być taki sam. Jeśli jednak poziom istotności testu dla włączenia zmiennej do modelu jest niemniejszyszy niż poziom istotności testu dla dla usunięcia zmiennej z modelu, to nigdy nie wracamy po własnych śladach tzn. jeśli byliśmy już w jakimś modelu, to do niego nie wracamy. Z tego wynika, że wykonanie kroku w dół po kroku w górę w wypadku regresji krokowej postępującej lub też wykonanie kroku w górę po kroku w dół w wypadku regresji krokowej wstecznej jest możliwe dopiero, gdy w bieżącym modelu znajdą się co najmniej trzy zmienne. Z tego powodu skoro ani w regresji krokowej postępującej ani w regresji krokowej wstecznej nie wybraliśmy modelu z trzema zmiennymi objaśniającymi (poza modelem, od którego rozpoczęliśmy regresję krokową wsteczną), jest oczywiste, że wyniki punktów a) i c) są takie same, jak również wyniki punktów b) i d). Mimo to omówiliśmy szczegółowo punkty c) i d) w celach dydaktycznych. Aby nie kluczyć po własnych śladach, standardowo ustala się poziom istotności testu dla włączenia zmiennej do modelu jako niemniejszy niż poziom istotności testu dla dla usunięcia zmiennej z modelu (w szczególności oba poziomy istotności mogą być takie same, jak w naszym rozwiązaniu).