Współliniowość zmiennych objaśniających: test Walda i test Studenta w badaniu istotności zmiennych objaśniających - przykłady. Przykład: Test Walda a test Studenta w badaniu istotności zmiennych objaśniających. Model zużycia energii przez mieszkańców w mieszkaniach na pewnym osiedlu: ZE - zużycia energii ( w kwh / m-c), Pow -powierzchnia mieszkania, LL - liczba lokatorów, Etap I: propozycja postaci modelu ZE = β 1 + β 2 Pow+ β 3 LL + Z 1
Dane: Etap II: Estymacja parametrów modelu Dane: X =......... Estymator MNK b = (X T X) -1 X T Y Y=... 2
b = (X T X) -1 X T CM = Oszacowany model: ZE = 515.3 + 2.15 Pow +27.17 LL Etap III A Wskaźniki jakości modelu: Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Walda dla całego układu zmiennych objaśniających (model z wyrazem wolnym) - zakładamy normalny rozkład zmiennej losowej Z ZE = β 1 + β 2 Pow+ β 3 LL + Z Hipoteza zerowa: β 2 = β 3 =0 (obie zmienne - Pow i LL - są nieistotne) Hipoteza alternatywna: β 2 0 lub β 3 0 (przynajmniej jedna zmienna z nich jest istotna) Dla przeprowadzenia testu Walda przyjmujemy założenie dodatkowe: zmienna losowa Z ma rozkład normalny 3
Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Walda dla całego układu zmiennych objaśniających (model z wyrazem wolnym) - zakładamy normalny rozkład zmiennej losowej Z ZE = β 1 + β 2 Pow+ β 3 LL + Z Statystyka testowa: Zbiór krytyczny: Wniosek: Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Studenta dla poszczególnych zmiennych objaśniających - zakładamy normalny rozkład zmiennej losowej Z Obliczenia wstępne A = (X T X) -1 = 4
Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Studenta dla istotności zmiennej Pow - zakładamy normalny rozkład zmiennej losowej Z ZE = β 1 + β 2 Pow+ β 3 LL + Z Hipoteza zerowa: β 2 =0 ( zmienna Pow jest nieistotna ) Hipoteza alternatywna: β 2 0 ( zmienna Pow jest istotna ) Statystyka testowa: Zbiór krytyczny: Wniosek: Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Studenta dla istotności zmiennej LL - zakładamy normalny rozkład zmiennej losowej Z ZE = β 1 + β 2 Pow+ β 3 LL + Z Hipoteza zerowa: Hipoteza alternatywna: Statystyka testowa: β 2 =0 β 2 0 ( zmienna LL jest nieistotna ) ( zmienna LL jest istotna ) Zbiór krytyczny: Wniosek: 5
Etap I: propozycja nowej postaci modelu ZE = β 1 + β 2 Pow+ Z Etap II: Estymacja parametrów modelu b = (X T X) -1 X T Y = Oszacowany model: ZE = 485.2 + 3.99 Pow Etap III A Wskaźniki jakości modelu: 6
Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Studenta dla istotności zmiennej Pow - zakładamy normalność rozkładu zmiennej losowej Z ZE = β 1 + β 2 Pow+ Z Hipoteza zerowa: Hipoteza alternatywna: Statystyka testowa: β 2 =0 β 2 0 ( zmienna Pow jest nieistotna ) ( zmienna Pow jest istotna ) Zbiór krytyczny: Dość częstą przyczyną zjawiska obserwowanego w naszym przykładzie ( każda zmienna nieistotna ) jest współliniowość ( korelacja (?!) ) między pewnymi zmiennymi U nas: r Pow,LL = 0.91 UWAGA 1. Często, nieprawidłowo (!) w takim przypadku mówi się, że należy jedną (przynajmniej) z takich zmiennych usunąć z modelu. Argumentuje się, że w takim przepadku obie niosą tę samą informację oraz że może to być przyczyną poważnych błędów w obliczeniach tak być może, ale wcale tak być nie musi. W wielu typowych sytuacjach tak nie jest! Pokażemy to w kolejnych przykładach. UWAGA 2. Często, nieprawidłowo (!) zaleca się oglądanie diagramów korelacyjnych bo (jak się twierdzi) wysoka korelacja między zmiennymi objaśniającymi jest szkodliwa, zaś wysoka korelacja pomiędzy zmiennymi wyjaśnianą i objaśnianą jest pożądana. W konsekwencji pojawia się całkowicie błędne zalecenie, żeby w modelu pozostawić zmienne objaśniające, które ze sobą nie są skorelowane, zaś są silnie skorelowane ze zmienna wyjaśnianą. UWAGA 3. O tym czy daną zmienną (lub ich grupę) usunąć przede wszystkim decydują testy, nigdy analiza korelacji! Przed usunięciem grupy zmiennych z modelu stosujemy test mnożnika Lagrange a lub uogólniony test Walda dla tej podgrupy zmiennych. Najlepiej eliminować zmienne pojedynczo. W bardziej zaawanasowanej analizie stosujemy też pewne wskaźniki algebraiczne (wywiedlne z teorii), które umożliwiają ocenę stopnia zagrożenia wynikającego ze współliniowości zmiennych objaśniających. Omówimy je w dalszym ciągu wykładu. 7
Oto kolejny przykład pokazuje, że znaczna współliniowość zmiennych objaśniających nie musi prowadzić do usunięcia którejś z nich zmiennej objaśniającej. Odwrotnie usunięcie którejkolwiek ze zmiennych byłoby karygodnym błędem. Widać też, że oglądanie diagramów korelacyjnych nic nie daje w zakresie modelowania regresyjnego. Przykład 2. Dane: Y X 1 X 2 8
Etap II: Estymacja parametrów modelu Y =β 0 + β 1 X 1 + β 2 X 2 + Z b = (X T X) -1 X T CM = Wskaźniki jakości modelu: Oszacowany model: Y = 611.8 + 4.82 X 1 9.48 X 2 (8.57) (0.066) (0.13) Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Walda dla całego układu zmiennych objaśniających (model z wyrazem wolnym) - zakładamy normalny rozkład zmiennej losowej Z F=2699 (!) 9
Etap III B: Istotność zmiennych objaśniających w modelu regresyjnym (poziom istotności α=0.05) Test Studenta dla istotności zmiennej X 1 Hipoteza zerowa: Hipoteza alternatywna: Statystyka testowa: β 1 =0 β 1 0 ( zmienna jest nieistotna ) ( zmienna jest istotna ) Test Studenta dla istotności zmiennej X 2 Hipoteza zerowa: Hipoteza alternatywna: Statystyka testowa: β 2 =0 β 2 0 ( zmienna jest nieistotna ) ( zmienna jest istotna ) Zauważmy, że u nas r X1,X2 = 0.967!!! Czy zatem należy usunąć jedną ze zmiennych? 10
Etap I: propozycja nowej postaci modelu Y =β 0 + β 1 X 1 + Z Etap II: Estymacja parametrów modelu b = Etap III A Wskaźniki jakości modelu:! Etap I: propozycja nowej postaci modelu Y =β 0 + β 2 X 2 + Z Etap II: Estymacja parametrów modelu b = Etap III A Wskaźniki jakości modelu:! 11
Zależność Y od X 1 Zależność Y od X 2 Zależność X 1 od X 2 A teraz wyjaśnienie błędności rozumowania opartego na analizie korelacji Wynika owa błędność z niezrozumienia oczywistego dla każdego matematyka faktu, że wielowymiarowa zależność liniowa zmiennej y od zmiennych x 1,,x k, nijak nie przekłada się na zależność liniową y od poszczególnych zmiennych x i. Łatwo to geometrycznie zobrazować w 3D Rozważmy model Y =2 + 3 X 1 3X 2 +Z Oczywiście Y zależy liniowo od zmiennych objaśniających. Jak będzie wyglądał wykres danych? Jeśli model jest naprawdę dobry (tj. gdy Z ma niewielką wariancję), to obserwacje ułożą się na płaszczyźnie, mniej więcej tak jak rysunku: 12
A teraz diagram korelacyjny. Co to właściwie jest? Diagram korelacyjny, np. pomiędzy Y i X 1 jest rzutem tej chmury czarnych punktów na płaszczyznę X 1 Y. Wygląda to tak: A taka sytuacja: Diagram korelacyjny, np. pomiędzy Y i X 1 wygląda teraz tak: A teraz co sugeruje diagram korelacyjny? 13
Co sugeruje diagram korelacyjny? Widzimy, że diagram korelacyjny wskazuje na całkowity brak liniowej zależności liniowej (czy jakiejkolwiek innej) pomiędzy Y i X1, co jak wiemy, przeczy faktowi. Należy to zapamiętać: oglądanie obrazków 2D nic nam nie mówi na temat liniowości zależności w większym wymiarze. Już w 3D można się bardzo pomylić, a co dopiero w wymiarach, gdzie nawet nasza wyobraźnie nic nie jest wstanie nam podpowiedzieć! 14
Kolejny przykład tym razem z beletrystyką Przykład 3. Model wielkości popytu na wycieczki statkiem - zbudowany dla mieszkańców Tertapolis, wioski na jednej z wysepek na morzu egejskim. Zmienne objaśniające to cena wycieczek (od osoby) i liczba turystów znajdujących się w wiosce 15
Dane: P C L P C L Macierz korelacji P C L P C L 16
Zależność P od C Zależność P od L Związek C z L P = 205 51,3 C + 0.34 LL (16,5) (1,40) (0,01) Dla wyrazu wolnego wartość statystyki t=12,38 Dla zmiennej C wartość statystyki t=-36,7 Dla zmiennej L wartość statystyki t=33,6 Współczynnik determinacji : R 2 = 98,6% Odchylenie standardowe zakłócenia Z: 13,5 17
Wybór modelu ze względu na cele (E.E. Leamer, Speccification Searches,1978) 1. Model interpretacyjny, gdy celem jest wyjaśnienie związku zachodzącego pomiędzy różnymi zmiennymi 2. Model najprostszy, zwykle gdy celem jest predykcja Dobór zmiennych Podejście Hendrego (D. Hendry 1979) Intended overparametrization with data-based simplification Najczęstsze sposoby (kryteria) upraszczania; 1. Test Studenta 2. Test Walda dla modelu z restrykcjami 3. Rozmaite kryteria wskaźnikowe 18
Dobór zmiennych Modelowanie krokowe - procedura komputerowa (Stepwise regression) (N. Draper, H. Smith, 1981) Krok 1 Krok 2 Krok 3 Krok 4 Dla wszystkich rozważanych zmiennych objaśniających X 1,X 2,...,X k, wyliczmy wartości statystyki t w k modelach z jedną zmienną objaśniającą. Jeśli żadna ze zmiennych nie przekracza zadanego progu, kończymy modelowanie. W przeciwnym przypadku wybieramy tę, która ma największą wartość statystyki t i przechodzimy do kroku 2. Do modelu otrzymanego w kroku poprzednim dodajemy tę zmienną z pozostałych, która daje (po dołączeniu) największą wartość statystyki t Z otrzymanego modelu usuwamy jedną zmienną - tę dla której wartość statystyki t jest najmniejsza, o ile spadła poniżej zadanego progu. Powtarzamy kroki 2 i 3 aż zostaną wyczerpane wszystkie możliwości Modelowanie krokowe - procedura komputerowa (Stepwise regression) Główne wady modelowania krokowego Nie ma gwarancji, że otrzymany model jest najlepszy, gdyż nie wszystkie są rozpatrywane. Np. nie badamy modeli linearyzowalnych, liniowych względem parametrów, nie badamy interakcji pomiędzy zmiennymi. Nie uwzględnia się również możliwości wystąpienia nierzetelnych obserwacji ważących i odstających. Nie badamy nawet 2 k możliwych modeli liniowych. Nie uwzględniane są inne kryteria jakości modelu. Algorytm nie uwzględnia łącznego efektu kilku zmiennych objaśniających Nie wykorzystuje wiedzy eksperckiej. 19
Modelowanie krokowe - procedura komputerowa (Stepwise regression) Warianty algorytmu 1. Selekcja w przód (forward selection). Zaczyna od modelu z jedną zmienna i następnie dodaje zmienne pojedynczo 2. Selekcja w tył (backward selection). Zaczyna od modelu ze wszystkimi zmiennymi, a następnie usuwa zmienne pojedynczo 3. Wykorzystywanie testu Walda (F-ratio) do badania łącznego wpływu grupy zmiennych (byłby to Krok 5 badanie czy wśród odrzuconych nie znajduje się zmienna istotna - może się tak zdarzyć!) Inne ilościowe metody analizy danych w kontekście ich przydatności i wykorzystania w analizie regresji omówimy na kolejnych wykładach. W szczególności omówimy problem występowania: - obserwacji odstających - obserwacji ważących - współliniowości jej detekcji i ewentualnym środkom zaradczym 20