Metoda Najmniejszych Kwadratów

Transkrypt

1 Rozdział 2 Metoda ajmniejszych Kwadratów W tym rozdziale wyprowadzimy najszerzej stosowaną w ekonometrii metodę estymacji, tj Metodę ajmniejszych Kwadratów (MK) Pokażemy, że szacując za pomocą tej metody nieznane parametry modelu, uzyskujemy oszacowania, dla których model najlepiej opisuje zaobserwowane dane Statystyczne własności MK omówimy nieco później, przy okazji omawiana Klasycznego Modelu Regresji Liniowej (KMRL) 21 Model liniowy Z teorii ekonomii wiemy, że między zmiennymi ekonomicznymi występują zależności ilościowe Istnienie takich zależności potwierdzają dane empiryczne Badanie ekonometryczne polega na wyjaśnianiu zachowania jednej zmiennej ekonomicznej za pomocą zachowania innych zmiennych Zmienną, której zachowanie wyjaśniamy za pomocą modelu, nazywamy zmienną objaśnianą, zaś zmienne, które posłużą nam do wyjaśniania - zmiennymi objaśniającymi a przykład, teoria ekonomii mówi, że wielkość popytu indywidualnego powinna zależeć dodatnio od dochodu W tym przypadku, zmienną objaśnianą jest popyt gospodarstwa na dane dobro, zaś zmienną objaśniającą - dochód gospodarstwa domowego Istnienie dodatniego związku między dochodem i wydatkami najłatwiej można potwierdzić, badając wysokość wydatków w grupach dochodowych PRZYKŁAD 21 Wydatki na żywność i dochód gospodarstwa 1 Wysokość średnich wydatków na żywność w przedziałach dochodowych znajduje się w tabeli 21 Dane potwierdzają zatem dodatni związek między dochodem i wydatkami na żywność Można teraz zadać kolejne pytania dotyczące czynników kształtujących popyt gospodarstwa na żywność W jakim stopniu zróżnicowanie wydatków na żywność można wytłumaczyć zróżnicowaniem dochodu gospodarstw? Czy wzrost wydatków na żywność jest szybszy, czy wolniejszy od wzrostu dochodu? Jaki wpływ na wydatki na żywność ma struktura demograficzna gospodarstwa? 1 Dane GUS z badań gospodarstw domowych w 2002 roku dla małżeństw pracowników z 2 dzieci Copyright c 2007 by Jerzy Mycielski 11

2 12 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW TABELA 21: Wydatki na żywność (w zł) w przedziałach dochodowych dochód średnie wydatki gospodarstwa na żywność średnia 644 ajczęściej stosowanym modelem jest model liniowy W modelu tym zakłada się, że związek między zmienną objaśnianą i zmiennymi objaśniającymi jest liniowy: przy czym: y i = x 1i β 1 + x 2i β x Ki β K + ε i, dla i = 1,,, y jest zmienną objaśnianą (endogeniczną, zależną), x 1,, x K są zmiennymi objaśniającymi (egzogenicznymi, niezależnymi), zmiennych tych jest K, ε jest błędem losowym, i jest indeksem obserwacji, a - liczbą obserwacji Błąd losowy (ε) odpowiada za tę część zmienności y, której nie da się wyjaśnić zmiennymi objaśniającymi W typowych przypadkach jedynie cześć zmienności zmiennej zależnej można wytłumaczyć za pomocą zmienności zmiennych niezależnych Źródłem tego niepełnego wyjaśnienia jest brak informacji na temat części ważnych zmiennych losowych, bądź częściowo losowy charakter zmienności zmiennej zależnej Prostą, którą wyznacza równanie modelu liniowego, nazywamy prostą regresji, zaś sam model - modelem regresji liniowej Prosta regresji opisuje zależność między oczekiwaną wartością zmiennej objaśnianej a wartościami zmiennych objaśniających O prostej regresji można mówić właściwie jedynie w przypadku modelu ze stałą i jedną zmienną objaśniającą W przypadku wielowymiarowym mówimy o hiperpłaszczyźnie regresji Interesująca jest geneza samego terminu regresja Użył go jako pierwszy Francis Galton w 1886 roku badając związek między wzrostem rodziców i dzieci Zauważył on, że jakkolwiek wysocy rodzice mają też średnio wysokie dzieci, to jednak wzrost

3 21 MODEL LIIOWY 13 dzieci ponadprzeciętnie wysokich rodziców jest bliższy średniej niż wzrost rodziców 2 Taką tendencję do powrotu do średniej Galton określił mianem regresję do średniactwa Odkrycie Galtona można zapisać za pomocą następującego modelu liniowego: wzrost dzieci = β 1 + β 2 wzrost rodziców + ε i, gdzie 0 < β 2 < 1, a więc centymetr wzrostu rodziców przekłada się na mniej niż jeden centymetr wzrostu dzieci Zmienna objaśniana i zmienne objaśniające w modelu regresji nie są traktowane symetrycznie a przykład Galton w swoich badaniach zakładał, że to wzrost rodziców ma wpływ na wzrost dzieci, a nie wzrost dzieci na wzrost rodziców Kierunku związku przyczynowo skutkowego nie da się w próbie przekrojowej odczytać z danych Kierunek ten powinien wynikać z teorii, z której korzystamy budując nasz model PRZYKŁAD 22 Kierunek zależności między zmiennymi Model, który będzie wyjaśniał wysokość wydatków na żywność gospodarstwa dochodem gospodarstwa, jest sensowny: wydatki i = β 1 + β 2 dochód i + ε i Pozbawiony sensu jest natomiast model objaśniający wysokość dochodów gospodarstwa wysokością wydatków na żywność: dochód i = α 1 + α 2 wydatki i + η i Z teorii ekonomii wiemy bowiem, że to dochód determinuje wydatki, a nie odwrotnie Analiza regresji nie jest tym samym co analiza korelacji Sam fakt, że obserwujemy, że zmienne zmieniają się w tym samym kierunku wcale nie implikuje, że istnieje między nimi związek przyczynowo-skutkowy Korelację między zmiennymi możemy zaobserwować często, nawet przy braku bezpośredniego związku przyczynowoskutkowego Korelacja i zwiazek przyczynowo-skutkowy Stwierdzono dodatnią korelację między wielkością spożycia lodów w danym dniu i liczbą utonięć w tym dniu Czy po zjedzeniu lodów nie powinno się wchodzić do wody? PRZYKŁAD 23 ROZWIAZAIE Więcej utonięć zdarza się przy słonecznej pogodzie, ponieważ wtedy więcej osób wchodzi do wody Przy takiej pogodzie wyższe jest także spożycie lodów Trudno jest jednak obronić tezę, że zjedzenie lodów zwiększa ryzyko utonięcia Wiedzę na temat badanego zjawiska powinniśmy mieć przed przystąpieniem do analizy danych Wiedza ta niekoniecznie musi mieć charakter sformalizowany Często wystarcza ogólna orientacja na temat charakteru związków przyczynowo-skutkowych między zmiennymi Posiadając taką wiedzę można zazwyczaj ustalić, która zmienna w modelu powinna być zmienną objaśnianą, a które zmienne - zmiennymi objaśniającymi 2 Zainteresowanie Galtona dziedziczeniem nie jest dziwne zważywszy, że był zięciem Karola Darwina iestety uważa się go też za jednego z wczesnych propagatorów eugeniki

4 14 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW PYTAIA: 1 Zapisać model liniowy Podać interpretację poszczególnych elementów tego modelu 22 Estymacja Jak już wspomnieliśmy w rozdziale (1), ilościowych relacji między zmiennymi nie da się zazwyczaj wywnioskować bezpośrednio z teorii ekonomii a podstawie teorii możemy zazwyczaj wywnioskować znaki parametrów β 1,, β K ale nie da się przewidzieć dokładnie na jej podstawie jakie są ich wielkości Po to by uzyskać wiedzę na temat wielkości parametrów modelu ekonomicznego musimy posłużyć się danymi empirycznymi Wielkości parametrów β 1,, β K w modelu liniowym są niewiadomymi, które szacujemy na podstawie danych Intuicyjnie, estymacja polega na szacowaniu nieznanych parametrów na postawie reakcji zmiennej zależnej na zmiany wielkości zmiennych niezależnych, zaobserwowanych w próbie To, co uzyskujemy na podstawie danych jest jedynie szacunkiem i będzie mniej lub bardziej dokładnym przybliżeniem prawdziwych wielkości parametrów W rezultacie oszacowania parametrów uzyskane na podstawie dwóch prób z reguły będą różne W przypadku modelu z dwoma zmiennymi proces szacowania parametrów modelu można zilustrować na rysunku jako wyznaczanie prostej, która jest najlepiej dopasowana do obserwacji, zaobserwowanych w próbie (rys 21) Sposób, w jaki znajdujemy dopasowane parametry, opiszemy dokładnie w następnym rozdziale b1=845 b2=134 b1=845 b2=134 b1=763 b2= RYSUEK 21: Oszacowania, obserwacje z generatora liczb losowych RYSUEK 22: Oszacowania, dwie próby z generatora liczb losowych Uzyskane w tym przypadku oszacowania parametrów β 1 i β 2 wyniosły: dla stałej (przecięcia z osią y) 845, dla nachylenia 134 Czy oszacowania te są dokładne? Zobrazowany na rysunku zbiór danych został sztucznie wygenerowany za pomocą komputera dla parametrów β 1 = 8 i β 2 = 15 3 Jak widać w tym przykładzie uzyskane 3 Doświadczenie, w którym generujemy sztucznie obserwacje, po to by poznać własności oszacowań,

5 23 WARTOŚCI DOPASOWAE I RESZTY 15 szacunki odbiegają nieco od rzeczywistych wielkości parametrów Dla kolejnej wygenerowanej próbki (rysunek 22) uzyskaliśmy oszacowania parametrów na poziomie 763 i 144, które różnią się zarówno od poprzednich oszacowań, jak i prawdziwych parametrów Z eksperymentów tych wynika też pewien istotny wniosek: oszacowania nielosowych parametrów modelu są losowe Będąc jedynie niedokładnym przybliżeniem prawdziwych wielkości parametrów mogą różnić się w zależności od wylosowanej próby iedokładności w oszacowaniach wielkości parametrów wynikają z występowania zaburzeń losowych, które uniemożliwiają dokładne zmierzenie parametrów równania regresji 23 Wartości dopasowane i reszty Znajdowanie estymatora (oszacowania) MK parametrów (β 1,, β K ) określamy mianem regresji liniowej y i na x 1i,, x Ki Zgodnie z przyjętą konwencją oszacowania nieznanych parametrów β 1,, β K, uzyskane za pomocą MK, oznaczamy zwykle jako b 1,, b K Przewidywane na podstawie oszacowanego modelu wartości zmiennej zależnej nazywamy wartościa dopasowana (teoretyczną): ŷ i = x 1i b 1 + x 2i b x Ki b K Wartości dopasowane różnią się od rzeczywistych wartości y i, ponieważ w modelu oszacowanym zamiast prawdziwych (nieznanych) wartości parametrów β 1,, β K używamy ich oszacowań b 1,, b K i pomijamy błąd losowy Reszty definiujemy jako różnicę między wartością zaobserwowaną zmiennej zależnej, a wartością dopasowaną tej zmiennej: e i = y i x 1i b 1 x 2i b 2 x Ki b K = y i ŷ i Relację między resztami, obserwacjami i oszacowaniami parametrów można zapisać w sposób następujący: y i = ŷ i + e i = x 1i b 1 + x 2i b x Ki b K + e i Taki zapis pokazuje pokrewieństwo między β 1,, β K i b 1,, b K oraz między ε i i e i Tak jak b 1,, b K są jedynie oszacowaniami β 1,, β K, tak reszty e i stanowią oszacowania elementów losowych ε i, ale nie są im równe! Model jest tym lepiej dopasowany, im mniejsza jest odległość wartości teoretycznych ŷ i od wartości zaobserwowanych y i Inaczej mówiąc, najlepiej dopasowanym modelem jest ten, w którym reszty są, co do wartości bezwzględnych, najmniejsze Estymator MK znajdujemy, szukając takich b 1,, b K, dla których łączna odległość ŷ i od y i jest najmniejsza nazywamy eksperymentem Monte Carlo

6 16 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW 18 y(t)=8+1,5*x(t)+e(t) e(t)~(0,2) ^ y i -y i =ei RYSUEK 23: Reszty i krzywa regresji a rysunku (23) przedstawiono prostą regresji oraz punkty obrazujące poszczególne obserwacje aszym celem jest jak najlepsze dopasowanie y i Dopasowując prostą regresji do obserwacji musimy wybrać funkcję, która opisywać będzie jakość tego dopasowania Optymalizując tę funkcję względem wielkości oszacowań parametrów znajdziemy takie oszacowania, które zapewniają najlepsze dopasowanie Odchylenia ŷ i od y i mogą być dodanie bądź ujemne Dopasowanie jest tym lepsze, im mniejsze są wartości bezwzględne tych odchyleń Oczywistym kryterium, które należy minimalizować, by uzyskać najlepsze dopasowanie, jest suma wartości bezwzględnych odchyleń ŷ i od y i : y i ŷ i = e i Funkcja ta jest jednak kłopotliwa w użyciu, ponieważ funkcja nie jest różniczkowalna w zerze i w konsekwencji nie da się zminimalizować sumy e i standardowymi metodami analitycznymi Alternatywną miarą dopasowania jest suma kwadratów odchyleń ŷ i od y i : (y i ŷ i ) 2 = e 2 i Funkcja ta jest ciągła i różniczkowalna dla wszystkich e i, dzięki czemu można znaleźć jej minimum względem wielkości parametrów poprzez rozwiązanie standardowych warunków pierwszego rzędu azwa Metoda ajmniejszych Kwadratów bierze się

7 24 MK DLA MODELU Z JEDA ZMIEA 17 właśnie stąd, że estymator MK znajdujemy minimalizując sumę kwadratów reszt PYTAIA: 1 Podać wzajemne relacje między wartościami obserwowanymi zmiennej zależnej, oszacowaniami parametrów, wartościami dopasowanymi i resztami 2 Wyjaśnić różnicę między parametrami i oszacowaniami parametrów oraz między odchyleniami losowymi i resztami 24 MK dla modelu z jedna zmienna Prezentację Metody ajmniejszych Kwadratów zaczniemy od najprostszego przypadku modelu liniowego ze stałą i jedną zmienną objaśniającą W tym przypadku model teoretyczny opisuje równanie: y i = β 1 + β 2 x i + ε i Model wyestymowany dany jest równaniem: a reszta dla każdej obserwacji: y i = b 1 + b 2 x i + e i, e i = y i b 1 b 2 x i PRZYKŁAD 24 (cd 21) Wydatki na żywność i dochód gospodarstwa - oszacowania parametrów W modelu liniowym wyjaśniającym wielkość wydatków na żywność dochodami gospodarstwa: wydatki i = β 1 + β 2 dochód i + ε i, gdzie wydatki i, to wydatki gospodarstwa na żywność, a dochód i oznacza dochód gospodarstwa Dla kolejnych gospodarstw zaobserwowano następujące wielkości dochodu i wydatków na żywność (tabela 22): TABELA 22: Wydatki na żywność: pierwsze trzy obserwacje w bazie danych nr dochód wydatki na żywność ] Wtedy dla pierw- [ Załóżmy, że znany jest wektor oszacowań parametrów b = szej obserwacji możemy policzyć wartości dopasowane i reszty: ŷ 1 = = 5349, e 1 = = 1042 Oszacowania b 1 i b 2 powinny być dobrane tak, by suma kwadratów reszt była jak

8 18 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW najmniejsza Suma ta jest równa: S (b 1, b 2 ) = e 2 i = (y i b 1 b 2 x i ) 2 = ( y 2 i 2y i b 1 2y i b 2 x i + 2b 1 b 2 x i + b ) b2 2 x2 i Z analizy matematycznej wiemy, że aby znaleźć ekstremum funkcji wystarczy rozwiązać warunki pierwszego rzędu, czyli przyrównać do zera pochodne cząstkowe względem parametrów W przypadku funkcji S (b 1, b 2 ) warunki pierwszego rzędu można zapisać jako układ równań: { S(b1,b 2 ) b 1 = 0 S(b 1,b 2 ) b 2 = 0 Licząc pochodne dla poszczególnych równań uzyskujemy układ równań zwany układem równań normalnych ( 2y i + 2b 1 + 2b 2 x i ) = 0 ( 2yi x i + 2b 1 x i + 2b 2 x 2 ) i = 0 Przekształcając pierwsze równanie i dzieląc jego obie strony przez 2 oraz oznaczając y = y i, x = x i, uzyskujemy: y i b 1 = b 2 x i = y b 2 x Uzyskaliśmy w ten sposób równanie, które pozwoli nam policzyć b 1, jeśli tylko zdołamy uzyskać wzór na b 2 Przekształcając drugie równanie układu równań normalnych i dzieląc obie strony przez 2, otrzymujemy: y ix i = b 1 x i + b 2 x2 i = b 1 x + b 2 x2 i Podstawiając za b 1 poprzednio wyprowadzony wzór, otrzymujemy: y ix i = y x b 2 x 2 + b 2 x2 i

9 24 MK DLA MODELU Z JEDA ZMIEA 19 Po przeniesieniu y x dochodzimy do wzoru: y ix i y x = b 2 ( x2 i x 2 ), z którego dostajemy wreszcie wzór na b 2 : b 2 = y ix i x2 i y x x 2 Pewne dodatkowe uproszczenie zapisu można uzyskać, zauważając związek między mianownikiem i licznikiem występującymi w tym wzorze, a współczynnikami wariancji i kowariancji empirycznej Z definicji wariancji empirycznej x i wiemy, że: s 2 x = (x i x) 2 = = x2 i x2 i 2x 2 + x2 = 2x x i x2 i x 2 + x2 Podobnie, wychodząc z definicji kowariancji empirycznej między y i i x i otrzymujemy: s yx = (y i y) (x i x) = y ix i y x = y i (x i x) Oszacowania współczynników w regresji liniowej w modelu ze stałą i jedną zmienną objaśniająca można zapisać wzorami: b 2 = s yx s 2, x b 1 = y b 2 x Estymator MK posiada następującą ważną własność: jeśli przeskalujemy zmienną objaśniającą (np x i = ax i), to wielkość estymator b 2 odpowiednio się zmieni (b 2 = b 2a ) Przeskalowanie powoduje, że kowariancja między y i x w modelu z przeskalowaną zmienną objaśniającą jest równa s yx = as yx, a wielkość wariancji x jest równa s 2 x = a2 s x Rzeczywiście więc b 2 = s yx s 2 x = 1 a s yx s 2 x = b 2 a Zmiana skali zmiennych niezależnych nie wpływa więc na wielkość wartości dopasowanych dla zmiennej zależnej Podobną własność ma także estymator MK dla modelu z wieloma zmiennymi objaśniającymi (cd 21) Szacowanie parametrów modelu dla zależności między PRZYKŁAD 25 wydatkami na żywność i dochodem gospodarstwa Dla modelu: wydatki i = β 1 + β 2 dochód i + ε i

10 20 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW RYSUEK 24: Wydatki na żywność RYSUEK 25: Krzywa Engla sporządzono wykres (24), na którym punkty reprezentują kombinacje dochodów i wydatków na żywność zaobserwowane w zbiorze danych Policzono też, że kowariancja między zmiennymi jest równa W tabeli (23) przedstawiono oszacowania wielkości statystyk opisowych Wykorzystując wyprowadzone wzory uzyskujemy oszacowania parametrów b: b 2 = = , b 1 = = Uzyskane wyniki regresji zapisuje się zwykle za pomocą tabeli (patrz: tabela 24) Często też zapisuje się je w postaci równania: wydatki = dochód Oszacowanie stałej (b 1 ) oznacza, że przy zerowych dochodach gospodarstwo wydaje na żywność 464 zł Z kolei wielkość współczynnika przy zmiennej dochód (b 2 ) oznacza, że przyrost dochodu gospodarstwa o 1000 zł powoduje wzrost wydatków na żywność o 80 zł Czy uzyskany model dobrze opisuje zależność wydatków od dochodów? Rysunek 24 sugeruje, że krzywa jest zbyt mało nachylona i zbyt wysoko leży jej punkt przecięcia z osią y Bardziej przekonywający jest wynik analizy krzywej Engla Obrazuje ona zależność między udziałem wydatków na żywność w całkowitych wydatkach Załóżmy, że całkowite wydatki równe są dochodowi Udział wydatków na żywność w całkowitych wydatkach jest q doch więc równy (zgodnie z przyjętymi oznaczeniami): w = Zgodnie z naszym modelem, wydatki na żywność zależą liniowo od dochodu: wydatki i = β 1 +β 2 dochód i Podstawiając do wzoru na w i zastępując β 1 i β 2 przez ich oszacowania b 1 i b 2 uzyskujemy: wydatki ŵ = dochód = b 1 + b 2 dochód dochód Dla danych w przykładzie policzono udziały wydatków na żywność w całkowitych wydatkach gospodarstw domowych i przedstawiono je na rysunku wraz z wykresem zapisanej powyżej funkcji (rysunek 25) Model liniowy wydaje się więc dobrze opisywać obserwo- TABELA 23: Statystyki opisowe Zmienna średnia wariancja wydatki dochód TABELA 24: Oszacowania wydatki Współczynnik dochód stała 46395

11 25 MODEL LIIOWY, ZAPIS MACIERZOWY 21 wany w danych spadek udziału wydatków na żywność w całości wydatków PYTAIA: 1 Skąd bierze się nazwa Metoda ajmniejszych Kwadratów? 2 Wyprowadzić estymator MK dla modelu ze stałą i jedną zmienną objaśniającą 25 Model liniowy, zapis macierzowy Model liniowy ze stałą i jedną zmienną objaśniającą stanowi szczególny przypadek modelu z K zmiennymi objaśniającymi W tym ogólniejszym przypadku znalezienie rozwiązania staje się względnie proste przy zastosowaniu algebry macierzy Załóżmy, że zmienna objaśniana zależy w następujący sposób od zmiennych objaśniających: y i = x 1i β 1 + x 2i β x Ki β K + ε i, dla i = 1,, Równanie to, dla wszystkich obserwacji, można zapisać za pomocą następującego równania macierzowego: y 1 x 11 x K1 β 1 ε 1 = +, } y {{ } } x 1 {{ x K }} β K {{ } } ε {{ } y ε X gdzie y ( 1) jest wektorem obserwacji dla zmiennej zależnej, X ( K) - macierzą obserwacji dla zmiennych niezależnych, β (K 1) - wektorem nieznanych parametrów, a ε ( 1) - wektorem zaburzeń losowych 4 Stosując ten zapis można model liniowy zapisać za pomocą następującego, prostego równania macierzowego: β y = Xβ + ε (21) Przy takim zapisie, wektor kolumnowy y zawiera wszystkie obserwacje dla zmiennej zależnej, zaś kolejne kolumny macierzy obserwacji X zawierają obserwacje dla kolejnych zmiennych objaśniających w modelu Z reguły macierz X jest macierzą prostokątną o liczbie wierszy dużo większej niż liczba kolumn, ponieważ, zazwyczaj liczba obserwacji jest dużo większa niż jest zmiennych objaśniających w modelu Macierzy X jako macierzy prostokątnej nie da się odwrócić i w konsekwencji układu równań 21 nie da się rozwiązać za pomocą czysto algebraicznych przekształceń PRZYKŁAD 26 (cd21) Dane - zapis macierzowy 4 iefortunną konsekwencją przyjętej w ekonometrii konwencji, że pierwszy indeks oznacza numer zmiennej, a drugi indeks - numer obserwacji, jest to, że, odwrotnie niż w standardowej notacji matematycznej, pierwszy indeks elementu macierzy obserwacji X jest indeksem kolumny, a drugi - indeksem wiersza

12 22 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW W modelu wyjaśniającym wielkość wydatków na żywność dochodami gospodarstwa: y i X mają postać: y = wydatki i = β 1 + β 2 dochód i + ε i, , X = Model można zatem zapisać jako następujący układ równań liniowych w zapisie macierzowym: 8906 [ 2300 ε1 ] = [ β1 β 2 ] + W modelu ze stałą, pierwszą kolumną macierzy X jest kolumna jedynek W tym przypadku stała jest traktowana jako szczególna zmienna objaśniająca, która jest taka sama dla wszystkich obserwacji ε Stosujemy też inny wariant zapisu modelu, w którym poszczególne obserwacje zapisane są równaniami postaci: y i = x i β + ε i, dla i = 1,, a x i jest wektorem wierszowym zawierającym wielkości zmiennych objaśniających x 1i,, x Ki dla obserwacji o indeksie i 26 MK dla wielu zmiennych objaśniajacych W tym podrozdziale wyprowadzimy estymator MK dla przypadku wielu zmiennych objaśniających Schemat rozumowania jest identyczny, jak w przypadku modelu ze stałą i jedną zmienną objaśniającą Zgodnie z opisaną wcześniej konwencją, wektor nieznanych parametrów oznaczymy jako β = [β 1,, β K ], zaś uzyskany dla tych parametrów wektor oszacowań (estymator) jako b = [b 1,, b K ] W tym przypadku wartość dopasowana (teoretyczna) y i jest równa: ŷ i = x 1i b 1 + x 2i b x Ki b K = x i b dla i = 1,,, a wektor wartości dopasowanych jest można zapisać jako: ŷ = Xb

13 26 MK DLA WIELU ZMIEYCH OBJAŚIAJACYCH 23 Podobnie reszta jest równa: e i = y i x 1i b 1 x 2i β 2 x Ki b K = y i x i b = y i ŷ i dla i = 1,,, a wektor reszt można zapisać jako: e = y Xb = y ŷ (22) Model jest dobrze dopasowany do danych, jeśli wartości dopasowane zmiennej zależnej są bliskie zaobserwowanym wartościom zmiennej zależnej Tak jak było to wyjaśnione w poprzednim rozdziale, miarą jakości dopasowania w Metodzie ajmniejszych Kwadratów jest suma kwadratów reszt Estymatory MK znajdujemy, minimalizując sumę kwadratów reszt równą: S (b) = (y i ŷ i ) 2 = e 2 i Zadanie optymalizacyjne można sformułować następująco: min S (b) = min b b (y i ŷ i ) 2 = min b e 2 i Szukamy takiego wektora b, dla którego suma kwadratów reszt jest najmniejsza, a tym samym dopasowanie modelu do danych będzie najlepsze Sumę kwadratów reszt e2 i można zapisać także przy użyciu iloczynu skalarnego e e: e e = [ e 1 e ] e 1 e = e 2 i Używając tego zapisu oraz definicji wektora e podanej we wzorze (22) możemy zapisać sumę kwadratów reszt S(b) jako: S(b) = e e = (y Xb) (y Xb) = y y y Xb b X y + b X Xb Suma kwadratów reszt S(b) jest skalarem, a więc każdy element uzyskanej sumy także jest skalarem Transpozycja skalarów nic nie zmienia, więc y Xb = b X y W rezultacie: S(b) = y y 2y Xb + b X Xb

14 24 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Minimum funkcji S(b) znajdujemy, rozwiązując warunki pierwszego rzędu względem b Różniczkując S(b) uzyskujemy: S (b) b = y y b 2 y Xb b + b X Xb b Z własności pochodnych (patrz: Dodatek 2A) wiemy, że wx = w Wynika z tego, że y Xb b = X y Pochodna formy kwadratowej Ax = (A + A ) x W naszym przypadku A = X X i łatwo przekonać się, że A jest symetryczne, skoro (X X) = (X) (X ) = X X W efekcie b X Xb b = 2X X Ponieważ y y nie zależy od b, zatem y y b = 0 Wykorzystując te wnioski dochodzimy do wzoru na pierwszą pochodną funkcji S (b): S (b) b = y y b Xb 2 y + b X Xb b b = 2X y + 2X Xb Warunki pierwszego rzędu na minimalizację sumy kwadratów reszt S (b) uzyskujemy, przyrównując S(b) b do zera: 2X y + 2X Xb = 0 Dzieląc obie strony przez 2 i przenosząc X y na prawą stronę otrzymujemy ogólną postać układu równań normalnych : X Xb = X y Układ równań normalnych jest układem K równań, w którym niewiadomymi są elementy wektora oszacowań b Rozwiązaniem tego układu równań są oszacowania parametrów modelu Rozwiązanie to łatwo znaleźć korzystając z algebry macierzy Mnożąc lewostronnie obie strony układu równań przez (X X) 1 : ( X X ) 1 X X b = ( X X ) 1 X y, }{{} I uzyskujemy wzór na wektor oszacowań wektora nieznanych parametrów: b = (X X) 1 X y Jest to podstawowy wzór, który stosujemy, by uzyskać oszacowania MK Znalezienie na postawie tego wzoru wektora oszacowań b jest jednak możliwe jedynie wtedy, gdy macierz X X jest macierzą odwracalną Macierz X X jest macierzą kwadratową o wymiarze K K, a więc jest potencjalnie jest macierzą odwracalną Z ogólnych własności macierzy wynika, że jeśli macierz X ma pełen rząd kolumnowy,

15 27 ITERPRETACJA PARAMETRÓW 25 to macierz X X jest nieosobliwa i istnieje (X X) 1 Macierz X ma pełen rząd kolumnowy, jeśli kolumny tej macierzy są liniowo niezależne Jeśli jedną z kolumn macierzy X można otrzymać jako kombinację liniową pozostałych kolumn, to warunek pełnego rzędu zawodzi, X X jest osobliwa, a układ równań normalnych nie ma jednoznacznego rozwiązania Przekładając ten warunek na praktykę estymacji, wnioskujemy, że niemożliwe jest jednoznaczne wyznaczenie estymatora MK, jeśli jedną ze zmiennych objaśniających można uzyskać jako kombinację liniową pozostałych zmiennych Do kwestii tej wrócimy przy okazji omawiania problemu współliniowości Interesującym przypadkiem, dla którego macierz X nie ma pełnego rzędu kolumnowego, jest przypadek, w którym liczba wierszy macierzy jest mniejsza od liczby jej kolumn (K > ) Ponieważ rząd wierszowy i kolumnowy macierzy są zawsze sobie równe, więc w takiej sytuacji macierz X nie może mieć pełnego rzędu kolumnowego MK nie da się więc oszacować modelu, w którym liczba zmiennych (parametrów do oszacowania) przekracza liczbę obserwacji Jak dotąd rozpatrywaliśmy jedynie warunek konieczny na istnienie minimum Zbadamy teraz, czy znalezione ekstremum rzeczywiście jest minimum funkcji celu Warunek dostateczny na istnienie minimum sprowadza się do tego, by Hessian (macierz drugich pochodnych) funkcji celu był dodatnio określony W naszym przypadku Hessian ma następującą postać: 2 S (b) b b = 2 X y b + 2 X Xb b = 2X X Warunek dodatniej określoności Hessianu jest spełniony, ponieważ macierz X X jest dodatnio określona, jeśli tylko jest nieosobliwa (patrz: Dodatek 2A) PYTAIA: 1 Co to jest układ równań normalnych? 2 Wyprowadzić estymator MK dla modelu z wieloma zmiennymi objaśniającymi 3 Dlaczego nie da się uzyskać oszacowań MK, jeśli liczba zmiennych objaśniających w modelu jest większa od liczby obserwacji? 27 Interpretacja parametrów Jedną z ważniejszych umiejętności koniecznych do właściwego zinterpretowania wyników estymacji jest umiejętność interpretacji oszacowanych współczynników W najprostszej wersji modelu liniowego, parametr β k stojący przy zmiennej x k interpretujemy jako oczekiwaną (średnią) zmianę y przy jednostkowej zmianie x k

16 26 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW PRZYKŁAD 27 Interpretacja oszacowanych współczynników - model krzywej Philipsa dla Polski 5 Po przeanalizowaniu danych uznano, że na bezrobocie (poza inflacją) może wpływać także tempo wzrostu gospodarczego Oszacowano model liniowy postaci: bezrobocie t = β 1 + β 2 pkb t + β 3 inflacja t + ε t, gdzie pkb t jest stopą wzrostu gospodarczego w okresie t, a inflacja t - inflacją w okresie t Zmienna bezrobocie t oznacza poziom bezrobocia w/g BAEL w okresie t Oczekujemy, że współczynniki przy zmiennej pkb t i inflacji są ujemne Uzyskano następujące oszacowania: bezrobocie t = pkb t 0232 inflacja t Oszacowane wielkości parametrów są ujemne, tak jak wynika to z teorii Sugerują one też, że jednoprocentowy wzrost PKB powoduje spadek bezrobocia w Polsce o 041%, wzrost inflacji o jeden punkt procentowy powoduje spadek bezrobocia o 023%, a poziom bezrobocia przy zerowym wzroście i inflacji wynosi 1966% 28 Własności hiperpłaszczyzny regresji Odpowiednikiem prostej regresji dla w modelu z większą liczbą zmiennych objaśniających jest hiperpłaszczyzna regresji Jej własnościami zajmiemy się w tym podrozdziale Uzyskane własności wykorzystamy później do zdefiniowania miary dopasowania R 2 Prosta regresji w modelu z jedną zmienną i stałą wyznaczana jest przez dopasowaną do danych prostą ŷ = b 1 + b 2 x Podobnie, hiperpłaszczyzną regresji nazywamy dopasowaną do danych hiperpłaszczyznę wyznaczoną funkcją y = xb, gdzie b jest estymatorem MK, a x R K Własności hiperpłaszczyzny regresji najłatwiej opisać za pomocą własności wektora reszt i wektora wartości dopasowanych Dwie pierwsze własności hiperpłaszczyzny regresji dotyczą każdego modelu oszacowanego za pomocą MK Mówimy, że wektory x i y są prostopadłe (ortogonalne), jeśli iloczyn skalarny x y jest równy zeru Pierwsza własność hiperpłaszczyzny regresji mówi, że wektor reszt jest prostopadły do wszystkich kolumn macierzy X: X e = 0 Druga własność hiperpłaszczyzny regresji mówi, że wektor reszt jest prostopadły także do wektora wartości dopasowanych: ŷ e = 0 Formalny dowód tych dwóch własności wychodzi z układu równań normalnych: X y = X Xb 5 Dane kwartalne GUS,

17 28 WŁASOŚCI HIPERPŁASZCZYZY REGRESJI 27 Przenosząc X Xb na lewą stronę otrzymujemy: X (y Xb) = 0, a korzystając z definicji reszt uzyskujemy pierwszą własność hiperpłaszczyzny regresji: X e = 0 Drugą własność hiperpłaszczyzny regresji otrzymujemy wychodząc z definicji wartości dopasowanych: ŷ = Xb Transponując stronami i mnożąc prawostronnie przez e oraz korzystając z wyprowadzonej przed chwilą pierwszej własności hiperpłaszczyzny regresji dostajemy: ŷ e = b X }{{} e = 0 0 Standardowo, jedną ze zmiennych w modelu jest stała W przypadku modeli ze stałą można wyprowadzić dwie dodatkowe własności hiperpłaszczyzny regresji Przy ich zapisie posłużymy się wektorem złożonym wyłącznie z jedynek, który oznaczać będziemy jako 1 Wektor ten umożliwia zwięzły zapis sumy elementów wektora jako iloczynu skalarnego: 1 e = [ 1 1 ] e 1 e = e i astępujące własności hiperpłaszczyzny regresji dotyczą jedynie modeli zawierających stałą: 1 e = e i = 0, y = ŷ Z pierwszej z omawianych własności wynika, że suma reszt w modelu ze stałą jest równa zeru W konsekwencji, średnia reszta e = także jest równa zeru Druga własność mówi, że średnia z wartości zaobserwowanych zmiennej zależnej i średnia z wartości dopasowanych są sobie równe Intuicyjnie obie własności wydają się sensowne Pierwsza oznacza, że średni błąd dopasowania jest równy zeru - nie ma systematycznej tendencji do zawyżenia lub zaniżania przez model przewidywań wartości zmiennej zależnej Druga własność jest powiązana z pierwszą i mówi, że średnia wartości dopasowanych z oszacowanego modelu powinna być równa średniej z wartości zaobserwowanych zmiennej objaśnianej e i

18 28 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Dowód własności oparty jest na formie macierzy obserwacji dla modelu ze stałą W takim modelu jedną z kolumn macierzy obserwacji X jest kolumna jedynek Przyjęła się konwencja, że kolumna jedynek jest pierwszą kolumną macierzy obserwacji: 1 x 21 x 31 x K1 1 x 22 x 32 x K2 X = 1 x 2 x 3 x K Z udowodnionej wcześniej pierwszej własności hiperpłaszczyzny regresji (ortogonalności X i e) wiemy, że: X e = x 21 x 22 x 2 x 21 x 32 x 3 x K1 x K2 x K e 1 e 2 e 3 e = Pierwszy wiersz macierzy X jest równy wierszowi jedynek 1 Analizując pierwsze równanie tego układu równań, otrzymujemy pierwszą analizowaną własność hiperpłaszczyzny regresji: X e = 0 1 e = 0 Drugą własność udowodnimy, korzystając z powyższej własności Z definicji wartości dopasowanej otrzymujemy, że: y = Xb + e = ŷ + e Mnożąc lewostronnie obie strony tego równania przez 1 i wykorzystując udowodniony wcześniej fakt, że 1 e = 0 uzyskujemy: 1 y = 1 ŷ + }{{} 1 e = 1 ŷ 0 a koniec dzieląc obie strony przez liczbę obserwacji, uzyskujemy relację między średnimi: 1 y = 1 y i = y = 1 ŷ = 1 ŷ i = ŷ PYTAIA: 1 Pokazać, że w modelu ze stałą suma reszt jest równa zeru 2 Pokazać, że w modelu ze stałą średnia wartość zmiennej zależnej równa jest średniej z wartości dopasowanych

19 29 DEKOMPOZYCJA WARIACJI ZMIEEJ ZALEŻEJ Dekompozycja wariancji zmiennej zależnej Celem modelowania jest wyjaśnienie zmian zmiennej zależnej za pomocą zmian zmiennych niezależnych Po wyestymowaniu modelu interesuje nas często, jaką część zmienności zmiennej zależnej udało nam się wyjaśnić za jego pomocą Ze statystyki wiemy, że jedną z miar zmienności zmiennej jest wariancja empiryczna W tym podrozdziale pokażemy, że w przypadku MK możliwa jest precyzyjna dekompozycja (podział) wariancji empirycznej zmiennej zależnej na część wyjaśnioną przez model i część niewyjaśnioną przez model a wstępie wprowadzimy kilka oznaczeń, które ułatwią nam późniejsze wyprowadzenia: Całkowita suma kwadratów (Total Sum of Squares) T SS = (y i y) 2 = (y y) (y y) Suma ta mierzy całkowitą zmienność zmiennej zależnej Wariancja empiryczna y równa jest s 2 y = T SS Wyjaśniona suma kwadratów (Explained Sum of Squares) ESS = ( ) 2 ( ) ( ) ŷ i ŷ = ŷ ŷ ŷ ŷ ESS jest miarą zmienności wartości dopasowanych Wariancja empiryczna wartości dopasowanych jest równa s 2 ŷ = ESS Suma kwadratów reszt (Residual Sum of Squares) RSS = e 2 i = e e Suma kwadratów reszt opisuje zmienność reszt W modelu ze stałą wariancja empiryczna reszt jest równa s 2 e = RSS Z udowodnionych wcześniej własności hiperpłaszczyzny regresji wynika, że y = ŷ Zatem wektor kolumnowy złożony ze średnich wartości zaobserwowanych dla zmiennej zależnej: y 1 = y = 1y = y y 1

20 30 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW równy jest analogicznemu wektorowi, złożonemu ze średnich wartości dopasowanych: y = 1y = 1ŷ = ŷ Korzystając ze wzoru y = ŷ + e i odejmując od lewej strony wektor y, a od prawej wektor ŷ otrzymujemy równanie: ( ) y y = ŷ ŷ + e Podstawiając ten wzór do definicji całkowitej sumy kwadratów i rozpisując nawiasy otrzymujemy: [( ) ] [( ) ] (y y) (y y) = ŷ ŷ + e ŷ ŷ + e }{{} T SS ( ) ( ) = ŷ ŷ ŷ ŷ } {{ } ESS + }{{} e e RSS ( + 2 ŷ ŷ) e ( Rozpisując ŷ ŷ) e oraz korzystając z wcześniej dowiedzionych własności hiperpłaszczyzny regresji otrzymujemy: ( ( ŷ ŷ) e = ŷ e ŷ e = ŷ e lŷ) e = ŷ e }{{} 0 ŷ}{{} l e = 0 0 Wynika z tego, że w modelu ze stałą T SS równe jest sumie ESS i T SS: T SS = ESS + RSS (23) Wzór ten po obustronnym podzieleniu przez można zapisać jako: s 2 y = s 2 ŷ + s 2 e Zmienność całkowita Zmienność wyjaśniona Zmienność niewyjaśniona Wariancja empiryczna zmiennej objaśnianej jest więc równa sumie wariancji empirycznej wartości dopasowanych i wariancji empirycznej reszt Interpretacja tego wzoru wiąże się z rolą wartości dopasowanych i reszt Wartości dopasowane opisują zmiany zmiennej objaśnianej y, które udało nam się powiązać ze zmianami zmiennych objaśniających x Z kolei reszty związane są z tą częścią zmienności y, której nie udało nam się wyjaśnić Analizowany przez nas wzór dokomponuje więc całkowitą wariancję y na wariancję wyjaśnioną przez model i niewyjaśnioną przez model PRZYKŁAD 28 (cd 21) Dekompozycja całkowitej zmienności Dekompozycja sumy kwadratów reszt w przypadku analizy wydatków daje następujące wy-

21 210 WSPÓŁCZYIK DETERMIACJI R 2 31 TABELA 25: Dekompozycja wariancji Źródło Suma Kwadratów Wariancja empiryczna Wartości dopasowane Reszty Całkowita niki: Jak widać z tabeli 25, znacząca większość całkowitej wariancji zmiennej zależnej została przypisana wariancji reszt Oznacza to, że dużej części zróżnicowania zmiennej zależnej nie udało się wyjaśnić za pomocą modelu Dekompozycja wariancji możliwa jest jedynie w modelu ze stałą Rodzi się pytanie, czy możliwa jest dalsza dekompozycja wariancji np poprzez przypisanie konkretnym zmiennym objaśniającym tej części zmienności wariancji, która jest przez nie wyjaśniana Poza szczególnymi przypadkami jest to niestety niemożliwe Zmienne objaśniające są zazwyczaj ze sobą skorelowane, co uniemożliwia przypisanie wyjaśnianej zmienności poszczególnym zmiennym objaśniającym PYTAIA: 1 Udowodnić, że w modelu ze stałą T SS = ESS + RSS 210 Współczynnik determinacji R 2 a podstawie dekompozycji wariancji możemy zdefiniować dopasowanie modelu jako stosunek zmienności całkowitej do zmienności objaśnionej przez model Iloraz ten nazywany jest współczynnikiem determinacji R 2 : R 2 = ESS T SS = s2 ŷ s 2 y = Zmienność wyjaśniona Zmienność całkowita Przyjrzyjmy się bliżej wartościom przyjmowanym przez R 2 Sumy kwadratów są większe od zera, więc T SS > 0 i ESS 0 R 2 jako iloraz liczb dodatnich jest większy od zera: R 2 = ESS T SS 0 Wychodząc z dekompozycji sumy kwadratów reszt: i pamiętając, że RSS 0, otrzymujemy: T SS = ESS + RSS T SS ESS Dzieląc obie strony tej nierówności przez T SS (co można zrobić ponieważ T SS > 0) dochodzimy do wniosku, że R 2 = ESS T SS 1 R2 spełnia więc następujące nierówności

22 32 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW : 0 R 2 1 R 2 można zatem interpretować jako procent zmienności wyjaśnionej przez model Wartość R 2 nie zależy przy tym od jednostek w jakich wyrażone jest y i x PRZYKŁAD 29 (cd 21) Dekompozycja sumy kwadratów reszt i R 2 W modelu dla wydatków na żywność dekompozycja wariancji wyglądała następująco: R 2 jest więc równe: T SS = ESS RSS R 2 = ESS T SS = = Interpretacja R 2 : około 215% zróżnicowania wydatków na żywność można wyjaśnić zróżnicowaniem dochodów gospodarstw domowych Wyprowadzając własności R 2 korzystaliśmy kilkakrotnie z własności hiperpłaszczyzny regresji prawdziwych jedynie dla modelu ze stałą Dla modelu bez stałej R 2 może znaleźć się poza przedziałem [0, 1] Interesujące są własności R 2 dla przypadków skrajnych Jeśli model idealnie wyjaśnia zmienną objaśnianą, to y = ŷ, e = 0 i RSS = 0 Ponieważ R 2 = ESS T SS = T SS RSS T SS = 1 RSS ESS, więc w tym przypadku R2 = 1, co interpretujemy jako stuprocentowe wyjaśnienie zmienności Drugim skrajnym ( ) przypadkiem jest przypadek, gdy ( ) ŷ = y Ponieważ w tym przypadku ESS = ŷ ŷ ŷ ŷ = (y y) (y y) = 0, więc R 2 = 0, co wskazuje, że model w ogóle nie wyjaśnia zróżnicowania zmiennej objaśnianej, a wartości dopasowane są po prostu równe średnim wartościom zmiennej objaśnianej Współczynnik determinacji R 2 nazywany jest niekiedy współczynnikiem korelacji wielorakiej Pokażemy później, że istotnie R 2 jest równe kwadratowi współczynnika korelacji między y i i ŷ i Z kolei w modelu ze stałą i jedną zmienną R 2 jest równy kwadratowi współczynnika korelacji ρ xy między y i x: R 2 = (ŷ y) (ŷ y) n (y y) (y y) = (b 1 + x i b 2 y) 2 n (y i y) 2 n = b 2 (x i x) 2 ( ) 2 2 n (y i y) 2 = syx s 2 x s 2 x s 2 = s2 yx y s 2 ys 2 = ρ 2 xy, x przy czym skorzystaliśmy tu ze wzorów na b 1 i b 2 w modelu ze stałą i jedną zmienną objaśniającą R 2 jest szeroko stosowaną statystyką, jednak powinno się ją traktować wyłącznie jako statystykę opisową Można ją stosować do opisu własności wyestymowanego modelu, jednak nie powinno się jej stosować do porównywania modeli R 2 rośnie zawsze, wraz z dodawaniem kolejnych zmiennych Wiąże się to z ogólnymi własno-

23 210 WSPÓŁCZYIK DETERMIACJI R 2 33 f(x1,x2)=(x1-2) 2 +(x2+2) 2 f(x1,x2) x x2 RYSUEK 26: Wynik minimalizacji f (x 1, x 2 ) dla dowolnych x 1, x 2 i dla dowolnego x 2 i x 1 = 0 ściami optymalizacji Jeśli, poprzez narzucenie warunków pobocznych (ograniczeń), zmniejszymy zbiór, na którym minimalizujemy funkcję celu, to uzyskana w minimum wartość funkcji celu będzie większa lub równa wartości funkcji w minimum dla minimalizacji bez ograniczeń PRZYKŁAD 210 Minimalizacja z ograniczeniami i bez ograniczeń Minimalizujemy funkcję celu f (x 1, x 2 ) = (x 1 2) 2 + (x 2 + 2) 2 Funkcja ta ma minimum dla x 1 = 2 i x 2 = 2 i f (2, 2) = 0 Jeśli narzucimy ograniczenie x 1 = 0, to minimum będziemy liczyć dla funkcji f (x 1, 0) = (x 1 2) 2 + 4, a rozwiązanie uzyskamy dla x 1 = 2 Zgodnie z oczekiwaniami f (2, 0) = 4 > f (2, 2) = 0 Wynik tych dwóch maksymalizacji zilustrowany został na rysunku (26) Jak już wiemy Metoda ajmniejszych Kwadratów polega na znajdowaniu takich wartości parametrów, dla których suma kwadratów reszt jest najmniejsza Przeanalizujmy dwie regresje: jedną z K zmiennymi objaśniającymi i drugą z tymi samymi zmiennymi objaśniającymi oraz dodatkową zmienną objaśniającą Pierwsza regresja dotyczy modelu: y i = β 1 x 1,i + + β K x K,i + ε i, (24) a druga regresja modelu: y i = β 1 x 1,i + + β K x K,i + β K+1 x K+1,i + ε i (25)

24 34 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Model (24) można uzyskać z modelu (25) poprzez narzucenie ograniczenia, że β K+1 = 0 Estymator MK parametrów b dla modelu z dodatkową zmienną (25) znajdujemy jako rozwiązanie zadania: min S (b 1,, b K, b K+1 ) b 1,,b K,b K+1 Estymator b dla modelu początkowego (24) znajdujemy narzucając warunek poboczny b K+1 = 0 i rozwiązując zadanie: min S (b 1,, b K, b K+1 ) st β K+1 = 0 b 1,,b K,b K+1 Skoro S (b ) jest wartością funkcji w minimum z warunkami pobocznymi, a S (b) wartością funkcji w minimum bez tych warunków, to S (b ) S (b) Suma kwadratów reszt w modelu początkowym jest równa RSS = S (b ) W modelu z dodatkową zmienną RSS = S (b) W obu modelach zmienna zależna jest ta sama, więc T SS = T SS = (y i y) 2 Ponieważ RSS = S (b ) S (b) = RSS, więc: R 2 = 1 RSS T SS R2 = 1 RSS T SS Wynika z tego, że nawet dodając do modelu całkowicie bezsensowną zmienną uzyskujemy polepszenie dopasowania Kierując się R 2 jako jedynym kryterium wyboru modelu zawsze będziemy wybierać model o największej możliwej liczbie zmiennych Co więcej dla liczby zmiennych równej liczbie obserwacji R 2 = 1 Regresję, w których obserwuje się takie pozornie dobre dopasowanie, będące skutkiem zachwiania proporcji między liczbą obserwacji, a liczbą parametrów, nazywa się nadmiernie dopasowaną (overfitted) Próbą zaradzenia wadom statystyki R 2 jest statystyka R 2 (R 2 skorygowane): R 2 = 1 1 ( 1 R 2 ) K Korektę R 2 zdefiniowano przy tym w ten sposób, że statystyka R 2 rośnie jedynie, gdy wzrost dopasowania związany z dodaniem zmiennej jest istotny Statystyki R 2 nie da się jednak uzasadnić tak elegancką dekompozycją sumy kwadratów reszt, jak statystykę R 2 PRZYKŁAD 211 (cd 21) Wprowadzanie dodatkowych zmiennych i wielkość R 2 Do zmiennych objaśniających w modelu dodajemy losowo wygenerowaną zmienną z: q i = β 1 + β 2 doch i + ε i (A) q i = β 1 + β 2 doch i + β 2 z i + ε i (B) Uzyskane wielkości RSS w modelu oryginalnym i w modelu z dodatkową zmienną są następujące:

25 2A AALIZA MATEMATYCZA 35 Model RSS R 2 A = B = Po wprowadzeniu dodatkowej zmiennej RSS spadło o: = Związany ze spadkiem RSS wzrost R 2 jest jednak nieznaczny, na poziomie 001% iemniej widać, że nawet dodanie całkowicie bezsensownej zmiennej objaśniającej (w tym przypadku zmiennej losowej) prowadzi do polepszenia dopasowania Popatrzmy teraz na R 2 Są one równe: Model R 2 K R 2 A ( ) = B ( ) = Skorygowane R 2 rzeczywiście spadło po wprowadzeniu bezsensownej zmiennej! PYTAIA: 1 Podać interpretację R 2 2 Wyjaśnić, dlaczego R 2 nie można używać do porównywania modeli Dodatek 2A 2A1 Analiza matematyczna Różniczkowanie funkcji skalarnej względem wektora zmiennych Różniczkujemy funkcję skalarną wielu zmiennych f (x) = f (x 1,, x K ) względem wektora kolumnowego x = Z uzyskanych pochodnych tworzymy wektor pochodnych: x 1 x K f (x) = Taki wektor pochodnych nazywamy w analizie matematycznej gradientem i często oznaczmy jako G(x) Licząc pochodną względem wektora wierszowego x uzyskujemy wektor wierszowy złożony z tych samych pochodnych: f 1 f n f (x) [ = f 1 ] f n

26 36 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Pochodna iloczynu wektora wierszowego w i wektora kolumnowego x: w x = (w 1x w n x n ) = (w 1 x 1 ++w nx n) 1 (w 1 x 1 ++w n x n ) n = w 1 w n = w Oczywiście: w x = [ w 1 w n ] = w 2A2 Różniczkowanie funkcji wektorowej względem wektora zmiennych Wektor f (m 1) jest wielowymiarową funkcją wielu zmiennych: f (x) = f 1 (x 1,, x n ) f m (x 1,, x n ) Pochodna takiej funkcji ma postać macierzy: f (x) = [ ] fi (x) j (m n) = f 1 f m = f 1 1 f m 1 f 1 n f m n Możliwe jest także różniczkowanie funkcji w postaci wektora wierszowego względem wektora kolumnowego zmiennych: f (x) [ ] fj (x) = i (n m) = f 1 1 f 1 n Zauważmy, że relacja między pochodną f (x) względem wektora wierszowego x i pochodną f (x), policzoną względem wektora kolumnowego x jest następująca: f (x) [ ] fj (x) = i (n m) f m 1 f m n ( ) f (x) = (2A1) Macierz drugich pochodnych funkcji skalarnej powstaje jako pochodna funkcji

27 2A AALIZA MATEMATYCZA 37 wektorowej (gradientu): 2 f (x) = f(x) 1 f(x) n = G (x) = 2 f f n 1 2 f 1 n 2 f n n Macierz drugich pochodnych nazywamy także Hessianem H(x) Ponieważ: 2 f (x) i j więc Hessian jest macierzą symetryczną PRZYKŁAD 212 = 2 f (x) j i, Pochodna funcji liniowej wielu zmiennych Policzmy pochodną funkcji f (x) = Ax Macierz A możemy zapisać jako A = gdzie w i jest i-tym wierszem macierzy A Z kolei f (x) =Ax = f (x) = Ax = w 1 x w m x = w 1 w m = A w 1x w mx w 1 w m Pochodna:, (2A2) 2A3 Różniczkowanie iloczynu skalarnego funkcji wektorowych względem wektora zmiennych W przypadku liczenia pochodnych funkcji wektorowych obowiązują podobne zasady, jak w przypadku liczenia zwykłych pochodnych Rozważmy przykład iloczynu skalarnego funkcji g (x) i f (x): h (x) = g (x) f (x) = Pochodna h (x) względem x jest równa: h (x) = h(x) 1 h(x) n = m g i (x) f i (x) m g i(x)f i (x) 1 m g i(x)f i (x) n

28 38 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Stosując znany wzór na pochodną iloczynu uzyskujemy: g i (x) f i (x) k = g i (x) f i (x) + g i (x) f i (x) k k Wstawiając ten wynik do poprzedniego wzoru: h (x) = m m Z definicji iloczynu wektorów: m m g i (x) 1 f i (x) + m g i (x) n f i (x) + m g i (x) f i (x) = g (x) f (x), k k f i (x) g i (x) = f (x) g (x), k k f i (x) 1 g i (x) f i (x) n g i (x) a więc: h (x) = g (x) 1 f (x) + g (x) f(x) 1 g (x) n f (x) + g (x) f(x) n = g (x) f (x) + f (x) g (x) Możemy teraz sformułować następujące twierdzenie, analogiczne do standardowego twierdzenia o pochodnej iloczynu: TWIERDZEIE 213 Dla m-wymiarowych różniczkowalnych wektorowych funkcji wielu zmiennych g (x) i f (x) oraz funkcji skalarnej h (x) = g (x) f (x): h (x) = g (x) f (x) + f (x) g (x) (2A3) PRZYKŁAD 214 Pochodna formy kwadratowej Formy kwadratową można zapisać jako funkcję wielu zmiennych postaci: h (x) = x Ax Przyjmijmy, że g (x) = x a f (x) = Ax Korzystając z wcześniej wyprowadzonego twier-

29 2B ALGEBRA MACIERZY 39 dzenia: f (x) = Ax = (Ax) = }{{} g (x) }{{} Ax f(x) + A } {{} f (x) }{{} x g(x) ( ) Ax = Ax+ x = Ax + A x = ( A + A ) x W przypadku, kiedy A jest symetryczne Ax = 2Ax Policzymy teraz Hessian dla h (x) Korzystając z wcześniej wyprowadzonych wzorów uzyskujemy: ( ) 2 f (x) f(x) = = ( A + A ) x = A + A Dla symetrycznej macierzy A, Hessian ten będzie równy: 2 f (x) = 2A 2A4 Optymalizacja funkcji wielu zmiennych Podwójnie różniczkowalna funkcja wielu zmiennych f (x), posiada ekstremum (minima, maksima lub punkty siodłowe) w x, jeśli spełniony jest warunek pierwszego rzędu: f (x) = 0 x=x Minima spełniają warunek drugiego rzędu, który mówi, że macierz pochodnych drugiego rzędu (Hessian): H (x ) = 2 f (x) x=x jest dodatnio określony Dla maksimum Hessian H (x ) musi być ujemnie określony Dodatek 2B 2B1 Algebra macierzy Formy kwadratowe i określoność macierzy Formą kwadratową nazywamy funkcję postaci: x Ax = i a ij x i x j, której wynik jest skalarem Macierz A musi być kwadratowa Określoność macierzy definiujemy odwołując się do znaku formy kwadratowej: j

30 40 ROZDZIAŁ 2 METODA AJMIEJSZYCH KWADRATÓW Jeśli x Ax > 0 dla każdego x 0, to mówimy, że macierz jest dodatnio określona; Jeśli x Ax 0 dla każdego x, to mówimy, że macierz jest dodatnio półokreślona; Jeśli x Ax < 0 dla każdego x 0, to mówimy, że macierz jest ujemnie określona; Jeśli x Ax 0 dla każdego x, to mówimy, że macierz jest ujemnie półokreślona UWAGA 215 Wiele macierzy nie jest ani dodatnio ani ujemnie określonych PRZYKŁAD 216 Badanie dodatniej określoności macierzy X X Z definicji dodatniej określoności macierzy wynika, że X X jest dodatnio określona, jeśli: z X Xz > 0 dla każdego z 0 Zdefiniujmy wektor v = Xz Badaną formę kwadratową można zapisać jako: K z X Xz = v v = vi 2 0 Dla każdej macierzy X, macierz X X jest więc dodatnio półokreślona X X jest dodatnio określona, jeśli v = Xz 0, dla każdego z 0 Warunek ten jest spełniony, jeśli kolumny macierzy X są liniowo niezależne 2B2 Geometria MK Własności hiperpłaszczyzny regresji można zinterpretować geometrycznie Odwołajmy się rysunku ilustrującego je dla modelu z jedną zmienną objaśniającą oszacowanego na podstawie dwóch obserwacji Ponieważ długość wektora e = y ŷ jest równa: y ŷ = (y 1 ŷ 1 ) (y ŷ ) 2 = e = e e2 = e2 i, więc minimalizacji sumy kwadratów reszt jest równoważna minimalizacji długości wektora e Z rysunku (27) można wywnioskować, że wektor ŷ, który minimalizuje długość wektora e = y ŷ jest prostopadły do tego wektora Dodatkowo widać, że wektor e = y ŷ jest prostopadły do wektora X

31 2B ALGEBRA MACIERZY 41 X y^ y-y^ y RYSUEK 27: Własności hiperpłaszczyzny regresji Zauważmy, że wartości dopasowane mogą być interpretowane jako rzut prostopadły wektora y na prostą wyznaczoną wektorem X Okazuje się, że wniosek ten można uogólnić na przypadek wielu obserwacji i wielu zmiennych