Wielowymiarowy Model Regresji Liniowej

Transkrypt

1 Wielowymiarowy Model Regresji Liniowej 5 kwietnia 2014 Małgorzata Lebiedź Agnieszka Weinstok Ewelina Wolska Karolina Zyskowska () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

2 Wstęp Wstęp Analiza regresji jest statystyczną metodologią przewidywania wartości jednej lub więcej zmiennych odpowiedzi (zależnych) za pomocą zbioru predyktorów (czyli zmiennych niezależnych). Może być także użyta do oszacowania efektów jakie predyktory wywierają na odpowiedzi. Niestety nazwa regresja w żaden sposób nie odzwierciedla ani ważności, ani szerokości zastosowania tej metodologii. Nasza prezentacja skupi się na założeniach regresji i ich konsekwencjach, alternatywnych sformułowaniach modelu regresji oraz ogólnym zastosowaniu technik regresji w różnych sytuacjach. Na początku zajmiemy się modelem liniowej regresji wielokrotnej dla jednej zmiennej zależnej, następnie przejdziemy do przypadku z większą ilością odpowiedzi. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

3 Model wielowymiarowej regresji liniowej Analiza regresji wielokrotnej Niech z 1, z 2,..., z r będą zbiorem r predyktorów, które potencjalnie wpływają na zmienną Y. Model regresji liniowej n-elementowej próbki: Y n = β 0 + β 1 z n1 + + β r z nr + ε n gdzie ε jest błędem losowym, β i, i = 0, 1,..., r są nieznanymi (i ustalonymi) współczynnikami regresji, β 0 jest wyrazem wolnym. Zakładamy, że E(ε j ) = 0, Var(ε j ) = σ 2, Cov(ε j, ε k ) = 0 j k. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

4 Model wielowymiarowej regresji liniowej Mając n niezależnych obserwacji, możemy zapisać jeden model dla każdej próbki lub możemy połączyć wszystko w wektory i macierze tak, że model jest następujący: Y (n 1) = Z (n (r+1)) β ((r+1) 1) + ε (n 1) gdzie E(ε) = 0 (n 1) i Cov(ε) = E(εε ) = σ 2 I, β i σ 2 są nieznanymi parametrami. Wtedy E(Y) = Zβ, Cov(Y) = σ 2 I. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

5 Model wielowymiarowej regresji liniowej Estymacja metodą najmniejszych kwadratów Chcemy wybrać wektor β tak, aby minimalizował sumę kwadratów reszt (Y Zβ) (Y Zβ). Estymator metody najmniejszych kwadratów: β = (Z Z) 1 Z Y. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

6 Model wielowymiarowej regresji liniowej Wnioski z estymacji funkcją regresji Kiedy badacz jest usatysfakcjonowany z dopasowanego modelu regresji, może on być użyty do rozwiązania dwóch problemów predykcji. Niech z 0 = [1, z 01,..., z 0r ] będzie wybranym zbiorem wartości predyktorów. Wtedy z 0 i β mogą być użyte, po pierwsze - do oszacowania funkcji regresji β 0 + β 1 z β r z 0r w z 0 i po drugie - do oszacowania wartości odpowiedzi Y w z 0. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

7 Model wielowymiarowej regresji liniowej Estymacja funkcji regresji w z 0 Niech Y 0 oznacza wartość odpowiedzi przy wartości predyktorów: z 0 = [1, z 01,..., z 0r ]. Wartość oczekiwana Y 0 wynosi E(Y 0 z 0 ) = β 0 + β 1 z β r z 0r = z 0 β () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

8 Model wielowymiarowej regresji liniowej Estymatorem najmniejszych kwadratów w tym wypadku jest z 0 β. z 0 β jest liniowym nieobciążonym estymatorem E(Y 0 z 0 ) z minimalną wariancją. Var(z 0 β)=z 0 (Z Z) 1 z 0 σ 2. Jeżeli błędy mają rozkład normalny to 100(1 α)% przedziałem ufności dla E(Y 0 z 0 ) = z 0 β jest z 0 β ± t n r 1 ( α 2 ) (z 0 (Z Z) 1 z 0 )s 2 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

9 Model wielowymiarowej regresji liniowej Prognozowanie nowej obserwacji w z 0 Model możemy zapisać jako: Y 0 = z 0 β + ε 0 (nowa odpowiedź Y 0 )= =(wartość oczekiwana Y 0 pod warunkiem z 0 ) + (nowy błąd) gdzie ε 0 ma rozkład N (0, σ 2 ) i jest niezależny od ε, z czego wynika także, że jest niezależny od β oraz s 2. Błędy ε wpływają na estymatory β i s 2 przez odpowiedzi Y, ale ε 0 na nie nie wpływa. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

10 Rezultat Model wielowymiarowej regresji liniowej Dla obserwacji Y 0 definiujemy nieobciążoną prognozę jako z 0 β = β 0 + β 1 z β r z 0r Wariancja błędu prognozy Y 0 z 0 β wynosi: Var(Y 0 z 0 β) = σ 2 (1 + z 0 (Z Z) 1 z 0 ) Gdy błędy ε maja rozkład normalny, 100(1 α)% przedział prognozy dla Y 0 jest dany przez: ( ) z β α 0 ± t n r 1 s 2 2 (1 + z 0 (Z Z) 1 z 0 ) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

11 Model wielowymiarowej regresji liniowej Przykład 7.6 Szacowanie parametrów modelu. Przedziały ufności dla średniej i prognozy. Firmy rozważające zakup komputera muszą najpierw oszacować swoje przyszłe potrzeby, aby poprawnie określić wymagania sprzętowe. Informatycy zbierają dane z siedmiu stron podobnych firm w taki sposób, aby oszacować parametry równania prognozy wymagań sprzętu komputerowego dla działu zarządzającego zasobami. z 1 - zamówienia klientów (tys.) z 2 - liczba dodanych - usuniętych elementów (tys.) Y - czas CPU (jednostka pamięci centralnej) (h) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

12 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

13 Model wielowymiarowej regresji liniowej proc import out=dane datafile="c:\users\student\desktop\ex..xlsx" dbms=xlsx Replace; getnames=yes; run; proc reg data=dane; model y = z1 z2/ r cli clm; output out=a2 p=pred r=resid; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

14 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

15 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

16 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

17 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

18 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

19 Model wielowymiarowej regresji liniowej proc iml; /*n-liczba obserwacji, r-liczba zmiennych objaśniających, s- pierwiastek z błędu średniokwadratowego*/ n = 7; r = 2; s = ; alpha = 0.05; /*df -liczba stopni swobody*/ df = n-r-1; betay = inv(z *Z)*Z *y; cname = {"Intercept" "Z1" "Z2"}; rname = {"Y^"}; results = betay ; print results[r=rname c=cname]; tmp = j(n,1,1); use dane; read all var{z1 z2} into Ztym; close dane; Z = tmp Ztym; print Z; use dane; read all var{y} into y; close dane; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

20 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

21 Model wielowymiarowej regresji liniowej ŷ = z z 2 Jeżeli liczba zamówień klientów wzrasta o tysiąc, czas pracy procesora wzrasta o 1,08 godziny. Jeżeli liczba dodanych-usuniętych elementów wzrasta o tysiąc, czas pracy procesora wzrasta o 0,48 godziny. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

22 Model wielowymiarowej regresji liniowej z0 = {1, 130, 7.5}; /*Wartość prognozowana*/ z0pbetay = z0 *betay; print z0pbetay; /*Konstrukcja 95% przedziału ufności Ĺredniej dla wektora z0 = [1, 130, 7.5]*/ /*Kwantyl rozkładu t-sutdenta*/ t = quantile( T,1-alpha/2,df); s1 = sqrt(z0 *inv(z *Z)*z0); przs = t*s*s1; przsd = z0pbetay-przs; przsg = z0pbetay+przs; przsdg = przsd przsg; /*Konstrukcja 95% przedziału ufności prognozy dla wektora z0 = [1, 130, 7.5]*/ s2 = sqrt(1+z0 *inv(z *Z)*z0); przp = t*s*s2; przpd = z0pbetay-przp; przpg = z0pbetay+przp; przpdg = przpd przpg; cname = {"dolny" "górny"}; Przedzial_ufnosci_prognozy = przpdg; print Przedzial_ufnosci_prognozy[c=cname]; quit; cname = {"dolny" "górny"}; Przedzial_ufnosci_sredniej = przsdg; print Przedzial_ufnosci_sredniej[c=cname]; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

23 Model wielowymiarowej regresji liniowej () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

24 Model wielowymiarowej regresji liniowej z 0 β = = % przedział ufności średniej wynosi z β 0 ± t 4 (0.025)s z 0 (Z Z) 1 z 0 = ± 2.04 lub (149.80, ). 95% przedział ufności prognozy wynosi z β 0 ± t 4 (0.025)s 1 + z 0 (Z Z) 1 z 0 = ± 3.91 lub (147.93, ). () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

25 Wielowymiarowa regresja wielokrotna Rozważmy problem zamodelowania związku pomiędzy m odpowiedziami Y 1, Y 2,, Y m oraz pojedynczym zbiorem predyktorów z 1, z 2,, z r. Każda odpowiedź z założenia spełnia swój własny model regresji w taki sposób, że: Y 1 = β 01 + β 11 z β r1 z r + ε 1 Y 2 = β 02 + β 12 z β r2 z r + ε 2. Y m = β 0m + β 1m z β rm z r + ε m () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

26 Wektor błędów ε T = [ε 1, ε 2,..., ε m ] ma E(ε) = 0 i Var(ε) = Σ. Z tego powodu wektory błędów związane z różnymi odpowiedziami mogą być skorelowane. Aby zatwierdzić notację zgodną z klasycznym modelem regresji liniowej niech [z j0, z j1,..., z jr ] oznaczają wartości predyktorów dla j-tej próby, niech Yj T = [Y j1, Y j2,..., Y jm ] będą odpowiedziami, i niech ε T j = [ε j1, ε j2,..., ε jm ] będą błędami. W notacji macierzowej macierz zmiennych objaśniających z 10 z 11 z 1r z 20 z 21 z 2r Z (n (r+1)) = z n0 z n1 z nr jest taka sama jak dla modelu regresji z jedną odpowiedzią. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

27 Pozostałe macierze mają wielowymiarowe odpowiedniki: Y 11 Y 12 Y 1m Y 21 Y 22 Y 2m Y (n m) =..... = [Y (1).Y (2)..Y (m) ]. Y n1 Y n2 Y nm β ((r+1) m) = β 01 β 02 β 0m β 11 β 12 β 1m β r1 β r2 β rm = [β (1).β (2)..β (m) ] () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

28 ε 11 ε 12 ε 1m ε 21 ε 22 ε 2m ε (n m) =..... = [ε (1).ε (2)..ε (m) ] =. ε n1 ε n2 ε nm ε T 1 ε T 2. ε T n () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

29 Model wielowymiarowej regresji liniowej: Y (n m) = Z (n (r+1)) β ((r+1) m) + ε (n m) gdzie: E(ε (i) ) = 0 i Cov(ε (i), ε (k) ) = σ ik I, i, k = 1, 2,..., m m obserwacji dla j-tej próby ma macierz kowariancji Σ = {σ ik }, ale obserwacje z różnych prób są nieskorelowane. Tutaj β oraz σ ik są nieznanymi parametrami. Macierz zmiennych objaśniających Z ma j-ty wiersz [z j0, z j1,..., z jr ]. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

30 Krótko mówiąc, i-ta odpowiedź Y (i) spełnia model regresji liniowej: Y (i) = Zβ (i) + ε (i), i = 1, 2,..., m z Cov(ε (i) ) = σ ii I. Jednakże, błędy dla różnych odpowiedzi z tej samej próby mogą być skorelowane. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

31 Przyjmując odpowiedzi Y i wartości predyktorów Z z pełnym rzędem kolumnowym (wszystkie kolumny macierzy są liniowo niezależne), wyznaczamy estymator najmniejszych kwadratów β (i) wyłącznie dla obserwacji Y (i) dla i-tej odpowiedzi. W zgodności z rozwiązaniem dla modelu z jedną odpowiedzią, bierzemy β (i) = (Z Z) 1 Z Y (i). Zbierając te jednowymiarowe estymatory najmniejszych kwadratów otrzymujemy β = [ β (1). β (2).. β (m) ] = (Z Z) 1 Z [Y (1).Y (2)..Y (m) ] lub β = (Z Z) 1 Z Y () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

32 Dla dowolnego wyboru parametrów B = [b (1).b (2)..b (m) ], macierz błędów wynosi Y-ZB. Macierzą błędowej sumy kwadratów i iloczynów (error sum of squares and cross products matrix) jest: = (Y ZB) (Y ZB) = (Y (1) Zb (1) ) (Y (1) Zb (1) ) (Y (1) Zb (1) ) (Y (m) Zb (m) ).. (Y (m) Zb (m) ) (Y (1) Zb (1) ) (Y (m) Zb (m) ) (Y (m) Zb (m) ) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

33 Wybór b (i) = β (i) minimalizuje i-tą diagonalną sumę kwadratów (Y (i) Zb (i) ) (Y (i) Zb (i) ). W konsekwencji tr(y ZB) (Y ZB) jest zminimalizowany prze wybór B = β. Także uogólniona wariancja (Y ZB) (Y ZB) jest zminimalizowana przez estymator najmniejszych kwadratów β. Wykorzystując estymator najmniejszych kwadratów β możemy stworzyć macierze wartości przewidywanych Ŷ = Z β = Z(Z Z) 1 Z Y oraz reszt ε = Y Ŷ = [I Z(Z Z) 1 Z ]Y () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

34 Warunki ortogonalności pomiędzy resztami, wartościami przewidywanymi oraz kolumnami macierzy Z, które zachodzą w klasycznym modelu regresji liniowej zachodzą także w wielowymiarowym modelu regresji wielorakiej. Pochodzą one z Z [I Z(Z Z) 1 Z ] = Z Z = 0. W szczególności Z ε = Z [I Z(Z Z) 1 Z ]Y = 0 więc reszty ε (i) są prostopadłe do kolumn macierzy Z. Także Ŷ ε = β Z [I Z(Z Z) 1 Z ]Y = 0 potwierdza, że wartości przewidywane Ŷ(i) są prostopadłe do wszystkich wektorów reszt ε (k), ponieważ Y = Ŷ + ε, Y Y = (Ŷ + ε) (Ŷ + ε) = Ŷ Ŷ + ε ε albo Y Y = Ŷ Ŷ + ε ε całkowita suma kwadratów i iloczynów = przewidywana suma kwadratów i iloczynów + resztowa suma kwadratów i iloczynów () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

35 Resztowa suma kwadratów i iloczynów (residual sum of squares and cross products) może być także zapisana jako ε ε = Y Y Ŷ Ŷ = Y Y β Z Z β Przykład: Y j1 = β 01 + β 11 z j1 + ε j1 Y j2 = β 02 + β 12 z j1 + ε j2 j = 1, 2,..., 5 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

36 Przykład 7.8 (Dopasowanie wielowymiarowego modelu regresji prostoliniowej) Aby zilustrować wyliczenie ˆβ, ˆγ i ˆε, dopasowujemy model regresji prostoliniowej: Y j1 = β 01 + β 11 z j1 + ε j1 Y j2 = β 02 + β 12 z j1 + ε j2, j = 1, 2,..., 5 do dwóch odpowiedzi Y 1 i Y 2 używając poniższych danych: z y y () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

37 proc import out=dane datafile="c:\users\student\desktop\dane.xlsx" dbms=xlsx Replace; getnames=yes; run; proc reg data=dane; model y1 = z1/ r cli clm; model y2 = z1/ r cli clm; output out=dane_wynikowe p=pred r=resid; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

38 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

39 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

40 proc iml; /*n-liczba obserwacji*/ n = 5; tmp = j(n,1,1); use dane; read all var{z1} into Ztym; close dane; Z = tmp Ztym; print Z; use dane; read all var{y1} into y1; close dane; betay1 = inv(z *Z)*Z *y1; cname = {"Intercept" "Z1"}; rname = {"Y1^"}; results = betay1 ; print results[r=rname c=cname]; use dane; read all var{y2} into y2; close dane; betay2 = inv(z *Z)*Z *y2; cname = {"Intercept" "Z1"}; rname = {"Y2^"}; results = betay2 ; print results[r=rname c=cname]; use dane; read all var{y1 y2} into Y; close dane; betahat2 = inv(z *Z)*Z *Y; betahat = betay1 betay2; Yhat = Z*betahat; ehat = Y-Yhat; ehatpehat = ehat *ehat; print betahat; print ehatpehat; quit; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

41 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

42 Y j1 = 1 + 2z j1 Y j1 = 1 + z j1, j = 1, 2,..., 5 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

43 proc glm data=dane; model y1 y2 = z1; manova h=z1/printe; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

44 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

45 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

46 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

47 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

48 Rezultat Wielowymiarowa regresja wielokrotna Dla estymatora najmniejszych kwadratów β = [ β (1). β (2).. β (m) ] określonego dla wielowymiarowego modelu regresji wielorakiej z pełnym rzędem macierzy Z, czyli rz(z) = r + 1 < n mamy E( β (i) ) = β (i) lub E( β) = β Cov( β (i), β (k) ) = σ ik (Z Z) 1, i, k = 1, 2,..., m Reszty ε = [ ε (1). ε (2).. ε (m) ] = Y Z β spełniają E( ε (i) ) = 0 i E( ε (i) ε (k)) = (n r 1)σ ik, więc E( ε) = 0 i E( 1 n r 1 ε ε) = Σ Także ε i β są nieskorelowane. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

49 Wektory średniej i macierze kowariancji określone w powyższym rezultacie pozwalają otrzymać przykładowe własności predyktorów najmniejszych kwadratów. Najpierw rozważmy problem estymacji wektora średnich dla zmiennych objaśniających o wartościach z 0 = [1, z 01,..., z 0r ]. Średnia i-tej odpowiedzi wynosi z 0 β (i) i jest estymowana przez z 0 β (i), co jest i-tym składnikiem dopasowanego związku regresji. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

50 Podsumowując, z 0 β = [z 0 β (1).z 0 β (2)..z 0 β (m) ] jest nieobciążonym estymatorem z 0 β, ponieważ E(z 0 β (i) ) = z 0 E( β (i) ) = z 0 β (i) dla każdego składnika. Dla macierzy kowariancji dla β (i) i β (k), oszacowane błędy z 0 β (i) z 0 β (i) mają kowariancje E[z 0 (β (i) β (i) )(β (k) β (k) ) z 0 ] = z 0 (E(β (i) β (i) )(β (k) β (k) ) )z 0 = σ ik z 0 (Z Z) 1 z 0 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

51 Związane z tym problemem jest przewidywanie nowego wektora obserwacji Ŷ 0 = [Y 01, Y 02,, Y 0m ] w z 0. Nawiązując do modelu regresji Y 0i = z 0 β (i) + ε 0i nowe błędy ε 0 = [ε 01, ε 02,, ε 0m ] są niezależne od błędów ε i spełniają E(ε 0i ) = 0 i E(ε 0i ε 0k ) = σ ik. Przewidywany błąd na i-tym składniku Y 0 wynosi Y 0i z 0 β (i) = Y 0i z 0 β (i) + z 0 β (i) z 0 β (i) = ε 0i z 0 ( β (i) β (i) ) więc E(Y 0i z 0 β (i) ) = E(ε 0i ) z 0 E( β (i) β (i) ) = 0, z czego wynika, że z 0 β (i) jest nieobciążonym predyktorem Y 0i. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

52 Przewidywane błędy mają kowariancje E(Y 0i z β 0 (i) )(Y 0k z β 0 (k) ) = E(ε 0i z 0 ( β (i) β (i) ))(ε 0k z 0 ( β (k) β (k) )) = E(ε 0i ε 0k ) + z 0 E( β (i) β (i) )( β (k) β (k) ) z 0 z 0 E(( β (i) β (i) )ε 0k ) E(ε 0i ( β (k) β (k) ) )z 0 = σ ik (1 + z 0 (Z Z) 1 z 0 ) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

53 Zauważmy, że E(( β (i) β (i) )ε 0k ) = 0, ponieważ β (i) = (Z Z) 1 Z ε (i) + β (i) jest niezależny od ε 0. Podobny wynik otrzymamy z E(ε 0i ( β (k) β (k) ) ) Estymatory największej wiarygodności oraz ich rozkłady możemy otrzymać, gdy błędy ε mają rozkład normalny. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

54 Rezultat 7.10 Wielowymiarowa regresja wielokrotna Niech będzie dany wielowymiarowy model regresji wielokrotnej Y (n m) = Z (n (r+1)) β ((r+1) m) + ε (n m) gdzie rz(z) = r + 1,n (r + 1) + m, niech błędy ε mają rozkład normalny. Wtedy β = (Z Z) 1 Z Y jest estymatorem największej wiarygodności dla β i β ma rozkład normalny z E( β) = β i Cov( β (i), β (k) ) = σ ik (Z Z) 1. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

55 Także β jest niezależny od estymatora największej wiarygodności dla dodatnio określonej Σ danego przez Σ = 1 n ε ε = 1 n (Y Z β) (Y Z β) i n Σ ma rozkład W p,n r 1 (Σ). Zmaksymalizowana funkcja wiarygodności wynosi L( µ, Σ) = (2π) mn/2 Σ n/2 e mn/2 Gdy błędy mają rozkład normalny, β i n 1 ε T ε są estymatorami największej wiarygodności odpowiednio dla β i Σ. Dlatego też dla dużych próbek mają one najmniejszą możliwą wariancję. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

56 TEST ILORAZU WIARYGODNOŚCI DLA PARAMETRÓW REGRESJI Część analizy regresji jest skoncentrowana na oszacowaniu efektów poszczególnych zmiennych objaśniających na zmienne objaśniane. Jedną z hipotez zerowych, które nas interesują jest aby niektóre zmienne objaśniające były nieistotne. Te zmienne będą oznaczone przez z q+1, z q+2,..., z r. Hipoteza, że odpowiedzi nie zależą od z q+1, z q+2,..., z r wygląda następująco: H 0 :β q+1 = β q+2 = = β r = 0 lub H 0 : β (2) = 0 gdzie β T (2) = [β q+1, β q+2,..., β r ], β = (β (1) ) ((q+1) m)... (β (2) ) ((r q) m) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

57 Mając [ ] Z = (Z 1 ) (n (q+1)). (Z 2 ) (n (r q)) możemy zapisać ogólnie model jako [ ] E(Y) = Zβ = Z 1. Z 2 β (1) β (2) = Z 1 β (1) + Z 2 β (2) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

58 Pod warunkiem, że H 0 : β (2) = 0 zachodzi Y = Z 1 β (1) + ε oraz test ilorazu wiarygodności dla H 0 jest oparty o składniki zawarte w dodatkowej sumie kwadratów i iloczynów (extra sum of squares and cross products) równej (Y Z 1 β (1) ) (Y Z 1 β (1) ) (Y Z β) (Y Z β) = n( Σ 1 Σ), gdzie β (1) = (Z 1 Z 1 ) 1 Z 1 Y i Σ 1 = n 1 (Y Z 1 β (1) ) (Y Z 1 β (1) ). () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

59 Iloraz wiarygodności Λ może być wyrażony za pomocą uogólnionej wariancji Λ = max ( ) β (1),ΣL(β (1),Σ) n/2 max β,σ L(β,Σ) = L( β(1), Σ1 ) Σ =. L( β, Σ) Σ1 Jeżeli Λ jest małe to odrzucamy H 0. Równoważnie odrzucamy H 0 dla dużych wartości ( ) Σ n 2lnΛ = nln = nln Σ Σ 1 n Σ + n( Σ 1 Σ) Zamiast ilorazu wiarygodności statystyka lambda Wilksa Λ 2/n = Σ Σ1 może być użyta. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

60 Pozostałe testy wielowymiarowe Oprócz testu ilorazu wiarygodności mamy inne testy, sprawdzające prawdziwość H 0 : β (2) = 0 w modelu wielowymiarowej regresji wielokrotnej. Popularne programy komputerowe, tj. SAS rutynowo obliczają cztery wielowymiarowe testy statystyczne. W związku z tym, co wyświetlają w wynikach wprowadźmy alternatywną notację. Niech E będzie błędem p p lub inaczej macierzą resztowych sum kwadratów i iloczynów (residual sum of squares and cross products matrix): E = n Σ która wynika z dopasowania pełnego modelu. Hipoteza p p albo macierz dodatkowej sumy kwadratów i iloczynów (extra sum of squares and cross products matrix) jest następująca H = n( Σ 1 Σ) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

61 Statystyki mogą być zdefiniowane bezpośrednio za pomocą E oraz H albo za pomocą niezerowych wartości własnych η 1 η 2 η s macierzy HE 1, gdzie s = min(p, r q). Równoważnie są one pierwiastkami ( Σ 1 Σ) η Σ = 0 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

62 Mamy następujące definicje statystyk: Wilks lambda = s i=1 1 1+η i = E E+H Pillai s trace = s i=1 η i 1+η i = tr[h(h + E) 1 ] Hotelling-Lawley trace = s i=1 η i = tr[he 1 ] Roy s greatest root = η 1 1+η 1 Testy Wilks lambda, Hotelling-Lawley trace i Roy s greatest root są prawie równoważne dla dużych próbek. Zauważmy, że statystyka Wilks lambda jest bezpośrednio związana z testem ilorazu wiarygodności. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

63 Niekiedy te cztery testy dają identyczne rezultaty, ale w większości przypadków wyniki różnią się. Z tych czterech testów Pillai s trace jest najbardziej odporny (najmniej wrażliwy na zmianę założeń). Jednakże Wilk s Lambda jest częściej używana z powodu własności związanej z uogólnioną wariancją Σ. Dwie pozostałe statystyki Hotelling-Lawley s trace i Roy s Greatest Root są rzadko używane. Zwykle Pillai s trace, Wilks Lambda i Hotelling-Lawley trace dają te same wyniki. Roy s Greatest Root jest górna granicą statystyki F, więc może dać zupełnie inną wartość F i p-value niz pozostałe trzy statystyki. Jeżeli tak się zdarzy należy zignorować statystykę Roy a. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

64 Prognozy z wielowymiarowego modelu regresji wielorakiej Przypuśćmy, że model Y = Zβ + ε z normalnymi błędami ε jest dopasowany i sprawdzony pod kątem ewentualnych nieprawidłowości. Jeżeli model jest odpowiedni, to może zostać użyty do celów prognostycznych. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

65 Pierwszym problemem jest przewidywanie średnich odpowiedzi odpowiadających ustalonym wartościom z 0 zmiennych objaśniających. Wnioski odnośnie średnich odpowiedzi mogą być wykonane przy użyciu teorii rozkładu z rezultatu Z tych wynikow możemy określić, że β z 0 ma rozkład N m (β z 0, z 0 (Z Z) 1 z 0 Σ) i n Σ ma niezależny rozkład W n r 1 (Σ). Nieznaną wartością funkcji regresji w z 0 jest β z 0. Więc możemy zapisać statystykę T 2 wzorem: () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

66 100(1 α)% eliptyczny przedział ufności (confidence ellipsoid) dla β z 0 jest dany przez nierówność: gdzie F m,n r m (α) jest górnym (100α)-centylem rozkładu F z m i n r m stopniami swobody. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

67 100(1 α)% jednoczesne przedziały ufności dla E(Y i ) = z 0 β (i) są dane wzorem: gdzie i = 1, 2,, m, β (i) jest i-tą kolumną β i σ ii jest i-tym diagonalnym elementem Σ. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

68 Drugi problem przewidywania jest związany z przewidywaniem nowych odpowiedzi Y 0 = β z 0 + ε 0 w z 0. Tutaj: ε 0 jest niezależny od ε. Teraz Y 0 β z 0 = (β β) z 0 + ε 0 ma rozkład N m (0, (1 + z 0 (Z Z) 1 z 0 )Σ) niezależny od n Σ, więc 100(1 α)% eliptyczny przedział prognozy (prediction ellipsoid) dla Y 0 wygląda następująco: () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

69 100(1 α)% jednoczesnymi przedziałami prognozy dla pojedynczych odpowiedzi Y 0i są gdzie i = 1, 2,..., m, β (i), σ ii oraz F m,n r m (α) Widzimy, że przedziały prognozowania dla rzeczywistych wartości zmiennych odpowiedzi są szersze niż odpowiadające przedziały dla wartości oczekiwanych. Dodatkowa szerokość odzwierciedla obecność błędu losowego ε 0i () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

70 Przykład 7.10 Konstrułowanie elipsy ufności (confidence ellipse) i elipsy prognozy (prediction ellipse) dla dwóch zmiennych odpowiedzi Przypomnijmy przykład 7.6: Firmy rozważające zakup komputera muszą najpierw oszacować swoje przyszłe potrzeby, aby poprawnie określić wymagania sprzętowe. Informatycy zbierają dane z siedmiu stron podobnych firm w taki sposób, aby oszacować parametry równania prognozy wymagań sprzętu komputerowego dla działu zarządzającego zasobami. z 1 - zamówienia klientów (tys.) z 2 - liczba dodanych - usuniętych elementów (tys.) Y 1 - czas CPU (jednostka pamięci centralnej) (h) i dodajmy drugą zmienną odpowiedzi: Y 2 - miara szybkości odczytu/zapisu na dysku (disc input/output capacity) (wyrażana w input/output na sekundę) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

71 Wartości obserwacji Wielowymiarowa regresja wielokrotna () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

72 ŷ 1 = z z 2 ŷ 2 = z z 2 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

73 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

74 proc import out=dane3 datafile="c:\users\student\desktop\ex.2.xlsx" dbms=xlsx Replace; getnames=yes; run; proc iml; /*n-liczba obserwacji, m-liczba zmiennych objaśnianych, r-liczba zmiennych objaśniających*/ n = 7; m = 2; r = 2; tmp = j(n,1,1); use dane3; read all var{z1 z2} into Z1tym; close dane3; Z = tmp Z1tym; print Z; use dane3; read all var{y1 y2} into Y; close dane3; betahat = inv(z *Z)*Z *Y; cname = {"Y1" "Y2"}; rname = {"Intercept" "Z1" "Z2"}; results = betahat; print betahat[r=rname c=cname]; sigma = (1/n)*((Y-Z*betahat) *(Y-Z*betahat)); nsigma = (Y-Z*betahat) *(Y-Z*betahat); print nsigma; skala1 = n/(n-r-1); pom = inv(nsigma)/skala1; z0 = {1,130,7.5}; z0zpzz0 = z0 *inv(z *Z)*z0; print z0zpzz0; F = quantile( F,0.95,m,n-r-m); print F; skala2 = (m*(n-r-1))/(n-r-m); betahatz0 = betahat *z0; print betahatz0; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

75 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

76 /*Jednoczesne przedziały ufności dla średniej*/ ogr1 = z0zpzz0*skala2*f; print ogr1; z0pb1 = sqrt(skala2*f)*sqrt(z0zpzz0*(skala1*sigma[1,1])); print z0pb1; prze1d = betahatz0[1]-z0pb1; prze1g = betahatz0[1]+z0pb1; prze1dg = prze1d prze1g; cname = {"dolny" "górny"}; Przedzial_ufnosci_sredniej1= prze1dg; print Przedzial_ufnosci_sredniej1[c=cname]; z0pb2 = sqrt(skala2*f)*sqrt(z0zpzz0*(skala1*sigma[2,2])); print z0pb2; prze2d = betahatz0[2]-z0pb2; prze2g = betahatz0[2]+z0pb2; prze2dg = prze2d prze2g; cname = {"dolny" "górny"}; Przedzial_ufnosci_sredniej2= prze2dg; print Przedzial_ufnosci_sredniej2[c=cname]; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

77 /*Jednoczesne przedziały ufności dla predykcji*/ ogr2 = (1+z0ZpZz0)*skala2*F; print ogr2; z0pb1 = sqrt(skala2*f)*sqrt((1+z0zpzz0)*(skala1*sigma[1,1])); print z0pb1; przep1d = betahatz0[1]-z0pb1; przep1g = betahatz0[1]+z0pb1; przep1dg = przep1d przep1g; cname = {"dolny" "górny"}; Przedzial_ufnosci_prognozy1= przep1dg; print Przedzial_ufnosci_prognozy1[c=cname]; z0pb2 = sqrt(skala2*f)*sqrt((1+z0zpzz0)*(skala1*sigma[2,2])); print z0pb2; przep2d = betahatz0[2]-z0pb2; przep2g = betahatz0[2]+z0pb2; przep2dg = przep2d przep2g; cname = {"dolny" "górny"}; Przedzial_ufnosci_prognozy2= przep2dg; print Przedzial_ufnosci_prognozy2[c=cname]; quit; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

78 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

79 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

80 Środek obu elips jest w punkcie (151.97, ) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

81 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

82 KONCEPCJA REGRESJI LINIOWEJ Klasyczny model regresji liniowej jest skoncentrowany na związku pomiedzy jedną zmienną zależną Y i zbiorem zmiennych objaśniających z 1, z 2,..., z r. Model regresji który rozważamy traktuje Y jako zmienną losową, której średnia zależy od ustalonych wartości z 1, z 2,..., z r. Zakładamy, że ta średnia jest funkcją liniową współczynników regresji β 1, β 2,..., β r Załóżmy, że wszystkie zmienne Y, Z 1, Z 2,..., Z r są losowe i mają rozkład łączny, niekoniecznie normalny, z wektorem średnich µ (r+1) 1 i macierzą kowariancji Σ (r+1) (r+1). () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

83 Macierze µ i Σ można zapisać w następujący sposób µ ((r+1) 1) = µ Y(1 1) µ Z(r 1) Σ ((r+1) (r+1)) = σ YY(1 1).σ ZY(1 r). σ ZY(r 1).Σ ZZ(r r) gdzie σ T ZY = [σ YZ 1, σ YZ2,..., σ YZr ] () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

84 Weźmy Σ ZZ z pełnym rzędem. Rozważmy problem prognozowania Y używając linear predictor = b 0 + b 1 Z b r Z r = b 0 + b T Z. Błąd dla przewidywanego Y wynosi prediction error = Y b 0 b 1 Z 1 b r Z r = Y b 0 b T Z Ponieważ ten błąd jest losowy, zwyczajowo wybiera się b 0 i b tak, aby zminimalizować mean square error = E(Y b 0 b T Z) 2 Teraz błąd średniokwadratowy zależy od rozkładu łącznego Y oraz Z tylko poprzez parametry µ i Σ. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

85 Korelacja pomiędzy Y oraz jego najlepszym dopasowaniem liniowym jest nazywana population multiple correlation coefficient ρ Y (Z) = + σ T ZY Σ 1 ZZ σ ZY σ YY Kwadrat population muliple correlation coefficient, ρ 2 Y (Z) jest nazywany population coefficient of detemination. Zauważmy, że w przeciwieństwie do innych współczynników korelacji, współczynnik korelacji wielorakiej jest dodatnim pierwiastkiem kwadratowym, więc 0 ρ Y (Z) 1. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

86 Population coefficient of detemination ma ważną interpretację. Błąd średniokwadratowy przy użyciu β 0 + β T Z do prognozy Y wynosi σ YY σzy T Σ 1 ZZ σ ZY = σ YY σ YY ( σt ZY Σ 1 ZZ σ ZY σ YY ) = σ YY (1 ρ 2 Y (Z) ) Jeżeli ρ 2 Y (Z) = 0, wtedy Z nie nadaje się do prognozowania. W przypadku drugiego ekstremum, czyli gdy ρ 2 Y (Z) = 1 Y może być przewidziane bez błędu. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

87 PRZEWIDYWANIE KILKU ZMIENNYCH Rozszerzenie poprzednich rezultatów na przewidywanie kilku odpowiedzi Y 1, Y 2,..., Y m jest prawie natychmiastowe. Prezentujemy to rozszerzenie dla populacji o rozkładzie normalnym. Załóżmy, że ma rozkład N m+r (µ, Σ) z i Σ = µ = Y (m 1) Z (r 1) (µ Y ) (m 1) (µ Z ) (r 1) (Σ YY ) (m m). (Σ YZ ) (m r). (Σ ZY ) (r m). (Σ ZZ ) (r r). () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

88 Warunkowa wartość oczekiwana [Y 1, Y 2,..., Y m ] przy ustalonych wartościach zmiennych objaśniających z 1, z 2,..., z r wynosi E[Y z 1, z 2,..., z r ] = µ Y + Σ YZ Σ 1 ZZ (z µ Z ) Warunkowa wartość oczekiwana rozważana jako funkcja z 1, z 2,..., z r jest nazywana wielowymiarową regresją wektora Y na Z. Jest ona złożona z m jednowymiarowych regresji. Np. pierwszy składnik warunkowego wektora średnich to µ Y1 + Σ Y1 Z Σ 1 ZZ (z µ Z ) = E[Y 1 z 1, z 2,..., z r ], który minimalizuje błąd średniokwadratowy dla prognozy Y 1. Macierz β = Σ YZ Σ 1 ZZ o wymiarach m r jest nazywana macierzą współczynników regresji. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

89 Błąd przewidywanego wektora Y µ Y Σ YZ Σ 1 ZZ (Z µ Z ) ma macierz ESCP (Expected Squares and Cross Products matrix): Σ YY Z = E[Y µ Y Σ YZ Σ 1 ZZ (Z µ Z )][Y µ Y Σ YZ Σ 1 ZZ (Z µ Z )] = = Σ YY Σ YZ Σ 1 ZZ (Σ YZ ) Σ YZ Σ 1 ZZ Σ ZY + Σ YZ Σ 1 ZZ Σ ZZ Σ 1 ZZ (Σ YZ ) = Σ YY Σ YZ Σ 1 ZZ Σ ZY Ponieważ µ i Σ zwykle są nieznane, muszą być wyestymowane z próbki losowej w celu skonstrułowania wielowymiarowej prognozy liniowej i określenia oczekiwanego błędu prognozy. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

90 Współczynnik korelacji cząstkowej Rozważmy parę błędów Y 1 µ Y1 Σ Y1 Z Σ 1 ZZ (Z µ Z ) Y 2 µ Y2 Σ Y2 Z Σ 1 ZZ (Z µ Z ) uzyskanych z użycia najlepszych liniowych prognoz dla przewidywania Y 1 i Y 2. Ich korelacja, określona za pomocą macierzy kowariancji błędów Σ YY Z = Σ YY Σ YZ Σ 1 ZZ Σ ZY, mierzy związek pomiędzy Y 1 i Y 2 po wyeliminowaniu efektów zmiennych Z 1, Z 2,..., Z r. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

91 Definiujemy współczynnik korelacji cząstkowej pomiędzy Y 1 i Y 2, eliminując Z 1, Z 2,..., Z r, przez: ρ Y1 Y 2 Z = σ Y1 Y 2 Z σy1 Y 1 Z σy2 Y 2 Z gdzie σ Yi Y k Z jest (i, k)-tym elementem macierzy Σ YY Z = Σ YY Σ YZ Σ 1 ZZ Σ ZY. Odpowiadającym próbkowym wspólczynnikiem korelacji cząstkowej jest: r Y1 Y 2 Z = s Y1 Y 2 Z sy1 Y 1 Z sy2 Y 2 Z gdzie s Yi Y k Z jest (i, k)-tym elementem macierzy S YY S YZ S 1 ZZ S ZY. Jeżeli Y i Z mają łączny wielowymiarowy rozkład normalny próbkowy wspólczynnik korelacji cząstkowej jest estymatorem największej wiarygodności współczynnika korelacji cząstkowej. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

92 Przykład Wielowymiarowa regresja wielokrotna Amitryptylina jest przepisywana przez niektórych lekarzy ogólnych jako antydepresant. Jednakże przypuszczalnie istnieją także efekty uboczne, które wydają się mieć związek z używaniem leku. Są to m. in.: nieregularne bicie serca, nieprawidłowe ciśnienie krwi oraz nieregularne fale na elektrokardiogramie. Dane zebrane od 17 pacjentów, którzy zostali przyjęci do szpitala po przedawkowaniu amitryptyliny są przedstawione w tabeli na jednym z następnych slajdów. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

93 W przykładzie występują dwie zmienne odpowiedzi: oraz pięć zmiennych objaśniających: () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

94 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

95 Proste wyjaśnienia odnośnie zmiennych z przykładu Czym jest amitryptylina? Amitryptylina organiczny związek chemiczny, stosowany jako lek psychotropowy należący do trójpierścieniowych leków przeciwdepresyjnych (TCAD), wywierający poza tym działanie uspokajające i przeciwlękowe. TCAD (Tricyclic antidepressants) - Trójcykliczne leki przeciwdepresyjne, leki trójpierścieniowe - grupa leków psychotropowych o zbliżonej budowie chemicznej (cząsteczka złożona z trzech pierścieni), używanych w leczeniu depresji. Jednym z trójpierścieniowych leków przeciwdepresyjnych jest amitryptylina. Czym są poszczególne zmienne objaśniane? Y 1 = całkowity poziom antydepresantów w osoczu (w mg) Y 2 = ilość amitryptyliny w osoczu (w mg) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

96 Czym są poszczególne zmienne objaśniające? Z 1 - płeć: 1 jeżeli kobieta, 0 jeżeli mężczyzna Z 2 - ilość antydepresantów wziętych w momencie przedawkowania (w mg) Z 3 - PR - szybkość przesyłania pobudzenia z węzła przedsionkowo-komorowego na przedsionki i komory (powinien wynosić 0,12-0,2s, czyli ms) (podane w tabeli w milisekundach (ms)) Z 4 - rozkurczowe ciśnienie krwi (tzw. ksiązkowe rozkurczowe ciśnienie krwi powinno wynosić 80 mm Hg) Z 5 - QRS opisuje depolaryzację komór serca - czyli skurcz w EKG (prawidłowo powinien wynosić 0,12s = 120ms) (podane w tabeli w ms) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

97 PR z przykładu odnosi się do PR interval (odstęp PQ) QRS z przykładu odnosi się do QRS complex (zespół QRS) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

98 proc import out=dane3 datafile="c:\users\student\desktop\dane 7.25.xls" dbms=xls Replace; getnames=yes; run; proc iml; /*n-liczba obserwacji, m-liczba zmiennych objaśnianych, r-liczba zmiennych objaśniających, q-liczba zmiennych objaśniających (po podziale)*/ n = 17; m = 2; r = 5; q = 2; tmp = j(n,1,1); use dane3; read all var{z1 z2} into Z1tym; close dane3; Z1 = tmp Z1tym; use dane3; read all var{z3 z4 z5} into Z2; close dane3; Z = Z1 Z2; print Z; use dane3; read all var{y1 y2} into Y; close dane3; betahat = inv(z *Z)*Z *Y; cname = {"Y1" "Y2"}; rname = {"Intercept" "Z1" "Z2" "Z3" "Z4" "Z5"}; results = betahat; print betahat[r=rname c=cname]; sigma = (1/n)*(Y-Z*betahat) *(Y-Z*betahat); print sigma; betahat1 = inv(z1 *Z1)*Z1 *Y; betahat = inv(z *Z)*Z *Y; cname = {"Y1" "Y2"}; rname = {"Intercept" "Z1" "Z2"}; results = betahat1; print betahat1[r=rname c=cname]; sigma1 = (1/n)*(Y-Z1*betahat1) *(Y-Z1*betahat1); print sigma1; wyz = det(sigma); wyz1 = det(sigma1); print wyz wyz1; skala = -(n-r-1-(1/2)*(m-r+q+1)); lambda = skala*log(wyz/wyz1); print lambda; Chi2 = quantile( CHISQ,0.95,m*(r-q)); print Chi2; quit; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

99 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

100 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

101 Sprawdzamy hipotezę H 0 = β 3 = β 4 = β 5 = 0. Wartość krytyczna w teście to χ 2 2(5 2) (0.05) = Ponieważ 9.01 < nie możemy odrzucić H 0. Trzy ostatnie zmienne objaśniające nie dostarczają żadnych informaci na temat zmian w średniej dla dwóch zmiennych odpowiedzi ponad te które są dostarczane przez płeć i ilość przyjętego antydepresantu. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

102 proc reg data=dane3; model y1 y2= z1 z2 z3 z4 z5; mtest z3, z4, z5; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

103 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

104 proc reg data=dane3; model y1 y2= z1 z2; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

105 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

106 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

107 Jak widzimy, po odrzuceniu zmiennych Z 3, Z 4 i Z 5, zmienne Z 1 i Z 2 są istotne w naszym modelu. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

108 proc iml; /*n-liczba obserwacji, m-liczba zmiennych objaśnianych, r-liczba zmiennych objaśniających*/ n = 17; m = 2; r = 2; tmp = j(n,1,1); use dane3; read all var{z1 z2} into Z1tym; close dane3; Z = tmp Z1tym; print Z; use dane3; read all var{y1 y2} into Y; close dane3; betahat = inv(z *Z)*Z *Y; cname = {"Y1" "Y2"}; rname = {"Intercept" "Z1" "Z2"}; results = betahat; print betahat[r=rname c=cname]; sigma = (1/n)*((Y-Z*betahat) *(Y-Z*betahat)); nsigma = (Y-Z*betahat) *(Y-Z*betahat); print nsigma; skala1 = n/(n-r-1); pom = inv(nsigma)/skala1; z0 = {1,1,1000}; z0zpzz0 = z0 *inv(z *Z)*z0; print z0zpzz0; F = quantile( F,0.95,m,n-r-m); print F; skala2 = (m*(n-r-1))/(n-r-m); betahatz0 = betahat *z0; print betahatz0; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

109 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

110 /*Jednoczesne przedziały ufności dla średniej*/ ogr1 = z0zpzz0*skala2*f; print ogr1; z0pb1 = sqrt(skala2*f)*sqrt(z0zpzz0*(skala1*sigma[1,1])); print z0pb1; prze1d = betahatz0[1]-z0pb1; prze1g = betahatz0[1]+z0pb1; prze1dg = prze1d prze1g; cname = {"dolny" "górny"}; Przedzial_ufnosci_sredniej1= prze1dg; print Przedzial_ufnosci_sredniej1[c=cname]; z0pb2 = sqrt(skala2*f)*sqrt(z0zpzz0*(skala1*sigma[2,2])); print z0pb2; prze2d = betahatz0[2]-z0pb2; prze2g = betahatz0[2]+z0pb2; prze2dg = prze2d prze2g; cname = {"dolny" "górny"}; Przedzial_ufnosci_sredniej2= prze2dg; print Przedzial_ufnosci_sredniej2[c=cname]; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

111 /*Jednoczesne przedziały ufności dla predykcji*/ ogr2 = (1+z0ZpZz0)*skala2*F; print ogr2; z0pb1 = sqrt(skala2*f)*sqrt((1+z0zpzz0)*(skala1*sigma[1,1])); print z0pb1; przep1d = betahatz0[1]-z0pb1; przep1g = betahatz0[1]+z0pb1; przep1dg = przep1d przep1g; cname = {"dolny" "górny"}; Przedzial_ufnosci_prognozy1= przep1dg; print Przedzial_ufnosci_prognozy1[c=cname]; z0pb2 = sqrt(skala2*f)*sqrt((1+z0zpzz0)*(skala1*sigma[2,2])); print z0pb2; przep2d = betahatz0[2]-z0pb2; przep2g = betahatz0[2]+z0pb2; przep2dg = przep2d przep2g; cname = {"dolny" "górny"}; Przedzial_ufnosci_prognozy2= przep2dg; print Przedzial_ufnosci_prognozy2[c=cname]; quit; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

112 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

113 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

114 Równoczesne przedziały ufności dla oczekiwanych odpowiedzi E(Y 01 ) i E(Y 02 ): Równoczesne przedziały ufności dla prognoz Y 01 i Y 02 : () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

115 proc cancorr data=dane3 all; var y1 y2; with z1 z2 z3 z4 z5; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

116 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

117 Modele regresji wielorakiej z błędami zależącymi od czasu Dla danych zbieranych przez pewien okres czasu obserwacje z różnych przedziałów czasowych są często powiązane ze sobą. W konsekwencji, w kontekście regresji, obserwacje na zmiennej zależnej (lub równoważnie błędy) nie mogą być niezależne. W poniższym przykładzie nie tylko pokażemy jak wykryć obecność zależności czasowej, ale także jak zawrzeć tę zależność w modelu regresji wielorakiej. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

118 Przykęad 7.16 (Zawieranie błędów zależących od czasu w modelu regresji) Elektrownie muszą mieć dość gazu ziemnego aby ogrzać domy i firmy wszystkich swoich klientów, szczególnie w najzimniejszy dzień roku. Najważniejszym składnikiem procesu planowania jest przewidywanie oparte o model wiążący wysyłkę gazu ziemnego z czynnikami takimi jak temperatura, ktęra ma oczywiście związek z ilością zużywanego gazu. W zimne dni potrzeba więcej gazu. Zamiast średniej dziennej temperatury zwykło się używać stopnia dni grzewczych (degree heating days) DHD = 65 średnia dzienna temperatura. Warto zauważyć, że temperatura wyrażana jest w stopniach Fahrenheita. Duża wartość DHD wskazuje na zimny dzień. Oprócz temperatury na wysyłkę gazu ziemnego ma wpływ prędkość wiatru (znowu bierzemy średnią dzienną prędkość wiatru) oraz zmienna binarna weekend, ponieważ wiele przedsiębiorstw jest zamkniętych w weekendy, co implikuje mniejsze zapotrzenowanie gazu na te dni. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

119 Dane dotyczące przytoczonych zmiennych, zebrane pewnej zimy w jednym z większych miast na północy USA częściowo przedstawia poniższa tabela: (pełny zbiór danych można znaleźć na stronie kb/classes/5401/files/data/jwdata5.txt) () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

120 Początkowo uzależniamy model regresji gazu ziemnego od stopnia dni grzewczych(dhd), opóźnionego stopnia dni grzewczych(dhdlag), prędkości wiatru i od sztucznego parametru weekend. Inne zmienne, które mogą mieć jakiś wpływ na zużycie gazu ziemnego, jak np. procent zachmurzenia, są włączone do błędu. proc reg data=gaz alpha=0.05; model wyslane= DHD DHDlag predkosc_wiatru weekend/ r dwprob; output out=dane_wynikowe p=pred r=resid; run; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

121 Dla k = 4 i N = 63 z tablic otrzymujemy wartości d L = 1, 46 oraz d U = 1, 73 Wartość statystyki DW = < d L, zatem mamy autokorelacje dodatnią. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

122 Pierwszym krokiem w kierunku korekcji modelu jest przeniesienie przewidywanych niezależnych błędów w modelu regresji dla wysłane na moężliwie zależną serię N j. Oznacza to, że tworzymy model regresji dla N j, gdzie N j jest zależna od swojej poprzedniej wartości N j 1, wartości sprzed tygodnia N j 7 oraz niezależnego błędu ε j : Gdzie ε j jest niezależną zmienną o rozkładzie normalnym z E(ε) = 0 oraz Var(ε) = σ 2. Postać równania N j jest znana jako model autoregresyjny. Aby rozwiązać ten problem korzystamy z procedury proc arima w SAS-ie. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

123 proc arima data=gaz; identify var=wyslane crosscor=( DHD DHDlag predkosc_wiatru weekend); estimate p=(1 7) method = ml input= ( DHD DHDlag predkosc_wiatru weekend) plot; estimate p=(1 7) noconstant method = ml input=( DHD DHDlag predkosc_wiatru weekend) plot; () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

124 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

125 Z powyższego rezultatu otrzymujemy postać równania N j N j = 0, 47N j 1 + 0, 24N j 7 + ε j oraz postać regresji dla naszego modelu: Wyslane = 2, , 81DHD + 1, 426DHDlag+ +1, 21predkosc wiatru 10, 11weekend () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

126 () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

127 Widzimy, że rzeczywiście wariancja składnika losowego jest stała i estymowana przez σ 2 = 228, 894. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128

128 Sprawdzamy autokorelację reszt w grupach dla opóźnień 1 6, 1 12, 1 18 i Dla testu chi-kwadrat mamy następujące hipotezy: H 0 : grupy kolejnych autokorelacji są jednocześnie równe zero, H A : nie wszystkie grupy autokorelacji są równe zero. Na podstawie wyników nie mamy podstaw do odrzucenia H 0, zatem autokorelacje reszt sę pomijane. Dzięki temu nasze testy t oraz odpowiednie dla nich wartości p-value sę ważne. () Wielowymiarowy Model Regresji Liniowej 5 kwietnia / 128