x, y środek ciężkości zbioru

Transkrypt

1 Y ANALIZA REGRESJI I KORELACJI zwązek stochastyczy (losowy), probablstyczy Y X KAŻDEJ WARTOŚCI x ODPOWIADA CAŁY ZBIÓR WARTOŚCI y TWORZĄCYCH OKREŚLONY ROZKŁAD zwązek statystyczy ŷ a a x ŷ średa rozkładu dla ustaloej wartośc x obrazuje rozrzut x, y środek cężkośc zboru y ŷ x x X

2 y x ZAŁOŻENIA STANDARDOWEGO MODELU REGRESJI LINIOWEJ Zmea objaśaa y - jest zmeą losową; rozkład tej zmeej opsuje zbór wartośc, które może oa przyjmować (w daym momece obserwujemy tylko jedą wartość). E(y Wartość oczekwaa rozkładu zmeej y dla obserwacj : / x ) x,...,, - ezaeparametry Waracja y przy daych x, x jest stała: Waracja merzy stopeń wpływu a zmeą y czyków ych ż x (zmee pomęte); stałość waracj mplkuje, że dyspersja łączego wpływu zmeych pomętych e zmea sę w czase. Składk losowy rówaa var( y / x ) - ezayparametr Każdy składk losowy ma (przy ustaloych x, x ) wartość oczekwaą rówą zero warację. y E(y / x )

3 Krzywe vo Neymaa gg dg Y y p y obserwacje (dae emprycze) środek cężkośc próbk prosta regresj (dla próbk) ŷ a a krzywe wyzaczające pas ufośc, w którym z prawdopobeństwem - zajduje sę ezaa prosta regresj I rodzaju (dla populacj) x x x p X E(Y/ X) X krzywe wyzaczające przedzałowe progozy wartośc zmeej Y dla daego x p y p progoza puktowa uzyskaa przez wstawee x p do rówaa g g,d g przedzał, w którym z szasą - meśc sę ezaa wartość y dla -tej owej jedostk spoza próbk

4 KAŻDEJ WARTOŚCI x ODPOWIADA CAŁY ZBIÓR WARTOŚCI y TWORZĄCYCH OKREŚLONY ROZKŁAD a parametram tego rozkładu są E(Y/X ) waracja SSE Estymatorem waracj jest s s ( y yˆ ) SSE Estymator a współczyka regresj : S xx s s a S xx S xx x x Aalza współczyka regresj P(a t/ ; s a t/ ; sa ) a Estymacja wartośc oczekwaej y dla daej wartośc X: Przedzał ufośc dla progozy y p P(ŷ p t / ; sŷ E(Y / xp ) ŷp t / ; s ) p ŷ p s yˆ p s x p x S xx P yˆ t s y / x yˆ t s ) x ( p ; y yˆ p p / ; y yˆ / p p s yŷp s x p S xx

5 Peły zaps rówaa regresj lowej yˆ a s( a ) a s( a x ) s(y) r=r xy parametry strukturale stochastycze ŷ y x a zmea zależa, zmea-skutek, zmea objaśaa zaobserwowae wartośc zmeej zależej zaobserwowae wartośc zmeej ezależej oszacowaa wartość wyrazu wolego a oszacowaa wartośc współczyka regresj; określa wpływ zmeej X a zmeą Y składk losowy, reprezetujący rozrzut puktów wokół prostej regresj; składk te jest zmeą losową; jego wartośc to reszty e y ŷ jego rozkład jest rozkładem ormalym o E()= D ()=s (y) s(a ) błąd oszacowaa wyrazu wolego; służy do budowy przedzału ufośc dla ezaej wartośc wyrazu wolego dla populacj oraz do weryfkacj jego stotośc s(a ) błąd oszacowaa współczyka regresj; służy do budowy przedzału ufośc dla ezaej wartośc współczyka regresj dla populacj oraz do weryfkacj jego stotośc s(y) lub s błąd resztowy; jest odchyleem stadardowym składka losowego ;

6 y Przykład Czy steje zwązek pomędzy wydatkam a reklamę (x ) a welkoścą sprzedaży (y )? Wydatk a reklamę sprzedaż w ml zł. Mesąc Wydatk a reklamę (X) (ml zł) Wartość sprzedaży (Y) (ml zł).,.,8 9 3., 4.,3 5.,7 9 6.,8 8 7., 93 8., ,9 9., reklama-sprzedaz 75,6,8,,4 x

7 lp. y x,,44, 9,8,64 73,6 3, 4,3, ,7, ,8,64 65,6 7 93, ,6, ,9,8 8,9 5,, 5,5 Suma x x y 959 9,4 9,8 94,8 a x y x x y x 9, ,8 (9,4) 9,8 a 5,57 y a x 95,9 5,57,94 46,49 r ŷ 46,49 5,57 x Współczyk determacj SSTR (ŷ SSTO (y y) y) 6,93,875 6,9 SSE (y ŷ ) 373,973 Współczyk zbeżośc, 5 SSTO (y y) 6,9 Błąd stadardowy reszt s (y ŷ ) 373,973 6,84

8 yˆ 46,49 5, 57x Estymacja E(y/ x=,) wartośc oczekwaej y dla x p =, 99, ,75 (,,94),444 P( 93,88 E( Y / x,) 4,4),95 Progozowae wartośc y dla x=, ˆ Progoza puktowa: y 46,49 (5,57)(,) 99, 6 Progoza przedzałowa: P(8,46 ŷ/ x, 5,66),95 Przedzał ufośc dla współczyka regresj P(8,9 76,4),95

9 ANALIZA WARIANCJI Y SSTO = SSTR + SSE y ŷ y y y y ˆ y yˆ y ( y y) ( yˆ y) y ˆ y ) = SSTO (zmeość całkowta) = SSTR (zmeość wyjaśoa) = SSE (zmeość ewyjaśoa) ˆ y a ax Źródło Zmeośc x x Lczba stop swobody 8 Suma kwadratów Model (czyk) 6,9 Błąd (reszta) 374, Razem 9 6,9 X Śred kwadrat Statystyka F 6,9 MSTR F 46,7 obl =6,5 MSE H : α = H : α H : H : F ;8;,5 =7,57

10 Regresja krzywolowa W welu przypadkach dae układają sę w zależośc elowe: gdy mają postać szeregu czasowego gdy dae przekrojowe układają sę w smugę elową gdy krzywolowa fukcja welu zmeych lepej opsuje rzeczywstość ż fukcja lowa; (tego e wdać, która lepsza moża pozać tylko po R ) Do opsu takch zjawsk stosujemy rozmate fukcje krzywolowe:. proste fukcje (rosące lub malejące) dwu zmeych: x wykładcze y e potęgowe y x. welomay różego stopa (ch fragmety) y x x ( ) fukcje potęgowe welu zmeych fukcje wykładcze welu zmeych 3 3 y x x x y e x x...

11 ABY MOŻNA BYŁO STOSOWAĆ MNK, FUNKCJE TE MUSZĄ BYĆ SPROWADZONE DO POSTACI LINIOWEJ y x l y l y' ' l y y'; lx x' lx l x' ' l ' l ' Kolejość czyośc przy estymacj fukcj regresj krzywolowej:. zebrae daych empryczych. dobrae modelu (fukcj elowej) 3. trasformacja modelu do lowego (logarytmowae trasformata) 4. przelczee daych a układ lowy (rob to komputer) 5. oszacowae rówaa regresj lowej 6. retrasformacja do postac perwotej (odlogarytmowae) Retrasformacj podlegają tylko parametry strukturale (współczyk regresj wyraz woly), atomast wszystke parametry stochastycze dotyczą tylko trasformaty (R, φ )

12 ETAPY BUDOWY MODELU EKONOMETRYCZNEGO. Sformułowae modelu a. wybór zmeych: y, x, x,... b. wybór postac matematyczej modelu: lowa, potęgowa,.... Zebrae daych statystyczych (róże źródła) 3. Estymacja parametrów modelu: a. parametrów strukturalych: a, a, a,... b. parametrów stochastyczych: s(a ), s(y), R, R 4. Weryfkacja modelu (przy użycu hpotez testów statystyczych) MODEL BEZ WERYFIKACJI NIE MA ŻADNEJ WARTOŚCI 5. Iterpretacja modelu wycągęce wosków dla celów zarządzaa sprzedae go kletow

13 ETAP a WYBÓR ZMIENNYCH zmea objaśaa Y: według zateresowań (a ćwczeach), według polecea szefa (w przedsęborstwe), według życzea kleta (w frme kosultgowej) zmee objaśające X ; wybrae zmee muszą meć dużą zmeość (V>3%) ajczęstszy błąd masło maślae prowadzące do zwązku fukcyjego e dające żadej formacj o zmeej objaśaej model bez sesu: wyagrodzee = f(płacy, prem dodatku stażowego) ETAP b. WYBÓR POSTACI MATEMATYCZNEJ modele przyczyowo-skutkowe ajbardzej zalecae jest rówoczese prowadzee oblczeń dla dwu postac: lowej y a x a potęgowej y x l y a l x stosuje sę też modele elowe o arzucoej postac elowej, których parametry ustala sę przez programowae lowe lub ym metodam modele tedecj rozwojowej: fukcja lowa proste fukcje elowe welomay modele kombowae: tred + wahaa okresowe

14 ETAP 3. ESTYMACJA PARAMETRÓW MODELU Cel etapu: wyzaczee parametrów strukturalych stochastyczych Estymacja: szacowae parametrów populacj a podstawe próbk Metody estymacj: MNK e Skutk edotrzymaa założeń MNK środk zaradcze. Model eprzydaty; ekedy absurdaly (źle uwarukowae dae) Y. reszta e Lewa część zboru ma dużą warację, a prawa warację małą X 3. Jeśl reszty e są ze sobą powązae (skorelowae) tz. że występuje autokorelacja składka losowego (ajczęścej zjawsko występuje przy szeregach czasowych) Ozacza to, że steje stota zależość: et f(et j) t,,... Występowae autokorelacj powoduje eprzydatość modelu 4. Składk losowy jest skoreloway ze zmeą objaśającą, wtedy gdy została pomęta jakaś waża zmea - przyczya

15 ETAP 4. WERYFIKACJA MODELU WYKAZ ETAPÓW WERYFIKACJI MODELU 4.. Badae stotośc korelacj 4.. Badae wyrazstośc modelu 4.3. Badae stotośc parametrów 4.4. Badae składka losowego Badae symetr skł. losowego Badae losowośc skł. losowego Badae stacjoarośc skł. los. Badae wartośc oczekwaej skł. losowego Badae autokorelacj skł. losowego Badae heteroskedastyczośc skł. losowego Badae ormalośc skł. losowego

16 ETAP 4.. Badae stotośc korelacj Celem etapu jest sprawdzee, czy steje w populacj geeralej powązae pomędzy zmeą Y wszystkm zmeym objaśającym Istotość korelacj weryfkuje sę przez postawee astępujących hpotez dla współczyka korelacj dla populacj geeralej: H H : : Brak korelacj, e ma powązaa... Korelacja stota, jest powązae... testem t Studeta (dla regresj dwóch zmeych) testem F Fshera testem R Wallace a-sedecora TEST STUDENTA t obl r r t tabl t / ;

17 H H : : TEST FISHERA Fobl MSTR MSE R R k k F tabl F;k ; k Źródło zmeośc Model (czyk) Błąd (reszta) Lczba stop swobody k- k Suma kwadratów SSTR SSE Razem SSTO Śred kwadrat MSTR MSE Statystyka F F obl MSTR MSE TEST WALLACE A-SNEDECORA Odczyt R tabl z tablcy testu R Wallace a-sedecora Stope Lczba zmeych swobody 3 4,5,,5,,5, 8,63,765,76,87,777,86 8,444,56,53,633,587,678 8,36,463,439,53,49,573 Reguła decyzyja: jeżel R obl >R tabl, model jest poprawy, korelacja stota jeżel R obl <R tabl, model jest epoprawy, trzeba zmeć albo zestaw zmeych objaśających albo jego postać matematyczą

18 Rola współczyka determacj R korelacja może być stota przy małym R bardzo małym R (r=,4; R =,6 co ozacza, że tylko 6% zmeośc zmeej Y jest wyjaśoe przez zmeą objaśającą) małe R ozacza sk stopeń wyjaśea rzeczywstośc staow zagrożee dla modelu ależy dążyć (poprzez odpowed dobór zmeych-przyczy postac matematyczej modelu) do jak ajwększego R (dla postac perwotej) wysoka wartość R śwadczy o dobrym pozau badaego zjawska wysoka wartość R bardzo często wyka jedak ze złego dobraa zmeych objaśających (sle powązae ze sobą masło maślae ) KORELACJA POZORNA Przyczyy...Trzeba ukać wartośc bezwzględych (ludość, lczba k, welkość produkcj)

19 Y ETAP 4.. Badae wyrazstośc modelu s(y) y e Wyrazstość modelu daa jest wzorem x y V obl s(y) y % X Współczyk zmeośc losowej V obl <3% (w przecwym przypadku rozrzut daych jest zbyt duży) Uwaga: gdyy jest blske trudośc w ustaleu czy model poprawy czy epoprawy

20 ETAP 4.3. Badae stotośc parametrów (współczyków) modelu weryfkacja hpotezy: H : = wobec H : t obl (a ) a s(a ) t tabl t / ; k jeżel t obl (a ) >t tabl (a ), odrzucamy hpotezę zerową; parametr jest stoty z błędem rówym co ajwyżej jeżel t obl (a ) <t tabl (a ), e ma podstaw do odrzucea hpotezy zerowej; parametr jest estoty Odrzucając H ZMIENNA X MA WPŁYW NA ZMIENNĄ Y

21 ETAP 4.4. BADANIE SKŁADNIKA LOSOWEGO Badae symetr składka losowego Badae symetr: dla >3 test z (r-d ormaly); dla <3 test t-studeta H H : : lczba reszt dodatch (lub ujemych) - lczość próby Brak symetr wymaga zmay matematyczej postac modelu t obl Test prawostroy! t,

22 Badae losowośc składka losowego Badae losowośc przeprowadza sę testem t-studeta lub testem ser Test ser: H H : : t t jest skladkem losowym e jest losowy H : Y H f(x, x : Y f(x,...x k-, x ),...x k - ) a) wartoścom e t > adajemy symbol A; lczba symbol A b) wartoścom e t < adajemy symbol B; lczba symbol B - Otrzymujemy podcąg czyl sere z kolejych symbol A lub B c) Lczba wszystkch ser (podcągów) - k. Badae wartośc oczekwaej składka losowego weryfkacja hpotezy: H H : : EV ( ) EV ( ) Celem etapu jest sprawdzee, czy odchylee od e jest zbyt duże (służy do tego test t-studeta)

23 Badae heteroskedastyczośc składka losowego Heteroskedastyczość ejedorodość waracj składka losowego w obrębe próby H weryfkacja hpotezy: H : : ( ) cost ( ) cost Skutk espełee założeń MNK Testowae homoskedastyczośc (heteroskedastyczośc). Test Whte a (ajbardzej ogóly). Test Harrsoa-McCabe a 3. Test Goldfelda-Quadta

24 Badae autokorelacj składka losowego Składk losowy ξ e jest czysto losowy, lecz zależy od wskaźka, czyl zmee losowe ξ są zależe od poprzedch wartośc ξ t-τ. Autokorelacja to korelacja wartośc zmeej ξ z jej wartoścam z okresów wcześejszych o jede lub węcej okresów. Na ogół autokorelację moża wyrazć w postac relacj: f (,,..., ) e f(e ),,... W praktyce przyjmuje sę, że fukcja f jest fukcją lową, a maksymale opóźee τ wyos jede lub dwa (rząd autokorelacj). Estymator współczyka autokorelacj ρ (rzędu perwszego, k=): r (e (e e )(e e ) (e e e ) ) k Skutk: estymatory są eefektywe, estymator waracj ξ jest obcążoy co prowadz do edoszacowaa błędów

25 Badae autokorelacj moża przeprowadzć: testem R stotośc korelacj testem Durba-Watsoa r (e (e e )(e e ) (e Test Durba-Watsoa służy do sprawdzea hpotezy: H : H : lub H : e e ) ) Statystyka d: dobl (e e) e Na podstawe tablc Durba Watsoa wyzaczamy dwe wartośc krytycze: d L d U, dla określoej lczośc próby () określoej lośc zmeych objaśających (k). Reguła decyzyja: jeżel d obl < d L woskujemy, że zachodz dodata autokorelacja, jeżel d L < d obl < d U wyk czego e przesądza, jeżel d U <d obl <4-d U e ma podstaw do odrzucea H brak autokorelacj, jeżel 4-d U < d obl < 4-d L wyk czego e przesądza, jeżel d obl > 4 d L woskujemy, że zachodz ujema autokorelacja.

26 Badae ormalośc składka losowego Celem etapu jest stwerdzee, czy reszty mają rozkład ormaly Stosuje sę testy eparametrycze: - Kołmogorowa-Smrowa lub test Powyższe testy wymagają bardzo dużej próby (podzał zboru reszt a klasy wartośc, gdze >= 5) TEST Jargue a-bery (JB) Krok. szacowae wartośc obcążoego estymatora odchylea stadardowego składka losowego Krok. szacowae wartośc mary asymetr rozkładu reszt (skewess) Krok 3. szacowae wartośc mary kurtozy rozkładu reszt Krok 4. wylczae wartośc statystyk JB Statystyka JB ma rozkład dla = k JB A 6 4 K K 3 4 e 4 s A e s 3 3 s e k lość zmeych objaśających Reguła decyzyja: jeżel JB>, to H o ormalośc składka losowego odrzucamy (prawostroy obszar odrzucea!!) jeżel JB< e ma podstaw do odrzucea H,

27 INTERPRETACJA MODELU INTERPRETUJĄC MODEL (RÓWNANIE REGRESJI) NALEŻY UŻYWAĆ WYŁĄCZNIE PROSTEJ TERMINOLOGII EKONOMICZNEJ ZROZUMIAŁEJ DLA KLIENTA NIE NALEŻY UŻYWAĆ TERMINOLOGII MATEMATYCZNEJ ZROZUMIAŁEJ TYLKO DLA TWÓRCÓW MODELU INTERPRETOWAĆ WOLNO TYLKO MODEL ZWERYFIKOWANY CAŁY TRUD MODELOWANIA NIE MOŻE BYĆ SZTUKĄ DLA SZTUKI, LECZ MA SŁUŻYĆ UZYSKANIU KONKRETNYCH WNIOSKÓW PRAKTYCZNYCH Ocea jakoścowa loścowa Na podstawe zaków stojących przy współczykach r oraz a możemy stwerdzć, że wpływ jest: dodat (m lepsze zalczee - tym lepszy wyk egzamu; m węcej wydatków a reklamę - tym wększa sprzedaż; td.) ujemy (m węcej zatrudoych - tym gorszy wyk fasowy; m mej braków - tym wyższy zysk; m mejsza absecja - tym wyższe wyagrodzee; td.)

28 Przykład Model lowy Dae zawarte w poższej tablcy uzyskao z pewego złoża gazu zemego, a którym zajduje sę 8 odwertów produkcyjych. Dla każdego odwertu podao początkowe dopuszczale wydobyce gazu efektywą mąższość pokładu produktywego w tych odwertach. Podejrzewamy, że steje zależość pomędzy początkowym dopuszczalym wydobycem gazu a efektywą mąższoścą.

29 l.p. y x x *y 45, ,75 a x x x y xy a 56,6 95,5 5868,35 8 (56,6) 53 8 y a x 36,9 4,5* 3,75 4,97 ŷ 4,97 4,4x r =,874 36,3,93 57,8 4,4 Suma 95,5 56,6 5868,35