Metody predykcji analiza regresji

Transkrypt

1 Metody predykcj analza regresj TPD 008/009 JERZY STEFANOWSKI Instytut Informatyk Poltechnka Poznańska Przebeg wykładu. Predykcja z wykorzystanem analzy regresj.. Przypomnene wadomośc z poprzednch przedmotów.. Ocena poprawnośc modelu regresj lnowej.. Regresja welowymarowa. 4. Regresja nelnowa.. Selekcja zmennych. Uwag: proszę odwołać sę do przedmotu Statystyka analza danych studa nżynerske.

2 Modelowane regresj Metoda szacowana wartośc lczbowej zmennej zależnej (objaśnanej, wynkowej) y na podstawe wartośc zmennych nezależnych x. Badamy zależność warunkową Formalne poszukujemy modelu y = f ( x, β ) y x Modele lokalne locally weghted regresson p y = α + j = f j ( x, β ) Przykład ceny domów przykład z R W zborze danych homedata (z paketu R) ceny 684 domów Maplewood (New Jersey) z lat: Interesuje nas zależność pomędzy cenam domów z tych lat.

3 Regresja model lnowy Analtyczny sposób przyporządkowana wartośc zmennej zależnej konkretnym wartoścom zmennych nezależnych. Lnowa regresja prosta najprostszy rodzaj regresj, w których zależność zmennych można opsać za pomocą ln prostej. yˆ β x + β + ε = 0 gdze β jest współczynnkem kerunkowym, β 0 wyraz wolny (punkt przecęca z osą rzędnych); x zmenna nezależna, y zmenna zależna (objaśnana, przewdywana), ε -błąd losowy. Intucja poszukwana regresj lnowej Przykład z wykładu z Ekonometr (UCI Berkley): Do hgh ncome households consume more or less electrcty than lower ncome households? Take a sample of households. Observe the energy consumpton and ncome of each household. Która lna podsumowująca ogólny trend w danych jest najlepsza?

4 Lnowa prosta regresj - MNK Rzeczywste dane ( x, y ),...,( x n, y n). Wartość teoretyczna funkcj regresj y ˆ = f ( x) Błąd oszacowana y yˆ tzw. wartość resztowa lub rezyduum. Lnowa regresja prosta wartośc rezyduów pownny być jak najmnejsze dla wszystkch =,,n. Wskaźnk rozproszena suma kwadratów rezyduów. S = n = ( y yˆ ) Dla lnowego wykresu dużych rezyduów ne ma być zbyt wele metoda najmnejszych kwadratów! daje ona najlepsze lnowe neobcążone estymatory parametrów regresj Przykład MNK Które resdua (suma kwadratów) są najmnejsza? Proste sumowane: I -++=0; II -+-=0; III -++0 MNK: I +4+9=8; II: +4+=6; III 4+4=8

5 Własnośc oszacowana MNK Lna przechodz przez wartośc średne: ˆ 0 β y = β x + β = β x + ( y x) = y Wartość oczekwana resduów jest zerowa n = = e n e = ( y yˆ ) = ( + 0) = ( + 0) = 0 = y x y x y β β β β n n n n y = Dobra własność: lna jest średno właścwa. Przykład lustracyjny (samochody) W frme produkującej samochody przeprowadzono analzę sprzedaży samochodów z ostatnego mesąca. Zebrano dane od dealerów zajmujących sę sprzedażą samochodów tej frmy o welkośc sprzedaży za ostatn mesąc (zmenna zależna Y) oraz czase wykuponej reklamy w ostatnm mesęcy (zmenna nezależna X). Nr dealera y x

6 Samochody Wykres XY Oblczene współczynnka korelacj: r xy = (statyst st.) Model lnowy z oszacowanym parametram: y = x Wartość a oznacza, że wzrost (spadek) czasu wykuponej reklamy radowej o jedną mnutę spowoduje wzrost (spadek) sprzedaży w przyblżenu o sztuk samochodów. Samochody Model y^ = x 8 Wykres rozrzutu (samochody.sta 0v*c) y= *x+eps 7 6 Y X Nr dealera x y y^=f(x) 8 9,0 9 8, , , 7 7, , , , , , ,48 6,8

7 Równane stochastyczne vs. determnstyczne Statystyczny model opsuje lczbowo zależność pomędzy zmenną nezależną (x) oraz zmenną zależną (y) y = β 0 + βx + ε gdze β0, β neznane parametry f.regresj, które należy oszacować; ε -składnk losowy. Parametry funkcj regresj ne są znane (obserwowane), podobne jak składnk losowy, dlatego jest to równane stochastyczne. Równane determnstyczne po zastosowanu MNK ˆ + y = b0 b x Gdze b0, b oceny estymatorów parametrów funkcj regresj numer obserwacj. Defncje zadana analzy regresj Wyjaśnene w sposób analtyczny kształtowana sę wartośc jednej zmennej losowej (zmennej zależnej lub objaśnanej) pod wpływam nnej zmennej (nezależnej lub objaśnającej) lub nnych zmennych. Jeżel zmenna losowa Y składa sę z dwóch składowych: pewnej zmennej losowej ε oraz elementu systematycznego f(x) zależnego od zmennej X, to regresją zmennej losowej Y względem X jest równane E(Y X) = f(x), przy czym zakłada sę, że E(ε)=0 Defncja [Słownk statystyczny. Kendall, Buckland] Regresja prosta Y = Yˆ + ε gdze Y ˆ = f ( X ) oznacza teoretyczne pozomy zmennej odczytane z funkcj regresj Funkcje kształt lnowy lub nelnowy

8 Zaps wektorowy Ogólna postać Rozwązane MNK X b y = ˆ y X X X b T T ) ( = = = = = = = = = n n n n n n n y x y n x x x x x n b b 0 ) ( Przykład W celu zbadana zależnośc mędzy zyskam pewnej frmy a wydatkam na szkolena handlowców, dokonano porównana wynków dla kwartałów (x - wydatk na szkolena handlowców w tys. zł, y zysk frmy w tys. zł): x 4 y

9 400 0 y = 6x + R = 0, y= X= 4 X T = 4 X T X= detx T X= 0 (X T X) - =, -0, -0, 0, X T y= b= 6 y = + 6x

10 y= e T e= 70 S e = 97 (X T X) - = S( b 0 ) S( b ) = =,7 9,8 e= e T =, -0, -0, 0, S = 0, S y = 9,74 9 e S y = R 70 = * 9000 = 0, 06 = 0, 94 = 94% Co zrobmy w Excelu? Funkcje stat. REGLINP lub dodatek Analza Danych X Y 4 4 Tak przy okazj jak nterpretować wynk?

11 Przykład wzrost = f(wek) / Statstca (Statsoft) Weryfkacja modelu regresj Ocena dopasowana funkcj regresj do danych emprycznych. Składnk resztowy e = y yˆ tym wększy, m wększy jest składnk losowy ε, może także wynkać z błędnego przyjęca danej funkcj regresj. Rozkład całkowtej zmennośc zmennej objaśnanej Ocenamy za pomocą warancj S y lub całkowtej sumy kwadratów różnc SST SST = n = ( y y)

12 Ocena modelu regresj Całkowtą sumę kwadratów odchyleń (SST) w analze regresj dzel sę na dwe częśc: SST = SSR + SSE ( y y) = ( yˆ y) + ( y yˆ) gdze SSR regresyjna suma kwadratów odchyleń (część wyjaśnona przez zbudowany model), SSE resztowa suma kwadratów odchyleń (część ne wyjaśnona przez zbudowany model). Na le dobra jest regresja? Współczynnk determnacj jest opsową marą sły lnowego zwązku mędzy zmennym, czyl marą dopasowana ln regresj do danych. współczynnk determnacj --- przyjmuje wartośc z przedzału [0,] wskazuje jaka część zmennośc zmennej y jest wyjaśnana przez znalezony model. Na przykład dla R =0.69 znalezony model wyjaśna około 6% zmennośc y. Przy okazj: pomyśl o zwązku współczynnka R oraz współczynnka korelacj r.

13 Mary dopasowana modelu regresj do danych Współczynnk determnacj: R SSR = = SST SSE SST Najważnejsza mara dopasowana funkcj regresj do danych emprycznych; Jest to stosunek zmennośc wyjaśnanej przez model do zmennośc całkowtej. Średn błąd kwadratowy: SSE MSE = n Warancja resztowa (k lczba zmennych) S = e n k + e ( ) Błędy standardowe parametrów b : S( b ) T ( ) T j = Se X X jj = Se ( X X) jj S( b ) = S( b ) = S 0 n = ( x x) + n odchylene standardowe składnka resztowego standardowy błąd oszacowana SSE S = n S x n = ( x x) Samochody 4 R = 0.898, S = 6.8 R ozn., że 89.8% zmennośc zmennej y zostało wyjaśnone przez zbudowany model. S przecętne odchylene wartośc emprycznych od wartośc teoretycznych (wynkających ze zbudowanego modelu) wynos 6.8 sztuk samochodów.

14 Założena modelu regresj Zwązek mędzy x y jest lnowy. Wartośc zmennej nezależnej ne są losowe. Losowość wartośc y pochodz wyłączne ze składnka losowego. Składnk (błędy) losowe mają rozkład normalny o średnej 0 o stałej warancj σ Cekawa dyskusja założeń w A.Aczel Statystyka w zarządzanu. Weryfkacja uwag ogólne Statystyczna dotyczy przede wszystkm weryfkacj przyjętych założeń o stochastycznej strukturze modelu oraz założeń o stotnym wpływe zmennych objaśnających na zmenną objaśnaną za pomocą znanych testów statystycznych. Merytoryczna wąże sę z odpowedzą na pytane, czy oszacowane oceny parametrów równana zgodne są z przyjętym założenam, a także czy stneje możlwość "sensownej" nterpretacj otrzymanych wartośc ocen parametrów.

15 Weryfkacja modelu regresj Zbadaj czy stneje zwązek mędzy średną wydajnoścą (merzoną lczbą wykonanych detal określonego typu) a stażem pracy (merzonym w mesącach). n Wydajność y Staż pr. X Załóżmy model lnowy: y = β 0 + β x + ε Wynk oblczeń (Statstca) Hpotezy dotyczące poszczególnych parametrów modelu Ocena poszczególnych parametrów β w modelu (ocena zachodzena zwązku lnowego mędzy zmenną x a y). Test statystyczny Statystyka testowa: Intucja H H 0 : : β = 0 β 0 β t = S β ) ( Badamy dla każdego parametru strukturalnego osobno, czy stotne różn sę on od zera. Jeśl ne uda nam sę odrzucć hpotezy zerowej, będze to oznaczało, że zmenna objaśnająca przy której sto dany parametr ne wpływa na zmenną objaśnaną, węc można ją usunąć z modelu (jednakże to wymaga powtórnego oszacowana modelu, z już z aktualnym zestawem zmennych objaśnających).

16 Testy stotnośc Istotność modelu regresj dla przykładu samochodowego. Model y = x Źródło zmennośc Model (część wyjaśnona) Błąd (część newyjaśnona) Lczba stopn swobody (k=) (n k = n-) 0 Suma kwadratów odchyleń SSR 7.4 SSE 7. Całkowta (n-) SST Przecętna suma kwadratów odchyleń (MSR=SSR/) 7.4 (MSE=SSE/(n-)) 7. R = 0.898, S = 6.8, F = Wartość krytyczna statystyk z tablc rozkładu F przy pozome stotnośc α = 0.0 wynos 4.96 Podsumujmy wynk: Model jest statystyczne stotny.

17 Przykład Amercan Express Rozważmy przykład posadaczy kart kredytowych Amercan Express frma jest przekonana, że posadacze jej kart podróżują węcej nż nn ludze. W badanach marketngowych podjęto próbę ustalene zwązków mędzy długoścą tras podróży a obcążenem karty kredytowej jej posadacza w danym okrese czasu. Węcej w Aczel: Statystyka w zarządzanu, str Analza regresj Amercan Express

18 Weryfkacja równana regresj SSE=86, MME=SSE/(n-) = 04,4 Standardowy błąd s = MSE = 8,8 Błędy estymacj S(b 0 ) = 70,8 S(b ) = Współczynnk determnacj R = 0.96 Prognoza punktowa w regresj Łatwa na podstawe równana regresj. Np. oceń obcążene kart wśród posadaczy kart, których trasa podróży osągne 4000 ml, w okrese o takej długośc jak okres badany: yˆ = 74,8 +,66 x = 74,8 +, = 96,0

19 Przedzały predykcj (-α) 00% przedzał predykcj zmennej Y yˆ ± tα / s + + n ( x x) ( x ) n = x Rozpętość przedzału predykcj zależy od odległośc wartośc x od średnej x! Przykład: posadacz, który przebył 4000 ml 9% przedzał ufnośc. Z analzy danych hstorycznych: x = 79448/=77,9; SSx = ,84 a s = 8,6 Ponadto t przy stopnach swobody wynos,069 Stąd przedzał 96,0±676,6 = [469,4; 97,67] Oznacza to, że w oparcu o wynk badań można meć 9% zaufana do prognozy, że posadacz karty, który przebył trasę 4000 ml w okrese o danej długośc obcąży swoją kartę kredytową sumą od do 97,67$. Przedzały predykcj Ogranczene prognoz punktowych błędu pochodzące zarówno z nepewnośc szacunków, jak losowej zmennośc położena punktów w stosunku do ln regresj. Stosuj wtedy tzw. przedzały predykcj (tzw. prognozy przedzałowe).

20 Przewdywane w regresj Wartośc prognozowane ne pownny wykraczać poza zakres wartośc wykorzystywanych w procedurze szacowana parametrów równana regresj. Rozkłady reszt Sposób szybkej oceny (jakość reszt). Założena modelu lnowego: Składnk (błędy) losowe mają rozkład normalny o średnej 0 o stałej warancj czyl reszty pownny meć charakterystyczny rozrzut; najlepej obserwować to na wykresach rozrzutu reszt.

21 Wykresy rozkładu reszt (przykład zależnośc cen wna od weku wna) = dane za A.Snarska: Statystyka, ekonometra, prognozowane.

22 Wykres rozkładu reszt Wna / Składnk resztowe w zależnośc od weku Wek Rozkład reszt Składnk resztowe Wek Reszty przypuszczalne spełnają założena modelu regresj. Rozproszene neregularne ale w pase o pewnej szerokośc. Brak korelacj wzajemnej kolejnych składnków. Wykres rozkładu reszt zestaw Inny przykład wykresu składnków resztowych. t Rozkład reszt Układ ln wykresu wskazuje, że reszty następne zależą od poprzednch rozbegają sę poza ogranczony pas.

23 Wykresy reszt różne nterpretacje Oceń ponższe sytuacje Sprawdzene wykresu kwantylowego Datamner 7 (Normalty Probablty Plot of Resduals)

24 Inny przykład nny baseball Amercan League 00 Zależność mędzy średną uderzeń gracza a lczba uderzeń, które pozwolły na zalczene baz zdobyce punktu. [larose 08,.0 Naruszone założena Punkty oddalone - outlers Przykład płatk śnadanowe [Larose 08] dwe obserwacje są zdecydowane bardzej odlegle od ln regresj nż pozostałe analza reszt

25 Punkty oddalone (reszty standaryzowane) Raw Resduals Case -s s.....* * * * * * * * * * * *..... * * * * * * * * * Raw Resdual (Baseball.sta) Dependent varable: WIN Observed Predcted Resdual Standard Standard S Value Value Pred. v. Resdual P 0, ,406 0,0867 0,7804,7 0 0, ,6848 0,074,784 0,96 0 0,6000 0,9486 0,064 0,7044 0,70 0 0, ,708-0,08,99-0, ,000 0, ,044-0,0466 0, ,8000 0,487-0,007 0,8698-0,46 0 0, ,489-0,0789 0,649-0, , , , ,966-0, , ,480-0,080-0,9 -, , ,06-0,007 -,9796-0,74 0 0, ,8908-0,0008,8876-0, , ,6489 0,04,94 0,6 0 0, ,64-0,04740,08 -, ,7000 0,706-0, ,998-0, ,000 0,06 0, ,8 0, ,000 0, ,0690-0,6 0, , ,766-0,0666 0,6689 -, , ,09-0,0769 0,68 -, , , ,09 -, , , ,4780-0,0880-0,488 -, Regresja welokrotna (welowymarowa, weloraka) Zmenna objaśnana zależy od węcej nż jednej zmennej (sytuacja częsta w praktyce). Model regresj zmennej y względem zboru m- zmennych nezależnych x, x, K, x m jest określony równanem: y b + b x + b x + K + b m x = 0 m Analza welowymarowa x x = X K xn x = x x K x n K L K K xm x m K xnm [ x x K x ] T m

26 Analza welowymarowa Wybrane wskaźnk x = [ x x K ] x m Mara rozproszena macerz kowarancj c c = C K cn c c K c n K L K K cm c m K cnm Model lnowy regresj welokrotnej Założene: wpływ każdej rozpatrywanej zmennej objaśnającej na zmenną y jest lnowy ne zależy od wartośc nnych zmennych y = 0 m m β + β x + β x + K+ β x + ε Zaps macerzowy: xm odpowada y; wyraz wolny dodatkowa zmenna x 0 = Y Rozwązane MNK b = = X β + ε ' ' ( X X ) X Y

27 Regresja welokrotna Dane są nformacje o budżece reklamowym pewnego produktu, jego cena jednostkowa oraz fnalna sprzedaż jednostkowa. BUDŻET CENA SPRZEDAZ Założena poprawnośc stosowana modelu regresj Zmenne nezależne x ne są ze sobą slne skorelowane. Żadna ze zmennych nezależnych ne pownna być kombnacją lnową nnych zmennych nezależnych. Lczba obserwacj n mus być wększa od lczby parametrów do oszacowana Zakłada sę stnene modelu lnowego względem parametrów. Jeśl wele z założeń jest nespełnony ne korzystaj z przedstawonych metod weryfkacj Bardzej adekwatny skorygowany współczynnk determnacj (także stosowalny gdy ne ma wyrazu wolnego).

28 Regresja nelnowa transformacje do modelu lnowego Mędzy zmenną objaśnaną a zmennym objaśnającym mogą zachodzć zwązk nelnowe. W welu przypadkach można dokonać transformacj do modelu lnowego poprzez odpowedne przekształcena zmennych. Model Y = f(x,b) jest lnowy względem parametrów, jeśl można go przedstawć jako lnową funkcję jednoznacznych przekształceń X, przy czym współczynnk tych przekształceń musza być znane. Y = k = b k z k Z k = h k (X ) Przykład regresj nelnowej Punkty żywenowe w latach Rok Punkty t

29 Punkty żywenowe c.d Rok y Z Z Zakładamy, że kształt równana jest y = a0 + a t + a t Wprowadzamy zmenne zastępcze z = t z = t Rozwązane a0=88 a=,0 a=-0,84 Weryfkacja R=0.996 s=,7 Obe wartośc statystyk t < 0.0 y = t 0.84 t Przykład regresj nelnowej cz.a Opsać kształtowana sę depozytów złotowych w oddzale banku w kolejnych kwartałach lat Kwartał DEP t I 94 4 DEP / t II 94 III 94 IV 94 I 9 II 9 III 9 IV 9 I 96 II 96 III Hpoteza wykładnczy przebeg b t DEP = a e

30 Przykład regresj nelnowej cz.b Opsać kształtowana sę depozytów złotowych w oddzale banku w kolejnych kwartałach lat t DEP Ln(DEP) ,87 ln(dep) / t ,977,0, ,47,88, ,47, ,74,768 4, ,94 Rozpatrujemy formę ln( DEP) = (ln a) + b t Depozyty - rozwązane Rozwązane modelu przekształconego ln(dep)= t, R=0.989, współczynnk stotne. Przekształcene odwrotne t DEP = e 0. t = 06.6 e

31 Metody doboru zmennych do modelu Zmenne wybera sę na podstawe wedzy dzedznowej. Wymagana nt. własnośc zmennych nezależnych: Są slne skorelowanych ze zmenną, którą objaśnają. Są neskorelowane lub co najwyżej słabo skorelowane ze sobą. Charakteryzują sę dużą zmennoścą. Jak wykorzystać współczynnk korelacj? r = tα, n n + tα, n Ocena zmennych objaśnających Przykład doboru zmennych do modelu opsującego mesęczne spożyce ryb (w kg na osobę) w zależnośc od: spożyca męsa x, warzyw x, owoców x, tłuszczów x 4 oraz wydatków na lekarstwa x. nr y X X X X4 x 0,6 0,6 0, 4,,07,07 0,4,77 0,44 0,44 0, 4 0,6 0,6 0, ,0 0,0 0, ,0 0,0 0, ,0 0,0 0, ,09 0,09 0, ,6 0,6 0,9 0 0, 0, 0,0 7 7,46,46 0,4,, 0.4 0,, 0, , 0, 0,0 9 0,4 0,9 0,0 6

32 Dobór zmennych do modelu Współczynnk zmennośc y x x x x4 X 0,6 0,74 0,97,0 0,944 0,6 Macerz współczynnków korelacj y x x x x4 X y x 0,90 x 0,70 0,84 x 0,748 0,8 0,99 x4 0,8 0,860 0,946 0,9 x -0,44-0,9-0,477-0,0-0,9 Trochę oblczeń Wartość krytyczna Słaba korelacja? r = 4, ,666 = = 0.9 r(y,x) =-0.44 odrzucamy x Wyberamy najslnejszą zmenną r(y,x)=r=0.90 wyberamy x Co z pozostałym zmennym?

33 Regresja krokowa Postępująca (forward) Zakłada kolejne dołączane do lsty zmennych objaśnających tych zmennych, które mają najstotnejszy wpływ na zmenną zależną. Wsteczna (backward) Usuwamy ze zboru zmennych, ta które mają najmnejszy wpływ na zmenną zależną. Stosując R lub testy stotnośc współczynnków modelu (F). Regresja welokrotna - Statstca

34 Regresja krokowa

35 Lteratura Statystyka dla studentów kerunków techncznych przyrodnczych, Koronack Jacek, Melnczuk Jan, WNT, 00. Statystyka w zarządzanu, A.Aczel, PWN 000. Statystyka praktyczna. W.Starzyńska, Statystyka. Ekonometra. Prognozowane. Ćwczena z Excelem. A. Snarska, Wydawnctwo Placet 00. Przystępny kurs statystyk, Stansz A., 997. Tom pośwęcony wyłączne analze regresj! I wele nnych