Analiza zależności zmiennych ilościowych korelacja i regresja

Transkrypt

1 Analza zależnośc zmennych loścowych korelacja regresja JERZY STEFANOWSKI Instytut Informatyk Poltechnka Poznańska

2 Plan wykładu 1. Lnowa zależność mędzy dwoma zmennym: Prosta regresja Metoda najmnejszych kwadratów Właścwośc 2. Zastosowane różnego oprogramowana 3. Weryfkacja równana regresj R2, testy dagnostyczne Analza reszt 4. Inne zagadnena Regresja weloraka Dagnostyka obserwacje odstające

3 Wykrywane korelacj mędzy zmennym W analze korelacj zadaje sę, m.n. pytana: Czy stneje zwązek współzależność mędzy dwoma zmennym? Jaka jest skala tej zależnośc. Czy jest ona słaba czy slna? Czy stneją możlwośc wyrażena tej zależnośc w postac lczbowej?

4 Regresja o czym rozmawamy? Główne zadane analzy korelacj Stwerdzene faktu występowana zależnośc mędzy zmennym oraz zbadane sły kerunku tej zależnośc. Analza regresj? Hstora termn użyty przez F.Galtona dla oznaczena pewnych zależnośc w teor dzedzczena. Statystyczne rozumene tego termnu?

5 Zadane analzy regresj Wyjaśnene w sposób analtyczny kształtowana sę wartośc jednej zmennej losowej (zmennej zależnej lub objaśnanej) pod wpływam nnej zmennej (nezależnej lub objaśnającej) lub nnych zmennych. Jeżel zmenna losowa Y składa sę z dwóch składowych: pewnej zmennej losowej ε oraz elementu systematycznego f(x) zależnego od zmennej X, to regresją zmennej losowej Y względem X jest równane E(Y X) = f(x), przy czym zakłada sę, że E(ε)=0 Defncja [Słownk statystyczny. Kendall, Buckland] Y = Yˆ + ε Regresja prosta gdze Y ˆ = f ( X ) oznacza teoretyczne pozomy zmennej odczytane z funkcj regresj Funkcje kształt lnowy lub nelnowy

6 Regresja dalsze uwag Modelowane regresyjne teoretyczne (populacja); przyjęce welu założeń. W rzeczywstych sytuacjach dysponujemy jedyne wynkam obserwacj dla zmennych X Y z próby. [ x y ] = [ x1 y1, x2 y2,, xn yn] Przykład: Na podstawe pomarów przedstawonych na wykrese w forme dagramu rozproszena poszukuje sę pewnej krzywej (często ln prostej), którą można uznać za najlepej obrazująca ogólną tendencję zmany wartośc jednej zmany wartośc jednej zmennej Y w marę jak zmenają sę wartośc drugej zmennej X.

7 Model regresj Metoda szacowana wartośc lczbowej zmennej zależnej (objaśnanej, wynkowej) y na podstawe wartośc zmennych nezależnych x. Badamy zależność warunkową Formalne poszukujemy modelu y = f ( x, β) y x

8 Analza regresj Z populacj dzec (w zakrese weku 7-19 lat) wybrano losowo 175 próbę 15 osobową określono dla nch dwe cechy: x wek w 165 latach oraz y wzrost w cm: (7,120),(9,125),(18,164), 155 (11.5,140), (8,122),(11,135), (13,145), (17,162), (10,131), (19,170), 145 (14,150), (12,142), (18.5,168), (15,154), (16,159) WZROST Wykres rozrzutu (Regrwzrost15.STA 2v*15c) y=88,689+4,305*x+eps Wykres rozrzutu (Regrwzrost15.STA 2v*15c) 135 Wykonaj analzę zależnośc 125 tych zmennych WZROST Korelacja 0, WIEK WIEK

9 Model predykcj zmennej lczbowej Ilustracja: 209 konfguracj systemów komputerowych Cycle tme (ns) Man memory (Kb) Cache (Kb) Channels Performance MYCT MMIN MMAX CACH CHMIN CHMAX PRP Model lnowy PRP = MYCT MMIN MMAX CACH CHMIN CHMAX

10 Regresja model lnowy Analtyczny sposób przyporządkowana wartośc zmennej zależnej konkretnym wartoścom zmennych nezależnych. Lnowa regresja prosta najprostszy rodzaj regresj, w których zależność zmennych można opsać za pomocą ln prostej. ŷ = a x + b + ε gdze a jest współczynnkem kerunkowym, b wyraz wolny (punkt przecęca z osą rzędnych); x zmenna nezależna, y zmenna zależna (objaśnana, przewdywana), ε - błąd losowy.

11 Założena modelu regresj Zwązek mędzy x y jest lnowy. Wartośc zmennej nezależnej ne są losowe. Losowość wartośc y pochodz wyłączne ze składnka losowego. Składnk (błędy) losowe mają rozkład normalny o średnej 0 2 o stałej warancj σ Cekawa dyskusja założeń w A.Aczel Statystyka w zarządzanu.

12 Intucja poszukwana regresj lnowej Przykład z wykładu z Ekonometr (UCI Berkley): Do hgh ncome households consume more or less electrcty than lower ncome households? Take a sample of households. Observe the energy consumpton and ncome of each household. Która lna podsumowująca ogólny trend w danych jest najlepsza?

13 Lnowa prosta regresj - MNK Rzeczywste dane Wartość teoretyczna funkcj regresj Błąd oszacowana lub rezyduum. ( x, y 1),...,( x n, y y 1 n ˆ y y ˆ = ( x) tzw. wartość resztowa Lnowa regresja prosta wartośc rezyduów pownny być jak najmnejsze dla wszystkch =1,,n. Wskaźnk rozproszena suma kwadratów rezyduów. S 2 = n = 1 ( y yˆ ) Dla lnowego wykresu dużych rezyduów ne ma być zbyt wele metoda najmnejszych kwadratów! (F.Gauss) daje ona najlepsze lnowe neobcążone estymatory parametrów regresj ). f

14 Przykład Intucja MNK Które resdua (suma kwadratów) są najmnejsze? Proste sumowane: I =0; II =0; III MNK: I =38; II: 1+4+1=6; III 4+4=8

15 MNK jak to sę lczy? Sprawdź w J.Koronack, J.Melnczuk, str S b S a n = = 2 1 ( y ( b + ax )) = n = = 2 1 x ( y ( b + ax )) = 0 0

16 Szacowane MNK Dokonując odpowednch przekształceń otrzymujemy ) ( ), cov( ) ( ) ( ) ( x S y x x x y y x x a n n = = = = x a y b =

17 Trochę dyskusj właścwośc: Współczynnk regresj a można zapsać jako cov( x, y) a = S 2 x = r xy S S y x Interpretacja wartośc współczynnka regresj: Ujemna wartość wskazuję na to, że pod wpływem wzrostu zmennej nezależnej x o jednostkę, zmenna zależna y maleje średno o a jednostek Dodatna wartość wzrost y wraz ze wzrostem x o a jedn. a = 0 brak wpływu zmennej nezależnej na zależną! Wyraz wolny rzadko posada sensowną nterpretację.

18 Przykład lustracyjny (samochody) W frme produkującej samochody przeprowadzono analzę sprzedaży samochodów z ostatnego mesąca. Zebrano dane od 12 dealerów zajmujących sę sprzedażą samochodów tej frmy o welkośc sprzedaży za ostatn mesąc (zmenna zależna Y) oraz czase wykuponej reklamy w ostatnm mesęcy (zmenna nezależna X). Nr dealera y x

19 Samochody 2 Wykres XY Oblczene współczynnka korelacj: r xy = (statyst st.) Model lnowy z oszacowanym parametram: y = x Wartość a oznacza, że wzrost (spadek) czasu wykuponej reklamy radowej o jedną mnutę spowoduje wzrost (spadek) sprzedaży w przyblżenu o sztuk samochodów.

20 Samochody 3 Model y^ = x 185 Wykres rozrzutu (samochody.sta 10v*12c) y= *x+eps Y X Nr dealera x y y^=f(x) , , , , , , , , , , , ,28

21 Co zrobmy w Excelu? Funkcje stat. REGLINP

22 Co zrobmy w Excelu? Dodatek Analza Danych X Y Tak przy okazj jak nterpretować wynk?

23 Przykład wzrost = f(wek) / Statstca (Statsoft)

24 Weryfkacja modelu regresj Ocena dopasowana funkcj regresj do danych emprycznych. Składnk resztowy tym wększy, m wększy jest składnk losowy ε, może także wynkać z błędnego przyjęca danej funkcj regresj. Rozkład całkowtej zmennośc zmennej objaśnanej Ocenamy za pomocą warancj sumy kwadratów różnc SST 2 SST = n = 1 ( y y) e = y yˆ 2 S y lub całkowtej

25 Ocena modelu regresj Całkowtą sumę kwadratów odchyleń (SST) w analze regresj dzel sę na dwe częśc: gdze SST = SSR + 2 SSE ( y y) = ( yˆ y) + ( y SSR regresyjna suma kwadratów odchyleń (część wyjaśnona przez zbudowany model), SSE resztowa suma kwadratów odchyleń (część ne wyjaśnona przez zbudowany model). 2 yˆ) 2

26 Mary dopasowana modelu regresj do danych Współczynnk determnacj: R 2 SSR = = 1 SST SSE SST Najważnejsza mara dopasowana funkcj regresj do danych emprycznych; Jest to stosunek zmennośc wyjaśnanej przez model do zmennośc całkowtej. Średn błąd kwadratowy: SSE MSE = n 2 Warancja resztowa (k lczba zmennych) 2 1 S = e n k + e 2 ( 1) Błędy standardowe parametrów b : S( b j ) S( b ) = S( b 2 T 1 1 ( ) T = Se X X jj = Se ( X X) jj 0 1 ) = S n = ( x x 1 1 n + odchylene standardowe składnka resztowego standardowy błąd oszacowana SSE S = n 2 S x ) 2 2 n = ( x x 1 ) 2

27 Na le dobra jest regresja? Współczynnk determnacj jest opsową marą sły lnowego zwązku mędzy zmennym, czyl marą dopasowana ln regresj do danych. współczynnk determnacj --- przyjmuje wartośc z przedzału [0,1] wskazuje jaka część zmennośc zmennej y jest wyjaśnana przez znalezony model. Na przykład dla R 2 =0.619 znalezony model wyjaśna około 62% zmennośc y. Przy okazj: pomyśl o zwązku współczynnka R 2 oraz współczynnka korelacj r.

28 Testy stotnośc

29 Hpotezy dotyczące poszczególnych parametrów modelu Ocena poszczególnych parametrów β w modelu (ocena zachodzena zwązku lnowego mędzy zmenną x a y). Test statystyczny Statystyka testowa: Intucja H H t 0 1 : : β = β ( Badamy dla każdego parametru strukturalnego osobno, czy stotne różn sę on od zera. Jeśl ne uda nam sę odrzucć hpotezy zerowej, będze to oznaczało, że zmenna objaśnająca przy której sto dany parametr ne wpływa na zmenną objaśnaną, węc można ją usunąć z modelu (jednakże to wymaga powtórnego oszacowana modelu, z już z aktualnym zestawem zmennych objaśnających). β = S β ) 0 0

30 Testy hpotez zwązanych z regresją Pojęce modelu statystycznego prosty model regresj lnowej. Testy stotnośc parametrów modelu oraz analza reszt ważne zagadnene ale poczekaj do czwartego roku. Jeśl jesteś necerplwy, to zajrzyj np. rozdzał 10.6 ksążk Aczel Statystyka w zarządzanu.

31 Samochody 3 Model y^ = x 185 Wykres rozrzutu (samochody.sta 10v*12c) y= *x+eps Y X Nr dealera x y y^=f(x) , , , , , , , , , , , ,28

32 Samochody 4 R 2 = , S = R 2 ozn., że 89.58% zmennośc zmennej y zostało wyjaśnone przez zbudowany model. S przecętne odchylene wartośc emprycznych od wartośc teoretycznych (wynkających ze zbudowanego modelu) wynos sztuk samochodów.

33 Istotność modelu regresj dla przykładu samochodowego. Model y = x Źródło zmennośc Model (część wyjaśnona) Błąd (część newyjaśnona) Lczba stopn swobody (k=1) 1 (n k 1 = n-2) 10 Suma kwadratów odchyleń SSR SSE Całkowta (n-1) 11 SST Przecętna suma kwadratów odchyleń (MSR=SSR/1) (MSE=SSE/(n-2)) R2 = , S = , F = Wartość krytyczna statystyk z tablc rozkładu F przy pozome stotnośc α = 0.05 wynos 4.96 Podsumujmy wynk: Model jest statystyczne stotny.

34 Rozkłady reszt Sposób szybkej oceny (jakość reszt). Założena modelu lnowego: Składnk (błędy) losowe mają rozkład normalny o średnej 0 o stałej warancj czyl reszty pownny meć charakterystyczny rozrzut; najlepej obserwować to na wykresach rozrzutu reszt Reszty są neskorelowane ze sobą (nezależność) Cekawa dyskusja założeń w A.Aczel Statystyka w zarządzanu

35 Wykres rozkładu reszt Składnk resztowe w zależnośc od y Składnk resztowe Reszty przypuszczalne spełnają założena modelu regresj. Rozproszene neregularne ale w pase o pewnej szerokośc. Brak korelacj wzajemnej kolejnych składnków.

36 Wykres rozkładu reszt zestaw 2 Inny przykład wykresu składnków resztowych. t Rozkład reszt Układ ln wykresu wskazuje, że reszty następne zależą od poprzednch rozbegają sę poza ogranczony pas.

37 Model lnowy regresj welokrotnej (welowymarowej) Założene: wpływ każdej rozpatrywanej zmennej objaśnającej na zmenną y jest lnowy ne zależy od wartośc nnych zmennych y Zaps macerzowy: xm odpowada y; wyraz wolny dodatkowa zmenna x 0 =1 Rozwązane MNK = m m β + β x + β x + + β x + ε Y = X β + ε b ( ' ) 1 ' X X X Y Zasady oceny testowana podobne = Węcej A.Aczel: Statystyka w zarządzanu (rozdzał 11)

38 Zaps wektorowy Ogólna postać Rozwązane MNK b X y = ˆ y X X X b T T 1 ) ( = = = = = = = = = n n n n n n n y x y n x x x x x n b b ) ( 1

39 Przykład W celu zbadana zależnośc mędzy zyskam pewnej frmy a wydatkam na szkolena handlowców, dokonano porównana wynków dla 5 kwartałów (x - wydatk na szkolena handlowców w tys. zł, y zysk frmy w tys. zł): x y

40 y = 65x + 5 R 2 = 0,

41 y= X= X T = X T X= detx T X= 50 (X T X) -1 = 1,1-0,3-0,3 0,1 X T y= b= 5 65 y = x

42 2 e y = e= e T e= S = (X T X) -1 = e T = 1,1-0,3-0,3 0, S = e 30,3 S ( b 0 ) = 31,75 S ( b 1 ) = 9,58 S = 9,74 2 = 95 y S y R 2 = * 9000 = 1 0, 06 = 0, 94 = 94%

43 Regresja welokrotna Dane są nformacje o budżece reklamowym pewnego produktu, jego cena jednostkowa oraz fnalna sprzedaż jednostkowa. BUDŻET CENA SPRZEDAZ

44 Regresja nelnowa Dane nt. polskego rybołówstwa dalekomorskego (lata 90te).

45 Regresja nelnowa cd. Model funkcj kwadratowej (estymacja?) Polowy Model regresj Statk y = 0,25071 x + 30,7079 x 2 581,49

46 Regresja obserwacje odstające / skrajne 180 Wykres rozrzutu (Regr1.STA 2v*16c) y= *x+eps WZROST odcagane Obserwacja odstająca WIEK

47 Ogólny schemat postępowana Ustalene założeń postac modelu Szacowane parametrów strukturalnych modelu na podstawe wynków próby Weryfkacja modelu: czy parametry są stotne? czy zależność jest lnowa? NIE TAK Wykorzystane modelu: 1. Predykcja zmennej Y 2. Ops zależnośc mędzy zmennym

48 Klka uwag dla zanteresowanych: Analza regresj to cekawe praktyczne teoretyczne zagadnene. Ne powedzelśmy za dużo o: Analze reszt badanu poprawnośc modelu. Regresj welowymarowej (welorakej). Wykorzystanu modelu regresj do prognozowana. Regresj nelnowej. Selekcj zmennych w modelach welowymarowej. Zawsze możesz sam poszukać czytaj ksążk!

49 Lteratura Statystyka dla studentów kerunków techncznych przyrodnczych, Koronack Jacek, Melnczuk Jan, WNT, Statystyka w zarządzanu, A.Aczel, PWN Statystyka praktyczna. W.Starzyńska, Statystyka. Wprowadzene do analzy danych sondażowych eksperymentalnych. G.Weczorkowska, Scholar, Przystępny kurs statystyk, Stansz A., Tom 2 pośwęcony wyłączne analze regresj! I wele nnych

50 Dzękuję za uwagę Czytaj także podręcznk!