Analiza zależności zmiennych ilościowych regresja

Transkrypt

1 Analiza zależności zmiennych ilościowych regresja JERZY STEFANOWSKI Instytut Informatyki Politechnika Poznańska Wersja dla stud. niestacj 2010 / akt. 2017

2 Plan wykładu 1. Wykrywanie zależności między zmiennymi 2. Współczynnik korelacji próbkowej (Pearsona). 3. Liniowa zależność między dwoma zmiennymi: Prosta regresja Metoda najmniejszych kwadratów Właściwości 4. Zastosowanie różnego oprogramowania

3 Motywacje Dotychczas badanie jednej zmiennej Badania struktury zbiorowości opierały się na obserwacjach tylko jednej cechy (zmiennej), a jeśli brano pod uwagę kilka cech, to każdą analizowano oddzielnie. Testy dla pojedynczych wymiarów (zmiennych) Wiele zjawisk dotyczy jednak danych wielowymiarowych Typowe zainteresowania w spojrzeniu na rzeczywistość oraz w badaniach naukowych Potrzeba badania wielu zmiennych oraz ich wzajemnej interakcji! W tym wykładzie współzależności dwóch zmiennych

4 Przykład Zrób wykres XY Za Anna Raifuna SGGW

5 Wykres korelacyjny rozrzutu XY Inny rodzaj związku między wartościami zmiennych X i Y

6 Funkcyjny związek deterministyczny Nie to samo co zależność korelacyjna Związek funkcyjny odznacza się tym, że każdej wartości jednej zmiennej niezależnej (będziemy ją oznaczać X) odpowiada tylko jedna, jednoznacznie określona wartość zmiennej zależnej (oznaczamy ją przez Y). Wiadomo na przykład, że pole kwadratu jest funkcją jego boku (P=a 2 ). Wynik można przewidzieć od razu

7 Czego oczekujemy od związku między zmiennymi? Większość punktów tutaj Większość punktów tutaj Pozytywna (dodatnia) współzależność

8 Czego oczekujemy od związku między zmiennymi? Większość punktów tutaj Większość punktów tutaj Negatywna (ujemna) współzależność

9 Różne zależności między zmiennymi

10 Wykrywanie korelacji między zmiennymi W analizie korelacji zadaje się, m.in. pytania: Czy istnieje związek współzależność między dwoma zmiennymi? Jaka jest skala tej zależności. Czy jest ona słaba czy silna? Czy istnieją możliwości wyrażenia tej zależności w postaci liczbowej?

11 Pojęcie korelacji Związek w zakresie współzmienności między dwoma (lub większą) liczbą zmiennych liczbowych Pytanie badawcze czy ze wzrostem wartości jednej zmiennej rosną (lub maleją) wartości drugiej zmiennej np. czy średnio ze zwiększającą się wysokością osoby rośnie (lub maleje) jej waga Intuicyjnie, zależność dwóch zmiennych X i Y oznacza, że znając wartość jednej z nich, dałoby się przynajmniej w niektórych sytuacjach dokładniej przewidzieć wartość drugiej zmiennej, niż bez posiadania tej informacji Uwaga wyniku badania korelacyjnego nie wolno interpretować w terminach związków przyczynowo skutkowych!!!

12 Jaka korelacja Nas dziś interesuje? Jaki typ zależności między wartościami zmiennych? Zmienne liczbowe Statystyczna i monotoniczna Liniowa Czy istnieją inne możliwości wyrażenia zależności między zmiennymi? Związki nieliniowe Inne zmienne (porządkowe, nominalne) Będą (?) korelacja rangowa Spearmana, współczynnik tau-kendalla; statystka gamma, miary siły związku wykorzystujące test χ 2,

13 Korelacja liniowa miara kierunku i siły współzależności między dwiema zmiennymi X i Y. Współczynnik korelacji liniowej Pearsona: r xy = n i= 1( xi x) ( yi y) C( x, y) = n 2 n 2 S i xi x i yi y x S = 1( ) = 1( ) y gdzie x, y- średnie art. zmiennych x i y, a Sx i S y ich odchylenia standardowe; kowariancja 1 n C( x, y) = i = 1 ( xi x)( yi y) n r xy [ 1, Interpretacja zakresu wartości. 1] Zakres stosowalności: zależność dwóch zmiennych ilościowych o charakterze liniowym.

14 Własności współczynnika korelacji liniowej Pearsona 1. Miara symetryczna 2. Miara niemianowana i unormowaną Można porównywać korelacje dla różnych zestawów zmiennych 3. Pozwala na określenie nie tylko siły, ale i kierunku zależności między zmiennymi 4. Interpretacja wartości współczynnika korelacji: im 1 tym silniejsza korelacja. r xy 5. Ograniczenia Podatny na obserwacje skrajne (ang. outliers)

15 Współczynniki korelacji dla przykładowych zależności X i Y Wykres za A.Adrian AGH

16 Przykładowa interpretacja wartości jako siły związku Pamiętając o liczności próby interp. wartości bezwzględnych Lecz sprawdź inne źródła dziedzinowe

17 Przykłady obliczania korelacji Zbadaj zależność dwóch zmiennych opisujących odpowiedzi respondentów w pewnej ankiecie X - liczba randek w ostatnim tygodniu Y ocena satysfakcji z życia na skali punktowej 1,2,3,..,5 X Y Dla każdego zestawu odpowiedzi narysuj wykres korelacyjny (każda para wartości odpowiedzi dla jednej osoby przedstawiona jest jako punkt na płaszczyźnie x,y)

18 Przykłady Grupa nastolatków X Y Wykres korelacyjny - nastolatki Korelacja = satysfakcja liczba randek

19 Przykłady 2 Grupa dwudziestoparo-latków X Y Korelacja =?? satysfakcja 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Trzydziestolatki liczba randek

20 Przykłady 3 Grupa troszkę starszych-latków X Y Korelacja = Satysfakcja 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 troche pozniej liczba spotkań

21 Ocena współczynnika korelacji ρ w populacji r współczynnik korelacji w próbie czy może być użyty w odniesieniu do populacji? Estymator punktowy? Może być także użyty do testowania hipotezy o korelacji zmiennych w populacji. Założenia: zmienne (X,Y) populacji mają dwuwymiarowy rozkład normalny o nieznanym współczynniku korelacji ρ. Na podstawie n - elementowej próby wyznaczono r. Testowany układ hipotez: 0 : ρ = Statystyka testowa: test z = H 0 H : ρ 0 r xy 1 r 2 xy n 1 lub test = rxy t n r xy

22 Przykład testowania istotności współczynnika korelacji Współczynnik korelacji między liczbą randek w tygodniu a satysfakcją z życia wynosi r=0.493 (N = 16 par pomiarów). Czy możemy podjąć decyzję wobec populacji H0: ρ=0. Schemat postępowania: Testowany układ hipotez: 0 : ρ = 0 H1 : ρ Wybór statystyki testowej = rxy t n r Ma rozkład t - Studenta z n-2 stopni swobody (14) Poziom α=0.05 tkryt=2.145 t=2.11 H 0 Podjęcie decyzji xy

23 Test w Statsoft Statistica Przykład biostatystyczny

24

25 Problemy w interpretacji współczynnika korelacji Uwagi po analizie przykładu: Należy oglądać dane! Współczynnik służy do badania związku liniowego! Jeśli związek nie jest liniowy stosuj regresję krzywoliniową. Współczynnik korelacji jest nieistotny można stwierdzić wyłącznie brak związku liniowego. Ponadto pamiętaj: Wrażliwość na obserwacje skrajne i ograniczenie zakresy zmienności zmiennej niezależnej.

26 Gdzie jesteśmy w trakcie wykładu? 1. Wykrywanie zależności między zmiennymi 2. Współczynnik korelacji próbkowej (Pearsona). 3. Liniowa zależność między dwoma zmiennymi: Prosta regresja Metoda najmniejszych kwadratów Właściwości 4. Zastosowanie różnego oprogramowania

27 Regresja o czym rozmawiamy? Główne zadanie analizy korelacji Stwierdzenie faktu występowania zależności między zmiennymi oraz zbadanie siły i kierunku tej zależności. Analiza regresji? Historia termin użyty przez F.Galtona dla oznaczenia pewnych zależności w teorii dziedziczenia. Statystyczne rozumienie tego terminu?

28 Regresja dalsze uwagi Modelowanie regresyjne teoretyczne (populacja); przyjęcie wielu założeń. W rzeczywistych sytuacjach dysponujemy jedynie wynikami obserwacji dla zmiennych X i Y z próby. [ x i yi ] = [ x1 y1, x2 y2,, xn yn] Przykład: Na podstawie pomiarów przedstawionych na wykresie w formie diagramu rozproszenia poszukuje się pewnej krzywej (często linii prostej), którą można uznać za najlepiej obrazująca ogólną tendencję zmiany wartości jednej zmiany wartości jednej zmiennej Y w miarę jak zmieniają się wartości drugiej zmiennej X.

29 Analiza regresji Z populacji dzieci (w zakresie wieku 7-19 lat) wybrano losowo 175 próbę 15 osobową i określono dla nich dwie cechy: x wiek w 165 latach oraz y wzrost w cm: (7,120),(9,125),(18,164), 155 (11.5,140), (8,122),(11,135), (13,145), (17,162), (10,131), (19,170), 145 (14,150), (12,142), (18.5,168), (15,154), (16,159) WZROST Wykres rozrzutu (Regrwzrost15.STA 2v*15c) y=88,689+4,305*x+eps Wykres rozrzutu (Regrwzrost15.STA 2v*15c) 135 Wykonaj analizę zależności 125 tych zmiennych WZROST Korelacja 0, WIEK WIEK

30 Regresja model liniowy Analityczny sposób przyporządkowania wartości zmiennej zależnej konkretnym wartościom zmiennych niezależnych. Liniowa regresja prosta najprostszy rodzaj regresji, w których zależność zmiennych można opisać za pomocą linii prostej. ŷ = a x + b + ε gdzie a jest współczynnikiem kierunkowym, b wyraz wolny (punkt przecięcia z osią rzędnych); x zmienna niezależna, y zmienna zależna (objaśniana, przewidywana), ε - błąd losowy.

31 Liniowa prosta regresji - MNK Rzeczywiste dane Wartość teoretyczna funkcji regresji Błąd oszacowania lub rezyduum. ( x, y 1),...,( x n, y y 1 n ˆ i y i y ˆ = ( x) tzw. wartość resztowa Liniowa regresja prosta wartości rezyduów powinny być jak najmniejsze dla wszystkich i=1,,n. Wskaźnik rozproszenia suma kwadratów rezyduów. S 2 = i n = 1 ( y i yˆ i) Dla liniowego wykresu dużych rezyduów nie ma być zbyt wiele metoda najmniejszych kwadratów! (F.Gauss) daje ona najlepsze liniowe nieobciążone estymatory parametrów regresji (BLUE) ). f

32 Przykład Intuicja MNK Które residua (suma kwadratów) są najmniejsze? Proste sumowanie: I =0; II =0; III MNK: I =38; II: 1+4+1=6; III 4+4=8

33 MNK jak to się liczy? Sprawdź w J.Koronacki, J.Mielniczuk, str S b S a n i = = 2 1 ( y ( b + ax )) = n i = i = 2 1 x ( y ( b + ax )) = i i i i 0 0

34 Szacowanie MNK Dokonując odpowiednich przekształceń otrzymujemy ) ( ), cov( ) ( ) ( ) ( x S y x x x y y x x a n i i n i i i = = = = x a y b =

35 Trochę dyskusji właściwości: Współczynnik regresji a można zapisać jako cov( x, y) a = S 2 x = r xy S S y x Interpretacja wartości współczynnika regresji: Ujemna wartość wskazuję na to, że pod wpływem wzrostu zmiennej niezależnej x o jednostkę, zmienna zależna y maleje średnio o a jednostek Dodatnia wartość wzrost y wraz ze wzrostem x o a jedn. a = 0 brak wpływu zmiennej niezależnej na zależną! Wyraz wolny rzadko posiada sensowną interpretację.

36 Przykład ilustracyjny (samochody) W firmie produkującej samochody przeprowadzono analizę sprzedaży samochodów z ostatniego miesiąca. Zebrano dane od 12 dealerów zajmujących się sprzedażą samochodów tej firmy o wielkości sprzedaży za ostatni miesiąc (zmienna zależna Y) oraz czasie wykupionej reklamy w ostatnim miesięcy (zmienna niezależna X). Nr dealera y x

37 Samochody 2 Wykres XY Obliczenie współczynnika korelacji: r xy = (statyst ist.) Model liniowy z oszacowanymi parametrami: y = x Wartość a oznacza, że wzrost (spadek) czasu wykupionej reklamy radiowej o jedną minutę spowoduje wzrost (spadek) sprzedaży w przybliżeniu o sztuk samochodów.

38 Samochody 3 Model y^ = x 185 Wykres rozrzutu (samochody.sta 10v*12c) y= *x+eps Y X Nr dealera x y y^=f(x) , , , , , , , , , , , ,28

39 Co zrobimy w Excelu? Funkcje stat. REGLINP

40 Co zrobimy w Excelu? Dodatek Analiza Danych X Y Tak przy okazji jak interpretować wyniki?

41 Przykład wzrost = f(wiek) / Statistica (Statsoft)

42 Ocena modelu regresji Całkowitą sumę kwadratów odchyleń (SST) w analizie regresji dzieli się na dwie części: gdzie SST = SSR + 2 SSE ( y y) = ( yˆ y) + ( y SSR regresyjna suma kwadratów odchyleń (część wyjaśniona przez zbudowany model), SSE resztowa suma kwadratów odchyleń (część nie wyjaśniona przez zbudowany model). 2 yˆ) 2

43 Na ile dobra jest regresja? Współczynnik determinacji jest opisową miarą siły liniowego związku między zmiennymi, czyli miarą dopasowania linii regresji do danych. współczynnik determinacji --- przyjmuje wartości z przedziału [0,1] i wskazuje jaka część zmienności zmiennej y jest wyjaśniana przez znaleziony model. Na przykład dla R 2 =0.619 znaleziony model wyjaśnia około 62% zmienności y. Przy okazji: pomyśl o związku współczynnika R 2 oraz współczynnika korelacji r.

44 Testy istotności

45 Samochody 3 Model y^ = x 185 Wykres rozrzutu (samochody.sta 10v*12c) y= *x+eps Y X Nr dealera x y y^=f(x) , , , , , , , , , , , ,28

46 Samochody 4 R 2 = , S = R 2 ozn., że 89.58% zmienności zmiennej y zostało wyjaśnione przez zbudowany model. S przeciętne odchylenie wartości empirycznych od wartości teoretycznych (wynikających ze zbudowanego modelu) wynosi sztuk samochodów.

47 Istotność modelu regresji dla przykładu samochodowego. Model y = x Źródło zmienności Model (część wyjaśniona) Błąd (część niewyjaśniona) Liczba stopni swobody (k=1) 1 (n k 1 = n-2) 10 Suma kwadratów odchyleń SSR SSE Całkowita (n-1) 11 SST Przeciętna suma kwadratów odchyleń (MSR=SSR/1) (MSE=SSE/(n-2)) R2 = , S = , F = Wartość krytyczna statystyki z tablic rozkładu F przy poziomie istotności α = 0.05 wynosi 4.96 ; Także oba testy lokalne są istotne Podsumujmy wyniki: Model jest statystycznie istotny.

48 Kilka uwag dla zainteresowanych: Analiza regresji to ciekawe praktycznie i teoretycznie zagadnienie. Nie powiedzieliśmy za dużo o: Analizie reszt i badaniu poprawności modelu. Regresji wielowymiarowej (wielorakiej). Wykorzystaniu modelu regresji do prognozowania. Regresji nieliniowej. Selekcji zmiennych w modelach wielowymiarowej. Zawsze możesz sam poszukać czytaj książki!

49 Model liniowy regresji wielokrotnej (wielowymiarowej) Założenie: wpływ każdej rozpatrywanej zmiennej objaśniającej na zmienną y jest liniowy i nie zależy od wartości innych zmiennych y Zapis macierzowy: xm odpowiada y; wyraz wolny dodatkowa zmienna x i0 =1 Rozwiązanie MNK = m m β + β x + β x + + β x + ε Y = X β + ε b ( ' ) 1 ' X X X Y Zasady oceny i testowania podobne = Więcej A.Aczel: Statystyka w zarządzaniu (rozdział 11)

50 Przykład Zebrano następujące pomiary x x2 0,5 0,5 0,3 0,3 f(x1,x2) 1,5 3,5 6,2 3,2 Założono model regresji liniowej y = b 0 + b1 x1 + b2 x2

51 Przykład rozwiązujemy y = 1,5 3,5, 6,2 3,2 X = ,5 0,5, 0,3 0,3 b = b0 b 1... b m Po przekształceniu: b b b 7,0 0,25 11 Komentarz: liczba obserwacji n powinna być większa niż parametrów do oszacowania m Kolumny macierzy liniowo niezależne jednoznaczne rozwiązanie Diagnostyka modelu wielokrotnego przedstawione metody stat. = = =

52 Regresja wielokrotna Dane są informacje o budżecie reklamowym pewnego produktu, jego cena jednostkowa oraz finalna sprzedaż jednostkowa. BUDŻET CENA SPRZEDAZ

53 Regresja nieliniowa Dane nt. polskiego rybołówstwa dalekomorskiego (lata 90te).

54 Regresja nieliniowa cd. Model funkcji kwadratowej (estymacja?) Polowy Model regresji Statki y = 0,25071 x + 30,7079 x 2 581,49

55 Regresja obserwacje odstające / skrajne 180 Wykres rozrzutu (Regr1.STA 2v*16c) y= *x+eps WZROST odciaganie Obserwacja odstająca WIEK

56 Ogólny schemat postępowania Ustalenie założeń i postaci modelu Szacowanie parametrów strukturalnych modelu na podstawie wyników próby Weryfikacja modelu: czy parametry są istotne? ocena założeń modelu (reszty) czy zależność jest liniowa? TAK NIE Wykorzystanie modelu: 1. Predykcja zmiennej Y 2. Opis zależności między zmiennymi

57 Literatura Statystyka dla studentów kierunków technicznych i przyrodniczych, Koronacki Jacek, Mielniczuk Jan, WNT, Statystyka w zarządzaniu, A.Aczel, PWN Statystyka praktyczna. W.Starzyńska, Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych. G.Wieczorkowska, Scholar, Przystępny kurs statystyki, Stanisz A., Tom 2 poświęcony wyłącznie analizie regresji! I wiele innych

58 Dziękuję za uwagę Czytaj także podręczniki!