REGRESJA I KORELACJA MODEL REGRESJI LINIOWEJ MODEL REGRESJI WIELORAKIEJ. Analiza regresji i korelacji

Transkrypt

1 Statystyka i opracowanie danych Ćwiczenia 5 Izabela Olejarczyk - Wożeńska AGH, WIMiIP, KISIM REGRESJA I KORELACJA MODEL REGRESJI LINIOWEJ MODEL REGRESJI WIELORAKIEJ MODEL REGRESJI LINIOWEJ Analiza regresji i korelacji MODEL: oszacowanie modelu regresji, wykres rozrzutu Y = β0+ β1x + ε, r=? Współczynniki regresji β0 (oszacowana wartość wyrazu wolnego), β1 (oszacowana wartość współczynnika regresji) można wyznaczyć korzystając z metody najmniejszych kwadratów. ε składnik losowy, r współczynnik korelacji liniowej Pearsona, r 2 współczynnik determinacji, przyjmujący wartości z przedziału [0,1], jest miarą stopnia w jakim model wyjaśnia kształtowanie się zmiennej Y. Im jego wartość jest bliższa 1, tym lepsze dopasowanie modelu do danych empirycznych r =0 zmienne nie są skorelowane 0,0 r < 0,1 korelacja nikła 0,1 r < 0,3 korelacja słaba 0,3 r < 0,5 korelacja przeciętna 0,5 r < 0,7 korelacja wysoka 0,7 r < 0,9 korelacja bardzo wysoka 0,9 r < 1 korelacja prawie pełna dla modelu liniowego regresji prostej używamy: -- Statystyka -- Statystyki podstawowe i tabele -- Macierze korelacji

2 Zadania: Zadanie 1. Plik zad_11_gaz.sta zawiera dane do budowy modelu opisującego dzienne zużycie gazu w zależności od średniej temperatury dobowej, dobowej prędkości wiatru oraz dni wolnych. Dane dotyczą jednego sezonu grzewczego w kilku miastach. a. Sporządź macierz korelacji. b. Sprawdź, czy ZUŻYCIE gazu jest skorelowane z PRĘDKOŚCIĄ WIATRU oraz faktem, czy dzień jest wolny czy pracujący; c. narysuj wykres rozrzutu dla zmiennych ZUŻYCIE i ŚREDNIA TEMP. DOBOWA; d. Zbuduj model regresji liniowej do oceny wpływu średniej temperatury dobowej na zużycie gazu. Zweryfikuj i zinterpretuj otrzymany model; ad. (a, b) korelacja istotna statystycznie

3 ad. (c) Wykres rozrzutu dla dwóch zmiennych:

4 ad. (d) Budowanie modelu regresji: MODEL REGRESJI: Zużycie = 237,10 6,94 * Śr. temp; r = 0,96; r 2 = 0,91; p=0,00 WERYFIKACJA modelu badanie istotności korelacji Weryfikacja: H0: Współczynnik korelacji liniowej Pearsona r=0 H1: Współczynnik korelacji liniowej Pearsona r 0 p = 0,00 < 0,05 skąd wniosek, że współczynnik korelacji liniowej istnieje i jest istotny statystycznie

5 INTERPRETACJA modelu i WNIOSKI: współczynnik korelacji: r istnieje korelacja? jeśli r=0, brak zależności liniowej jaki jest jej kierunek? jaki jest jej stopień? współczynnik determinacji: R 2 jaki procent zmienności zmiennej zależnej wyjaśniony jest przez model regresji liniowej? co możemy powiedzieć o tej zależności na podstawie wyrazu wolnego? co możemy powiedzieć na podstawie współczynnika regresji? Interpretacja i WNIOSKI: współczynnik korelacji: r = 0,96 korelacja istnieje (jest istotna statystycznie) jest prawie pełna jest ujemna, co oznacza, że wraz ze spadkiem temperatury wzrasta zużycie gazu współczynnik determinacji: r 2 = 0,91 91% zmienności zmiennej zużycia gazu wyjaśniono przez model regresji liniowej przy temperaturze 0 C zużycie wynosi 237,1 (wyraz wolny) każdy spadek temperatury o 1 C oznacza wzrost zużycia gazu o 6,94 (współczynnik regresji) Odpowiedź: Zużycie gazu skorelowane jest jedynie ze średnią temperaturą. Pozostałe zmienne: Prędkość wiatru i dni wolne nie wykazują korelacji ze zużyciem gazu. W obu przypadkach korelacja nie jest istotna statystycznie, p> 0,05 (podpowiedź: STATISTICA oznacza istotne statystycznie korelacje kolorem czerwonym). Model regresji dla zużycia względem średniej temperatury: MODEL REGRESJI: Zużycie = 237,10 6,94 * Śr. temp; r = 0,96; r 2 = 0,91; p=0,00

6 Zadanie 2. Aby ocenić efektywność szkolenia sprzedawców, postanowiono przeprowadzić następujący eksperyment. Grupę wylosowanych 18 sprzedawców podzielono na 6 podgrup po 3 osoby. Pierwsza podgrupa była szkolona przez okres 5 dni, druga 10 dni, trzecia 15 dni itd. Następnie rejestrowano sprzedaż osiąganą przez każdego ze sprzedawców w ciągu miesiąca. Wyniki eksperymentu przedstawiono w pliku zad_11_sprzedawcy.sta a. Zbuduj model regresji liniowej do oceny wpływu czasu trwania szkolenia sprzedawców na uzyskiwane przez nich wyniki sprzedaży Zweryfikuj i zinterpretuj otrzymany model. b. Pan Nowak będzie szkolony przez okres 12 dni. Jakich wyników sprzedaży można się spodziewać po zakończeniu szkolenia? Zadanie 3. Zespół badawczy złożony ze studentów pewnego uniwersytetu postanowił sprawdzić, czy istnieje zależność pomiędzy ceną produktu sprzedawanego w różnych sieciach supermarketów a ilością oferowanych marek (rodzajów) tego produktu. Jako przykład pilotażowy wybrano wodę mineralną Dobra Woda. Badania przeprowadzono w 12 supermarketach obserwując w nich cenę tej wody mineralnej i liczbę rodzajów sprzedawanych wód mineralnych. Wyniki badań przedstawiono w pliku zad_11_ceny_oferta.sta. Zbuduj model regresji liniowej opisujący badaną zależność. Zweryfikuj otrzymany model.

7 MODEL REGRESJI WIELORAKIEJ Regresja wielokrotna jest metodą statystyczną, w której oceniamy wpływ wielu zmiennych niezależnych (X1, X2, X3,...) na zmienną zależną (Y). Liniowy model regresji wielorakiej gdzie: y = β0 + β1x1 + β2x βkxk + ε β j parametry modelu (współczynniki regresji) ε składnik losowy Weryfikacja modelu: 1. liniowość modelu; 2. liczba obserwacji n musi być większa od liczby oszacowanych parametrów, tj. n > k + 1. (liczba n powinna być wielokrotnie większa od liczby oszacowanych parametrów); 3. żadna ze zmiennych niezależnych nie jest kombinacją liniową innych zmiennych niezależnych czyli brak jest współliniowości (nadmiarowości); 4. Składnik losowy ε i ma wartość oczekiwaną równą zeru (E(ε i ) = 0 dla wszystkich i = 1, 2,..., n); 5. wariancja składnika losowego (reszt ε i ) jest taka sama dla wszystkich obserwacji - Takie założenie nosi nazwę homoscedastyczności i mówi, że czynniki ujęte w modelu mają taką samą zmienność (rozrzut) niezależnie od numeru obserwacji. 6. brak autokorelacji reszt; 7. każdy ze składników losowych (reszty) ma rozkład normalny N(0, σ) tj. średniej 0 i wariancji σ 2 ; Zadania: Zadanie 1. Dane z badań przeprowadzonych w 1996 roku przez Uniwersytet Warszawski i Akademię Ekonomiczną w Krakowie. Rozesłano ankiety do do 5000 pracowników wylosowanych przez GUS. Ankiety zwróciło 1255 osób. Arkusz danych zawiera wybrane informacje o badanych osobach. (place.sta). Zbuduj, zweryfikuj i zinterpretuj model regresji wielorakiej opisujący zależność płacy brutto od wieku i stażu pracy. Zaprognozuj zarobki dla wieku 25 lat i doświadczenia 1 rok.

8 Rozwiązanie: dla modelu regresji wielorakiej używamy: -- Statystyka -- Regresja wieloraka model istotny statystycznie zmienna zależna istotność wyrazu wolnego wiek istotny statystycznie staż pracy istotny statystycznie

9 oszacowany model regresji: Płaca brutto = 342, ,9*Wiek 10,6*Staż pracy ± 357,1 R 2 =0,11 1. liniowość modelu: wykresy rozrzutu prawy przycisk myszy

10 2. liczba obserwacji n musi być większa od liczby oszacowanych parametrów, tj. n > k + 1. (liczba n powinna być wielokrotnie większa od liczby oszacowanych parametrów); n = 1218; k = 3 3. żadna ze zmiennych niezależnych nie jest kombinacją liniową innych zmiennych niezależnych czyli brak jest współliniowości (nadmiarowości); macierz korelacji nadmiarowość (Statystyka->Regresja wieloraka->zakładka: Więcej-> Nadmiarowość) Im mniejsza jest tolerancja zmiennej tym bardziej nadmiarowy jest jej wkład w równanie regresji. Jeśli tolerancja = 0 - nie można obliczyć współczynników równania regresji. Jeśli tolerancja dla zmiennej spada poniżej 0,1 to wówczas taki model regresji staje się mało przydatny. wartość R 2 informuje nas, ile zmienności danej zmiennej jest wyjaśnione przez pozostałe zmienne. Im bliżej jedności, tym bardziej nadmiarowa jest zmienna 4. Składnik losowy ε i ma wartość oczekiwaną równą zeru (E(ε i ) = 0 dla wszystkich i = 1, 2,..., n); można utworzyć wykres normalności reszt (zakładka Reszty->Wykonaj analizę reszt-> Wykres normalności reszt) 4 Wykres normalności reszt 3 2 Wartość normalna Reszty

11 5. wariancja składnika losowego (reszt ε i ) jest taka sama dla wszystkich obserwacji - Takie założenie nosi nazwę homoscedastyczności i mówi, że czynniki ujęte w modelu mają taką samą zmienność (rozrzut) niezależnie od numeru obserwacji. Statystyka->Regresja wieloraka->analiza reszt-> zakładka: Wykresy rozrzutu- >Reszty względem przewidywanych/kwadraty reszt względem przewidywanych Założenie homoscedastyczności jest naruszone jeśli wartości reszt są bardziej zróżnicowane (rozrzucone) dla pewnych wartości przewidywanych niż dla innych lub kiedy wartości wariancji zdają się rosnąć wraz ze wzrostem wartości przewidywanej. 6. brak autokorelacji reszt; H 0 : autokorelacja = 0 H 1 : autokorelacja 0 Statystyka->Regresja wieloraka->analiza reszt-> zakładka: Więcej-> Statystyka Durbina - Watsona 7. każdy ze składników losowych (reszty) ma rozkład normalny N(0, σ) tj. średniej 0 i wariancji σ 2 ; wykres normalności reszt (pkt. 4) Interpretacja modelu: obie zmienne objaśniające są istotne w modelu (ich wpływ jest istotny) dodatnie oddziaływanie wieku na płacę b*: standaryzowany wskaźnik siły powiązania wskazuje, że wiek jest silniej związany z płacą niż staż pracy Staż pracy (wbrew przewidywaniom) wpływa ujemnie na płacę, co oznacza, że w przypadku badanych pracowników wraz z wiekiem płaca rośnie, ale liczba lat pracy spowalnia ten efekt współczynnik determinacji (miara dopasowania modelu - wartość tego współczynnika mieści się w przedziale < 0; 1 >, gdzie 1 oznacza doskonałe dopasowanie modelu, 0 zupełny bark dopasowania) R 2 = 0,11, czyli jedynie 11% ogólnej zmienności PŁACY wyjaśnione jest przez model. Należy poszukiwać innych czynników wpływających na płacę.

12 Interpretacja graficzna: Wykresy->Wykresy XYX 3W-> Wykresy powierzchniowe Wykres powierzchniowy 3W Płaca brutto względem Wiek i Staż pracy place.sta 5v*1255c Płaca brutto = 342, ,8865*x-10,5938*y Płaca brutto S ta ż p r a c y Wiek > 1500 < 1100 < 600 < 100 Prognoza zmiennej zależnej: Statystyka->Regresja wieloraka-> zakładka: Reszty, założenia, predykcja->predykcja zmiennej zależnej Zadanie 3 Pośrednik w handlu nieruchomościami jest zainteresowany oszacowaniem wpływu powierzchni budynku i jego odległości od centrum miasta na wartość budynku. Plik nieruchomości.sta zawiera informacje o dziewięciu losowo wybranych budynkach. Zbuduj, zweryfikuj i zinterpretuj model regresji wielorakiej opisujący zależność wartości budynku od jego powierzchni i odległości od centrum.