Analiza Danych Sprawozdanie regresja Marek Lewandowski Inf 59817

Transkrypt

1 Analiza Danych Sprawozdanie regresja Marek Lewandowski Inf Zadanie 1: wiek , ,5 19 wzrost Wykres rozrzutu z dodaną linią trendu: wiek wzrost y = 4,1475x + 87,723 R 2 =,

2 PODSUMOWANIE WYJŚCIE Statystyki regresji Wielokrotność R, R kwadrat, Dopasowany R kwadrat 1, Błąd standardowy 12,72451 Obserwacje 1 ANALIZA WARIANCJI df SS MS F Istotność F Regresja ,156 23,98 22,729 #LICZBA! Resztkowy , ,9129 Razem ,938 Przecięcie wiek Współczynniki Błąd standardowy t Stat Wartośćp Górne 95,% 4E36 4E ,3E37 8 9,6E ,2E ,781 11,5 368,156 12,843756, ,3343, ,6534, ,8E , E ,25E ,7E , ,124 7,3459 4E6 61, ,48 61, ,5 4, , ,767518,3 2, ,134 2,28166 Równanie regresji: y = 4, x + 87, Wyznaczone błędy standardowe można przyjąć jako dopuszczalne (nie są porównywalne z obliczonymi współczynnikami równania). Test istotności parametrów modelu H współczynniki jest równy zero (nieistotny) H 1 współczynnik różny od zera (istotny) Poziom istotności: α =,5 2

3 Prawdopodobieństwo, że współczynnik przy wyrazie x jest równe wynosi,3, a prawdopodobieństwo, że wyraz wolny jest równy wynosi 4 * 1 6. Ponieważ,3 < α i 4 * 1 6 < α, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Należy zatem odrzucić hipotezę H i przyjąć hipotezę alternatywną. Uzyskane współczynniki są istotne. Globalny test istotności: H model nieistotny statystycznie H 1 model istotny statystycznie Poziom istotności: α =,5 Wartość Istotność F, zatem < α. Przy założeniu prawdziwości hipotezy H zaszło zdarzenie mało prawdopodobne, więc należy odrzucić hipotezę H i przyjąć hipotezę alternatywną. Model jest istotny statystycznie. Przy tak założonym modelu wysokość człowieka w wieku 14,5 roku wynosiłaby 147,86269 cm. Współczynnik korelacji wynosi (zaledwie), , a wartość współczynnika determinacji R 2 jedynie, Współczynniki te mogłyby zostać poprawione, gdyby z danych usunięto wartości odstające (outliers). W powyższych danych jest to wpis (14, 1). Wyniki po usunięciu samotnika : y = 4,349x + 88,689 R 2 =,

4 Statystyki regresji Wielokrotność R, R kwadrat, Dopasowany R kwadrat 1, Błąd standardowy 1, Obserwacje 1 ANALIZA WARIANCJI df SS MS F Istotność F Regresja , , ,7837 ####### Resztkowy 13 25, ,93561 Razem ,4 Współczynniki Błąd standardowy t Stat Wartośćp Górne 95,% Przecięcie x,954195,24, , ,96 7 2,9E , , ,327 11,5,93757, , ,188,29628, ,9E , ,3E ,69E ,5E , , ,6167 6,2E18 85,855 91, , ,5 4,348571, , ,86E15 4,9939 4,5132 4, Jak widać wartość współczynnika korelacji liniowej Pearsona uległa znacznej poprawie i wynosi, Prawdopodobieństwo popełnienia błędu pierwszego rodzaju podczas weryfikacji współczynników również zostało zredukowane i wynosi odpowiednio: 6,2*1 18 dla wyrazu wolnego i 1,86*1 15 dla współczynnika przy zmiennej x (wiek). Model naturalnie jest istotny statystycznie. Równanie regresji przyjmuje postać: y = 4,348571x + 88, Warto zauważyć, iż przy stosowaniu równania regresji należy przyjąć sensowny zakres jego stosowalności. Powyższy wzór na pewno nie może być zastosowany do oszacowania wzrostu sześćdziesięciolatka (ok. 347 cm) Proponuję więc zakres od do 21 lat (czyli mniej więcej do zakończenia procesu wzrostu kośćca człowieka). 4

5 Zadanie 2: x y,2 1,69,3 1,24,5, ,99 5 1,69 6 1, , , , , , ,91 3 3, , , , , ,6 62 4, y = 1,6Ln(x) +,6 R 2 =, Wykres jednoznacznie wskazuje, iż w danych występuje bardzo silna zależność. Nie jest ona jednak liniowa. W celu przeprowadzenia analizy korelacji liniowej postanowiłem logarytmować wartości zmiennych x w celu uzyskania zależności liniowej. 5

6 y ln(x) 1,69 1, ,24 1,239728,693, ,99 1, ,69 1, ,792 1, ,946 1, ,197 2, ,394 2, ,693 2, ,89 2, ,91 3, ,41 3, ,638 3, ,87 3, ,892 3, ,989 3, ,6 4, ,127 4, y =,9992x,56 R 2 =, Między zmiennymi y i ln(x) istnieje bardzo silna zależność liniowa. 6

7 Statystyki regresji Wielokrotność R, R kwadrat, Dopasowany R kwadrat, Błąd standardowy, Obserwacje 2 ANALIZA WARIANCJI df SS MS F Istotność F Regresja 1 61, , ,48 1,63E35 Resztkowy 18,116835,565 Razem 19 61, Współczynniki Błąd standardowy t Stat Wartośćp Górne 95,% Przecięcie,564754,84467,666862, ,23262,1253,2326 Zmienna X 1, ,321 33,8663 1,627E35, ,5565, Zarówno współczynnik korelacji Pearsona jak i wartość R 2 są bardzo bliskie wartości 1. Równanie: y =, * ln(x), Test istotności parametrów modelu: H współczynnik jest zerowy (jest zatem nieistotny) H 1 współczynnik jest niezerowy (jest zatem istotny) poziom istotności: α =,5 Ponieważ 1,627 * 1 35 (prawdopodobieństwo zdarzenia, że współczynnik przy zmiennej x będzie równy ) < α, zatem odrzucam hipotezę H i przyjmuję hipotezę alternatywną. W przypadku testowania istotności wyrazu wolnego, nie ma podstaw do odrzucenia hipotezy H. Nie można więc uznać, że wyraz wolny jest istotny. Z uwagi na wielkości błędu standardowego, który jest porównywalny z wyrazem wolnym, oraz na prawdopodobieństwo osiągnięcia przez wyraz wolny wartości, można przyjąć, że równanie regresji liniowej przyjmie postać: y = ln(x). Globalny test istotności modelu: H model jest nieistotny statystycznie H 1 model jest istotny statystycznie poziom istotności: α =,5 Ponieważ 1,63*1 35 < α zatem odrzucam hipotezę H model jest istotny statystycznie. 7

8 Zadanie 3: lp amino amoniak y =,698x,185 R 2 =,

9 Statystyki regresji Wielokrotność R,99127 R kwadrat,98263 Dopasowany R kwadrat,9845 Błąd standardowy 1,34139 Obserwacje 1 ANALIZA WARIANCJI df SS MS F Istotność F Regresja 1 814,15 814, ,451 2,5E8 Resztkowy 8 14,3946 1, Razem 9 828,5 Współczynniki Błąd standardowy t Stat Wartośćp Górne 95,% Przecięcie,1853 2,14316,8634, ,1272 4, ,12717 amino,6982,328 21,2787 2,51E8,6225,7739,6225 Zarówno współczynnik korelacji Pearsona jak i współczynnik determinacji są bardzo bliskie 1, zatem istnieje niemalże liniowa zależność pomiędzy zmiennymi. Test istotności parametrów modelu: H współczynnik jest zerowy (nieistotny) H 1 współczynnik jest niezerowy (istotny) Poziom istotności α =,5. Dla zmiennej amino: Ponieważ 2,51*1 8 < α, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Należy odrzucić hipotezę H i przyjąć hipotezę alternatywną (współczynnik przy zmiennej amino jest zatem istotny) Dla zmiennej Przecięcie (wyraz wolny):,933 > α nie ma zatem podstaw do odrzucenia hipotezy H współczynnik jest nieistotny. Globalny test istotności modelu: H model nieistotny statystycznie H 1 model istotny statystycznie Poziom ufności α =,5. Ponieważ F = 2,5*1 8 < α, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Należy odrzucić hipotezę H i przyjąć hipotezę alternatywną (model jest istotny statystycznie) Amoniak =,6982 * amino 9

10 Zadanie 4: BUDŻET CENA SPRZEDAŻ BUDZETCENA BUDZETCENA CENASPRZEDAZ Serie BUDZET SPRZEDAZ Serie

11 Z wykresów jednoznacznie wynika, iż w danych nie ma prostej zależności między pojedynczymi zmiennymi. Należy zatem szukać zależności między kombinacjami dwie zmienne jedna zmienna. Statystyki regresji Wielokrotność R, ! R kwadrat,865487! Dopasowany R kwadrat, Błąd standardowy 14348,6222 Obserwacje 18 ANALIZA WARIANCJI df SS MS F Istotność F Regresja ,44E+9 31, ,469E6 Resztkowy ,6E+8 Razem Współczynniki Błąd standardowy t Stat Wartośćp Górne 95,% Przecięcie 36779, , ,793618, , ,2 8717,8 BUDŻET, , ,9723,952, ,5824,1837 CENA 358, , ,762217, , , ,5 Uzyskane wartości współczynnika korelacji Pearsona oraz współczynnika determinacji należy w tym przypadku (regresja wielowymiarowa) uznać za znaczące. Można zatem wnioskować o istnieniu związku pomiędzy zmiennymi. Test istotności parametrów modelu: H współczynnik jest równy (nieistotny) H 1 współczynnik nie jest równy (jest zatem istotny) Poziom istotności: α =,5 Ponieważ dla każdego parametru (BUDŻET, CENA, WYRAZ WOLNY) prawdopodobieństwo zajścia zdarzenia jest mniejsze niż α, dlatego za każdym razem należy odrzucić hipotezę H (jako bardzo mało prawdopodobną) i przyjąć hipotezę alternatywną H 1. Wszystkie współczynniki są istotne. Uzyskane błędy standardowe są znaczące, ale mogą zostać zaakceptowane (+/ ok. 3%). Globalny test istotności: H model jest nieistotny statystycznie H 1 model jest istotny statystycznie Poziom istotności: α =,5 11

12 Ponieważ 4,469*1 6 < α, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Należy odrzucić hipotezę H i przyjąć hipotezę alternatywną (model jest istotny statystycznie). SPRZEDAŻ = 358,1413 * CENA +, * BUDŻET ,4926 Zadanie 5: Osoba WIEK WZROST WAGA Wykresy rozrzutu: y = 2,259x + 33,265 R 2 =,3768 wiek wzrost

13 y = 3,6429x + 3,571 R 2 =, w iek w aga y = 1,722x + 6,1898 R 2 =,663 wzrost w aga Przyglądając się wykresom, można od razu zauważyć, iż wartości współczynników determinacji są względnie niskie. Wynika to najprawdopodobniej z wystąpienia znacznego szumu w danych. 13

14 Analiza regresji wielowymiarowej: Statystyki regresji Wielokrotność R,88317 R kwadrat,77999 Dopasowany R kwadrat,7319,5 Błąd standardowy 4,65984 Obserwacje 12 ANALIZA WARIANCJI df SS MS F Istotność F Regresja 2 692, ,411 15,95325,199 Resztkowy 9 195, ,7142 Razem ,25 Błąd standardowy Wartośćp Górne 95,% Współczynniki t Stat Przecięcie 6,5535 1,944827,59873, , , ,2589 WIEK 2,513, ,18744,56485,727 4,172796,7269 WZROST,7224, ,7685,2187, ,31224, Test istotności parametrów modelu: H współczynnik jest równy (nieistotny) H 1 współczynnik nie jest równy (jest zatem istotny) Poziom istotności: α =,5 Dla atrybutu WZROST prawdopodobieństwo zajścia zdarzenia przy założeniu prawdziwości hipotezy H jest mniejsze niż poziom istotności. Odrzucam zatem hipotezę H i przyjmuję hipotezę alternatywną H 1. Dla atrybutu WIEK oraz dla wyrazu wolnego nie ma podstaw do odrzucenia hipotezy H (,56 >,5 oraz,598 >,5). Nie można zatem metodami statystycznymi uzasadnić wpływu zmiennej WIEK na zmienną WZROST. Globalny test istotności: H model jest nieistotny statystycznie H 1 model jest istotny statystycznie Poziom istotności: α =,5 Ponieważ,1 <,5, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Odrzucam zatem hipotezę H i jako prawdziwą przyjmuję hipotezę alternatywną H 1. Wyznaczony model jest zatem istotny statystycznie. Zarówno współczynnik korelacji jak i współczynnik determinacji są dość wysokie. 14

15 Statystyki regresji Wielokrotność R,7714 R kwadrat,59312 Dopasowany R kwadrat,527 Błąd standardowy 1,33914 Obserwacje 12 ANALIZA WARIANCJI df SS MS F Istotność F Regresja 2 23, ,7635 6,559735,17483 Resztkowy 9 16, ,79329 Razem 11 39, Współczynniki Błąd standardowy Przecięcie 1, , Wartośćp t Stat,38513,7987 WAGA,16931,7742 2,18744,56485 WZROST,173,119246,1524, Górne 8, , ,5783,34448,241296, ,% 8, ,57833, Test istotności parametrów modelu: H współczynnik jest równy (nieistotny) H 1 współczynnik nie jest równy (jest zatem istotny) Poziom istotności: α =,5 Przy założonym poziomie istotności nie ma podstaw do odrzucenia hipotezy zerowej dla żadnej ze zmiennych. Nie można więc metodami statystycznymi uzasadnić wpływu zmiennych WAGA i WZROST na zmienną wiek (co jest zgodne z intuicją). Globalny test istotności: H model jest nieistotny statystycznie H 1 model jest istotny statystycznie Poziom istotności: α =,5 Ponieważ,17 <,5, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Odrzucam zatem hipotezę H i jako prawdziwą przyjmuję hipotezę alternatywną H 1. Wyznaczony model jest zatem istotny statystycznie. Wartości współczynnika korelacji jak i współczynnika determinacji wskazują iż nie istnieje silna zależność liniowa w danych. 15

16 Statystyki regresji Wielokrotność R,81451 R kwadrat,66343 Dopasowany R kwadrat,58863 Błąd standardowy 4,37682 Obserwacje 12 ANALIZA WARIANCJI df SS MS F Istotność F Regresja 2 339, ,921 8,8712,7445 Resztkowy 9 172, ,1565 Razem ,25 Błąd standardowy Wartośćp Górne 95,% Współczynniki t Stat Przecięcie 13,791 9, ,46384, , ,1294 7,52126 WIEK, ,88791,1524, , , ,57766 WAGA,63699, ,7685,2187, ,157482,11651 G 9 Test istotności parametrów modelu: H współczynnik jest równy (nieistotny) H 1 współczynnik nie jest równy (jest zatem istotny) Poziom istotności: α =,5 Ponieważ,2 <,5 zatem dla zmiennej WAGA odrzucam hipotezę H jako mało prawdopodobną i przyjmuję hipotezę alternatywną H 1. Dla zmiennej WIEK oraz dla wyrazu wolnego nie ma podstaw do odrzucenia hipotezy H. Globalny test istotności: H model jest nieistotny statystycznie H 1 model jest istotny statystycznie Poziom istotności: α =,5 Ponieważ,7 <,5, zatem przy założeniu prawdziwości hipotezy H zaszło zdarzenie bardzo mało prawdopodobne. Odrzucam zatem hipotezę H i jako prawdziwą przyjmuję hipotezę alternatywną H 1. Wyznaczony model jest zatem istotny statystycznie. Jako znaczące należy uznać uzyskane wartości błędów standardowych. Uzyskany model sprawia wrażenie nieczystego. 16

17 Trudności w analizie uzyskanych modeli wynikają ze specyfiki badanych danych. Mimo iż widoczne (zarówno na wykresach jak i we współczynnikach: korelacji liniowej Pearsona i determinacji) są zależności w danych, to szum w nich występujący (duża odległość niektórych pomiarów od linii trendu) zaburzają czystości budowanych modeli regresji liniowej. Wynika to z faktu, iż metoda najmniejszych kwadratów (wykorzystywana do budowania modelu regresji przez środowisko Microsoft Excel) jest wrażliwa na wartości odstające i przesuwa prostą regresji (interpretowaną jako linia trendu na wykresie rozrzutu) w kierunku samotników (outliers). Na zbiorze danych należałoby przeprowadzić procedurę usuwania osobliwości (outlier treatment) i powtórnie zbudować modele. Uzyskane rezultaty byłyby na pewno znacznie bardziej jednoznaczne. 17