ANALIZA REGRESJI. Urszula Smyczyńska

Transkrypt

1 ANALIZA REGRESJI Urszula Smyczyńska

2 Plan wykładu Wprowadzenie Początki analizy regresji Regresja liniowa prosta Opis formalny, założenia Przykłady Regresja liniowa wieloraka Opis formalny Przykład Możliwe problemy Predykcja wzrostu dzieci leczonych GH regresja liniowa wieloraka model neuronowy

3 WPROWADZENIE Definicja Początki analizy regresji

4 Analiza regresji Regresja metoda statystyczna pozwalająca na badanie związku pomiędzy wielkościami danych i przewidywanie nieznanych wartości jednych wielkości na podstawie znanych wartości innych. Wikipedia

5 Analiza regresji Dane Założenia Dane testowe Konstruowanie modelu Testowanie modelu Nowe dane Użycie modelu

6 Francis Galton (1886). "Regression towards mediocrity in hereditary stature". The Journal of the Anthropological Institute of Great Britain and Ireland Początki analizy regresji Francis Galton badanie dziedziczności wzrostu i regresja w kierunku średniej (1885 r.). Galton zmierzył wzrosty 930 dorosłych i ich rodziców (205 par) w sumie 1340 osób. Analizował wpływ wzrostu rodziców na wzrost potomstwa. Wzrosty kobiet przeliczył na odpowiedniki męskie mnożąc przez 1,08. Francis Galton ( ) źródło: Wikipedia

7 Początki analizy regresji

8 Początki analizy regresji

9 Średni wzrost dzieci [cale] Początki analizy regresji średni wzrost rodziców Średni wzrost rodziców [cale]

10 Średni wzrost dzieci [cale] Początki analizy regresji y = 0,714 x + 19, Średni wzrost rodziców [cale]

11 REGRESJA LINIOWA PROSTA Opis formalny Przykład 1 konstrukcji modelu w Matlab ie Ocena jakości modelu Założenia i wymagania Przykład 2

12 Regresja liniowa prosta y i = b 0 + b 1 x i + e i zmienna zależna (objaśniana) w przykładzie wzrost dzieci zmienna niezależna (objaśniająca) w przykładzie wzrost rodziców

13 Regresja liniowa prosta y i = b 0 + b 1 x i + e i wyraz wolny w przykładzie 19,444 współczynnik regresji liniowej w przykładzie wzrost rodziców współczynniki regresji wyznaczane na podstawie danych

14 Regresja liniowa prosta y i = b 0 + b 1 x i + e i składnik losowy, reszta błąd modelu, zmienność, której model nie wyjaśnia

15 Oszacowanie parametrów y i = b 0 + b 1 x i e i = y i + e i Metoda najmniejszych kwadratów Minimalizacja następującego wyrażenia: n i=1 (y i y i ) 2 n = (y i b 1 x i b 0 ) 2 i=1 b 1 = n i=1 (x i x ) (y i y) n i=1 (x i x ) 2 b 0 = y b 1 x x, y - wartości średnie zmiennych x i y

16 Średni wzrost dzieci [cale] Jak to zrobić w Matlabie? % średnie wzrosty rodziców p=[ ]; % średnie wzrosty dzieci c=[ ]; figure() plot(p,c,'or') xlabel('średni wzrost rodziców [cale]') ylabel('średni wzrost dzieci [cale]') Średni wzrost rodziców [cale]

17 Jak to zrobić w Matlabie? mdl=fitlm(p,c); fitlm funkcja konstruująca model linowy na podstawie danych, posiada wiele różnych opcji, opisanych w pomocy mdl

18 Co otrzymujemy? oszacowanie współczynników modelu błąd oszacowania wyraz wolny ilość obserwacji zmiennych x i y

19 Co otrzymujemy? wartość testu badającego istotność współczynników prawdopodobieństwo testowe (p-wartość testu) Hipoteza zerowa (H 0 ) testu: wartość współczynnika wynosi 0 (współczynnik nieistotny). Hipoteza alternatywna (H 1 ) testu: wartość współczynnika jest różna od 0. H 1 przyjmujemy jeśli p jest mniejsze od przyjętego poziomu istotności α (np. 0,05).

20 Co otrzymujemy? błąd średniokwadratowy (RMSE) oszacowania y R 2 współczynnik determinacji statystyka oceniająca jakość całego modelu

21 Ocena jakości modelu Ocena istotności poszczególnych współczynników i całego modelu przy pomocy testów statystycznych. p<α Obliczenie błędu (najczęściej średniokwadratowego): RMSE = n i=1 (y i y i ) 2 n Obliczenie współczynnika determinancji R 2

22 Współczynnik determinacji Stosunek zmienności y wyjaśnionej przez model do zmienności całkowitej. n n (y i y) 2 = (y i y) e i i=1 i=1 i=1 n zmienność całkowita, całkowita suma kwadratów (CSK) zmienność niewyjaśniona, resztowa suma kwadratów (RSK) zmienność wyjaśniona, wyjaśniona suma kwadratów (WSK)

23 Współczynnik determinacji R 2 = WSK CSK Dla modelu liniowego R 2 = n i=1 n i=1 (y i y) 2 (y i y) 2 R 2 = 1 Ogólnie n i=1 n i=1 (y i y i ) 2 (y i y) 2 Źródło:

24 y Ocena jakości modelu plot(mdl) 73 y vs. x Data Fit Confidence bounds x1

25 Średni wzrost dzieci [cale] Ocena jakości modelu Dziedziczność wzrostu wg. Galtona dane model przedziały ufności y = 0,714 x + 19, Średni wzrost rodziców [cale]

26 Za: Andrzej Stanisz Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny, Kraków, 2007 Założenia i wymagania modelu Model jest liniowy względem parametrów. Liczba obserwacji jest większa lub równa liczbie parametrów do wyznaczenia. Składnik losowy (e i ) ma wartość oczekiwaną (średnią) 0. Wariancja składnika losowego (e i ) jest taka sama dla wszystkich obserwacji. Składniki losowe są ze sobą nieskorelowane. Składniki losowe (reszty) mają rozkład normalny.

27 Analiza reszt Przykład z danymi Galtona 4 Histogram reszt Rozkład normalny? Mała próba 9 punktów

28 Badanie rozkładu normalnego Testy statystyczne: testy Shapiro-Wilka (dla małych prób) test Kołmogorowa-Smirnowa test χ 2 Metody graficzne histogram q-q plot

29 Przykład Dane dotyczące zależności obwodu brzucha ciężarnej od zaawansowania ciąży. 610 pomiarów, 2 zmienne: zaawansowania ciąży w tygodniach i obwód brzucha w cm.

30 obwód brzucha [cm] Przykład tydzień ciąży load pregnancy weeks=extractfield(data, 'gawks'); ab=extractfield(data, 'ac'); weeks=double(weeks); ab=double(ab); figure() plot(weeks, ab,'.') xlabel('tydzień ciąży') ylabel('obwód brzucha [cm]')

31 obwód brzucha [cm] obwód brzucha [cm] Przykład - model dane model przedziały ufności mdl=fitlm(weeks, ab); figure() plot(mdl) xlabel('tydzień ciąży') ylabel('obwód brzucha [cm]') title('') legend('dane', 'model', 'przedziały ufności') dane model przedziały ufności 100 y = 10,34 x 55, tydzień ciąży tydzień ciąży

32 Przykład - model mdl

33 Przykład analiza reszt Rozkład reszt % wartości z modelu b=98; figure() hist(error, b) title('histogram reszt') % testowanie rozkładu normalnego reszt chi2gof [h, p]=chi2gof(error, 'NBins', b) Rozkład prawdopodobnie jest normalny, a średnia wynosi ok. 0. >> h=0 >> p= % średnia reszta mean(error) >> e-14

34 REGRESJA LINIOWA WIELORAKA Opis formalny Założenia Przykładowy model

35 Regresja wieloraka y i = β 0 + β 1 x 1i + β 2 x 2i β ki x ki + ε i kilka (tu: k) zmiennych niezależnych jedna próbka z doświadczenia Y = X β + ε y 1 y n = 1 x 11 x k1 1 x 1n x kn β 0 β k + ε 1 ε n reszty współczynniki modelu

36 Za: Andrzej Stanisz Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny, Kraków, 2007 Założenia Model jest liniowy względem parametrów. Liczba obserwacji jest większa lub równa liczbie parametrów do wyznaczenia. Składnik losowy (e i ) ma wartość oczekiwaną (średnią) 0. Wariancja składnika losowego (e i ) jest taka sama dla wszystkich obserwacji. Składniki losowe są ze sobą nieskorelowane. Składniki losowe (reszty) mają rozkład normalny. Żadna ze zmiennych niezależnych nie jest liniową kombinacją innych zmiennych niezależnych.

37 Przykład Badanie masy mózgu myszy w zależności od masy ciała i wielkości miotu. Zmienna zależna: masa mózgu. Zmienne niezależne: wielkość miotu, masa ciała. brainanatomy.tk

38 Przykład Współczynniki korelacji lsize bodywt brainwt lsize bodywt brainwt

39 Przykład pojedyncze zależności brainwt = lsize brainwt = bodywt

40 Przykład pełny model brainwt = bodywt lsize

41 Przykład pełny model

42 Przykład - analiza reszt Średnia: Test Shapiro-Wilka (H 0 : rozkład normalny): p value = Czyli rozkład jest normalny.

43 Przykład - analiza reszt

44 PROBLEMY Z REGRESJĄ LINIOWĄ

45 reszty reszty Co może się zdarzyć? (1) Histogram reszt x y z modelu

46 Dlaczego? (1) y = ln (x)

47 y Możliwe rozwiązania (1) Regresja nieliniowa x) a*log(x)); mdl2=fit(x',y',g) Linearyzacja x v (zmienna pomocnicza) v=log(x); v=ln(x)

48 reszty reszty Co może się zdarzyć? (2) Histogram reszt x y z modelu

49 y Dlaczego? (2) x

50 Co może się zdarzyć? (3) Nieistotne współczynniki

51 Rozwiązywanie problemów Problem Rozwiązanie Nieistotne współczynniki Usunięcie z modelu nieistotnych zmiennych Reszty nie mają średniej 0 Reszty są zależne od którejś ze zmiennych Zmienna wariancja reszt Reszty nie mają rozkładu normalnego Zależności nieliniowe Poszukać nieuwzględnionych zależności Sprawdzić czy zależności w modelu są liniowe Inna metoda budowania modelu Przy niewielkim odstępstwie można używać modelu Linearyzacja Model nieliniowy

52 PRZYKŁAD PREDYKCJA WZROSTU

53 Badany problem Predykcja skuteczności leczenia dzieci niskorosłych (z somatotropinową niedoczynnością przysadki) hormonem wzrostu (GH, ang. growth hormone) Po co to robimy? leczenie jest uciążliwe - polega na robieniu codziennie zastrzyków przez kilka lat, leczenie jest drogie, chcemy lepiej wiedzieć, co wpływa na jego skuteczność.

54 Niedobór wzrostu Wzrost wyróżniająco niski. Może mieć różne przyczyny. Może utrudniać normalne funkcjonowanie.

55 Hormon wzrostu Przysadka mózgowa Hormon wzrostu białko 191 aminokwasów Da

56 Leczenie hormonem wzrostu Odbywa się w specjalistycznych ośrodkach. Wymaga dokładnej kwalifikacji pacjentów. Trwa zwykle kilka (czasem kilkanaście lat). Może być refundowane.

57 Predykcja skuteczności leczenia Model linowy Regresja wieloraka (MLR, ang. multiple linear regression) Model neuronowy perceptron wielowarstwowy (MLP, ang. multilayer perceptron)

58 Zmienne Zależna: wzrost dziecka (150 przypadków) po zakończeniu leczenia. Niezależne: wzrost dziecka wzrosty rodziców wiek metrykalny wiek kostny płeć stadium dojrzewania poziom hormonów wzrostu ze standardowych testów poziom insulinopodobnego czynnika wzrostowego (IGF-I) poziom białka wiążącego IGF-I (IGFBP-3) Co z tego ma znaczenie? Niektóre zmienne przed zastosowaniem zostały przekształcone

59 Regresja liniowa Użyta metoda: regresja krokowa wsteczna. Regresja krokowa metoda konstruowania modelu regresyjnego. Istnieją 2 wersje: regresja krokowa postępująca polega na pojedynczym dodawaniu do modelu kolejnych zmiennych wyjaśniających, aby poprawić jego działanie. Zaczyna się od modelu z 1 zmienną niezależną. regresja krokowa wsteczna polega na usuwaniu kolejnych najmniej ważnych zmiennych objaśniających. Zaczynamy od modelu ze wszystkimi możliwymi zmiennymi.

60 Regresja liniowa Pierwotny model: wszystkie zmienne niezależne. Dużo zmiennych nieistotnych statystycznie

61 Regresja liniowa Eliminacja zmiennych nieistotnych

62 Regresja liniowa - model Ostateczny model FHSDS = hsds IGF I SDS HV hmsds hfsds Błąd (RMSE): 0.59 SD (3.5 cm) dla danych użytych do budowania modelu 0.63 SD (3.8 cm) dla danych testowych Współczynnik determinacji (R 2 ): 44% dla danych użytych do budowania modelu 36% dla danych testowych

63 Regresja liniowa analiza reszt Normal Probability Plot of Residuals 3 Include condition: v44='uczący' 2 Expected Normal Value ,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 Residuals

64 Regresja liniowa

65 Model neuronowy Sieci MLP Dane przekształcone (jak w modelu liniowym) lub nieprzekształcone. Brak konieczności spełnienia założeń modelu liniowego.

66 Model neuronowy MLP 5:5-3-1:1 RMSE: 3,6 cm dla danych uczących 3,7 cm dla danych testowych R 2 : 43% dla danych uczących 40% dla danych testowych RMSE: MLP 14:14-8-1:1 3,2 cm dla danych uczących 3,4 cm dla danych testowych R 2 : 86% dla danych uczących 86% dla danych testowych

67 PODSUMOWANIE

68