Regresja, a współliniowość zmiennych

Transkrypt

1 Regresja, a współliniowość zmiennych W przypadku gdy zmienne są ze sobą mocno skorelowane nie można użyć metody regresji wielorakiej. Ponieważ analiza jedynie korelacji zmiennych nie wskaże na związki więcej niż dwóch zmiennych, zatem sprawdzenia współliniowości dokonuje się najczęściej za pomocą czynników rozdęcia wariancji(ang. variance inflation factor). W celu ich policzenia konstruuje się modele regresji liniowej dla każdej zmiennej objaśniającej(zmiennymi objaśniającymi są dla niej pozostałe zmienne). Definiujemy: 1 VIF i = 1 Ri 2, gdzie R 2 i jestwspółczynnikiemdopasowaniadla i-tegomodelu regresji. Przyjmuje się, że wielkość tego czynnika powyżej 5 wymaga dalszych badań, a powyżej 10 oznacza już współliniowość pomiędzy badanymi zmiennymi(wartość 1 oznacza brak zależności lub występowanie w modelu jedynie jednej zmiennej objaśniającej).

2 Regresja składowych głównych Próbą uniknięcia problemu zależności zmiennych objaśniających jest regresja składowych głównych. Zamiast oryginalnych zmiennych objaśniających używamy składowych głównych, które są nieskorelowane. W praktyce używamy jedynie kilku pierwszych składowych, które w zadowalający sposób odzwierciedlają zmienność oryginalnych danych. Pojawia się jednak pewien problem. Ponieważ usuwamy część składowych nigdy nie mamy pewności, że nie usunęliśmy ważnej informacji a zostawiliśmy zaburzenie(wybrane składowe niekoniecznie są maksymalnie skorelowane ze zmienną objaśnianą).

3 Regresja częściowych najmniejszych kwadratów Próbą rozwiązania tego ostatniego problemu jest regresja częściowych najmniejszych kwadratów. W przypadku tej metody nowe zmienne objaśniające poszukiwane są w taki sposób, aby oprócz dobrego wyjaśniania zmienności oryginalnych danych, były maksymalnie skorelowane ze zmiennymi objaśnianymi. Metody tej używamy w przypadku gdy chcemy dokonać analizy zależności zbioru zmiennych objaśnianych od bardzo wielu zmiennych objaśniających. Szczególnie użyteczna bywa gdy liczba zmiennych jest większa od liczby obserwacji. Z tych względów szczególnie często bywa używana w chemometrii.

4 Regresja grzbietowa Inną próbą uniknięcia problemów ze zmiennymi skorelowanymi(lub ich dużą liczbą) jest regresja grzbietowa. Ponieważ problemy pojawiająsięwzwiązkuzniemożnościąodwróceniamacierzy X X, todojejprzekątnejdodajesiępewnąstałą λ 0.Dlatakiego zagadnienia otrzymuje się następujące rozwiązanie: ˆβ = (X X +λi) 1 X Y. Tego samego typu metodami są LASSO(ang. least absolute shrinkage and selection operator) oraz elastic net. Wszystkie te metody redukują wariancję estymatorów, aczkolwiek kosztem obciążenia.

5 Regresja grzbietowa arg min y Xβ 2 OLS, β arg min ˆβ y β Xβ 2 +λ 2 β 2 2 RR, = arg min y β Xβ 2 +λ 1 β 1 LASSO, arg min y β Xβ 2 +λ 2 β 2 2 +λ 1 β 1 Elasticnet. p Gdzie β 2 2 = βj 2 i β 1 = j=1 p β j. j=1

6 Regresja liniowa w R Odpowiednie procedury związane z metodami PCR i PLSR znajdują się w pakiecie pls. Możemy używać funkcji mvr lub (wygodniej) wrapperów na nią pcr oraz plsr. Funkcja vif pochodzi z pakietu DAAG i służy do wyznaczenia czynników rozdęcia wariancji. Omawiane metody mogą również zostać wykorzystane do redukcji wymiarowości danych i graficznego ich przedstawienia. Służą do tego funkcje scoreplot, loadingplot oraz corrplot. Regresja grzbietowa została zaimplementowana w pakiecie MASS(funkcja lm.ridge), a metoda lasso w pakiecie lars(funkcja lars).

7 wprowadzenie W wielu zagadnieniach model regresji liniowej nie wyraża dobrze zależności między zmiennymi. Musimy wówczas zrezygnować z funkcji liniowej i wykorzystać regresję nieliniową. Modele takie można podzielić na: modele nieliniowe względem zmiennych objaśniających, ale liniowe względem parametrów, modele nieliniowe zarówno względem zmiennych objaśniających jak i parametrów, dla których istnieje transformacja do modelu liniowego, modele ściśle nieliniowe, tzn. modele nieliniowe zarówno względem zmiennych objaśniających jak i parametrów, dla których nie istnieje transformacja do modelu liniowego.

8 przykład Model liniowy względem parametrów, ale nieliniowy względem zmiennych objaśniających. Y = α 0 +α 1 x 1 +α 2 x α 3 x 2 +ε Modele takie możemy w prosty sposób sprowadzić do modelu liniowego poprzez odpowiednie podstawienie: x 1 = x 1;x 2 = x2 1 ;x 3 = 1 x 2 otrzymując: Y = α 0 +α 1 x 1 +α 2 x 2 +α 3 x 3 +ε

9 przykład Model wykładniczo-hiperboliczny(nieliniowy zarówno względem zmiennych objaśniających jak i parametrów): Y = e α 0+ α 1 x 1 +ε. Modele takie sprowadzamy do modelu liniowego poprzez transformacje zarówno zmiennych objaśniających jak i zmiennej objaśnianej. Logarytmując obustronnie otrzymujemy: lny = α 0 + α 1 x 1 +ε. Y = lny;x 1 = 1 x 1 Y = α 0 +α 1 x 1 +ε.

10 przykład Model: Y = α 0 +α 1 e α 2x 1 +ε jest niesprowadzalny do modelu liniowego poprzez żadną transformację zarówno zmiennych objaśniających jak i zmiennej objaśnianej.

11 uwaga Jeśli tylko to możliwe zaleca się estymację parametrów regresji nieliniowej, a nie linearyzację modelu i estymację parametrów regresji liniowej.

12 w R Do wykonania regresji nieliniowej służy funkcja nls np. nls(y xˆa+b,start=list(a=2,b=3)), w której musimy podać punkty startowe. Wybór właściwych punktów startowych jest niezmiernie ważny, gdyż możemy utknąć w minimum lokalnym w przypadku startu w niewłaściwych punktach. W przypadku jeśli chcemy nałożyć ograniczenia na współczynniki określamy parametr algorithm na wartość port oraz parametry lower lub/i upper). Istnieje cała gama modeli, do których możemy próbować dopasować nasze dane, zaczynają się one od liter SS np. SSgompertz czy SSlogis. Mają one taką zaletę, że same określają wartości startowe parametrów.

13 w R Funkcja Równanie SSasymp y = a+(b a)e ec x SSasympOff y = a(1 e eb (x c) ) SSasympOrig y = a(1 e ebx ) SSbiexp SSfol y = ae ebx +ce ed x y = x 1e a+b c e a e b ( SSfpl y = a+ b a 1+e (c x)/d SSgompertz y = ae bcx SSlogis y = a 1+e (b x)/c SSmicmen y = ax b+x SSweibull y = a be ec x d e ea x 2 e eb x 2 )

14 w R Jeśli posiadamy już model, to powinniśmy zastanowić się czy spełnione są założenia dotyczące tego modelu. Bardzo pomocne są w tym przypadku funkcje nlsresiduals oraz test.nlsresiduals z pakietu nlstools. Pierwsza z nich przygotowuje dane do wykresów diagnostycznych, które możemy wyświetlić funkcją plot. Druga natomiast funkcja testuje czy rezydua mają rozkład normalny i czy są losowe.

15 Regresja nieparametryczna Czasami nie możemy zaproponować żadnej sensownej funkcji regresji lub też interesuje nas jedynie wygląd. W takiej sytuacji możemy wyznaczyć linię trendu stosując nieparametryczne metody regresji: Lokalne wygładzanie wielomianami niskiego stopnia. Dzielimy zbiór wartości funkcji na rozłączne przedziały i na każdym kawałku dopasowujemy regresję wielomianową(najczęściej trzeciego stopnia). Wygładzanie jądrowe. Regresja najbliższych sąsiadów. Wybierany jest parametr k, który wskazuje jaka część danych ma posłużyć do budowy modeluregresjiliniowej.wceluocenywartości x i używanesą obserwacje x i k/2,...,x i,...,x i+k/2. Ważona regresja lokalnie wielomianowa. Obserwacje otrzymująwagi(bliższewiększe,dalszemniejsze),aocena x i otrzymywana jest za pomocą odpornej regresji ważonej.

16 Regresja nieparametryczna w R W R metody lokalne można uzyskać za pomocą funkcji: smooth.spline(sześcienne funkcje sklejane, jest to wygładzona wersja funkcji spline); supsmu(regresja najbliższych sąsiadów); lowess(ważona regresja lokalnie wielomianowa); scatter.smooth (punkty oraz trend, modyfikacja funkcji lowess); ksmooth (wygładzanie jądrowe)

17 wprowadzenie W wielu sytuacjach nie możemy założyć, że zmienna objaśniana jest ciągła. W takiej sytuacji powinniśmy wykorzystać uogólnione modele liniowe, w których na zmienną zależną nakłada się rozkład (dopuszczalne są rozkłady pochodzące z tzw. wykładniczej rodziny rozkładów: np. rozkład normalny, wykładniczy, gamma, Poissona, dwumianowy, geometryczny oraz wielomianowy). Poza tym, aby uwzględnić również nieliniowy charakter zależności wprowadza się tzw. funkcję wiążącą h, która ma następującą własność: h(e(y X)) = Xβ. Zauważmy, że jeśli funkcja wiążąca jest identycznością(h(x) = x), a zmienna objaśniana ma rozkład normalny, to model ten sprowadza się do modelu regresji liniowej. Szczególnym i bardzo ważnym przykładem uogólnionego modelu liniowego jest regresja logistyczna.

18 wprowadzenie Formalnie w tym przypadku zakładamy, że Y b(p). Oznacza, to, że zmienna objaśniana przyjmuje tylko dwie wartości(najczęściej jest to zmienna binarna). Modelujemy prawdopodobieństwo wystąpienia sukcesu p. Jako funkcja wiążąca używana jest funkcja logitowa: logit(p) = ln p 1 p. Prawdopodobieństwo p jest następnie szacowane jako: p = 1 1+exp( Xβ).

19 wprowadzenie

20 wprowadzenie

21 iloraz szans Interpretacji podlega iloraz szans(ang. odds ratio), który można wyrazić jako ln(or) = ln p 1 p = β 0 +β 1 X β k X k. Jeżeli e β j >1,tozmienna X j działastymulująconamożliwość wystąpienia badanego zjawiska, w przeciwnym razie działa ograniczająco(jeżeli e β j =1,tozmienna X j niemawpływuna badane zjawisko). Jakość dopasowania można jak poprzednio zbadać za pomocą kryterium informacyjnych, jednak w przypadku regresji logistycznej bardziej efektywne są inne kryteria.

22 iloraz szans Pierwszym z nich są krzywe charakterystyczne. Na model regresji logistycznej można spojrzeć jak na model, który służy do zdiagnozowania dwóch stanów: dobry/zły. Model liczy prawdopodobieństwa stanu dobry. Wybieramy pewien próg 0 < t <1,jeżeliprawdopodobieństwouzyskanezmodelujest powyżej t diagnozujemy stan jako dobry, w przeciwnym razie jest zły. Mamy zatem cztery możliwości: TP(ang. true positive) model przewidział dobry oraz zaobserwowano dobry, TN(ang. true negative) model przewidział zły oraz zaobserwowano zły, FP(ang. false positive) model przewidział dobry oraz zaobserwowano zły, FN(ang. false negative) model przewidział zły oraz zaobserwowano dobry.

23 iloraz szans Przewidziano Zaobserwowano dobry zły dobry TP FP zły FN TN

24 iloraz szans Jeśliterazprzez n g oznaczymyliczbęzaobserwowanych dobry,a przez n b zły,totpr =TP/n g,tnr =TN/n b,fpr=1 TNR oraz FNR= 1 TPR. Krzywa ROC jest to wykres współczynnika TPR, na osi pionowej przeciwko współczynnikowi FPR na osi poziomej dla wszystkich wartości progowych t. Krzywa ROC jest to zatem rodzina punktów(fpr, TPR) obrazująca zależność między zdolnością wyróżniania przypadków pozytywnych i negatywnych dla różnych parametrów modelu. Aby teraz zmierzyć jakość modeluliczysiępolepodkrzywąroc.imwielkośćtegopola bliższa 1 tym zdolność modelu do przewidywania stanu dobry lepsza, pole bliskie 0,5 oznacza model bardzo słaby(losowy).

25 iloraz szans

26 w R Uogólnione modele liniowe analizujemy za pomocą funkcji glm, w której możemy poprzez parametr family określić rodzinę rozkładów oraz funkcję wiążącą. Aby wykonać regresję logistyczną, należy w funkcji glm określić parametr family jako binomial, natomiast aby wykonać regresję Poissona należy określić go jako poisson. Do analizy krzywych charakterystycznych wykorzystujemy pakie ROCR.