WYKŁAD: Estymacja funkcji regresji I. Zaawansowane Metody Uczenia Maszynowego

Transkrypt

1 WYKŁAD: Estymacja funkcji regresji I Zaawansowane Metody Uczenia Maszynowego

2 Niech (X, Y ) R p+1 będzie wektorem losowym takim, że Y = f (X) + ε, gdzie ε- błąd losowy taki, że E(ε X = x) = 0 dla dowolnego x, w szczególności E(ε) = 0. f (x)- funkcja regresji Y względem X. Estymacja na podstawie próby losowej (X 1, Y 1 ),..., (X n, Y n ). X 1,..., X n - wielkości losowe, lub ciąg deterministyczny. W wykładzie o drzewach klasyfikacyjnych rozważana była krótko estymacja f (x) metodą drzew regresyjnych. Tu omówimy inne, podstawowe metody, estymacji funkcji regresji. Rozważymy: metody parametryczne estymacji funkcji regresji; metody nieparametryczne dla niskiego wymiaru X (p = 1, 2); metody nieparametryczne dla dużego wymiaru p przy przyjęciu pewnych ogólnych założeń o postaci f.

3 Metody parametryczne estymacji funkcji regresji Niech Y i = f (x i, α) + ε i, i = 1,..., n, ( ) gdzie ε 1,..., ε n -niezależne zmienne losowe o tym samym rozkładzie, Eε = 0 i x 1,... x n - wielkości deterministyczne. Postać f (, α)- znana, nieznany parametr α = (α 1,..., α q ). Jeśli f nie jest funkcją afiniczną x, to równanie ( ): równanie regresji nieliniowej. Przykłady Regresja wielomianowa f (x, α) = α o + α 1 x α q 1 x q 1 (sprowadzalna do regresji liniowej) równanie Cobba a-douglasa f (x, α) = α 0 x α1 1 x α1 2 (sprowadzalne do regresji liniowej) równanie Michaelisa-Mentena f (x, α) = α 0 x 1 /(α 1 + x 1 ).

4 Podstawowa metoda estymacji α: Metoda Nieliniowych Najmniejszych Kwadratów (MNNK). Próba (x 1, y 1 ),..., (x n, y n ). ˆα = argmin n (y i f (x i, α)) 2 := Q(α). i=1 Równanie punktu stacjonarnego Q α k = n i=1 2(y i f (x i, α)) f (x i, α) α k = 0, k = 1,..., q nie daje się z reguły rozwiązać explicite.

5 Iteracyjna metoda Gaussa-Newtona. Próba (x 1, y 1 ),..., (x n, y n )). α (0) = (α (0) 1,..., α(0) q ) - początkowy estymator. Rozwiniecie Taylora daje ( α = (α 1,..., α q ) ) f (x i, α) f (x i, α (0) ) + q k=1 f (x i, α) (α k α (0) k α ) i = 1,..., n k α=α (0) Zastępujemy f (x i, α) przez y i i otrzymujemy równanie regresji liniowej z parametrami η k = α k α (0) k i macierzą eksperymentu (x ik ) n q := ( f (x i,α) α k ). Po rozwiązaniu α=α (0) α (1) k = α (0) k + η k k = 1,..., q

6 Przykład Dane dotyczą kontrolowanej utraty wagi przez pacjenta w wieku 48 lat, wzrostu 193 cm, waga początkowa kg (zbiór wtloss, pakiet Mass). Weight Days Postulowana postać parametryczna Weight = β 0 + β 1 2 Days/θ + ε, β 0 -waga do osiągnięcia, β 1 -waga do stracenia, θ- czas potrzebny do stracenia β 1 /2.

7 Ustalamy wartości początkowe parametrów na podstawie ich interpretacji. Procedura realizująca MNNK: nls wtloss.st=c(b0=90,b1=95,th=120) wtloss.st<-nls(weight~b0+b1*2^(-days/th),data=wtloss, start=wtloss.st,trace=t) : : : : Stabilizacja wartości po trzech iteracjach. Estymowana waga docelowa - mniejsza niż początkowa wartość, większa wartość parametru th

8 Nieparametryczne estymatory funkcji regresji (małe p) Nie zakładamy nic o postaci funkcji regresji, poza zalożeniami o jej gładkości. estymator średniej ruchomej; estymatory jądrowe; estymatory lokalnie liniowe; funkcje sklejane (spline y): na przykładzie naturalnego spline u kubicznego. Średnia ruchoma z parametrem h = h n : Estymator f (x) = E(Y X = x) Średnia próbkowa wartości Y i odpowiadających x i takich, że x i x h. h-parametr wygładzający tego estymatora: h - obciążenie, h - wariancja.

9 Miary oceny estmyatorów regresji Podstawowe miary służace do wyboru parametru h MSEˆf (x) = E(ˆf (x, h) f (x)) 2 MISE(f ) = MSEˆf (x) dx W praktyce często bład kroswalidacyjny: n (Y i ˆf i (x i, h)) 2, i=1 gdzie ˆf i (x i, h) estymator funkcji regresji na podstawie próby z pominiętą obserwacją x i.

10 Estymator jądrowy funkcji regresji Uogólnienie estymator średniej ruchomej ˆf (x) = 1 n nh p i=1 K(x X i h )Y i 1 n nh p i=1 K(x X i h ) = n i=1 K(x X i h )Y i n i=1 K(x X i h ) Niech (X, Y ) ma gęstość f (x, y) i gęstości brzegowe f X (x) i f Y (y) Mianownik przybliża gęstość f X (x) zmiennej X w punkcie x Licznik przybliża wartość oczekiwaną Y dla X = x : s f (x, s) ds. Estymator jądrowy jest szczególnym przypadkiem estymatora lokalnie liniowego.

11 Estymator lokalnie liniowy Rozwiązanie problemu ważonych najmniejszych kwadratów, dla którego wielkość wag jest, regulowana odległością wartości x i od punktu x. Dla ustalonego x minimalizowana jest funkcja n K(x x i )/h n )(Y i β 0 (x) β 1 (x) T (x i x)) 2 i=1 ze względu na β 0 i β 0. K: gęstość prawdopodobieństwa na R p mająca maksimum w 0. ˆf loc (x) = ˆβ 0 (x) Funkcja realizująca w R estymator lokalnie wielomianowy jest funkcja loess. Dla wyboru parametru wygładzającego metoda kroswalidacji (walidacji krzyżowej) n h n,cv = argmin h (Y i ˆf i loc (x i)) 2, (1) -gdzie ˆf i loc (x i, y i ). i=1 jest estymatorem na podstawie próby z usuniętą obserwacją

12 Przykład Zbiory draft70yr.dat i draft71yr.dat: dane dotyczące losowań kolejności powszechnego poboru do wojska w czasie wojny w Wietnamie w latach 1970 i Losowania dotyczyły kapsułek z 366 możliwymi datami urodzin i polegały na kolejnym ich losowaniu bez zwracania. Metoda poboru: urodzeni w latach o pierwszej wylosowanej dacie urodzin byli wcielani w pierwszej kolejności, o drugiej wylosowanej dacie urodzin jako następni itd. Diagramy rozproszenia dla kolejnych lat (oś x numer daty urodzenia od 1 do 366, oś y numer losowania, w którym data została wylosowana). Do wykresów dopasowano estymator lokalnie liniowy i estymator MNK Rysunek: Diagramy rozproszenia dla lat 1970, 1971

13 Funkcje sklejane W ustalonej klasie funkcji szukamy rozwiązania problemu minimalizacji funkcji kryterialnej 1 n n (y i g(x i )) 2 + λ [g (2) (x)] 2 dx, i=1 gdzie λ jest pewną wybraną stałą dodatnią. Dla gładkiej i malo zmiennej funkcji g drugi człon, odgrywający rolę kary za zmienność, jest mały. Rozwiązaniem jest kubiczna funkcja sklejana, która między kolejnymi obserwacjami jest wielomianem trzeciego stopnia, tak dobranym, że cała krzywa ma drugą pochodną ciągłą.

14 Przykład Zbiór mcycle w MASS dotyczy symulowanych wypadkow motocyklowych.?mcycle daje opis zbioru. Estymujemy zależność accel od times. plot(accel~times,mcycle,main="spline") lines(smooth.spline(mcycle$times,mcycle$accel)) plot(accel~times,mcycle,main="loess") #uwaga -syntax tu jest troche inny! f=loess(accel~times,mcycle) lines(f$x,f$fitted) plot(accel~times,mcycle,main="ksmooth") lambda=(range(mcycle$times)[2]-range(mcycle$times)[1])/10 lines(ksmooth(mcycle$times,mcycle$accel,"normal",bandwidth=lambda)) # ksmooth realizuje tzw. estymator jądrowy regresji

15 spline times accel loess times accel Domyślny parametr wygładzający dla estymatora lokalnie wielomianowego za duży! Częsta sytuacja: dobór metodą prób i błędów lub metoda kroswalidacji.

16 Nieparametryczne estymatory funkcji regresji (duże p) Problem wymiarowości (curse of dimensionality) Przypuścmy, że estymujemy funkcję regresji na kwadracie [0, 1] [0, 1] i uznajemy, że żeby dobrze przybliżyć w środkach kwadratów o bokach dlugości 0.1, potrzebne jest 10 obserwacji wewnątrz każdego kwadratu. Potrzebujemy więc = 1000 obserwacji dla dobrej estymacji w tych punktach, w przestrzeni trójwymiarowej potrzebujemy analogicznie = 10000, w przestrzeni p-wymiarowej p obserwacji. Liczba obserwacji potrzebna do satysfakcjonującej estymacji rośnie potęgowo wraz z wymiarem. Metody przedstawione poprzednio nieskuteczne dla dużego p. Metoda: Przyjęcie założeń o strukturze funkcji regresji i sprowadzenie problemu do estymacji funkcji zależnych od jednej zmiennej.

17 Drzewa regresyjne Drzewa regresyjne: konstrukcja taka sama jak dla drzew klasyfikacyjnych CART, jedyna zmiana: w każdym węźle m szukamy podziału na m L i m R, aby SSE(m L ) + SSE(m R ) ( ) było minimalne. SSE(m L ) suma kwadratów rezyduów, gdy regresja dla m L estymowana jest przez średnią próbkową wartości zmiennej objaśnianej dla tego węzła itd. Minimalizacja ( ) równoważna maksymalizacji różnicy zmiany SSE przy przejściu od rodzica do dzieci. Przycinanie drzewa. Funkcja kryterialna: R α(t ) = SSE(T ) + α T T - liczba liści w drzewie T, α > 0. SSE(T ): suma SSE dla wszystkich liści. Estymator regresji: dla kostki związanej z liściem: średnia y w liściu (dzięki przycinaniu i prostej strukturze estymatora unikamy przeuczenia)

18 MARS Multivriate Addaptive Regression Splines Wady drzew regresyjnych: dopasowana funkcja - schodkowa; nie są skuteczne dla modeli addytywnych postaci y = f 1(x 1) f p(x p) + ε; niestabilność. Postać estymatora metodą drzewa regresyjnego: ĝ(x) = p c j B j (x), j=1 gdzie B j (x) = I (x N j ) = H(±(x v(l) t l )), H(s) = I {s 0}. Idea: zastąpić funkcje H(x) przez funkcje ciągłe kawałkami liniowe R p R postaci (±(x t) +) q + adaptacyjny dobór składników. l

19 Funkcje bazowe

20 Strategia MARS Rodzina funkcji bazowych (z R p R) C = {(x j t) +, (t x j ) +} j=1,...,p, t {x1j,...,x nj } węzły we wszystkich możliwych wartościach każdego predyktora. Model postaci g(x) = E(Y X = x) = β 0 + M β mh m(x), gdzie h m C lub jest iloczynem pewnej liczby funkcji z C. (β 0, β 1,..., β m) estymowane MNK. Problem: jak wybierać funkcje h m? m=1

21 Adaptacyjny dobór funkcji h m (analogiczny do wyboru podziału w węźle). Na pewnym etapie M mamy rodzinę M funkcji. Na następnym etapie szukamy funkcji postaci (h l M) h(x) + ˆβ 2M+1 h l (x)(x j t) + + ˆβ 2M+2 h l (x)(t x j ) + (h( ) kombinacja liniowa funkcji z M) dającej największy spadek SSE i dodajemy do M nowe funkcje bazowe h l (x)(x j t) + i h l (x)(t x j ) +. Kontynuujemy aż do iloczynów zadanego rzędu, później regresja krokowa (w tył).

22 W pierwszym kroku wybrana funkcja (x2 x2,k )+, w drugim (x1 x1,k )+

23

24 Model addytywny Przyjmujemy, że wektor losowy (Y, X) R p+1, gdzie X = (X 1,..., X p) spełnia Y = α + p f j (X j ) + ε, i=1 ( ) gdzie f j - nieznane, gładkie funkcje, ε- błąd losowy, taki, że Eε = 0. Model ( ) nadokreślony, dlatego przyjmujemy dla każdego j Ef j (X j ) = 0 α = EY. Algorytm dopasowania wstecznego (back-fitting). Oparty na obserwacji, że w modelu ( ) E(Y α f j (X j ) X k = x) = f k (x) j k

25 Algorytm dopasowania wstecznego krok 0: ˆα = ȳ, f [0] j 0, j = 1,..., p. Powtarzaj cyklicznie j = 1,..., p, 1,..., p,... aż do uzyskania maksymalnej różnicy przybliżenia w dwóch kolejnych iteracjach mniejszej od ε: f [k] j estymator nieparametryczny (np. spline) funkcji regresji f j uzyskany na podstawie danych postaci (x, y f [k 1] l j l (x)).

26 Przykład Rozpatrzmy zbior ozone zawierający dane o zależności między koncentracją ozonu i warunkami meteo w okolicy Los Angeles 03 -stezenie ozonu ibh-inversion base height, ibt-inversion top temperature. Rozpocznijmy od zwykłego modelu liniowego O3 temp+ibh+ibt olm=lm(o3~temp+ibh+ibt,ozone) summary(olm) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-06 *** temp < 2e-16 *** ibh e-06 *** ibt Signif. codes: 0 *** ** 0.01 * Residual standard error: on 326 degrees of freedom Multiple R-Squared: 0.652, Adjusted R-squared:

27 Model addytywny: procedura gam w bibliotece mgcv par(mfrow=c(2,2)) g=gam(o3~s(temp)+s(ibh)+s(ibt),data=ozone) plot(g) summary(g) Approximate significance of smooth terms: edf chi.sq p-value s(temp) < 2.22e-16 s(ibh) e-07 s(ibt) R-sq.(adj) = Deviance explained = 71.7% GCV score = Scale est. = n = 330 Procent wyjaśnionego odchylenia 0.71, R^2 w modelu liniowym 0.65 # pas ufności dla ibt zawiera prosta o wsp. 0, wyrzucamy ja z modelu, # dla dwu pozostałych wykres sugeruje zależność kawałkami liniową

28 s(temp,3.39) 10 5 s(ibh,4.17) temp ibh s(ibt,2.11) ibt

29 # Definiujemy odpowiednie funkcje bazowe: rhs=function(x,c) ifelse(x>c,x-c,0) lhs=function(x,c) ifelse(x<c,c-x,0) Rysunek sugeruje punkty łamania: 1000 dla ibh i 60 dla temp. olm1=lm(03~rhs(temp,60)+lhs(temp,60)+rhs(ibh,1000) +lhs(ibh,1000)) print(summary(olm1)) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** lhs(temp,60) ** rhs(temp,60) < 2e-16 *** lhs(ibh,1000) *** rhs(ibh,1000) e-13 *** Multiple R-Squared: , Adjusted R-squared: Dopasowanie lepsze niż modelu linowego i porównywalne z modelem addytywnym. Istotna wiedza na temat konieczności transformacji.

30 Metoda poszukiwania interesujących kierunków Model funkcji regresji f (x) = α + J f j (α jx), gdzie α = EY, α j są interesującymi kierunkami, które determinują zachowanie funkcji regresji f. J - nieznany parametr. Estymacja oparta na sekwencyjnym wyznaczaniu interesujących kierunków. Na j-tym etapie wyznaczmy kierunek α j, dający minimalną wartość wyrażenia j=1 n (r i ˆf (α x i )) 2 / i=1 gdzie r i : bieżące rezydua po znalezieniu j 1 kierunków, a ˆf - dowolny ustalony estymator jednowymiarowej funkcji regresji. Realizacja: funkcja ppr w pakiecie MASS. n i=1 r 2 i,