Estymacja w regresji nieparametrycznej

Transkrypt

1 Estymacja w regresji nieparametrycznej Jakub Kolecki Politechnika Gdańska 28 listopada 2011

2 1 Wstęp Co to jest regresja? Przykład regresji 2 Regresja nieparametryczna Założenia modelu Estymacja i jej charakterystyki 3 Estymacja liniowa Podstawowe informacje Estymator jądrowy Nadaraya-Watsona Wygładzający estymator jądrowy 4 Przykłady i program R

3 Metoda statystyczna pozwalająca na badanie związku pomiędzy wielkościami danych i przewidywanie na tej podstawie nieznanych wartości jednych wielkości na podstawie znanych wartości innych. Wikipedia

4 Metoda pozwalająca na badanie zależności funkcyjnej pomiędzy zmiennymi. Równanie Y = f(x ) + ε opisuje wpływ zmiennej objaśniającej X na zmienną objaśnianą Y. ε odpowiada błędowi losowemu i ma rozkład N (0, σ 2 ). Funkcja regresji jest warunkową wartością oczekiwaną Y pod warunkiem X.

5 Modele regresji Parametryczne Metoda: Estymowanie parametrów znanej funkcji. np. Szukanie współczynników wielomianu. Nieparametryczne Metoda: Estymowanie funkcji regresji f jako krzywej, czyli przedstawienie jej w postaci wykresu.

6 Chcemy, by zbiór n par obserwacji {(x 1, y 1 ),..., (x n, y n )} spełniał zależność y i = f(x i ) + ε i, gdzie ε i są błędami losowymi o rozkładzie N (0, σ 2 ). Założenia dotyczące f: supp(f) = (0, 1) f należy do klasy gładkości Höldera (f Θ(β, L, L 1 )) istnieje pochodna f rzędu β 1 f (β 1) (x 2 ) f (β 1) (x 1 ) L x 2 x 1, x 1, x 2 [0, 1] max 0 x 1 f(x) L 1

7 Niech ˆf n oznacza nieparametryczny estymator funkcji regresji f. Ponieważ ˆf n zależy od naszych danych ostatecznie przyjmie on postać: ˆf n (x) = ˆf n (x; (x 1, y 1 ),..., (x n, y n )), 0 x 1. Przyjmujemy dwie miary bliskości estymatora ˆf n i funkcji f: kwadratowa funkcja straty wyliczana w ustalnoym punkcie x 0 : λ = ( ˆf n (x 0 ) f(x 0 )) 2 funkcja straty w normie supremum: w( ˆf n f) = ˆf n f = sup ˆf n (x) f(x) 0 x 1 Funkcja ryzyka związana z modelem przyjmuje nastepującą postać: ] R n (f, ˆf n ) = E f [w( ˆf n f)

8 Definicja Estymator ˆf n nazywamy estymatorem liniowym funkcji f jeżeli dla dowolnego x [0, 1] istnieją takie wagi v n,i (x) (mogą być zależne również od danych z eksperymentu), i = 1,..., n, że ˆf n = n v n,i (x)y i. i=1 Wagi v n,i (x) opisują wpływ obserwacji y i na model w punkcie x.

9 Definicja Estymator liniowy nazywamy globalnym jeżeli zależy od wszystkich danych. Definicja Estymator liniowy nazywamy lokalnym jeżeli zależy (wagi v n,i róznią się od zera) tylko od danych, które znajdują się w sąsiedztwie x, to znaczy x i x h n, gdzie h n nazywamy rozpiętością okna. O h n zakłada się, że h n > 0, h n 0 oraz nh n, przy n

10 Estymator jądrowy Nadaraya-Watsona Rozważmy gładką albo kawałkami gładką funkcję K = K(u), u R. Załóżmy ponadto, że supp(k) = [ 1, 1] oraz K całkuje się do jedynki. Funkcję tej postaci nazywamy jądrem. Oto przykłady stosowanych jąder: jednostajne, K(U) = [ 1,1](u) trójkątne, K(U) = (1 u )1 [ 1,1] (u) podwójnie kwadratowe, K(U) = (1 u2 ) 2 1 [ 1,1] (u) Epanechnikowa, K(U) = 3 4 (1 u2 )1 [ 1,1] (u)

11 Estymator jądrowy Nadaraya-Watsona jest lokalnym estyamtoram liniowym. Dla określonej wartości parametru okna definiujemy wagi v n,i (x) wykorzystywane przy konstrukcji estyamtora liniowego jako ( xi x v n,i (x) = K h n ) / n ( ) xj x K po podstawieniu do wzoru na estymator liniowy otrzymujemy ˆf n = n ( xi x y i K i=1 h n ) / j=1 h n n ( ) xj x K j=1 h n

12 Przyklad Weźmy jądro jednostajne. Niech N(x, h n ) oznacza liczbę punktów z próby mieszczących się h n -sąsedztwie x. Wtedy wagi przyjmują postać: 1 v n,i (x) = N(x, h n ) 1 (x h n,x+h n)(x i ), natomiast estymator będzie wyglądał następująco: ˆf n = 1 N(x, h n ) n y i 1 (x hn,x+hn)(x i ). i=1

13 Wygładzający estymator jądrowy Twierdzenie Dla dowolnej funkcji f Θ(β, L, L 1 ) zachodzi rozwinięcie w szereg Taylora: f(x i ) = β 1 m=0 f (m) (x) (x i x) m + ρ(x i, x), 0 x i, x 1, m! gdzie f (m) oznacza m-tą pochodną funkcji f. Ponadto, dla x i oraz x spełniających x i x h n, wyraz ρ(x i, x) spełnia nierówność: ρ(x i, x) Lhβ n (β 1)!.

14 Definicja Wygładzający estymator jądrowy ˆf n stopnia β 1 dany jest wzorem ˆf n = 1 nh n n ( xi x y i K i=1 h n ), 0 < x < 1, gdzie wygładzające jądro K = k(u), u < 1, jest ograniczone, kawałkami gładkie i spełnia poniższe warunki normalizacji i ortogonalności 1 1 K(u)du = 1 oraz 1 1 u m K(u)du = 0, dla m = 1,..., β 1.

15