Estymatory regresji rangowej oparte na metodzie LASSO

HTML
DOWNLOAD

Wielkość: px

Rozpocząć pokaz od strony:

Download "Estymatory regresji rangowej oparte na metodzie LASSO"

Joanna Świątek
7 lat temu
Przeglądów:

1 Estymatory regresji rangowej oparte na metodzie LASSO Wojciech Rejchel UMK Toruń Wisła 2013

2 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R

3 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R X, X - obserwowane wektory cech Y, Y - nieznane zmienne losowe

4 z jest lepszy od z, jeśli y > y

5 z jest lepszy od z, jeśli y > y Reguła rangująca f : X X R

6 z jest lepszy od z, jeśli y > y Reguła rangująca f : X X R jeśli f (x, x ) > 0, to przewidujemy y > y

7 z jest lepszy od z, jeśli y > y Reguła rangująca f : X X R jeśli f (x, x ) > 0, to przewidujemy y > y φ : R R - funkcja straty

8 z jest lepszy od z, jeśli y > y Reguła rangująca f : X X R jeśli f (x, x ) > 0, to przewidujemy y > y φ : R R - funkcja straty Minimalizacja ryzyka z funkcją straty φ Q(f ) = E φ [ sign(y Y ) f (X, X ) ]

9 z jest lepszy od z, jeśli y > y Reguła rangująca f : X X R jeśli f (x, x ) > 0, to przewidujemy y > y φ : R R - funkcja straty Minimalizacja ryzyka z funkcją straty φ Q(f ) = E φ [ sign(y Y ) f (X, X ) ] f = arg min f F Q(f )

10 Z 1 = (X 1, Y 1 ),..., Z n = (X n, Y n ) - niezależne kopie Z

11 Z 1 = (X 1, Y 1 ),..., Z n = (X n, Y n ) - niezależne kopie Z Minimalizacja ryzyka empirycznego Q n (f ) = 1 n(n 1) 1 i j n φ [ sign(y i Y j ) f (X i, X j )]

12 Z 1 = (X 1, Y 1 ),..., Z n = (X n, Y n ) - niezależne kopie Z Minimalizacja ryzyka empirycznego Q n (f ) = 1 n(n 1) 1 i j n φ [ sign(y i Y j ) f (X i, X j )] ˆf = arg min f F Q n(f ), F F

13 0 1 funkcja straty φ(t) = I (,0) (t)

14 0 1 funkcja straty φ(t) = I (,0) (t) Ryzyko Q(f ) = P [ sign(y Y ) f (X, X ) < 0 ]

15 0 1 funkcja straty φ(t) = I (,0) (t) Ryzyko Q(f ) = P [ sign(y Y ) f (X, X ) < 0 ] Najlepsza reguła rangująca f :

16 0 1 funkcja straty φ(t) = I (,0) (t) Ryzyko Q(f ) = P [ sign(y Y ) f (X, X ) < 0 ] Najlepsza reguła rangująca f : jeśli P(Y > Y X, X ) 1 2, to Z jest lepszy od Z

17 φ(x) = max(0, 1 x) = (1 x) +

18 φ(x) = max(0, 1 x) = (1 x) +

19 Kara LASSO F = {f θ (x, x ) = θ T (x x ) : θ Θ R m}

20 Kara LASSO F = {f θ (x, x ) = θ T (x x ) : θ Θ R m} Q n (f θ ) = 1 n(n 1) [ 1 sign(y i Y j ) f θ (X i, X j )] + i j

21 Kara LASSO F = {f θ (x, x ) = θ T (x x ) : θ Θ R m} Q n (f θ ) = 1 n(n 1) ˆf = arg min θ [ 1 sign(y i Y j ) f θ (X i, X j )] + i j Q n (f θ ) + λ n m θ k k=1

22 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R

23 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R ψ 1,..., ψ m : X X R - funkcje bazowe

24 Z = (X, Y ), Z = (X, Y ) - niezależne wektory losowe o tym samym rozkładzie P X, X X R m, Y, Y R ψ 1,..., ψ m : X X R - funkcje bazowe F = { f θ (x, x ) = } m θ k ψ k (x, x ) : θ Θ R m k=1

25 Minimalizacja ryzyka z funkcją straty φ Q(f ) = E φ [ f (X, X ), Y, Y ] f = arg min f F Q(f )

26 Minimalizacja ryzyka z funkcją straty φ Q(f ) = E φ [ f (X, X ), Y, Y ] f = arg min f F Q(f ) Minimalizacja ryzyka empirycznego z karą LASSO ˆf = arg min Q n(f θ ) + λ n f θ F m θ k k=1

27 Minimalizacja ryzyka z funkcją straty φ Q(f ) = E φ [ f (X, X ), Y, Y ] f = arg min f F Q(f ) Minimalizacja ryzyka empirycznego z karą LASSO Q n (f θ ) = ˆf = arg min Q n(f θ ) + λ n f θ F 1 n(n 1) 1 i j n m θ k k=1 φ [ f θ (X i, X j ), Y i, Y j ]

28 ψ k (x, x ) = x k x k, x, x R m

29 ψ k (x, x ) = x k x k, x, x R m φ [ f θ (x, x ), y, y ] = [ 1 sign(y y ) f θ (x, x ) ] +

30 N(θ) = #{k : θ k 0}

31 N(θ) = #{k : θ k 0} { } arg min Q(f θ ) Q( f ) + γn(θ) f θ F

32 N(θ) = #{k : θ k 0} { } arg min Q(f θ ) Q( f ) + γn(θ) f θ F Tarigan, van de Geer (2006), van de Geer (2008), Bickel, Ritov, Tsybakov (2009)

33 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną

34 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną fθ F x,x f θ (x, x ) K

35 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną fθ F x,x f θ (x, x ) K 1 k m x,x ψ k (x, x ) C n

36 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną fθ F x,x f θ (x, x ) K 1 k m x,x ψ k (x, x ) C n ψ(x, x ) = [ψ 1 (x, x ),..., ψ m (x, x )] T

37 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną fθ F x,x f θ (x, x ) K 1 k m x,x ψ k (x, x ) C n ψ(x, x ) = [ψ 1 (x, x ),..., ψ m (x, x )] T Σ = E ψ(x, X )ψ T (X, X )

38 Założenia funkcja straty φ jest wypukła ze względu na pierwszą zmienną fθ F x,x f θ (x, x ) K 1 k m x,x ψ k (x, x ) C n ψ(x, x ) = [ψ 1 (x, x ),..., ψ m (x, x )] T Σ = E ψ(x, X )ψ T (X, X ) Najmniejsza wartość własna ρ jest dodatnia

39 Z prawdopodobieństwem przynajniej 1 1 m Cn Q(ˆf ) Q( f ) inf f θ F { Q(f θ ) Q( f ) + 4λ n K } N(θ) +2λ n K, ρ

40 Z prawdopodobieństwem przynajniej 1 1 m Cn Q(ˆf ) Q( f ) inf f θ F { Q(f θ ) Q( f ) + 4λ n K } N(θ) +2λ n K, ρ gdzie λ n = 18 2LC n log m n

41 Z prawdopodobieństwem przynajniej 1 1 m Cn Q(ˆf ) Q( f ) inf f θ F { Q(f θ ) Q( f ) + 4λ n K } N(θ) +2λ n K, ρ gdzie m n d dla d 1 λ n = 18 2LC n log m n

42 { } f θ = arg min Q(f θ ) Q( f ) + γ n N(θ) f θ F

43 { } f θ = arg min Q(f θ ) Q( f ) + γ n N(θ) f θ F P ( ) ˆθ θ 1 M(n, f θ, f ) 1...

44 Bickel, P. J., Ritov, Y., Tsybakov, A., B. (2009). Simultaneous analysis of Lasso and Dantzig selector. Annals of Statistics 37, Tarigan, B., van de Geer, S. (2006). Classifiers of support vector machine type with l 1 penalty. Bernoulli 12, Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B 58, van de Geer, S. (2008). High-dimensional generalized linear models and the Lasso. Annals of Statistics 36,

Podobne dokumenty

Własności estymatorów regresji porządkowej z karą LASSO

Własności estymatorów regresji porządkowej z karą LASSO Uniwersytet Mikołaja Kopernika w Toruniu Uniwersytet Warszawski Badania sfinansowane ze środków Narodowego Centrum Nauki przyznanych w ramach finansowania