Estymacja gęstości prawdopodobieństwa metodą selekcji modelu

Transkrypt

1 Estymacja gęstości prawdopodobieństwa metodą selekcji modelu M. Wojtyś Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska Wisła, 7 grudnia 2009

2 Wstęp Próba losowa z rozkładu prawdopodobieństwa o nieznanej gęstości f : X 1, X 2,..., X n f Niech M = {f θ : θ R m } będzie m-wymiarowym modelem parametrycznym, gdzie funkcje f θ to gęstości p-stwa dane w pewnej ustalonej postaci.

3 Wstęp Próba losowa z rozkładu prawdopodobieństwa o nieznanej gęstości f : X 1, X 2,..., X n f Niech M = {f θ : θ R m } będzie m-wymiarowym modelem parametrycznym, gdzie funkcje f θ to gęstości p-stwa dane w pewnej ustalonej postaci.

4 Wstęp Przykład 1. Liniowe kombinacje funkcji ortogonalnych: f θ (x) = m θ j b j (x), gdzie b 1, b 2,..., b m jest układem ortogonalnym w zadanej przestrzeni funkcyjnej. j=1 Przykład 2. Rodzina wykładnicza rozkładów: gdzie c(θ) jest stałą normującą. m f θ (x) = c(θ) exp{ θ j b j (x)}, j=1

5 Wstęp Przykład 1. Liniowe kombinacje funkcji ortogonalnych: f θ (x) = m θ j b j (x), gdzie b 1, b 2,..., b m jest układem ortogonalnym w zadanej przestrzeni funkcyjnej. j=1 Przykład 2. Rodzina wykładnicza rozkładów: gdzie c(θ) jest stałą normującą. m f θ (x) = c(θ) exp{ θ j b j (x)}, j=1

6 Wstęp Dla γ 2 {1,...,m} zdefiniujmy model M γ M = {f θ : θ R m } taki, że M γ = {f θ ( ) M : θ j = 0 dla j / γ}. Oczywiście M {1,...,m} = M. Problem selekcji modelu polega na wybraniu na podstawie próby losowej jednego z 2 m powyższych modeli w celu estymacji f.

7 Wstęp Dla γ 2 {1,...,m} zdefiniujmy model M γ M = {f θ : θ R m } taki, że M γ = {f θ ( ) M : θ j = 0 dla j / γ}. Oczywiście M {1,...,m} = M. Problem selekcji modelu polega na wybraniu na podstawie próby losowej jednego z 2 m powyższych modeli w celu estymacji f.

8 Wstęp Metody selekcji modelu mają za zadanie wybrać model, w którym możliwe jest uzyskanie estymatora, który jednocześnie: jest dopasowany do próby losowej X 1,..., X n, odzwierciedla ogólne własności rozkładu f. Szukamy zatem najprostszego modelu, w obrębie którego możliwa jest dobra aproksymacja f.

9 Wstęp Przykład Jeśli f L 2 ([a, b]), to można ją rozwinąć w szereg Fouriera w zadanej bazie funkcji: f (x) = θ j b j (x). j=1 Wtedy wybór modelu polega na znalezieniu skończonego podzbioru γ N dającego dobry estymator postaci ˆf (x) = j γ ˆθ j b j (x) w modelu M γ.

10 Przykłady metod selekcji ( AIC: bazuje na odległości Kullbacka-Leiblera E f straty. ˆγ = arg max γ 2 {1,...,m} AIC(M γ ), log fˆf ) jako funkcji gdzie AIC(M γ ) = log n ˆf γ (X i ) γ, gdzie ˆf γ to estymator największej wiarogodności dla f w modelu M γ. BIC: ˆγ = arg max γ 2 {1,...,m} BIC(M γ ), gdzie BIC(M γ ) = log n i=1 i=1 ˆf γ (X i ) γ log n 2.

11 Przykłady metod selekcji ( AIC: bazuje na odległości Kullbacka-Leiblera E f straty. ˆγ = arg max γ 2 {1,...,m} AIC(M γ ), log fˆf ) jako funkcji gdzie AIC(M γ ) = log n ˆf γ (X i ) γ, gdzie ˆf γ to estymator największej wiarogodności dla f w modelu M γ. BIC: ˆγ = arg max γ 2 {1,...,m} BIC(M γ ), gdzie BIC(M γ ) = log n i=1 i=1 ˆf γ (X i ) γ log n 2.

12 Progowanie Niech ˆθ będzie estymatorem parametru θ R m w modelu M opartym o próbę X 1,..., X n. Dla zadanego ε n > 0 oraz stałych C j > 0 zdefiniujmy zbiór Γ n = {j : ˆθ j > C j ε n, 1 j m}. Wówczas jeśli f jest postaci f θ 0 dla pewnego θ 0 R, to Γ n przybliża zbiór γ := {j : θj 0 > 0}, a tym samym przybliża najmniejszy model, do którego należy nieznane f θ 0.

13 Zgodność reguły wyboru modelu Twierdzenie Załóżmy, że gdzie k < lub k =. Jeśli: to f (x) = c(θ) exp{ k j=1 θ jb j (x)}, max 1 j m b j = O(m ω ) dla pewnego ω 0, j=m+1 θ jb j = O(m r ) gdy m, gdzie r > ω, n/m 2+4ω n oraz nε 2 n/m 1+2ω n gdy n, lim inf n m n k, ε n 0, C j C j+1 dla j N, lim P(Γ n = γ) = 1, gdy k <. n Jeśli dodatkowo θ j > (C 1 + C j )ε n dla j γ m := γ {1,..., m}, to lim P(Γ n = γ m ) = 1, gdy k =. n

14 Zgodność estymatora postselekcyjnego Twierdzenie Załóżmy, że gdzie k < lub k =. Jeśli: to f (x) = c(θ) exp{ k j=1 θ jb j (x)}, max j=1,...,m b j = O(m ω ) dla pewnego ω 0, j=m+1 θ jb j = O(m r ) gdy m, gdzie r > ω, n/m 2+4ω n j N, i m n gdy n, ε n 0, C j C j+1 dla KL(f ˆf n ) P 0, gdy n, gdzie ˆf n jest estymatorem największej wiarogodności w modelu wykładniczym wybranym metodą progowania.

15 Zgodność Przy podobnych założeniach można wykazać, że jeśli gdzie k < lub k =, to f ˆf L 2 f (x) = k j=1 θ jb j (x), P 0, gdy n. Ponadto P(Γ n = γ) 1, jeśli tylko lim n m n k.

16 Wybór progu Próg C j ε n w definicji: Γ n = {j : ˆθ j > C j ε n, 1 j m}. jest deterministyczny. Możemy jednak rozważać progi zależne od danych. Na przykład: C j := ˆθ m C j lub C j := R j = ranga ˆθ j wśród { ˆθ 1,..., ˆθ m } przy uporządkowaniu malejącym (tzn. element największy ma rangę równą 1). Dla tak zdefiniowanych reguł selekcji tezy twierdzeń o zgodności są prawdziwe przy podobnych założeniach.

17 Przykłady obliczeniowe - trafność wyboru modelu θ Γ 1 Γ 2 Γ 3 Γ 4 (0, 0.1, 0, 0, 0) (0, 0.2, 0, 0, 0) (0, 0.4, 0, 0, 0) (0, 0.6, 0, 0, 0) (0, 0.8, 0, 0, 0) (0, 1.0, 0, 0, 0) Γ 1 = {j : ˆθ j > jε n, 1 j m}, Γ 2 = {j : ˆθ j > j ˆθ m ε n, 1 j m}, Γ 3 = {j : ˆθ j > R j ε n, 1 j m}, Γ 4 = {j : ˆθ j > R j ˆθ m ε n, 1 j m}, ε n = log n/n, n = 100, m = 5.

18 Przykłady obliczeniowe - trafność wyboru modelu θ Γ 1 Γ 2 Γ 3 Γ 4 (0, 0, 0.1, 0, 0) (0, 0, 0.2, 0, 0) (0, 0, 0.4, 0, 0) (0, 0, 0.6, 0, 0) (0, 0, 0.8, 0, 0) (0, 0, 1.0, 0, 0) Γ 1 = {j : ˆθ j > jε n, 1 j m}, Γ 2 = {j : ˆθ j > j ˆθ m ε n, 1 j m}, Γ 3 = {j : ˆθ j > R j ε n, 1 j m}, Γ 4 = {j : ˆθ j > R j ˆθ m ε n, 1 j m}, ε n = log n/n, n = 100, m = 5.

19 Przykłady obliczeniowe - MISE(ˆf ) θ S Γ 1 Γ 2 Γ 3 Γ 4 (0, 0.1, 0, 0, 0) (0, 0.2, 0, 0, 0) (0, 0.4, 0, 0, 0) (0, 0.6, 0, 0, 0) (0, 0.8, 0, 0, 0) (0, 1.0, 0, 0, 0) S - reguła Schwarza, Γ 1 = {j : ˆθ j > jε n, 1 j m}, Γ 2 = {j : ˆθ j > j ˆθ m ε n, 1 j m}, Γ 3 = {j : ˆθ j > R j ε n, 1 j m}, Γ 4 = {j : ˆθ j > R j ˆθ m ε n, 1 j m},

20 Przykłady obliczeniowe - MISE(ˆf ) θ S Γ 1 Γ 2 Γ 3 Γ 4 (0, 0, 0.1, 0, 0) (0, 0, 0.2, 0, 0) (0, 0, 0.4, 0, 0) (0, 0, 0.6, 0, 0) (0, 0, 0.8, 0, 0) (0, 0, 1.0, 0, 0) S - reguła Schwarza, Γ 1 = {j : ˆθ j > jε n, 1 j m}, Γ 2 = {j : ˆθ j > j ˆθ m ε n, 1 j m}, Γ 3 = {j : ˆθ j > R j ε n, 1 j m}, Γ 4 = {j : ˆθ j > R j ˆθ m ε n, 1 j m},

21 Przykłady obliczeniowe - MISE(ˆf ) MISE θ 2 linia szara - MISE(ˆf ) dla reguły Γ 3, linia przerywana - MISE(ˆf ) dla reguły ˆk := max Γ 3.

22 Przykłady obliczeniowe - MISE(ˆf ) MISE θ 2 linia szara - MISE(ˆf ) dla reguły Γ 3, linia przerywana - MISE(ˆf ) dla reguły ˆk := max Γ 3, linia czerwona - MISE(ˆf ) dla reguły Schwarza.