Selekcja modelu liniowego i predykcja metodami losowych podprzestrzeni

Transkrypt

1 Selekcja modelu liniowego i predykcja metodami losowych podprzestrzeni Paweł Teisseyre Instytut Podstaw Informatyki, Polska Akademia Nauk Paweł Teisseyre Selekcja modelu liniowego i predykcja 1 / 29

2 Plan prezentacji 1 Wysoko-wymiarowy model regresji liniowej. 2 Dwustopniowe procedury wyboru modelu. 3 Metoda Losowych Podprzestrzeni (RSM). 4 Metoda RSM + kryteria informacyjne. Paweł Teisseyre Selekcja modelu liniowego i predykcja 2 / 29

3 Motywacja Motywacja- modele 1 Regresja liniowa to najpopularniejszy model w sytuacji, gdy zmienna odpowiedzi jest ilościowa. 2 Wybrane obszary zastosowań: bioinformatyka (dane mikro-macierzowe, QTL, GWAS, QSAR), finanse, nauki społeczne i ekonomiczne (modelowanie wskaźników makro i mikro-ekonomicznych), analiza danych tekstowych (przewidywanie cech osób na podstawie wypowiedzi), i wiele innych... Paweł Teisseyre Selekcja modelu liniowego i predykcja 3 / 29

4 Motywacja Motywacja- wybór modelu Dlaczego selekcja modelu (u nas: pewnego podzbioru zmiennych objaśniających) jest ważna? odkrycie nieznanej zależności funkcyjnej na podstawie dostępnych danych, wybór modelu o dobrych własnościach predykcyjnych, ocena istotności zmiennych objaśniających. Paweł Teisseyre Selekcja modelu liniowego i predykcja 4 / 29

5 Wysoko-wymiarowy model regresji liniowej. Model regresji liniowej Obiekty opisane parą (x, y), gdzie: y R - zmienna odpowiedzi, x R p - wektor atrybutów. W modelu liniowym zakładamy, że: gdzie: y = x β + ε, β R p jest wektorem parametrów, ε błędem losowym o rozkładzie N(0, σ 2 ). Uwaga: Dopuszczamy sytuację: p n. Paweł Teisseyre Selekcja modelu liniowego i predykcja 5 / 29

6 Wysoko-wymiarowy model regresji liniowej. Selekcja zmiennych Minimalny model prawdziwy: t := {k : β k 0}, t.j. dla regresji liniowej: minimalny model taki, że E(y x) = x tβ t, gdzie: dolny indeks t oznacza wybór współrzędnych odpowiadających modelowi t. Cel: Identyfikacja zbioru t na podstawie niezależnych obserwacji (x i, y i ), i = 1,..., n. Paweł Teisseyre Selekcja modelu liniowego i predykcja 6 / 29

7 Dwustopniowe procedury wyboru modelu. Procedury dwustopniowe wyboru modelu 1 Zmienne {1,..., p} są porządkowane wg pewnej miary istotności: W i1 W i2... W ip. 2 Wybieramy model z zagnieżdżonej rodziny: M nested := {{0}, {i 1 }, {i 1, i 2 },..., {i 1,..., i p }} Uwaga: W drugim kroku sprawdzamy p + 1 modeli zamiast 2 p (przy pełnym przeszukiwaniu). Paweł Teisseyre Selekcja modelu liniowego i predykcja 7 / 29

8 Dwustopniowe procedury wyboru modelu. Procedura Zhenga i Loha dla modelu liniowego 1 Dopasuj model liniowy zawierający wszystkie zmienne 1,..., p. 2 Zmienne {1,..., p} są porządkowane wg kwadratu statystyki T : T 2 i 1 T 2 i 2... T 2 i p. 3 Wybieramy model z zagnieżdżonej rodziny: M nested := {{0}, {i 1 }, {i 1, i 2 },..., {i 1,..., i p }}. Uwagi: Użycie w drugim kroku Bayesowskiego kryterium wybory zmiennych (BIC) prowadzi do zgodnej procedury selekcji. Procedura nie może być zastosowana gdy p n. Paweł Teisseyre Selekcja modelu liniowego i predykcja 8 / 29

9 Metoda Losowych Podprzestrzeni (RSM). Metoda RSM dla klasyfikacji Metoda zaproponowana w pracy: T. K. Ho, The Random Subspace Method for Constructing Decision Forests, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 20, NO. 8, Budowa komitetu klasyfikatorów na bazie losowo wybranych podzbiorów atrybutów. Efektywne narzędzie w przypadku dużego wymiaru przestrzeni cech. Paweł Teisseyre Selekcja modelu liniowego i predykcja 9 / 29

10 Metoda Losowych Podprzestrzeni (RSM). Metoda RSM dla modelu liniowego Algorytm RSM 1 Wejście: Dane (Y, X), liczba symulacji B, wielkość podprzestrzeni m < min(p, n). 2 Powtarzaj procedurę dla k = 1,..., B z C i,0 = 0 dla każdego i. Wylosuj zbiór zmiennych m = {i1,..., i m } z przestrzeni cech. Dopasuj model y x m i oblicz wagi w n(i, m ) 0 dla zmiennych i m. Ustaw w n(i, m ) = 0 jeżeli i / m. C i,k = C i,k 1 + I {i m }. 3 Dla wszystkich zmiennych i oblicz końcowe wagi: Wi = 1 w n(i, m ). C i,b m :i m 4 Posortuj zmienne wg końcowych wag W i : W i 1 W i 2... W i p. 5 Wyjście: uporządkowana lista zmiennych {i 1,..., i p}. Paweł Teisseyre Selekcja modelu liniowego i predykcja 10 / 29

11 Metoda Losowych Podprzestrzeni (RSM). Metoda RSM dla modelu liniowego m << p B random subsets attributes model 1 weights of attributes p attributes m << p attributes model 2 weights of attributes final scores of attributes m << p attributes model B weights of attributes Paweł Teisseyre Selekcja modelu liniowego i predykcja 11 / 29

12 Metoda Losowych Podprzestrzeni (RSM). Czas obliczeń dla p = 1000, n = 100, m = 50. Elapsed time Elapsed time [sec] slave 2 slaves 4 slaves 8 slaves 16 slaves 32 slaves log(b) Rysunek : Maszyna:2x Intel(R) Xeon(R) CPU 2.00GHz (6 cores, 12 threads) - 24 logical cores in total, 64 GB RAM Paweł Teisseyre Selekcja modelu liniowego i predykcja 12 / 29

13 Metoda Losowych Podprzestrzeni (RSM). Metoda RSM- wybór wag w n (i, m) Wybór wag: w n (i, m) := T 2 i,m, gdzie T i,m oznacza statystykę T dla zmiennej i, obliczoną na podstawie dowolnego podmodelu m. Zauważmy, że: T 2 i,m n m = (R2 m Rm\{i} 2 ) }{{} istotność zm. i 1 1 Rm 2, }{{} dopasowanie modelu m gdzie R 2 m jest współczynnikiem determinacji dla modelu m. Paweł Teisseyre Selekcja modelu liniowego i predykcja 13 / 29

14 Metoda Losowych Podprzestrzeni (RSM). Asymptotyczna postać wag końcowych W i Można pokazać asymptotyczną równoważność: W i 1 M i, m MSEP(m \ {i}) MSEP(m) MSEP(m) m M i, m, M i, m to liczba modeli o liczności m które zawierają zmienną i, Błąd predykcji dla modelu m: MSEP(m) := lim n n 1 E[ Y X m ˆβ m 2 X], gdzie Y = Xβ + ε, ε niezależna kopia ε. Paweł Teisseyre Selekcja modelu liniowego i predykcja 14 / 29

15 Metoda Losowych Podprzestrzeni (RSM). Procedura wyboru modelu: 1 Dane (Y, X) dzielone na część treningową: (Y t, X t ) oraz walidacyjną (Y v, X v ). 2 Procedura RSM jest realizowana na części treningowej. Zmienne są porządkowane wg. wag końcowych: W i 1..., W i p. 3 Z zagnieżdżonej listy modeli {{0}, {i 1 }, {i 1, i 2 },..., {i 1,..., i min(n,p) 1 }} wybieramy model m opt dla którego błąd na próbie walidacyjnej n 1 Y v X v ˆβ mopt 2 jest najmniejszy. (tutaj: ˆβ mopt - estymator ML oparty na modelu m opt, obliczony na próbie (Y t, X t )). Paweł Teisseyre Selekcja modelu liniowego i predykcja 15 / 29

16 Metoda Losowych Podprzestrzeni (RSM). Procedura wyboru modelu validation set final scores of attributes ranking of attributes selection on hierarchical list of models Final model Paweł Teisseyre Selekcja modelu liniowego i predykcja 16 / 29

17 Metoda RSM + kryteria informacyjne. Kryteria Informacyjne Wada procedury opisanej powyżej: konieczność wydzielenia próby walidacyjnej (duży problem w sytuacji małej liczby obserwacji). Kryterium Bayesowskie: BIC(m) = 2l(ˆβ m ) + log(n) m min, }{{}}{{} dopasowanie modelu kara za liczbę parametrów gdzie: l( ) to funkcja log-wiarogodności, m to liczba parametrów w modelu m. Procedura oparta na BIC: z zagnieżdżonej rodziny {{0}, {i 1 }, {i 1, i 2 },..., {i 1,..., i min(n,p) 1 }} wyznaczonej na podstawie metody RSM wybieramy model które minimalizuje BIC. Paweł Teisseyre Selekcja modelu liniowego i predykcja 17 / 29

18 Metoda RSM + kryteria informacyjne. Kryteria Informacyjne- problem Model 2 BIC BIC FIT PENALTY Variables Rysunek : Problem: BIC działa niepoprawnie gdy liczba zmiennych jest duża w porównaniu z n (model prawdziwy t zawiera 3 zmienne). Paweł Teisseyre Selekcja modelu liniowego i predykcja 18 / 29

19 Metoda RSM + kryteria informacyjne. Kryteria Informacyjne- problem Model 3 BIC BIC FIT PENALTY Variables Rysunek : Problem: BIC działa niepoprawnie gdy liczba zmiennych jest duża w porównaniu z n (model prawdziwy t zawiera 10 zmiennych). Paweł Teisseyre Selekcja modelu liniowego i predykcja 19 / 29

20 Metoda RSM + kryteria informacyjne. Wyniki symulacji- metody Metoda lasso. Metoda RSM + BIC. Metoda WRSM + BIC. Metoda Univariate + BIC. Metoda CAR + BIC [CAR = corr(y, P 1/2 X std ), P- correlation matrix of attributes]. Punkt odcięcia: Sztywny punkt odcięcia: (n 1)/2. 5% spermutowanych kopii originalnych zmiennych ma większą korelacje z y niż zmienne oryginalne. Paweł Teisseyre Selekcja modelu liniowego i predykcja 20 / 29

21 Metoda RSM + kryteria informacyjne. Wyniki symulacji- miary oceny (CS): pstwo wyboru modelu t: P(ˆt = t), (PSR): E( ˆt t / t ), (FDR): E( ˆt \ t / ˆt ), (PE): Błąd predykcji na niezależnym zbiorze testowym. (CO): pstwo poprawnego uporządkowania w pierwszym kroku procedury dwustopniowej: P[max i t Ti,f 2 < min i t Ti,f 2 ]. Paweł Teisseyre Selekcja modelu liniowego i predykcja 21 / 29

22 Metoda RSM + kryteria informacyjne. Wyniki symulacji Model lasso rsmbic wrsmbic unibic carbic Rysunek : Błędy predykcji dla wybranego modelu (model prawdziwy t zawiera 50 zmiennych). Paweł Teisseyre Selekcja modelu liniowego i predykcja 22 / 29

23 Metoda RSM + kryteria informacyjne. Wyniki symulacji Model 1 miejsce 2 miejsce 3 miejsce 4 miejsce 5 miejsce 1 lasso carbic unibic rsmbic wrsmbic 2 rsmbic unibic carbic lasso wrsmbic 3 wrsmbic rsmbic carbic unibic lasso 4 rsmbic carbic unibic wrsmbic lasso 5 wrsmbic rsmbic lasso carbic unibic 6 wrsmbic lasso rsmbic unibic carbic 7 wrsmbic rsmbic lasso carbic unibic 8 carbic unibic rsmbic wrsmbic lasso 9 wrsmbic rsmbic lasso carbic unibic 10 wrsmbic lasso rsmbic carbic unibic Tabela : Ranking badanych metod ze względu na błąd predykcji. Paweł Teisseyre Selekcja modelu liniowego i predykcja 23 / 29

24 Metoda RSM + kryteria informacyjne. Wyniki symulacji- PSR Model t lasso rsmbic wrsmbic unibic carbic Max. PSR UNI, CAR wszystkie wszystkie wszystkie lasso lasso lasso WRSM lasso lasso Tabela : Wskaźniki PSR. Paweł Teisseyre Selekcja modelu liniowego i predykcja 24 / 29

25 Metoda RSM + kryteria informacyjne. Wyniki symulacji- FDR Model lasso rsmbic wrsmbic unibic carbic Min. FDR UNI RSM WRSM RSM RSM WRSM WRSM WRSM WRSM WRSM Tabela : Wskaźniki FDR. Paweł Teisseyre Selekcja modelu liniowego i predykcja 25 / 29

26 Wnioski RSM- wnioski WRSM zazwyczaj działa lepiej niż konkurencyjne metody (biorąc pod uwagę PE). FDR jest zazwyczaj mniejsze dla RSM niż dla metody lasso oraz metody univariate. Stosując metodę RSM otrzymujemy mniej złożone modele (jest to potwierdzone przez eksperymenty na zbiorach rzeczywistych). Zastosowanie wersji ważonej (WRSM) pozwala zmniejszyć liczbę symulacji i w ten sposób zredukować koszt obliczeniowy. Paweł Teisseyre Selekcja modelu liniowego i predykcja 26 / 29

27 Wnioski RSM- plany Zastosowanie metody RSM dla innych modeli (n.p. modelu logistycznego). Połączenie metody RSM i metod wyboru zmiennych wykorzystujących kryteria informacyjne (zastosowanie innych kryteriów informacyjnych, modyfikacja metody znajdującej punkt odcięcia). Nowe warianty metody WRSM (n.p. użycie wag końcowych RSM jako wag zmiennych w WRSM). Dopracowanie pakietu zawierającego implementacje równoległą. Paweł Teisseyre Selekcja modelu liniowego i predykcja 27 / 29

28 Literatura Literatura 1 J. Mielniczuk, P. Teisseyre Using Random Subspace Method for Prediction and Variable Importance Assessment in Linear Regression, Computational Statistics and Data Analysis, 2 T. K. Ho, The Random Subspace Method for constructing decision forests, IEEE Trans. Pattern Anal. Machine Intell., Vol. 20, No. 8, pages , L. Breiman, Random forests, Machine Learning, Vol. 45, No. 1, pages 5 32, C. Lai, M. J. T. Reinders, L. Wessels, Random Subspace Method for multivariate feature selection, Pattern Recognition Letters, Vol. 27, pages , M. Draminski et. al. Monte carlo feature selection for supervised classification, BIOINFORMATICS, 24(1): , Paweł Teisseyre Selekcja modelu liniowego i predykcja 28 / 29

29 Dziękuje za uwagę! Dziękuje za uwagę! Paweł Teisseyre Selekcja modelu liniowego i predykcja 29 / 29