Wojciech Skwirz

Transkrypt

1 1

2 Regularyzacja jako metoda doboru zmiennych objaśniających do modelu statystycznego. 2

3 Plan prezentacji 1. Wstęp 2. Część teoretyczna - Algorytm podziału i ograniczeń - Regularyzacja 3. Opis wyników badania empirycznego 4. Podsumowanie i wnioski 3

4 Czas szacowania modeli Liczba zmiennych objaśniających: p=200 Liczba kombinacji: 2 p 1 Czas szacowania 1 modelu: t = 0,0001 s Czas obliczeń: T lat Od Big Bang minęło: ~ lat 4

5 Metoda podziału i ograniczeń I 1 I 2 I 3 I 4 I 5 I 0 - pełen model Zmienne objaśniające: z 1, z 2, z 3, z 4, z 5 I n - instancja I 12 I 13 I 14 I 15 I 12 I 13 I 14 I 15 f I n - wartość funkcji celu f I 0 = B B - upper bound f I 1 B eksploruj I 1 I 132 I 134 I 135 I 132 I 134 I 135 5

6 Funkcja celu Regresja liniowa: RSS Regresja logistyczna: score Chi-kwadrat S = U 2 0 I 1 0 U β = I n β = E β log L β X β score β log f x 1,, x n 2 informacja Fishera 6

7 Wady i zalety Zalety: + szybkość działania + możliwość uzyskania określonej liczby najlepszych modeli danej klasy + brak zachłanności Wady: wykładnicza złożoność obliczeniowa możliwość zapętlenia algorytmu heurystyka 7

8 Regularyzacja Regularyzacja L2 regresja grzbietowa Regularyzacja L1 regresja lasso Regularyzacja elastic net 8

9 Idea regularyzacji Funkcja straty zależna od jakości prognoz modelu Λ β Funkcja kary na wartości parametrów 9

10 Regresja grzbietowa 1943 r. Andriej Tohinow 1970 r. Arthur Hoerl i Robert Kennard β MNK = X T X 1 X T y β ridge = X T X + Γ T Γ 1 X T y 10

11 Regresja grzbietowa = argmin β RSS 11

12 Regresja grzbietowa β ridge = argmin β RSS + λ 2 p j=1 β j 2 p β ridge = argmin β RSS p. w. j=1 β j 2 t2 12

13 Regresja lasso 13

14 Regularyzacja elastic net Dobór zmiennych wbudowany w proces estymacji Algorytm działa nawet wtedy, gdy liczba obserwacji jest mniejsza niż liczba predyktorów Do modeli włączane są wiązki zmiennych objaśniających 14

15 Regularyzacja elastic net 15

16 Porównanie regularyzacji β MNK = argmin β n i=1 y i β 0 p j=1 β j x ij 2 β ridge = argmin β n i=1 y i β 0 p j=1 β j x ij 2 + λ 2 p j=1 β j 2 β lasso = argmin β n i=1 y i β 0 p j=1 β j x ij 2 + λ 1 p j=1 β j β EN = argmin β n i=1 y i β 0 p j=1 β j x ij 2 + λ 1 p j=1 β j + λ 2 p j=1 β j 2 16

17 Regresja grzbietowa p β ridge = argmin β RSS p. w. j=1 β j 2 t2 17

18 Regresja lasso p β lasso = argmin β RSS p. w. j=1 β j t 1 18

19 Elastic net β EN = argmin β RSS + λ α p j=1 β j + 1 α p j=1 β j 2 19

20 Badanie empiryczne Cel Porównanie modeli zbudowanych na zmiennych otrzymanych z algorytmu podziału i ograniczeń z modelami regularyzacyjnymi. 20

21 Badanie empiryczne Regresja logistyczna - modele prawdopodobieństwa defaultu kredytów gotówkowych w fazie behawioralnej Około 800 tys. obserwacji 218 zmiennych objaśniających 21

22 40% Ewolucja ryzyka portfela 35% 30% 25% 20% 15% 10% Okno obserwacji Długoterminowa średnia w oknie obserwacji Default rate 22

23 Przebieg modelowania Podział zbioru na treningowy / walidacyjny w proporcji 70/30 Kategoryzacja zmiennych na podstawie entropii Obliczenie standaryzowanych logitów 23

24 Kryteria porównań Moc predykcyjna: indeks Giniego statystyka Hosmera-Lemeshowa statystyka Kołmogorowa-Smirnowa Brier Score Współliniowość predyktorów: Variance Inflation Factor Condition Index Czas estymacji 24

25 Oszacowane modele Rozmiar: od 5 do 13 predyktorów Algorytm branch and bound: 100 najlepszych zestawów zmiennych Regresja lasso: 100 modeli dla różnych wartości parametru lambda Elastic net: różne wartości lambda, różne wartości alfa dla każdej kombinacji 100 modeli 25

26 Oszacowane modele Branch and bound 900 modeli Regresja lasso 900 modeli Regularyzacja elastic net modeli 26

27 Indeks Giniego 27

28 Statystyka Kołmogorowa-Smirnowa 28

29 Statystyka Hosmera-Lemeshowa 29

30 Brier Score 30

31 Indeks Giniego Indeks Giniego na zbiorze treningowym 75% 70% 65% 60% 55% 50% Liczba zmiennych objaśniających w modelu Branch Lasso Elastic net 31

32 Współliniowość Metoda Statystyka Liczba modeli ze współliniowością Zakres wartości Branch and bound VIF Lasso VIF Elastic net VIF Branch and bound CI Lasso CI Elastic net CI

33 Czas estymacji (s) Czas estymacji (s) Porównanie czasów budowy modeli ,0020 0,0018 0, Liczba zmiennych objaśniających w modelu Branch Lasso Elastic net 0,0014 0,0012 0,0010 0,0008 0,0006 0,

34 Dodatkowe modele 12 modeli regresji grzbietowej Parametr lambda od do Im parametr lambda większy, tym silniejsze ograniczenie regularyzacyjne dodatkowych modeli 34

35 Różnica w wartości indeksu Giniego Maksymalna różnica w indeksie Giniego 0, , , , , , ,00004 Zbiór treningowy Zbiór walidacyjny 35

36 Współczynnik korelacji Współczynnik korelacji liniowej Pearsona -0, ,66-0,68-0,7-0,72-0,74-0,76-0,78-0,8 Zbiór treningowy Zbiór walidacyjny 36

37 Podsumowanie i wnioski Modele branch and bound: Większa moc predykcyjna i brak współliniowości. Modele regularyzacyjne: Krótszy czas estymacji. Tradycyjna statystyka działa 37

38 Dziękuję za uwagę 38