Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

Transkrypt

1 Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61) konsultacje: piątek 15:10-16:40 Slajdy dostępne pod adresem: / 37

2 Spis treści 1 Metoda stochastycznego spadku wzdłuż gradientu 2 Stochastyczny gradient dla regresji liniowej 3 Przykład zastosowania SGD 2 / 37

4 Metoda spadku wzdłuż gradientu (Cauchy ego) Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wyznaczamy gradient w punkcie w k 1, L (w k 1 ). Robimy krok wzdłuż negatywnego gradientu: w k = w k 1 α k L (w k 1 ), gdzie α k jest długością kroku ustaloną np. przez przeszukiwanie liniowe. 4 / 37

5 Specyficzna postać funkcji celu W większości problemów uczenia maszynowego funkcja celu ma następującą postać: n L(w) = l i (w) i=1 5 / 37

6 Specyficzna postać funkcji celu W większości problemów uczenia maszynowego funkcja celu ma następującą postać: n L(w) = l i (w) i=1 L jest sumarycznym błędem na zbiorze uczącym. 5 / 37

7 Specyficzna postać funkcji celu W większości problemów uczenia maszynowego funkcja celu ma następującą postać: n L(w) = l i (w) i=1 L jest sumarycznym błędem na zbiorze uczącym. l i to błędy na poszczególnych obserwacjach. 5 / 37

8 Specyficzna postać funkcji celu przykłady 6 / 37

9 Specyficzna postać funkcji celu przykłady Regresja liniowa metoda najmniejszych kwadratów n L(w) = (y i w x i ) 2 }{{} i=1 l i (w) 6 / 37

10 Specyficzna postać funkcji celu przykłady Regresja liniowa metoda najmniejszych kwadratów n L(w) = (y i w x i ) 2 }{{} i=1 l i (w) Regresja liniowa min. wartości bezwzględnych błędów n L(w) = y i w x i }{{} i=1 l i (w) 6 / 37

11 Specyficzna postać funkcji celu przykłady Regresja liniowa metoda najmniejszych kwadratów n L(w) = (y i w x i ) 2 }{{} i=1 l i (w) Regresja liniowa min. wartości bezwzględnych błędów n L(w) = y i w x i }{{} i=1 l i (w) Klasyfikacja liniowa regresja logistyczna: n ( ) L(w) = log 1 + exp( y i w x i ) i=1 } {{ } l i (w) 6 / 37

12 Specyficzna postać funkcji celu przykłady Regresja liniowa metoda najmniejszych kwadratów n L(w) = (y i w x i ) 2 }{{} i=1 l i (w) Regresja liniowa min. wartości bezwzględnych błędów n L(w) = y i w x i }{{} i=1 l i (w) Klasyfikacja liniowa regresja logistyczna: n ( ) L(w) = log 1 + exp( y i w x i ) i=1 } {{ } l i (w) Klasyfikacja liniowa funkcja zawiasowa: n ) L(w) = (1 y i w x i + i=1 }{{} l i (w) 6 / 37

13 Metoda stochastycznego spadku wzdłuż gradientu Idea Zamiast obliczać gradient na całej funkcji L, w danym kroku oblicz gradient tylko na pojedynczym elemencie l i. 7 / 37

14 Metoda stochastycznego spadku wzdłuż gradientu Idea Zamiast obliczać gradient na całej funkcji L, w danym kroku oblicz gradient tylko na pojedynczym elemencie l i. Skąd nazwa stochastyczny? Ponieważ oryginalnie wybiera się element l i losowo... 7 / 37

15 Metoda stochastycznego spadku wzdłuż gradientu Idea Zamiast obliczać gradient na całej funkcji L, w danym kroku oblicz gradient tylko na pojedynczym elemencie l i. Skąd nazwa stochastyczny? Ponieważ oryginalnie wybiera się element l i losowo ale w praktyce zwykle przechodzi się po całym zbiorze danych w losowej kolejności. 7 / 37

16 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 8 / 37

17 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 8 / 37

18 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności 8 / 37

19 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. 8 / 37

20 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. Wyznaczamy gradient funkcji l i w punkcie w k 1, li (w k 1 ). 8 / 37

21 Metoda stochastycznego spadku wzdłuż gradientu Minimalizacja funkcji L(w): 1 Zaczynamy od wybranego rozwiązania startowego, np. w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. Wyznaczamy gradient funkcji l i w punkcie w k 1, li (w k 1 ). Robimy krok wzdłuż negatywnego gradientu: gdzie α k jest długością kroku. w k = w k 1 α k li (w k 1 ), 8 / 37

22 Zalety metody stochastycznego spadku wzdłuż gradientu 9 / 37

23 Zalety metody stochastycznego spadku wzdłuż gradientu Szybkość: obliczenie gradientu wymaga wzięcia tylko jednej obserwacji. 9 / 37

24 Zalety metody stochastycznego spadku wzdłuż gradientu Szybkość: obliczenie gradientu wymaga wzięcia tylko jednej obserwacji. Skalowalność: cały zbiór danych nie musi nawet znajdować się w pamięci operacyjnej. 9 / 37

25 Zalety metody stochastycznego spadku wzdłuż gradientu Szybkość: obliczenie gradientu wymaga wzięcia tylko jednej obserwacji. Skalowalność: cały zbiór danych nie musi nawet znajdować się w pamięci operacyjnej. Prostota: gradient funkcji l i daje bardzo prosty wzór na modyfikację wag. 9 / 37

26 Zalety metody stochastycznego spadku wzdłuż gradientu Szybkość: obliczenie gradientu wymaga wzięcia tylko jednej obserwacji. Skalowalność: cały zbiór danych nie musi nawet znajdować się w pamięci operacyjnej. Prostota: gradient funkcji l i daje bardzo prosty wzór na modyfikację wag. Stochastyczny gradient jest obecnie najbardziej popularną metodą stosowaną w uczeniu maszynowym! (stochastic gradient descent SGD). 9 / 37

27 Wady metody stochastycznego spadku wzdłuż gradientu 10 / 37

28 Wady metody stochastycznego spadku wzdłuż gradientu Wolna zbieżność: czasem gradient stochastyczny zbiega wolno i wymaga wielu iteracji po zbiorze uczącym. 10 / 37

29 Wady metody stochastycznego spadku wzdłuż gradientu Wolna zbieżność: czasem gradient stochastyczny zbiega wolno i wymaga wielu iteracji po zbiorze uczącym. Problem z ustaleniem długości kroku α k : wyznaczenie α k przez przeszukiwanie liniowe nie przynosi dobrych rezultatów, ponieważ optymalizujemy oryginalnej funkcji L tylko jej jeden składnik l i. 10 / 37

30 Wady metody stochastycznego spadku wzdłuż gradientu Wolna zbieżność: czasem gradient stochastyczny zbiega wolno i wymaga wielu iteracji po zbiorze uczącym. Problem z ustaleniem długości kroku α k : wyznaczenie α k przez przeszukiwanie liniowe nie przynosi dobrych rezultatów, ponieważ optymalizujemy oryginalnej funkcji L tylko jej jeden składnik l i. Zalety znacznie przewyższają wady! 10 / 37

31 Stochastyczny gradient w praktyce 11 / 37

32 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. 11 / 37

33 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). 11 / 37

34 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : 11 / 37

35 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α 11 / 37

36 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów 11 / 37

37 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów Bierzemy wartość kroku malejącą jak 1 k : α k = α/ k 11 / 37

38 Stochastyczny gradient w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności. Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów Bierzemy wartość kroku malejącą jak 1 k : α k = α/ k = Zapewniona zbieżność, ale czasem może zbiegać zbyt wolno. 11 / 37

40 Regresja liniowa metoda najmniejszych kwadratów (LS) 13 / 37

41 Regresja liniowa metoda najmniejszych kwadratów (LS) Funkcja celu: L(w) = n (y i w x i ) 2 }{{} l i (w) i=1 13 / 37

42 Regresja liniowa metoda najmniejszych kwadratów (LS) Funkcja celu: L(w) = n (y i w x i ) 2 }{{} l i (w) i=1 Pochodne funkcji l i (w): l i (w) = 2(y i w x i )x ij w j 13 / 37

43 Regresja liniowa metoda najmniejszych kwadratów (LS) Funkcja celu: L(w) = n (y i w x i ) 2 }{{} l i (w) i=1 Pochodne funkcji l i (w): l i (w) = 2(y i w x i )x ij w j Gradient funkcji l i (w): li (w) = 2(y i w x i )x i 13 / 37

44 SGD dla regresji liniowej LS 1 Zaczynamy od w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. Wyznaczamy gradient l i w punkcie w k 1, 2(y i w k 1 x i)x i. Robimy krok wzdłuż negatywnego gradientu: w k = w k 1 + 2α k (y i w k 1x i )x i 14 / 37

45 SGD dla regresji liniowej LS 1 Zaczynamy od w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. Wyznaczamy gradient l i w punkcie w k 1, 2(y i w k 1 x i)x i. Robimy krok wzdłuż negatywnego gradientu: w k = w k 1 + 2α k (y i w k 1x i )x i Krok w kierunku wektora x i, z długością kroku równą 2α k (y i w k 1 x i). 14 / 37

46 SGD dla regresji liniowej LS 1 Zaczynamy od w 0 = 0. 2 Dla k = 1, 2,... aż do zbieżności Wylosuj i {1,..., n}. Wyznaczamy gradient l i w punkcie w k 1, 2(y i w k 1 x i)x i. Robimy krok wzdłuż negatywnego gradientu: w k = w k 1 + 2α k (y i w k 1x i )x i Krok w kierunku wektora x i, z długością kroku równą 2α k (y i w k 1 x i). Długość kroku proporcjonalna do przeszacowania predykcji. 14 / 37

48 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas / 37

49 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas czas [h] rozmiar programu [linie kodu] 16 / 37

50 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas czas [h] rozmiar programu [linie kodu] w 0 = 45.93, w 1 = / 37

51 Szacowanie Czasu programistów Zaczynamy z rozwiązaniem w = (w 0, w 1 ) = 0. Krok: α k = 0.5/ k. Jednostki zostały zamienione na 1000min i 1000 lini kodu, aby uniknąć dużych liczb. (ujednolicenie skali jest istotne dla zbiezności metody!) 17 / 37

52 Szacowanie Czasu programistów iteracja 1 y x 18 / 37

71 Koniec na dzisiaj :) 37 / 37