Systemy agentowe. Uwagi organizacyjne. Jędrzej Potoniec

Transkrypt

1 Systemy agentowe Uwagi organizacyjne Jędrzej Potoniec

2 Kontakt mgr inż. Jędrzej Potoniec

3 Zasady oceniania wykład test wielokrotnego wyboru laboratoria wykonanie ćwiczeń laboratoryjnych

4 Skala ocen % punktów ocena ( ; 50] 2,0 (50; 60] 3,0 (60; 70] 3,5 (70; 80] 4,0 (80; 90] 4,5 (90; ) 5,0

5 Skąd nazwa? S. Russel, P. Norwig Artificial Intelligence A Modern Approach (3ed) An agent is anything that can be viewed as perceiving its environment throught sensors and acting upon that environment through actuators.

6 Skąd nazwa? S. Russel, P. Norwig Artificial Intelligence A Modern Approach (3ed) An agent is anything that can be viewed as perceiving its environment throught sensors and acting upon that environment through actuators. człowiek wzrok, słuch/ręce, nogi robot kamera, mikrofon/silniki agent programowy naciśnięcia klawiszy, odczyt plików/ekran, zapis plików

7 Skąd nazwa? S. Russel, P. Norwig Artificial Intelligence A Modern Approach (3ed) An agent is anything that can be viewed as perceiving its environment throught sensors and acting upon that environment through actuators. człowiek wzrok, słuch/ręce, nogi robot kamera, mikrofon/silniki agent programowy naciśnięcia klawiszy, odczyt plików/ekran, zapis plików agent agenty, nie: agent agenci

8 Literatura I. Goodfellow, Y. Bengio, A. Courville Deep Learning MIT Press

9 Literatura Aurélien Géron Hands-On Machine Learning with Scikit-Learn and TensorFlow O Reilly Media 2017

10 Plan wykładu 1 Regresja liniowa, wielomianowa i logistyczna 2 Warstwowe sieci neuronowe 3 Uczenie ze wzmocnieniem

11 Program uczący się T. Mitchell Machine Learning 1997 Program komputerowy uczy się z doświadczenia E względem pewnej klasy zadań T i miary jakości P, jeżeli wartość jego miary jakości P na zadaniach z klasy T poprawia się wraz ze ilością doświadczenia E.

12 Niewyczerpująca lista klas zadań T klasyfikacja

13 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami

14 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja

15 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja

16 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe

17 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur

18 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur detekcja anomalii

19 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur detekcja anomalii synteza i próbkowanie

20 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur detekcja anomalii synteza i próbkowanie uzupełnianie brakujących wejść

21 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur detekcja anomalii synteza i próbkowanie uzupełnianie brakujących wejść usuwanie szumu

22 Niewyczerpująca lista klas zadań T klasyfikacja klasyfikacja z brakującymi wejściami regresja transkrypcja tłumaczenie maszynowe przewidywanie złożonych struktur detekcja anomalii synteza i próbkowanie uzupełnianie brakujących wejść usuwanie szumu estymacja rozkładu prawdopodobieństwa

23 Miary jakości P Liczbowy sposób określenia jak dobrze/źle program rozwiązuje zadanie T. Bywa prosta do zdefiniowania i obiektywna, np. trafność klasyfikacji (ang. accuracy) w zadaniu jaka cyfra jest na rysunku odpowiedzi poprawne wszystkie odpowiedzi ale również nieobiektywna, np. trafność klasyfikacji w zadaniu czy ten pasażer jest terrorystą pasażerowie, którzy nie są terrorystami wszyscy pasażerowie albo trudna do zdefiniowania Grzegorz ma kota 1 Grzegorz s got a cat 2 Grzegorz has a cat 3 He has a cat (Google Translate) 4 Gregory has a cat 100%

24 Doświadczenie E uczenie nadzorowane (ang. supervised): zbiór przykładów opisanych cechami wraz z etykietami uczenie nienadzorowane (ang. unsupervised): zbiór przykładów opisanych cechami uczenie ze wzmocnieniem (ang. reinforcement): środowisko, w którym można wykonywać pewne akcje uczenie częściowo nadzorowane (ang. semi-supervised): niektóre przykłady mają etykiety

25 Reprezentacja Macierz cech X mająca n wierszy oraz p kolumn, zwykle liczby rzeczywiste: X 1,1 X 1,2... X 1,p X 2,1 X 2,2... X 2,p X = Rn p X n,1 X n,2... X n,p

26 Reprezentacja Wektor etykiet y y 1 y 2 y =. Rn y n

27 Regresja liniowa Mając macierz cech X oraz wektor etyket y przewidzieć wektor parametrów w tak, żeby błąd średniokwadratowy (ang. mean-square error (MSE)) był jak najmniejszy: MSE = 1 n n (y i ŷ i ) 2 i=1 ŷ i = w T X i ŷ = Xw

28 Regresja liniowa przypadek jednowymiarowy p = 1 X jest wektorem kolumnowym typu n, w jest pojedynczą liczbą MSE = 1 n (y i wx i ) 2 n i=1 MSE jest najmniejsze MSE = 0 Policzmy!

29 Przykład Przewidzieć koszt paszy y w zależności od liczby prosiaków X X w MSE y (1) ??

30 Przykład Przewidzieć koszt paszy y w zależności od liczby prosiaków X X w MSE y (1) ?? y (2) 348,5 586,5 765??

31 Przykład Przewidzieć koszt paszy y w zależności od liczby prosiaków X X w MSE y (1) ?? y (2) 348,5 586,5 765?? y (3) ??

32 Regresja liniowa przypadek jednowymiarowy p = 1 z wyrazem wolnym X jest wektorem kolumnowym typu n, w jest pojedynczą liczbą MSE = 1 n (y i wx i b) 2 n i=1 MSE jest najmniejsze MSE = 0

33 Prosiaki Przewidzieć koszt paszy y w zależności od liczby prosiaków X X w b MSE y (3) ???

34 Regresja liniowa wariant macierzowy X 1,1 X 1,2... X 1,p 1 X 2,1 X 2,2... X 2,p 1 X = Rn (p+1) X n,1 X n,2... X n,p 1

35 Regresja liniowa wariant macierzowy X 1,1 X 1,2... X 1,p 1 X 2,1 X 2,2... X 2,p 1 X = Rn (p+1) X n,1 X n,2... X n,p [ ] 85 X = 7 1 y = 645 w = [ ] 85 ŷ = Xw =

36 Regresja liniowa wariant macierzowy Policzmy! MSE = 1 n y Xw 2 2 = 1 n (y Xw)T (y Xw) w MSE = 0

37 Prosiaki Policzmy! ( 1 w = X X) T X T y X = 7 1 y =

38 Regresja wielomianowa x 1 1 x1 k x X = X = x 2 k... x n 1 x k n x1 k 1... x 1 1 x2 k 1... x 2 1 xn k 1... x n 1

39 Regresja wielomianowa x 1 1 x1 k x X = X = x 2 k... x n 1 x k n x1 k 1... x 1 1 x2 k 1... x 2 1 xn k 1... x n X = 7 1 X =

40 Prosiaki Czarne: y = 85x + 50 MSE = 0 Czerwone: y = x 4 22x x 2 421x MSE = 0 Niebieskie: y = 517,5 MSE = ,

41 Znajdźmy więcej prosiaków: zbiór testowy Czarne: y = 85x + 50 MSE = 0 Czerwone: y = x 4 22x x 2 421x MSE = 7296 Niebieskie: y = 517,5 MSE = ,

42 Czy prosiaki uczące i prosiaki testowe się różnią? Założenie i.i.d Identicially and idependently distributed Zakłada się, że wszystkie przykłady uczące i testowe pochodzą z tego samego rozkładu prawdopodobieństwa, i zostały wybrane z niego niezależnie od siebie.

43 Zbyt słabe i nadmierne dopasowanie Zbyt słabe dopasowanie (ang. underfitting) Duży błąd na zbiorze uczącym i duży błąd na zbiorze testowym Nadmierne dopasowanie (przeuczenie) (ang. overfitting) Mały błąd na zbiorze uczącym i duży błąd na zbiorze testowym

44 Zbyt słabe i nadmierne dopasowanie I. Goodfellow, Y. Bengio, A. Courville Deep Learning MIT Press 2016, str. 112

45 Parametry i hiperparametry parametry są dobierane przez algorytm w procesie uczenia, np. wektor w w regresji liniowej hiperparametry są dobierane przez użytkownika, żeby sterować procesem uczenia, np. stopień wielomianu w regresji wielomianowej

46 Dobór hiperparametrów i zbiór walidujący Dobór hiperparametrów za pomocą zbioru testowego prowadzi do przeuczenia

47 Dobór hiperparametrów i zbiór walidujący Dobór hiperparametrów za pomocą zbioru testowego prowadzi do przeuczenia dobór parametrów (uczenie) przez minimalizację błędu na zbiorze uczącym dobór hiperparametrów przez minimalizację błędu na zbiorze walidującym szacowanie jakości na zbiorze testowym

48 Zwyczajowy podział danych Podział losowy w nastepujących proporcjach zbiór testowy 70% zbiór walidujący 10% zbiór testowy 20%

49 Sprawdzian krzyżowy (ang. cross-validation) 1 Zbiór uczący dzielony jest na k podzbiorów 2 Dla i = 1, 2,..., k: zbiór walidujący podzbiór i zbiór uczący wszystkie pozostałe podzbiory 3 Za wynik walidacji przyjmuje się średnią ze wszystkich k walidacji (odchylenie standardowe gratis!) Jakie są zalety i wady w stosunku do poprzedniego podejścia?

50 Problemy z regresją liniową ( ) w = X T 1 X X T y } {{ } p p Złożoność odwracania macierzy: O(p 2.4 )

51 Problemy z regresją liniową ( ) w = X T 1 X X T y } {{ } p p Złożoność odwracania macierzy: O(p 2.4 ) Problemy numeryczne

52 Problemy z regresją liniową ( ) w = X T 1 X X T y } {{ } p p Złożoność odwracania macierzy: O(p 2.4 ) Problemy numeryczne Trudności z uogólnieniem: trzeba rozwiązać równanie

53 Schodzenie po gradiencie (ang. gradient descent) I. Goodfellow, Y. Bengio, A. Courville Deep Learning MIT Press 2016, str. 80

54 Schodzenie po gradiencie (ang. gradient descent) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017, str. 111

55 Schodzenie po gradiencie (ang. gradient descent) J(w, b) = J(w, b) = 1 n (wx i + b y i ) 2 n i=1 ] ni=1 2x i (wx i + b y i ) ni=1 = 2 n (wx n 2 (wx i + b y i ) i + b y i ) n i=1 [ ] [ ] w w = ε J(w, b) b [ 1 n 1 b [ ] xi 1

56 Prosiaki schodzące po gradiencie krok w b MSE w MSE b MSE

57 Prosiaki schodzące po gradiencie MSE krok Warunek stopu: MSE < 1 10 lub J < 1 10

58 Stochastyczne schodzenie po gradiencie Stochastic gradient descent Jeżeli przykładów jest dużo, to schodzenie po gradiencie może być powolne. Zamiast tego w każdym kroku wybieramy losowo jeden przykład uczący i obliczamy gradient wyłącznie na jego podstawie.

59 Stochastyczne schodzenie po gradiencie A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017, str. 117

60 Prosiaki stochastycznie schodzące po gradiencie MSE krok Warunek stopu: MSE przez ostatnie 10 kroków < 1 10

61 Schodzenie po gradiencie z mini-grupami Mini-batch gradient descent W kolejnych krokach schodzenia po gradiencie wybieramy (niewielki) podzbiór przykładów uczących do obliczeń stabilniejszy zysk wydajnościowy z obliczeń macierzowych

62 Problemy ze schodzeniem po gradiencie I. Goodfellow, Y. Bengio, A. Courville Deep Learning MIT Press 2016, str. 81

63 Problemy ze schodzeniem po gradiencie A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017, str. 112

66 Skalowanie standaryzacja min-max X i,j = X i,j = X i,j X,j σ X,j X i,j min k {X k,j } max k {X k,j } min k {X k,j } Czym różnią się te dwa podejścia?

67 Trochę bardziej skomplikowany problem regresji y = 0,02x x N(0, 100) niebieski: proces, pomarańczowy: zb. treningowy, zielony: zb. walidujący

68 Możliwe rozwiązanie (I) x x x x 4 MSE=

69 Możliwe rozwiązanie (II) x x x x 4 MSE=

70 Możliwe rozwiązanie (III) x x x x 4 MSE=

71 Możliwe rozwiązanie (IV) x x x x 4 MSE=

72 Możliwe rozwiązanie (V) x x x x 4 MSE=

73 Regularyzacja Ridge J(w) = MSE(w) + α 1 2 n wi 2 } i=1 {{ } kara

74 Porównanie rozwiązań α MSE tr kara całkowity koszt MSE walid

75 Porównanie rozwiązań α MSE tr kara całkowity koszt MSE walid Ile współczynników miały rozważane wielomiany?

76 Możliwe rozwiązanie (I) x x x x 4 MSE=

77 Możliwe rozwiązanie (II) x x x x 4 MSE=

78 Możliwe rozwiązanie (III) x x x 4 MSE=

79 Możliwe rozwiązanie (IV) x x 3 MSE=

80 Możliwe rozwiązanie (V) MSE=

81 Regularyzacja Lasso J(w) = MSE(w) + α n w i i=1 }{{} kara

82 Porównanie rozwiązań α # wsp. MSE tr kara całkowity koszt MSE walid

83 Dlaczego Lasso się tak zachowuje? Obliczmy karę w Ridge i w Lasso dla następujących przypadków: 1 w 1 = [ ]

84 Dlaczego Lasso się tak zachowuje? Obliczmy karę w Ridge i w Lasso dla następujących przypadków: 1 w 1 = [ ] w 2 = w 1 [ ]

85 Dlaczego Lasso się tak zachowuje? Obliczmy karę w Ridge i w Lasso dla następujących przypadków: 1 w 1 = [ ] w 2 = w 1 [ ] w 3 = w 1 [ ]

86 Dlaczego Lasso się tak zachowuje? Obliczmy karę w Ridge i w Lasso dla następujących przypadków: 1 w 1 = [ ] w 2 = w 1 [ ] w 3 = w 1 [ ] Który przypadek jest lepszy dla regresji Ridge, a który dla Lasso?

87 Regularyzacja w GD: wczesne zatrzymanie

88 Klasyfikacja Zadanie klasyfikacji binarnej Dla danego wektora cech x opisującego obiekt przewidzieć czy obiekt należy do klasy pozytywnej y = 1 czy negatywnej y = 0 (lub y = 1).

89 Irysy Pomarańczowy: Iris Virginica, niebieski: pozostałe petal width (cm) petal length (cm)

90 Przewidywanie prawdopodobieństwa regresja liniowa Punkty w tle: prawd. Iris Virginica (jaśniej=wyższe) petal width (cm) petal length (cm)

91 Przewidywanie prawdopodobieństwa regresja logistyczna petal width (cm) petal length (cm)

92 Granica decyzyjna (ang. decision boundary) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

93 Granica decyzyjna (ang. decision boundary) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

94 Funkcja logistyczna A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

95 Pochodna funkcji logisytcznej Zadanie σ(t) = e t Wiadomo, że σ(t 0 ) =.1. Czy da się na tej podstawie prosto obliczyć wartość pochodnej σ (t) w punkcie t 0?

96 Regresja logistyczna ŷ = ˆp = σ(xw) { 1 ˆp 0,5 0 ˆp < 0,5

97 Funkcja kosztu dla pojedynczego przykładu 4 c = log(p) c = log(1 p) 3 Koszt Prawdopodobienstwo y=1

98 Funkcja kosztu dla pojedynczego przykładu Zadanie Zapisać poniższą funkcję jako pojedyncze wyrażenie (używając dodawania, mnożenia itp.): { log(p) y = 1 c(y, p) = log(1 p) y = 0

99 Funkcja kosztu dla całego problemu p = σ(xw) J(w) = 1 n c (y i, p i ) = n i=1 1 n [y i log p i + (1 y i ) log(1 p i )] n i=1

100 Funkcja kosztu dla całego problemu 1 n p = σ(xw) J(w) = 1 n c (y i, p i ) = n i=1 n [y i log p i + (1 y i ) log(1 p i )] i=1 J w i = 1 n n (σ(x i w) y i ) X i,j i=1