Optymalizacja ciągła

Wielkość: px
Rozpocząć pokaz od strony:

Download "Optymalizacja ciągła"

Transkrypt

1 Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP / 20

2 Wprowadzenie Minimalizacja różniczkowalnej funkcji f(w) bez ograniczeń: min f(w) w R n Uwaga: na potrzeby tego wykładu zmieniamy oznaczenie wektora zmiennych z x na w W wielu zastosowaniach optymalizacji funkcja celu ma postać sumy po N elementach: N f(w) = f i (w), i=1 To założenie będzie nam towarzyszyło przez cały wykład. 2 / 20

3 Przykład: regresja liniowa Przewidywania/wyjaśnienie zmian ciągłej zmiennej wyjściowej (Y ) pod wpływem zmian innych zmiennych (X 1,..., X n ). Przykłady X ceny akcji w ostatnim tygodniu, Y cena akcji jutro. X wyniki testów medycznych, Y poziom zaawansowania choroby. X wielkość programu, Y czas pisania programu. X warunki na drodze, czas, lokalizacja, Y średnia prędkość samochodów. X cechy domu Y cena domu. 3 / 20

4 Przykład: regresja liniowa Modelujemy zmienną Y jako funkcję liniową X 1,..., X n : Y = w 0 + w 1 X w n X n = X w gdzie w = (w 0, w 1,..., w n ) jest wektorem współczynników (zmiennych decyzyjnych), natomiast X = (1, X 1,..., X n ). 4 / 20

5 Przykład: regresja liniowa Modelujemy zmienną Y jako funkcję liniową X 1,..., X n : Y = w 0 + w 1 X w n X n = X w gdzie w = (w 0, w 1,..., w n ) jest wektorem współczynników (zmiennych decyzyjnych), natomiast X = (1, X 1,..., X n ). Wartości współczynników dopasowujemy na podstawie zbioru danych 4 / 20

6 Przykład: regresja liniowa Otrzymujemy zbiór danych historycznych, na którym znane są wartości y: (x 11, x 12,..., x 1n, y 1 ) (x 1, y 1 ) (x 21, x 22,..., x 2n, y 2 ) (x 2, y 2 )... lub w skrócie... (x N1, x N2,..., x Nn, y N ) (x N, y N ) 5 / 20

7 Przykład: regresja liniowa Otrzymujemy zbiór danych historycznych, na którym znane są wartości y: (x 11, x 12,..., x 1n, y 1 ) (x 1, y 1 ) (x 21, x 22,..., x 2n, y 2 ) (x 2, y 2 )... lub w skrócie... (x N1, x N2,..., x Nn, y N ) (x N, y N ) Wyznaczamy współczynniki w tak, aby funkcja liniowa jak najlepiej przybliżała wartości zmiennej Y na danych, tzn. aby: ŷ i = x i w było jak najbliższe y i dla wszystkich i = 1,..., N 5 / 20

8 Przykład: regresja liniowa Y X 6 / 20

9 Przykład: regresja liniowa Y X 6 / 20

10 Przykład: regresja liniowa Y y i ŷ i X 6 / 20

11 Przykład: regresja liniowa 0.6 Y X X / 20

12 Przykład: regresja liniowa Metoda najmniejszych kwadratów: Wyznacz współczynniki regresji w by minimalizować sumę kwadratów odchyleń modelu od danych: min f(w) = N (y i ŷ i ) 2 w R n i=1 8 / 20

13 Przykład: regresja liniowa Metoda najmniejszych kwadratów: Wyznacz współczynniki regresji w by minimalizować sumę kwadratów odchyleń modelu od danych: min f(w) = N (y i x w R n i w) 2 i=1 8 / 20

14 Przykład: regresja liniowa Metoda najmniejszych kwadratów: Wyznacz współczynniki regresji w by minimalizować sumę kwadratów odchyleń modelu od danych: min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) 8 / 20

15 Przykład: regresja liniowa Metoda najmniejszych kwadratów: Wyznacz współczynniki regresji w by minimalizować sumę kwadratów odchyleń modelu od danych: min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) Innymi słowy: wyznaczamy współczynniki modelu liniowego minimalizując sumaryczny błąd (wyrażony w postaci funkcji kwadratowej) na całym zbiorze danych 8 / 20

16 Przykłady: uczenie maszynowe N f(w) = f i (w) i=1 Zdecydowana większość metod uczenia maszynowego opiera się zasadniczo na tym samym schemacie: Mając zbiór danych, wyznacz parametry modelu predykcyjnego minimalizując sumaryczny błąd modelu na danych w parametry modelu (współczynniki regresji, wagi w sieci neuronowej, itp.) f i (w) błąd na pojedynczej obserwacji ze zbioru danych (np. błąd kwadratowy w regresji) f(w) sumaryczna wartość błędu na całym zbiorze danych 9 / 20

17 Znajdź rozwiązanie problemu: Podejście klasyczne min f(w) w R n stosując jedną z klasycznych metod optymalizacji, np. metodę spadku wzdłuż gradientu lub Newtona-Raphsona 10 / 20

18 Znajdź rozwiązanie problemu: Podejście klasyczne min f(w) w R n stosując jedną z klasycznych metod optymalizacji, np. metodę spadku wzdłuż gradientu lub Newtona-Raphsona Typowe problemy w praktyce: Policzenie gradientu/hesjanu wymaga sumowania N gradientów/hesjanów składowych funkcji celu: f(w) = N f i (w) i=1 Wymiar problemu n może być bardzo duży, przez co metoda Newtona-Raphsona może być zbyt kosztowna do uruchomienia 10 / 20

19 Podejście klasyczne: spadek wzdłuż gradientu Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: w k+1 N = w k α k f i (w k ) i=1 }{{} f(w k ) Wykonanie jednego kroku: przejście po wszystkich składowych funkcji celu. 11 / 20

20 Podejście klasyczne: spadek wzdłuż gradientu Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: w k+1 N = w k α k f i (w k ) i=1 }{{} f(w k ) Wykonanie jednego kroku: przejście po wszystkich składowych funkcji celu. Pomysł: policz gradient na losowej pojedynczej składowej f i zamiast na całej funkcji f! 11 / 20

21 Metoda stochastycznego spadku wzdłuż gradientu (stochastic gradient descent, SGD) Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: Wylosuj jedną ze składowych i k {1,..., N} Wykonaj krok wzdłuż ujemnego gradientu funkcji f ik (w k ): w k+1 = w k α k f ik (w k ) 12 / 20

22 Metoda stochastycznego spadku wzdłuż gradientu (stochastic gradient descent, SGD) Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: Wylosuj jedną ze składowych i k {1,..., N} Wykonaj krok wzdłuż ujemnego gradientu funkcji f ik (w k ): w k+1 = w k α k f ik (w k ) Dlaczego miałoby to w ogóle działać? 12 / 20

23 Metoda stochastycznego spadku wzdłuż gradientu (stochastic gradient descent, SGD) Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: Wylosuj jedną ze składowych i k {1,..., N} Wykonaj krok wzdłuż ujemnego gradientu funkcji f ik (w k ): w k+1 = w k α k f ik (w k ) Dlaczego miałoby to w ogóle działać? Możemy myśleć o gradiencie pojedynczej składowej f i (w k ) jako o oszacowaniu całościowego gradientu f(w k ) Rzeczywiście, średnio gradient będzie wynosił: 1 n f 1(w k ) + 1 n f 2(w k ) n f N(w k ) = 1 n f(w k) 12 / 20

24 Przykład: problem regresji liniowej min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) 13 / 20

25 Przykład: problem regresji liniowej min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) Liczymy pochodne cząstkowe pojedynczej funkcji f i (w): f i (w) w j = 2(y i x i w)x ij 13 / 20

26 Przykład: problem regresji liniowej min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) Liczymy pochodne cząstkowe pojedynczej funkcji f i (w): f i (w) w j = 2(y i x i w)x ij Gradient wynosi więc: f i (w) = 2(y i x i w)x i 13 / 20

27 Przykład: problem regresji liniowej min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) Liczymy pochodne cząstkowe pojedynczej funkcji f i (w): f i (w) w j = 2(y i x i w)x ij Gradient wynosi więc: f i (w) = 2(y i x i w)x i Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: Wylosuj jedną ze obserwacji i k {1,..., N} Wykonaj krok wzdłuż ujemnego gradientu funkcji f ik (w k ): w k+1 = w k + 2α k (y ik x i k w k )x ik 13 / 20

28 Przykład: problem regresji liniowej min f(w) = N (y i x w R n i w) 2 }{{} i=1 f i (w) Liczymy pochodne cząstkowe pojedynczej funkcji f i (w): f i (w) w j = 2(y i x i w)x ij Gradient wynosi więc: f i (w) = 2(y i x i w)x i Rozpoczynając od w 1, w kolejnych iteracjach k = 1, 2,...: Wylosuj jedną ze obserwacji i k {1,..., N} Wykonaj krok wzdłuż ujemnego gradientu funkcji f ik (w k ): w k+1 = w k + 2α k (y ik x i k w k )x ik Krok w kierunku wektora obserwacji x ik, z długością kroku proporcjonalną do przeszacowania predykcji (y ik x i k w k ). 13 / 20

29 Zalety Zalety i wady algorytmu SGD Szybkość: obliczenie gradientu wymaga wzięcia tylko jednej obserwacji. Skalowalność: cały zbiór danych nie musi nawet znajdować się w pamięci operacyjnej. Prostota: gradient funkcji f i daje bardzo prosty wzór na modyfikację wag. Wady Wolna zbieżność: algorytm w ogólności zbiega wolno i wymaga wielu iteracji po zbiorze uczącym. Ustalenie długości kroku α k : wyznaczenie α k przez jednowymiarową optymalizację nie przynosi dobrych rezultatów, ponieważ nie optymalizujemy oryginalnej funkcji f tylko jeden jej składnik f i. Zalety znacznie przewyższają wady: Algorytm SGD jest obecnie najczęściej używanym algorytmem w uczeniu maszynowym! 14 / 20

30 SGD w praktyce 15 / 20

31 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) 15 / 20

32 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). 15 / 20

33 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : 15 / 20

34 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α 15 / 20

35 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów 15 / 20

36 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów Bierzemy wartość kroku malejącą jak k 1 : α k = α/ k 15 / 20

37 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów Bierzemy wartość kroku malejącą jak k 1 : α k = α/ k = Zapewniona zbieżność, ale czasem może zbiegać zbyt wolno. 15 / 20

38 SGD w praktyce Zwykle nie losuje się obserwacji, ale przechodzi się po zbiorze danych w losowej kolejności (działa bardzo podobnie, a daje znacznie prostszą implementację) Zbieżność wymaga często przejścia parokrotnie po całym zbiorze danych (jednokrotne przejście nazywa się epoką). Metody ustalania współczynników długości kroku α k : Ustalamy stałą wartość α k = α = Zwykle tak się robi w praktyce, działa dobrze ale wymaga ustalenia α metodą prób i błędów Bierzemy wartość kroku malejącą jak k 1 : α k = α/ k = Zapewniona zbieżność, ale czasem może zbiegać zbyt wolno. W praktyce często liczy się gradient nie na pojedynczej obserwacji, ale na ich niewielkiej grupie (tzw. mini-batch) 15 / 20

39 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 k=1 16 / 20

40 Metoda stochastycznego spadku wpływwzdłuż wielkościgradientu gradientów wpływ warunków początkowych Twierdzenie: (odległość od optimum Niech f i (w) na starcie) (i = 1,..., N) na będą trajektorii funkcjami algorytmu wypukłymi i niech w będzie (maleje minimum z α) (globalnym) funkcji f(w). (rośnie Po z α) K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 k=1 16 / 20

41 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) 1 αk α K (...) K k=1 k=1 16 / 20

42 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) 1 α(...) αk k=1 16 / 20

43 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) 1 K α2 k=1 16 / 20

44 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) α K k=1 16 / 20

45 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) α K Stąd stosowane w praktyce malejące wartości α k rzędu α k = const k k=1 16 / 20

46 Metoda stochastycznego spadku wzdłuż gradientu Twierdzenie: Niech f i (w) (i = 1,..., N) będą funkcjami wypukłymi i niech w będzie minimum (globalnym) funkcji f(w). Po K iteracjach algorytm stochastycznego spadku wzdłuż gradientu ze stałą długością kroku α gwarantuje: min f(w k) f(w ) w 1 w 2 + α k=1,...,k 2αK 2K K f ik (w k ) 2 Wniosek: sensowne jest wzięcie α tak, aby oba człony były podobnej wielkości: (...) α K Stąd stosowane w praktyce malejące wartości α k rzędu α k = const k ( ) Powyższe wartości α k dają gwarancje na suboptymalność rzędu O 1 K k=1 16 / 20

47 Porównanie zbieżności algorytm zbieżność błąd po k iteracjach Metoda Cauchy ego liniowa e ck Metoda Newtona-Raphsona kwadratowa e c 1e c 2 k SGD subliniowa c k Algorytm SGD jest bardzo wolny w stosunku do uprzednio poznanych Stosuje się go wtedy, gdy nie jest nam potrzebna duża dokładność punktu optimum, a zależy nam na czasie optymalizacji 17 / 20

48 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas / 20

49 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas czas [h] rozmiar programu [linie kodu] 18 / 20

50 Przykład: szacowanie czasu pracy programistów X Y Rozmiar programu Oszacowany czas czas [h] rozmiar programu [linie kodu] w 0 = 45.93, w 1 = / 20

51 Szacowanie czasu programistów Zaczynamy z rozwiązaniem w = (w 0, w 1 ) = 0. Krok: α k = 0.5/ k. Jednostki zostały zamienione na 1000min i 1000 lini kodu, aby uniknąć dużych liczb. (ujednolicenie skali jest w praktyce bardzo istotne dla zbieżności metody) 19 / 20

52 iteracja 1 Szacowanie czasu programistów Y X 20 / 20

53 iteracja 2 Szacowanie czasu programistów Y X 20 / 20

54 iteracja 3 Szacowanie czasu programistów Y X 20 / 20

55 iteracja 4 Szacowanie czasu programistów Y X 20 / 20

56 iteracja 5 Szacowanie czasu programistów Y X 20 / 20

57 iteracja 10 Szacowanie czasu programistów Y X 20 / 20

58 iteracja 15 Szacowanie czasu programistów Y X 20 / 20

59 iteracja 20 Szacowanie czasu programistów Y X 20 / 20

60 iteracja 25 Szacowanie czasu programistów Y X 20 / 20

61 iteracja 30 Szacowanie czasu programistów Y X 20 / 20

62 iteracja 35 Szacowanie czasu programistów Y X 20 / 20

63 iteracja 40 Szacowanie czasu programistów Y X 20 / 20

64 iteracja 45 Szacowanie czasu programistów Y X 20 / 20

65 iteracja 50 Szacowanie czasu programistów Y X 20 / 20

66 iteracja 60 Szacowanie czasu programistów Y X 20 / 20

67 iteracja 70 Szacowanie czasu programistów Y X 20 / 20

68 iteracja 80 Szacowanie czasu programistów Y X 20 / 20

69 iteracja 90 Szacowanie czasu programistów Y X 20 / 20

70 iteracja 100 Szacowanie czasu programistów Y X 20 / 20

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:

Bardziej szczegółowo

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja

Bardziej szczegółowo

Techniki Optymalizacji: Metody regresji

Techniki Optymalizacji: Metody regresji Techniki Optymalizacji: Metody regresji Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje: piątek 15:10-16:40

Bardziej szczegółowo

Statystyka opisowa. Wykład V. Regresja liniowa wieloraka

Statystyka opisowa. Wykład V. Regresja liniowa wieloraka Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +

Bardziej szczegółowo

Metody Optymalizacji: Przeszukiwanie z listą tabu

Metody Optymalizacji: Przeszukiwanie z listą tabu Metody Optymalizacji: Przeszukiwanie z listą tabu Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje: wtorek

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 1. Optymalizacja funkcji jednej zmiennej Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.02.2019 1 / 54 Plan wykładu Optymalizacja funkcji jednej

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x

Bardziej szczegółowo

Funkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju

Funkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju Funkcje charakterystyczne zmiennych losowych, linie regresji -go i 2-go rodzaju Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji (PSZT)

Podstawy Sztucznej Inteligencji (PSZT) Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12

Bardziej szczegółowo

Optymalizacja ciągła

Optymalizacja ciągła Optymalizacja ciągła 0. Wprowadzenie Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.02.2019 1 / 11 Kontakt wojciech.kotlowski@cs.put.poznan.pl http://www.cs.put.poznan.pl/wkotlowski/mp/

Bardziej szczegółowo

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ

ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 3 Regresja logistyczna autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest zaimplementowanie modelu

Bardziej szczegółowo

WYKŁAD 9 METODY ZMIENNEJ METRYKI

WYKŁAD 9 METODY ZMIENNEJ METRYKI WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 3 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba Cel zadania Celem zadania jest zaimplementowanie algorytmów

Bardziej szczegółowo

Klasyfikator liniowy Wstęp Klasyfikator liniowy jest najprostszym możliwym klasyfikatorem. Zakłada on liniową separację liniowy podział dwóch klas między sobą. Przedstawia to poniższy rysunek: 5 4 3 2

Bardziej szczegółowo

Algorytmy metaheurystyczne Wykład 6. Piotr Syga

Algorytmy metaheurystyczne Wykład 6. Piotr Syga Algorytmy metaheurystyczne Wykład 6 Piotr Syga 10.04.2017 Wprowadzenie Inspiracje Wprowadzenie ACS idea 1 Zaczynamy z pustym rozwiązaniem początkowym 2 Dzielimy problem na komponenty (przedmiot do zabrania,

Bardziej szczegółowo

Metody numeryczne I Równania nieliniowe

Metody numeryczne I Równania nieliniowe Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem

Bardziej szczegółowo

KADD Minimalizacja funkcji

KADD Minimalizacja funkcji Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego

Bardziej szczegółowo

5. Metody Newtona. 5.1 Wzór Taylora

5. Metody Newtona. 5.1 Wzór Taylora 5. Metody Newtona Na ostatnich zajęciach zidentyfikowaliśmy ważny problem poznanych dotychczas metod (Gaussa-Seidel a, Cauchy iego, spadku wzdłuż gradientu, stochastycznego spadku wzdłuż gradientu): ich

Bardziej szczegółowo

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,

Bardziej szczegółowo

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można

Bardziej szczegółowo

Algorytm grupowania danych typu kwantyzacji wektorów

Algorytm grupowania danych typu kwantyzacji wektorów Algorytm grupowania danych typu kwantyzacji wektorów Wstęp Definicja problemu: Typowe, problemem często spotykanym w zagadnieniach eksploracji danych (ang. data mining) jest zagadnienie grupowania danych

Bardziej szczegółowo

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu

1 Metody rozwiązywania równań nieliniowych. Postawienie problemu 1 Metody rozwiązywania równań nieliniowych. Postawienie problemu Dla danej funkcji ciągłej f znaleźć wartości x, dla których f(x) = 0. (1) 2 Przedział izolacji pierwiastka Będziemy zakładać, że równanie

Bardziej szczegółowo

Optymalizacja systemów

Optymalizacja systemów Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji

Bardziej szczegółowo

ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL. sin x2 (1)

ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL. sin x2 (1) ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL 1. Problem Rozważmy układ dwóch równań z dwiema niewiadomymi (x 1, x 2 ): 1 x1 sin x2 x2 cos x1 (1) Nie jest

Bardziej szczegółowo

Metody numeryczne. materiały do wykładu dla studentów

Metody numeryczne. materiały do wykładu dla studentów Metody numeryczne materiały do wykładu dla studentów 5. Przybliżone metody rozwiązywania równań 5.1 Lokalizacja pierwiastków 5.2 Metoda bisekcji 5.3 Metoda iteracji 5.4 Metoda stycznych (Newtona) 5.5 Metoda

Bardziej szczegółowo

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą

Bardziej szczegółowo

Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych

Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule

Bardziej szczegółowo

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia

Bardziej szczegółowo

Iteracyjne rozwiązywanie równań

Iteracyjne rozwiązywanie równań Elementy metod numerycznych Plan wykładu 1 Wprowadzenie Plan wykładu 1 Wprowadzenie 2 Plan wykładu 1 Wprowadzenie 2 3 Wprowadzenie Metoda bisekcji Metoda siecznych Metoda stycznych Plan wykładu 1 Wprowadzenie

Bardziej szczegółowo

wiedzy Sieci neuronowe

wiedzy Sieci neuronowe Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

Spacery losowe generowanie realizacji procesu losowego

Spacery losowe generowanie realizacji procesu losowego Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z

Bardziej szczegółowo

Analiza współzależności zjawisk

Analiza współzależności zjawisk Analiza współzależności zjawisk Informacje ogólne Jednostki tworzące zbiorowość statystyczną charakteryzowane są zazwyczaj za pomocą wielu cech zmiennych, które nierzadko pozostają ze sobą w pewnym związku.

Bardziej szczegółowo

Estymacja wektora stanu w prostym układzie elektroenergetycznym

Estymacja wektora stanu w prostym układzie elektroenergetycznym Zakład Sieci i Systemów Elektroenergetycznych LABORATORIUM INFORMATYCZNE SYSTEMY WSPOMAGANIA DYSPOZYTORÓW Estymacja wektora stanu w prostym układzie elektroenergetycznym Autorzy: dr inż. Zbigniew Zdun

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody poszukiwania ekstremum funkcji jednej zmiennej Materiały pomocnicze do ćwiczeń

Bardziej szczegółowo

Analiza matematyczna i algebra liniowa Macierze

Analiza matematyczna i algebra liniowa Macierze Analiza matematyczna i algebra liniowa Macierze Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje: poniedziałek

Bardziej szczegółowo

Metody Numeryczne Optymalizacja. Wojciech Szewczuk

Metody Numeryczne Optymalizacja. Wojciech Szewczuk Metody Numeryczne Optymalizacja Optymalizacja Definicja 1 Przez optymalizację będziemy rozumieć szukanie minimów lub maksimów funkcji. Optymalizacja Definicja 2 Optymalizacja lub programowanie matematyczne

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się z liniowym zadaniem najmniejszych

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium MATLAB Zadanie nr 2 Detekcja twarzy autorzy: A. Gonczarek, J.M. Tomczak Cel zadania Celem zadania jest zapoznanie się algorytmem gradientu prostego

Bardziej szczegółowo

Metody systemowe i decyzyjne w informatyce

Metody systemowe i decyzyjne w informatyce Metody systemowe i decyzyjne w informatyce Laboratorium Zadanie nr 3 Osada autor: A Gonczarek Celem poniższego zadania jest zrealizowanie fragmentu komputerowego przeciwnika w grze strategiczno-ekonomicznej

Bardziej szczegółowo

w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.

w analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych. Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą

Bardziej szczegółowo

Przegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła

Przegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła Przegląd metod optymalizacji wielowymiarowej Tomasz M. Gwizdałła 2012.12.06 Funkcja testowa Funkcją testową dla zagadnień rozpatrywanych w ramach tego wykładu będzie funkcja postaci f (x) = (x 1 1) 4 +

Bardziej szczegółowo

Algorytmy wstecznej propagacji sieci neuronowych

Algorytmy wstecznej propagacji sieci neuronowych Algorytmy wstecznej propagacji sieci neuronowych Mateusz Nowicki, Krzysztof Jabłoński 1 Wydział Inżynierii Mechanicznej i Informatyki Politechnika Częstochowska Kierunek Informatyka, Rok III 1 krzysztof.jablonski@hotmail.com

Bardziej szczegółowo

Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.

Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np. Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora

Bardziej szczegółowo

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,

Bardziej szczegółowo

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,

Bardziej szczegółowo

Wykład 9 Testy rangowe w problemie dwóch prób

Wykład 9 Testy rangowe w problemie dwóch prób Wykład 9 Testy rangowe w problemie dwóch prób Wrocław, 18 kwietnia 2018 Test rangowy Testem rangowym nazywamy test, w którym statystyka testowa jest konstruowana w oparciu o rangi współrzędnych wektora

Bardziej szczegółowo

wiedzy Sieci neuronowe (c.d.)

wiedzy Sieci neuronowe (c.d.) Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania

Bardziej szczegółowo

Metody probabilistyczne

Metody probabilistyczne Metody probabilistyczne. Twierdzenia graniczne Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 20.2.208 / 26 Motywacja Rzucamy wielokrotnie uczciwą monetą i zliczamy

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Wprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE

Wprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć

Bardziej szczegółowo

OBLICZANIE POCHODNYCH FUNKCJI.

OBLICZANIE POCHODNYCH FUNKCJI. OBLICZANIE POCHODNYCH FUNKCJI. ROZWIĄZYWANIE RÓWNAŃ RÓŻNICZKOWYCH. ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ LINIOWYCH. Obliczanie pochodnych funkcji. Niech będzie dana funkcja y(x określona i różniczkowalna na przedziale

Bardziej szczegółowo

Zaawansowane metody numeryczne Komputerowa analiza zagadnień różniczkowych 4. Równania różniczkowe zwyczajne podstawy teoretyczne

Zaawansowane metody numeryczne Komputerowa analiza zagadnień różniczkowych 4. Równania różniczkowe zwyczajne podstawy teoretyczne Zaawansowane metody numeryczne Komputerowa analiza zagadnień różniczkowych 4. Równania różniczkowe zwyczajne podstawy teoretyczne P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2005/06 Wstęp

Bardziej szczegółowo

Programowanie celowe #1

Programowanie celowe #1 Programowanie celowe #1 Problem programowania celowego (PC) jest przykładem problemu programowania matematycznego nieliniowego, który można skutecznie zlinearyzować, tzn. zapisać (i rozwiązać) jako problem

Bardziej szczegółowo

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać układu równań liniowych Układ liniowych równań algebraicznych

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Laboratorium 5 Przybliżone metody rozwiązywania równań nieliniowych

Laboratorium 5 Przybliżone metody rozwiązywania równań nieliniowych Uniwersytet Zielonogórski Wydział Informatyki, Elektrotechniki i Telekomunikacji Instytut Sterowania i Systemów Informatycznych Elektrotechnika niestacjonarne-zaoczne pierwszego stopnia z tyt. inżyniera

Bardziej szczegółowo

Wykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne

Wykład 4. Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym. 2. Rozkłady próbkowe. 3. Centralne twierdzenie graniczne Wykład 4 Plan: 1. Aproksymacja rozkładu dwumianowego rozkładem normalnym 2. Rozkłady próbkowe 3. Centralne twierdzenie graniczne Przybliżenie rozkładu dwumianowego rozkładem normalnym Niech Y ma rozkład

Bardziej szczegółowo

Optymalizacja Ci gªa

Optymalizacja Ci gªa Institute of Computing Science Poznan University of Technology Optymalizacja Ci gªa Rozszerzenia SGD Mateusz Lango Michaª Kempka June 13, 2018 Gradient Descent - przypomnienie 1 x t+1 = x t η f (x t )

Bardziej szczegółowo

Definicja pochodnej cząstkowej

Definicja pochodnej cząstkowej 1 z 8 gdzie punkt wewnętrzny Definicja pochodnej cząstkowej JeŜeli iloraz ma granicę dla to granicę tę nazywamy pochodną cząstkową funkcji względem w punkcie. Oznaczenia: Pochodną cząstkową funkcji względem

Bardziej szczegółowo

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba

Bardziej szczegółowo

METODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska

METODY NUMERYCZNE. Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą. prof. dr hab.inż. Katarzyna Zakrzewska METODY NUMERYCZNE Wykład 4. Numeryczne rozwiązywanie równań nieliniowych z jedną niewiadomą prof. dr hab.inż. Katarzyna Zakrzewska Met.Numer. Wykład 4 1 Rozwiązywanie równań nieliniowych z jedną niewiadomą

Bardziej szczegółowo

Statystyka. Wykład 9. Magdalena Alama-Bućko. 24 kwietnia Magdalena Alama-Bućko Statystyka 24 kwietnia / 34

Statystyka. Wykład 9. Magdalena Alama-Bućko. 24 kwietnia Magdalena Alama-Bućko Statystyka 24 kwietnia / 34 Statystyka Wykład 9 Magdalena Alama-Bućko 24 kwietnia 2017 Magdalena Alama-Bućko Statystyka 24 kwietnia 2017 1 / 34 Tematyka zajęć: Wprowadzenie do statystyki. Analiza struktury zbiorowości miary położenia

Bardziej szczegółowo

Prawdopodobieństwo i statystyka

Prawdopodobieństwo i statystyka Wykład XIII: Prognoza. 26 stycznia 2015 Wykład XIII: Prognoza. Prognoza (predykcja) Przypuśćmy, że mamy dany ciąg liczb x 1, x 2,..., x n, stanowiących wyniki pomiaru pewnej zmiennej w czasie wielkości

Bardziej szczegółowo

Metody Obliczeniowe w Nauce i Technice

Metody Obliczeniowe w Nauce i Technice 8. Wyznaczanie pierwiastków wielomianów Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl Contributors Magdalena Nowak

Bardziej szczegółowo

Statystyka i eksploracja danych

Statystyka i eksploracja danych Wykład II: i charakterystyki ich rozkładów 24 lutego 2014 Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa, cz. II Wartość oczekiwana Dystrybuanty Słowniczek teorii prawdopodobieństwa,

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 2013-11-26 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody bezgradientowe optymalizacji bez ograniczeń Materiały pomocnicze do ćwiczeń

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt

Bardziej szczegółowo

Optymalizacja. Przeszukiwanie lokalne

Optymalizacja. Przeszukiwanie lokalne dr hab. inż. Instytut Informatyki Politechnika Poznańska www.cs.put.poznan.pl/mkomosinski, Maciej Hapke Idea sąsiedztwa Definicja sąsiedztwa x S zbiór N(x) S rozwiązań, które leżą blisko rozwiązania x

Bardziej szczegółowo

Wstęp do metod numerycznych 9a. Układy równań algebraicznych. P. F. Góra

Wstęp do metod numerycznych 9a. Układy równań algebraicznych. P. F. Góra Wstęp do metod numerycznych 9a. Układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Układy równań algebraicznych Niech g:r N równanie R N będzie funkcja klasy co najmniej

Bardziej szczegółowo

Elementy metod numerycznych

Elementy metod numerycznych Wykład nr 5 i jej modyfikacje. i zera wielomianów Założenia metody Newtona Niech będzie dane równanie f (x) = 0 oraz przedział a, b taki, że w jego wnętrzu znajduje się dokładnie jeden pierwiastek α badanego

Bardziej szczegółowo

Rozkłady statystyk z próby

Rozkłady statystyk z próby Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny

Bardziej szczegółowo

1 Równania nieliniowe

1 Równania nieliniowe 1 Równania nieliniowe 1.1 Postać ogólna równania nieliniowego Często występującym, ważnym problemem obliczeniowym jest numeryczne poszukiwanie rozwiązań równań nieliniowych, np. algebraicznych (wielomiany),

Bardziej szczegółowo

Funkcje dwóch zmiennych

Funkcje dwóch zmiennych Maciej Grzesiak Instytut Matematyki Politechniki Poznańskiej Funkcje dwóch zmiennych 1. Funkcje dwóch zmiennych: pojęcia podstawowe Definicja 1. Funkcją dwóch zmiennych określoną na zbiorze A R 2 o wartościach

Bardziej szczegółowo

Uczenie sieci radialnych (RBF)

Uczenie sieci radialnych (RBF) Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien

Bardziej szczegółowo

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska Sieci neuronowe w Statistica Agnieszka Nowak - Brzezioska Podstawowym elementem składowym sztucznej sieci neuronowej jest element przetwarzający neuron. Schemat działania neuronu: x1 x2 w1 w2 Dendrites

Bardziej szczegółowo

Własności statystyczne regresji liniowej. Wykład 4

Własności statystyczne regresji liniowej. Wykład 4 Własności statystyczne regresji liniowej Wykład 4 Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej Literatura B. Hansen (2017+) Econometrics, Rozdział 5 Własności

Bardziej szczegółowo

Uczenie ze wzmocnieniem

Uczenie ze wzmocnieniem Uczenie ze wzmocnieniem Maria Ganzha Wydział Matematyki i Nauk Informatycznych 2018-2019 O projekcie nr 2 roboty (samochody, odkurzacze, drony,...) gry planszowe, sterowanie (optymalizacja; windy,..) optymalizacja

Bardziej szczegółowo

Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski

Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski Statystyka od podstaw Janina Jóźwiak, Jarosław Podgórski Książka jest nowoczesnym podręcznikiem przeznaczonym dla studentów uczelni i wydziałów ekonomicznych. Wykład podzielono na cztery części. W pierwszej

Bardziej szczegółowo

SVM: Maszyny Wektorów Podpieraja cych

SVM: Maszyny Wektorów Podpieraja cych SVM 1 / 24 SVM: Maszyny Wektorów Podpieraja cych Nguyen Hung Son Outline SVM 2 / 24 1 Wprowadzenie 2 Brak liniowej separowalności danych Nieznaczna nieseparowalność Zmiana przetrzeń atrybutów 3 Implementacja

Bardziej szczegółowo

SZTUCZNA INTELIGENCJA

SZTUCZNA INTELIGENCJA SZTUCZNA INTELIGENCJA WYKŁAD 13. PROBLEMY OPTYMALIZACYJNE Częstochowa 2014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska PROBLEMY OPTYMALIZACYJNE Optymalizacja poszukiwanie

Bardziej szczegółowo

Kwantyzacja wektorowa. Kodowanie różnicowe.

Kwantyzacja wektorowa. Kodowanie różnicowe. Kwantyzacja wektorowa. Kodowanie różnicowe. Kodowanie i kompresja informacji - Wykład 7 12 kwietnia 2010 Kwantyzacja wektorowa wprowadzenie Zamiast kwantyzować pojedyncze elementy kwantyzujemy całe bloki

Bardziej szczegółowo

1 Funkcje dwóch zmiennych podstawowe pojęcia

1 Funkcje dwóch zmiennych podstawowe pojęcia 1 Funkcje dwóch zmiennych podstawowe pojęcia Definicja 1 Funkcją dwóch zmiennych określoną na zbiorze A R 2 o wartościach w zbiorze R nazywamy przyporządkowanie każdemu punktowi ze zbioru A dokładnie jednej

Bardziej szczegółowo

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16 Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego

Bardziej szczegółowo

Widzenie komputerowe

Widzenie komputerowe Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie

Bardziej szczegółowo

ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ

ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ ALGORYTMY EWOLUCYJNE W OPTYMALIZACJI JEDNOKRYTERIALNEJ Zalety: nie wprowadzają żadnych ograniczeń na sformułowanie problemu optymalizacyjnego. Funkcja celu może być wielowartościowa i nieciągła, obszar

Bardziej szczegółowo

Systemy uczące się wykład 2

Systemy uczące się wykład 2 Systemy uczące się wykład 2 dr Przemysław Juszczuk Katedra Inżynierii Wiedzy, Uniwersytet Ekonomiczny 19 X 2018 Podstawowe definicje Fakt; Przesłanka; Konkluzja; Reguła; Wnioskowanie. Typy wnioskowania

Bardziej szczegółowo

jeśli nie jest spełnione kryterium zatrzymania, to nowym punktem roboczym x(t+1) staje i następuje przejście do 1)

jeśli nie jest spełnione kryterium zatrzymania, to nowym punktem roboczym x(t+1) staje i następuje przejście do 1) Metody automatycznej optymalizacji cz.i metody dwufazowe Święta Wielkanocne już za nami, tak więc bierzemy się wspólnie do pracy. Ostatnim razem dokonaliśmy charakterystyki zadań optymalizacji i wskazaliśmy

Bardziej szczegółowo

Zaawansowane metody numeryczne

Zaawansowane metody numeryczne Wykład 11 Ogólna postać metody iteracyjnej Definicja 11.1. (metoda iteracyjna rozwiązywania układów równań) Metodą iteracyjną rozwiązywania { układów równań liniowych nazywamy ciąg wektorów zdefiniowany

Bardziej szczegółowo

Praca dyplomowa magisterska

Praca dyplomowa magisterska Praca dyplomowa magisterska Implementacja algorytmów filtracji adaptacyjnej o strukturze transwersalnej na platformie CUDA Dyplomant: Jakub Kołakowski Opiekun pracy: dr inż. Michał Meller Plan prezentacji

Bardziej szczegółowo