10. Techniki minimalizacji a sieci neuronowe
|
|
- Helena Anna Mazurek
- 5 lat temu
- Przeglądów:
Transkrypt
1 10. Techniki minimalizacji a sieci neuronowe 10-1 Błąd aproksymacji 10-2 Minimalizacja kosztu 10-3 Tryby minimalizacji 10-4 Metoda największego spadku 10-5 Gradient sprzężony 10-6 Metoda Newtona 10-7 Metody zmiennej metryki 10-8 Metoda Levenberga-Marquardta 10-9 Specyficzne techniki neuronowe: Wygładzanie inercyjne wag Specyficzne techniki neuronowe: Reguła delta-delta Specyficzne techniki neuronowe: Reguła delta-bar-delta 19 maja Techniki minimalizacji a sieci neuronowe 10-0
2 Błąd aproksymacji skończonyzbiórobrazówu={u 1,...,u N },U L =U Q= 1 2 ε i 2 Udowolny,U L losowanyzgodniezeznanymrozkłademnau Q 0 = 1 2 E ε 2 Udowolny,U L losowanyzgodniezpewnymrozkłademnau Q N (t)= 1 2 A N ε(t) 2 Q 0 19 maja Techniki minimalizacji a sieci neuronowe 10-1
3 Funkcja błędu Minimalizacja kosztu Q N (w)= 1 N k t=k N +1 q(y(t;w) y o (t))= 1 N k t=k N +1 y(t;w) y o (t) 2 Metody gradientowe w(k+1)=w(k)+ηr(δ(k)) gdzie w wektor wszystkich wag sieci δ(k)= Q N (w(k)) gradient Q N wk-tymkrokuminimalizacji r wektorowa funkcja gradientu określająca nowy kierunek η krok minimalizacji k indeks kroku minimalizacji 19 maja Techniki minimalizacji a sieci neuronowe 10-2
4 Tryby minimalizacji (N, M, L): długość okna(przedział uśredniania) N, przesunięcie okna po wykonaniu kroków minimalizacji M, liczba kroków minimalizacji dla jednej estymaty gradientu tryb natychmiastowy(1, 1, 1) koszt oczekiwany estymowany jest przez koszt chwilowy(1-elementowe uśrednianie kosztu), minimalizacja po każdej prezentacji trybwsadowy(n,n,1) uśrednienie N > 1 kosztów chwilowych przed każdą minimalizacją; dla skończonegou L przyjmujesięn= U L (epoka) wielokrotne użycie gradientu(n, N, L) prezentacja N nowych wejść, L > 1 kroków minimalizacji ruchomeokno(n,m,l) przesunięcieoknaodługościnom<nchwil(usunięciemnajstarszychi prezentacjamnowychwejść),uśrednianiewoknieodługościn,wykonaniel 1 kroków minimalizacji 19 maja Techniki minimalizacji a sieci neuronowe 10-3
5 wzórtaylora1rzędu Metoda największego spadku Q(w+µr)=Q(w)+µr T Q (w)+o(µ) dlar= Q (w) Q(w+µr)=Q(w) µ Q (w) 2 <Q(w) algorytm korekcji wag w(k+1)=w(k) µδ(k) algorytm jest zwykle połączony z obliczaniem gradientu metodą propagacji zwrotnej 19 maja Techniki minimalizacji a sieci neuronowe 10-4
6 Gradient sprzężony funkcjakwadratowawr l,minimalizacjawkierunku minimalizacja(r) minimalizacja(s) minimalizacja(r, s) zmianagradientuoµq (w)r(k), r(k+1) r(k) kierunkir,ssprzężone:r T Q s=0 metodagradientusprzężonegor(k) T H(k)s(s)=0 dlas=1,...,k 1 r(k)= δ(k)+β(k 1)r(k 1), r(0)= δ(0) β(k)= δ(k+1) 2 δ(k) 2 β(k)= (δ(k+1) δ(k))t δ(k+1) δ(k) 2 Fletcher-Reeves Polak-Ribière restart po l krokach zbieżne superliniowo; praktycznie: liniowo dla funkcji kwadratowej: F-R, P-R identyczne, zbieżność w l krokach 19 maja Techniki minimalizacji a sieci neuronowe 10-5
7 wzórnewtona2rzędu Metoda Newtona Q(w+µr)=Q(w)+µr T Q (w)+ 1 2 µ2 r T Q (w)r+o(µ 2 ) gradientqjakofunkcjar µq (w+µr)=µq (w)+µ 2 Q (w)r+o(µ 2 ) kierunek poprawy r= Q (w) 1 Q (w) algorytm Newtona w(k+1)=w(k) µh 1 (k)δ(k) zbieżny w l krokach dla funkcji kwadratowej przy minimalizacji w kierunku; problem: Hessian 19 maja Techniki minimalizacji a sieci neuronowe 10-6
8 Metody zmiennej metryki aproksymacjaq powinnaspełniać Q (w)(w w )=Q (w) Q (w ) metoda Davidona-Fletchera-Powella(DFP) P(k)= w(k) w(k)t P(k) w(k) T δ(k) P(k) δ(k) δ(k)t δ(k) T P(k) δ(k) metoda Broydena-Fletchera-Goldfarba-Shanno(BFGS) P(k)= P(k) DFP + δ(k) T P(k) δ(k)zz T gdziez= w(k) w(k) T δ(k) P(k) δ(k) δ(k) T P(k) δ(k) gdziep(k)=ĥ 1 (k), x(k)=x(k+1) x(k) warunkipoczątkowe:p(0)=1,p(1) metodanajwiększegospadku 19 maja Techniki minimalizacji a sieci neuronowe 10-7
9 Metoda Levenberga-Marquardta kwadratowa funkcja błędu Q(w)= 1 m (y i (w) y o 2 i) 2 = 1 2 Q (w)= Q (w)= i=1 m y i(w)ε i (w) i=1 m i=1 m ε 2 i(w) i=1 y i(w)ε i (w)+y i(w)y i T (w) wokółminimumε i jestbliskie0(v parametrmarquardta) Q (w)=v1+ m i=1 y i(w)y i T (w) dlav dużych (względemwartościwłasnychmacierzy m Q (w) v1 metodanajwiększegospadku i=1 y i (w)y i dlav małych Q (w) m i=1 y i (w)y T i (w) metoda Newtona T (w)) 19 maja Techniki minimalizacji a sieci neuronowe 10-8
10 Specyficzne techniki neuronowe: Wygładzanie inercyjne wag członinercyjny(ang.momentumterm) α w(k 1) w(k)= µδ(k)+α w(k 1), 0<α<1 człon inercyjny kumuluje efekt δ(k) w kierunku spadku gradientu i redukuje efekt zmian gradientu dlazadanegociągugradientów{δ(1),...,δ(k)} w(k) = µ 1 αq 1δ(k) = µ(1+αq 1 +α 2 q )δ(k) = µ ( δ(k)+αδ(k 1)+α 2 δ(k 2)+... ) (q 1 operatoropóźnieniajednostkowego) czyli gradient δ(k) zastąpiony przez sumę ważoną gradientów ze współczynnikiem wygładzania α w(k)= µf(q)δ(k), F(q)= i=0 α i q i 19 maja Techniki minimalizacji a sieci neuronowe 10-9
11 Specyficzne techniki neuronowe: Reguła delta-delta pochodnakosztuwzględemwspółczynnikauczeniaµ i dlaalgorytmu w i (k+1)=w i (k) µ i (k)δ i (k) dq dµ i (k) = δ i(k)δ i (k 1) korekcja współczynnika uczenia µ i (k+1)=µ i (k)+γδ i (k)δ i (k 1) dużawrażliwośćnawybórγ;wzrostµ i gdydwiekolejnepochodneδ i (k)sątego samego znaku nazwa delta-delta wywodzi się z oznaczenia gradientu przez δ 19 maja Techniki minimalizacji a sieci neuronowe 10-10
12 Specyficzne techniki neuronowe: Reguła delta-bar-delta wygładzanie gradientu δ(k)=ξδ i (k 1)+(1 ξ)δ i (k), 0<ξ<1 µ i (k+1)=µ i (k)+γδ i (k)δ i (k 1) dodatkowe zabezpieczenia: µ liniowo rośnie gdy znak gradientu stały, maleje wykładniczo gdy zmienny κ gdyδ i (k)δ i (k 1)>0 µ i (k+1)=µ i (k)+ βµ i (k) gdyδ(k)δ(k 1)<0 0 w pozostałych przypadkach 0<κ<0.05, 0.1<β< maja Techniki minimalizacji a sieci neuronowe 10-11
WYKŁAD 9 METODY ZMIENNEJ METRYKI
WYKŁAD 9 METODY ZMIENNEJ METRYKI Kierunki sprzężone. Metoda Newtona Raphsona daje dobre przybliżenie najlepszego kierunku poszukiwań, lecz jest to okupione znacznym kosztem obliczeniowym zwykle postać
Bardziej szczegółowoUczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoWstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 11. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowo2.4. Algorytmy uczenia sieci neuronowych
2.4. Algorytmy uczenia sieci neuronowych Prosta struktura sieci jednokierunkowych sprawia, że są najchętniej stosowane. Ponadto metody uczenia ich należą również do popularnych i łatwych w realizacji.
Bardziej szczegółowoWstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2015 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 4. Metody kierunków poprawy (metoda spadku wzdłuż gradientu) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 21.03.2019 1 / 41 Plan wykładu Minimalizacja
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metody kierunków poparwy (metoda Newtona-Raphsona, metoda gradientów sprzężonych) Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 28.03.2019 1
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji n-wymiarowych Forma kwadratowa w n wymiarach Procedury minimalizacji Minimalizacja wzdłuż prostej w n-wymiarowej przestrzeni Metody minimalizacji wzdłuż osi współrzędnych wzdłuż kierunków
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoSztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Bardziej szczegółowo8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i
Bardziej szczegółowoZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ
ZADANIA OPTYMALIZCJI BEZ OGRANICZEŃ Maciej Patan Uniwersytet Zielonogórski WSTEP Zadanie minimalizacji bez ograniczeń f(ˆx) = min x R nf(x) f : R n R funkcja ograniczona z dołu Algorytm rozwiazywania Rekurencyjny
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY
METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii
Bardziej szczegółowoNumeryczne metody optymalizacji Optymalizacja w kierunku. informacje dodatkowe
Numeryczne metody optymalizacji Optymalizacja w kierunku informacje dodatkowe Numeryczne metody optymalizacji x F x = min x D x F(x) Problemy analityczne: 1. Nieliniowa złożona funkcja celu F i ograniczeń
Bardziej szczegółowoPOPRAWA EFEKTYWNOŚCI METODY WSTECZNEJ
Nowoczesne techniki informatyczne - Ćwiczenie 6: POPRAWA EFEKTYWNOŚCI METODY BP str. 1 Ćwiczenie 6: UCZENIE SIECI WIELOWARSTWOWYCH. POPRAWA EFEKTYWNOŚCI METODY WSTECZNEJ PROPAGACJI BŁĘDU WYMAGANIA 1. Sztuczne
Bardziej szczegółowowiedzy Sieci neuronowe (c.d.)
Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
Bardziej szczegółowoUKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH
Transport, studia I stopnia rok akademicki 2011/2012 Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Uwagi wstępne Układ liniowych równań algebraicznych można
Bardziej szczegółowoPodstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Bardziej szczegółowoZrównoleglona optymalizacja stochastyczna na dużych zbiorach danych
Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych mgr inż. C. Dendek prof. nzw. dr hab. J. Mańdziuk Politechnika Warszawska, Wydział Matematyki i Nauk Informacyjnych Outline 1 Uczenie
Bardziej szczegółowoSieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 4 Wariacje na temat propagacji wstecznej Sieci CP
Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009 Sieci Neuronowe Wykład 4 Wariacje na temat propagacji wstecznej Sieci CP wykład przygotowany na podstawie. S. Osowski, Sieci neuronowe w ujęciu
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoSieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści
Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej
Bardziej szczegółowoSztuczne Sieci Neuronowe
Sztuczne Sieci Neuronowe Wykład 4 1. Zdolności uogólniania sieci, weryfikacja procesu uczenia (przypomnienie) 2. Siec wielowarstwowa perceptronowa 3. Algorytmy uczenia sieci metodami propagacji wstecznej
Bardziej szczegółowoAlgorytmy wstecznej propagacji sieci neuronowych
Algorytmy wstecznej propagacji sieci neuronowych Mateusz Nowicki, Krzysztof Jabłoński 1 Wydział Inżynierii Mechanicznej i Informatyki Politechnika Częstochowska Kierunek Informatyka, Rok III 1 krzysztof.jablonski@hotmail.com
Bardziej szczegółowoSztuczna inteligencja
Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury
Bardziej szczegółowoKomputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych
Komputerowa analiza zagadnień różniczkowych 2. Metoda gradientów sprzężonych Minimalizacja i układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ semestr letni 2007/08 Metoda gradientów
Bardziej szczegółowoPrzegląd metod optymalizacji numerycznej. Krzysztof Malczewski
Przegląd metod optymalizacji numerycznej Krzyszto Malczewski Numeryczne metody optymalizacji Deterministyczne (klasyczne) * bez ograniczeń: - bezgradientowe: + simpleks Neldera-Meada, + spadku względem
Bardziej szczegółowoWstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych. P. F. Góra
Wstęp do metod numerycznych 12. Minimalizacja: funkcje wielu zmiennych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2018 Strategia minimalizacji wielowymiarowej Zakładamy, że metody poszukiwania minimów
Bardziej szczegółowojeśli nie jest spełnione kryterium zatrzymania, to nowym punktem roboczym x(t+1) staje i następuje przejście do 1)
Metody automatycznej optymalizacji cz.i metody dwufazowe Święta Wielkanocne już za nami, tak więc bierzemy się wspólnie do pracy. Ostatnim razem dokonaliśmy charakterystyki zadań optymalizacji i wskazaliśmy
Bardziej szczegółowoP. F. Góra.
Komputerowa analiza zagadnień różniczkowych 10. Dygresje matematycze: Metody iteracyjne rozwiazywania układów równań liniowych, minimalizacja wielowymiarowa i układy równań algebraicznych P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
Bardziej szczegółowoSieci jednokierunkowe wielowarstwowe typu sigmoidalnego
Sieci jednokierunkowe wielowarstwowe typu sigmoidalnego Sieć jednowarstwowa Rys.1 Schemat sieci jednowarstwowej 2 Sieć jednowarstwowa Cechy sieci jednowarstwowej: Tworzą ją neurony ułożone w jednej warstwie,
Bardziej szczegółowoBIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.
Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego
Bardziej szczegółowoUkłady równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona) f(x) = 0, gdzie. dla n=2 np.
Układy równań nieliniowych (wielowymiarowa metoda Newtona-Raphsona f(x 0, f ( f, f,..., f n gdzie 2 x ( x, x 2,..., x n dla n2 np. f ( x, y 0 g( x, y 0 dla każdej wielowymiarowej rozwinięcie w szereg Taylora
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
Bardziej szczegółowoBezgradientowe metody optymalizacji funkcji wielu zmiennych. informacje dodatkowe
Bezgradientowe metody optymalizacji funkcji wielu zmiennych informacje dodatkowe Wybór kierunku poszukiwań Kierunki bazowe i ich modyfikacje metody bezgradientowe. Kierunki oparte na gradiencie funkcji
Bardziej szczegółowoMetoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych
inż. Marek Duczkowski Metoda określania pozycji wodnicy statków na podstawie pomiarów odległości statku od głowic laserowych słowa kluczowe: algorytm gradientowy, optymalizacja, określanie wodnicy W artykule
Bardziej szczegółowoα - stałe 1 α, s F ± Ψ taka sama Drgania nieliniowe (anharmoniczne) Harmoniczne: Inna zależność siły od Ψ : - układ nieliniowy,
Drgania nieliniowe (anharmoniczne) Harmoniczne: F s s Inna zależność siły od : - układ nieliniowy, Symetryczna siła zwrotna Niech: F s ( ) s Symetryczna wartość - drgania anharmoniczne α, s F s dla α -
Bardziej szczegółowoOptymalizacja (minimalizacja) funkcji. Plan wykładu: 1. Sformułowanie problemu, funkcja celu. 2. Metody bezgradientowe
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
Bardziej szczegółowo6. Perceptron Rosenblatta
6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:
Bardziej szczegółowoZagadnienia - równania nieliniowe
Zagadnienia - równania nieliniowe Sformułowanie zadania poszukiwania pierwiastków. Przedział izolacji. Twierdzenia o istnieniu pierwiastków. Warunki zatrzymywania algorytmów. Metoda połowienia: założenia,
Bardziej szczegółowoWidzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Bardziej szczegółowoMetody Obliczeniowe w Nauce i Technice
17 - Minimalizacja funkcji Marian Bubak Department of Computer Science AGH University of Science and Technology Krakow, Poland bubak@agh.edu.pl dice.cyfronet.pl Contributors Anna Bukowska Yurii Vyzhha
Bardziej szczegółowoAutomatyka i Robotyka II Stopień ogólno akademicki studia niestacjonarne wszystkie Katedra Automatyki i Robotyki Prof. dr hab. inż.
Załącznik nr 7 do Zarządzenia Rektora nr 10/12 z dnia 21 lutego 2012r. KARTA MODUŁU / KARTA PRZEDMIOTU Kod modułu Nazwa modułu Nazwa modułu w języku angielskim Obowiązuje od roku akademickiego 2013/2014
Bardziej szczegółowoTemat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe
Bardziej szczegółowo1.3. Optymalizacja geometrii czasteczki
0 1 Część teoretyczna 13 Optymalizacja geometrii czasteczki Poszukiwanie punktów stacjonarnych (krytycznych) funkcji stanowi niezwykle istotny problem w obliczeniowej chemii kwantowej Sprowadza się on
Bardziej szczegółowoModelowanie wybranych zjawisk fizycznych
Ryszard Myhan Modelowanie zjawiska tarcia suchego Suwaka porusza się w poziomych prowadnicach, gdzie x=x(t) oznacza przesunięcie suwaka względem nieruchomej prowadnicy w kierunku zgodnym z kierunkiem siły
Bardziej szczegółowoMetody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści
Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, 2012 Spis treści Przedmowa do wydania drugiego Przedmowa IX X 1. Wstęp 1 2. Wybrane zagadnienia sztucznej inteligencji
Bardziej szczegółowoSID Wykład 8 Sieci neuronowe
SID Wykład 8 Sieci neuronowe Wydział Matematyki, Informatyki i Mechaniki UW slezak@mimuw.edu.pl Sztuczna inteligencja - uczenie Uczenie się jest procesem nastawionym na osiaganie rezultatów opartych o
Bardziej szczegółowoZastosowanie sztucznych sieci neuronowych do modelowania procesów azotowania próżniowego stali narzędziowych
Zastosowanie sztucznych sieci neuronowych do modelowania procesów azotowania próżniowego stali narzędziowych Emilia Wołowiec-Korecka Politechnika Łódzka Zastosowania statystyki i data mining w badaniach
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka ADALINE. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 218-1-15/22 Projekt pn.
Bardziej szczegółowoModyfikacja schematu SCPF obliczeń energii polaryzacji
Modyfikacja schematu SCPF obliczeń energii polaryzacji Zakład Metod Obliczeniowych Chemii 11 kwietnia 2006 roku 1 Po co? Jak? 2 Algorytm Analiza zbieżności 3 dla układów symetrycznych 4 Fulleren 5 Po co?
Bardziej szczegółowoCyfrowe przetwarzanie obrazów i sygnałów Wykład 7 AiR III
1 Niniejszy dokument zawiera materiały do wykładu z przedmiotu Cyfrowe Przetwarzanie Obrazów i Sygnałów. Jest on udostępniony pod warunkiem wykorzystania wyłącznie do własnych, prywatnych potrzeb i może
Bardziej szczegółowoMetoda gradientu prostego
Metoda gradientu prostego Metoda gradientu prostego jest pojęciem z zakresu optymalizacji matematycznej. Jest to algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu. Jest to jedna
Bardziej szczegółowoRozwiązywanie równań nieliniowych
Rozwiązywanie równań nieliniowych Marcin Orchel 1 Wstęp Przykłady wyznaczania miejsc zerowych funkcji f : f(ξ) = 0. Wyszukiwanie miejsc zerowych wielomianu n-tego stopnia. Wymiar tej przestrzeni wektorowej
Bardziej szczegółowoMETODY INTELIGENCJI OBLICZENIOWEJ wykład 5
METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 1 2 SZTUCZNE SIECI NEURONOWE cd 3 UCZENIE PERCEPTRONU: Pojedynczy neuron (lub 1 warstwa neuronów) typu percep- tronowego jest w stanie rozdzielić przestrzeń obsza-
Bardziej szczegółowoRozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów.
Rozwiązywanie równań nieliniowych i ich układów. Wyznaczanie zer wielomianów. Plan wykładu: 1. Wyznaczanie pojedynczych pierwiastków rzeczywistych równań nieliniowych metodami a) połowienia (bisekcji)
Bardziej szczegółowoAlgorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Bardziej szczegółowo15. Macierze. Definicja Macierzy. Definicja Delty Kroneckera. Definicja Macierzy Kwadratowej. Definicja Macierzy Jednostkowej
15. Macierze Definicja Macierzy. Dla danego ciała F i dla danych m, n IN funkcję A : {1,...,m} {1,...,n} F nazywamy macierzą m n ( macierzą o m wierszach i n kolumnach) o wyrazach z F. Wartość A(i, j)
Bardziej szczegółowoPolitechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania
Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Metody optymalizacji Metody poszukiwania ekstremum funkcji jednej zmiennej Materiały pomocnicze do ćwiczeń
Bardziej szczegółowoSztuczne sieci neuronowe
www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,
Bardziej szczegółowo1 Relacje i odwzorowania
Relacje i odwzorowania Relacje Jacek Kłopotowski Zadania z analizy matematycznej I Wykazać, że jeśli relacja ρ X X jest przeciwzwrotna i przechodnia, to jest przeciwsymetryczna Zbadać czy relacja ρ X X
Bardziej szczegółowoUogolnione modele liniowe
Uogolnione modele liniowe Jerzy Mycielski Uniwersytet Warszawski grudzien 2013 Jerzy Mycielski (Uniwersytet Warszawski) Uogolnione modele liniowe grudzien 2013 1 / 17 (generalized linear model - glm) Zakładamy,
Bardziej szczegółowo2. Założenie niezależności zakłóceń modelu - autokorelacja składnika losowego - test Durbina - Watsona
Sprawdzanie założeń przyjętych o modelu (etap IIIC przyjętego schematu modelowania regresyjnego) 1. Szum 2. Założenie niezależności zakłóceń modelu - autokorelacja składnika losowego - test Durbina - Watsona
Bardziej szczegółowoEstymacja wektora stanu w prostym układzie elektroenergetycznym
Zakład Sieci i Systemów Elektroenergetycznych LABORATORIUM INFORMATYCZNE SYSTEMY WSPOMAGANIA DYSPOZYTORÓW Estymacja wektora stanu w prostym układzie elektroenergetycznym Autorzy: dr inż. Zbigniew Zdun
Bardziej szczegółowoRedukcja wariancji w metodach Monte-Carlo
14.02.2006 Seminarium szkoleniowe 14 lutego 2006 Plan prezentacji Wprowadzenie Metoda losowania warstwowego Metoda próbkowania ważonego Metoda zmiennych kontrolnych Metoda zmiennych antytetycznych Metoda
Bardziej szczegółowoMetody optymalizacji - teoria i wybrane algorytmy
Metody optymalizacji - teoria i wybrane algorytmy 15 stycznia 2012 Spis treści I Algorytmy optymalizacji funkcji jednej zmiennej 2 1 Metody ustalania przedziału, w którym znajduje się minimum 3 1.1 Metoda
Bardziej szczegółowoOgólna idea procesu uczenia. Najważniejszy element wiedzy o sieciach neuronowych uczenie sieci. Uczenie z nauczycielem
Ogólna idea procesu uczenia Najważniejszy element wiedzy o sieciach neuronowych uczenie sieci Warstwa wejściowa. Te neurony odbierają zadanie do wykonania Warstwa ukryta 1. Te neurony przetwarzają dane
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Wykład 10 Mapa cech Kohonena i jej modyfikacje - uczenie sieci samoorganizujących się - kwantowanie wektorowe
Bardziej szczegółowo1. Logika, funkcje logiczne, preceptron.
Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję
Bardziej szczegółowoMetody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017
Metody eksploracji danych 2. Metody regresji Piotr Szwed Katedra Informatyki Stosowanej AGH 2017 Zagadnienie regresji Dane: Zbiór uczący: D = {(x i, y i )} i=1,m Obserwacje: (x i, y i ), wektor cech x
Bardziej szczegółowoUczenie ze wzmocnieniem
Uczenie ze wzmocnieniem Maria Ganzha Wydział Matematyki i Nauk Informatycznych 2018-2019 O projekcie nr 2 roboty (samochody, odkurzacze, drony,...) gry planszowe, sterowanie (optymalizacja; windy,..) optymalizacja
Bardziej szczegółowoSieć przesyłająca żetony CP (counter propagation)
Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są
Bardziej szczegółowoPrzepływ w korytach otwartych. kanał otwarty przepływ ze swobodną powierzchnią
Przepływ w korytach otwartych kanał otwarty przepływ ze swobodną powierzchnią Przepływ w korytach otwartych Przewody otwarte dzielimy na: Naturalne rzeki strumienie potoki Sztuczne kanały komunikacyjne
Bardziej szczegółowoMetody numeryczne I Równania nieliniowe
Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem
Bardziej szczegółowoNajważniejszy element wiedzy o sieciach neuronowych. uczenie sieci
Najważniejszy element wiedzy o sieciach neuronowych uczenie sieci Ogólna idea procesu uczenia Warstwa wejściowa. Te neurony odbierają zadanie do wykonania Warstwa ukryta 1. Te neurony przetwarzają dane
Bardziej szczegółowoMetody numeryczne. Równania nieliniowe. Janusz Szwabiński.
Metody numeryczne Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl nm_slides-9.tex Metody numeryczne Janusz Szwabiński 7/1/2003 20:18 p.1/64 Równania nieliniowe 1. Równania nieliniowe z pojedynczym
Bardziej szczegółowoWprowadzenie Metoda bisekcji Metoda regula falsi Metoda siecznych Metoda stycznych RÓWNANIA NIELINIOWE
Transport, studia niestacjonarne I stopnia, semestr I Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska Ewa Pabisek Adam Wosatko Postać ogólna równania nieliniowego Zazwyczaj nie można znaleźć
Bardziej szczegółowoI EKSPLORACJA DANYCH
I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania
Bardziej szczegółowoMetody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawy optymalizacji Plan prezentacji 1 Podstawy matematyczne 2 3 Eliminacja ograniczeń Metody
Bardziej szczegółowoIteracyjne rozwiązywanie równań
Elementy metod numerycznych Plan wykładu 1 Wprowadzenie Plan wykładu 1 Wprowadzenie 2 Plan wykładu 1 Wprowadzenie 2 3 Wprowadzenie Metoda bisekcji Metoda siecznych Metoda stycznych Plan wykładu 1 Wprowadzenie
Bardziej szczegółowoZagadnienia optymalizacji i aproksymacji. Sieci neuronowe.
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI
Bardziej szczegółowoStopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.
Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej
Bardziej szczegółowo5. Metody stochastyczne (symulowane wyżarzanie, algorytmy genetyczne) -> metody Monte Carlo
Optymalizacja (minimalizacja) funkcji Plan wykładu: 1. Sformułowanie problemu, funkcja celu 2. Metody bezgradientowe a) metoda złotego podziału b) metoda sympleks c) metoda interpolacji Powell'a 3. Metody
Bardziej szczegółowoUczenie Wielowarstwowych Sieci Neuronów o
Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji
Bardziej szczegółowoStosowana Analiza Regresji
Stosowana Analiza Regresji Wykład VI... 16 Listopada 2011 1 / 24 Jest to rozkład zmiennej losowej rozkład chi-kwadrat Z = n i=1 X 2 i, gdzie X i N(µ i, 1) - niezależne. Oznaczenie: Z χ 2 (n, λ), gdzie:
Bardziej szczegółowoWeryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta
Bardziej szczegółowoDemonstracja: konwerter prąd napięcie
Demonstracja: konwerter prąd napięcie i WE =i i WE i v = i WE R R=1 M Ω i WE = [V ] 10 6 [Ω] v + Zasilanie: +12, 12 V wy( ) 1) Oświetlanie o stałym natężeniu: =? (tryb DC) 2) Oświetlanie przez lampę wstrząsoodporną:
Bardziej szczegółowoMetody optymalizacji nieliniowej (metody programowania nieliniowego) Ewa Niewiadomska-Szynkiewicz Instytut Automatyki i Informatyki Stosowanej
Metody optymalizacji nieliniowej metody programowania nieliniowego Ewa Niewiadomsa-Szyniewicz Instytut Automatyi i Inormatyi Stosowanej Ewa Niewiadomsa-Szyniewicz ens@ia.pw.edu.pl Instytut Automatyi i
Bardziej szczegółowoPrzegląd metod optymalizacji wielowymiarowej. Funkcja testowa. Funkcja testowa. Notes. Notes. Notes. Notes. Tomasz M. Gwizdałła
Przegląd metod optymalizacji wielowymiarowej Tomasz M. Gwizdałła 2012.12.06 Funkcja testowa Funkcją testową dla zagadnień rozpatrywanych w ramach tego wykładu będzie funkcja postaci f (x) = (x 1 1) 4 +
Bardziej szczegółowoStatystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Bardziej szczegółowoSieci neuronowe: perspektywa systemowa
Sieci neuronowe: perspektywa systemowa 1 Co to są sieci neuronowe 2 Standardowe elementy sieci neuronowych 3 Zagadnieniaklasyfikacji 4 PerceptronRosenblatta 5 Maszyny wektorów podpierających 6 Adaline
Bardziej szczegółowoOptymalizacja konstrukcji
Dariusz Skibicki dariusz.skibickiatutp.edu.pl Wydział Inżynierii Mechanicznej Uniwersytet Technologiczno Przyrodniczy im. Jana i Jędrzeja Śniadeckich w Bydgoszczy Optymalizacja konstrukcji Plan wykładu
Bardziej szczegółowoUczenie sieci neuronowych i bayesowskich
Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10
Bardziej szczegółowoAlgorytmy decyzyjne będące alternatywą dla sieci neuronowych
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny
Bardziej szczegółowoEkonometria. Modele dynamiczne. Paweł Cibis 27 kwietnia 2006
Modele dynamiczne Paweł Cibis pcibis@o2.pl 27 kwietnia 2006 1 Wyodrębnianie tendencji rozwojowej 2 Etap I Wyodrębnienie tendencji rozwojowej Etap II Uwolnienie wyrazów szeregu empirycznego od trendu Etap
Bardziej szczegółowo