Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec

Podobne dokumenty
Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec

Systemy agentowe. Uczenie ze wzmocnieniem. Jędrzej Potoniec

Wrocław University of Technology. Uczenie głębokie. Maciej Zięba

Wprowadzenie do sieci neuronowych i zagadnień deep learning

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Systemy agentowe. Uwagi organizacyjne. Jędrzej Potoniec

Systemy agentowe. Uwagi organizacyjne i wprowadzenie. Jędrzej Potoniec

Zastosowania sieci neuronowych

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Elementy inteligencji obliczeniowej

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

Politechnika Warszawska

Rozpoznawanie obrazów

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym

Sieć przesyłająca żetony CP (counter propagation)

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

Metody systemowe i decyzyjne w informatyce

SID Wykład 8 Sieci neuronowe

Uczenie maszynowe w zastosowaniu do fizyki cząstek

Uczenie Wielowarstwowych Sieci Neuronów o

Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

Projekt Sieci neuronowe

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

Uczenie sieci typu MLP

Optymalizacja ciągła

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

MATLAB Neural Network Toolbox uczenie sieci (dogłębnie)

ALGORYTMY SZTUCZNEJ INTELIGENCJI

METODY INŻYNIERII WIEDZY

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 04. Skierowane sieci neuronowe. Algorytmy konstrukcyjne dla sieci skierowanych

Sieci neuronowe w Statistica

Podstawy Sztucznej Inteligencji (PSZT)

6. Perceptron Rosenblatta

Definicja perceptronu wielowarstwowego

Zrównoleglona optymalizacja stochastyczna na dużych zbiorach danych

Wstęp do głębokich sieci neuronowych. Paweł Morawiecki IPI PAN

MATLAB Neural Network Toolbox przegląd

Metody eksploracji danych 2. Metody regresji. Piotr Szwed Katedra Informatyki Stosowanej AGH 2017

wiedzy Sieci neuronowe

Zastosowania sieci neuronowych

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Algorytmy wstecznej propagacji sieci neuronowych

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

STRATEGIA DOBORU PARAMETRÓW SIECI NEURONOWEJ W ROZPOZNAWANIU PISMA

SPOTKANIE 4: Klasyfikacja: Regresja logistyczna

UCZENIE WIELOWARSTWOWYCH SZEROKICH SIECI NEURONOWYCH Z FUNKCJAMI AKTYWACJI TYPU RELU W ZADANIACH KLASYFIKACJI

Wprowadzenie do Sieci Neuronowych Laboratorium 06 Algorytm wstecznej propagacji błędu

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.

Uczenie sieci radialnych (RBF)

Sztuczne sieci neuronowe (SNN)

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

1. Logika, funkcje logiczne, preceptron.

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego.

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

Machine learning Lecture 6

Podstawy sztucznej inteligencji

Sztuczne Sieci Neuronowe

x 1 x 2 x 3 x n w 1 w 2 Σ w 3 w n x 1 x 2 x 1 XOR x (x A, y A ) y A x A

Optymalizacja systemów

8. Neuron z ciągłą funkcją aktywacji.

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.

Stosowana Analiza Regresji

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie

MOŻLIWOŚCI ZASTOSOWANIA METOD DATA MINING DO ANALIZY ILOŚCI ŚCIEKÓW DOPŁYWAJĄCYCH DO OCZYSZCZALNI

sieci jednowarstwowe w MATLABie LABORKA Piotr Ciskowski

Uczenie sieci neuronowych i bayesowskich

Algorytmy przeszukiwania w zastosowaniu do perceptrona wielowarstwowego

Sieci Rekurencyjne 1 / 33. Sieci Rekurencyjne. Nguyen Hung Son

Metody Sztucznej Inteligencji II

PROGNOZOWANIE PORÓWNAWCZE ENERGII PROCESOWEJ ZESTAWÓW MASZYN DO ROBÓT ZIEMNYCH JAKO CZYNNIKA RYZYKA EMISYJNOŚCI CO2

Metody klasyfikacji danych - część 2 p.1/55

Sztuczna inteligencja

5. Analiza dyskryminacyjna: FLD, LDA, QDA

SIEĆ NEURONOWA DO OCENY KOŃCOWEJ PRZEDSIĘWZIĘCIA (PROJEKTU)

Zastosowanie sztucznych sieci neuronowych do modelowania procesów azotowania próżniowego stali narzędziowych

Spis treści Wstęp Estymacja Testowanie. Efekty losowe. Bogumiła Koprowska, Elżbieta Kukla

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI. Adrian Horzyk. Akademia Górniczo-Hutnicza

Sztuczne sieci neuronowe

Inteligentne systemy przeciw atakom sieciowym

Temat: Sieci neuronowe oraz technologia CUDA

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

WYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania

2.4. Algorytmy uczenia sieci neuronowych

Widzenie komputerowe

Dariusz Brzeziński Instytut Informatyki, Politechnika Poznańska

Zastosowania funkcji jądrowych do rozpoznawania ręcznie pisanych cyfr.

Transkrypt:

Systemy agentowe Sieci neuronowe Jędrzej Potoniec

Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Perceptron { 1 z 0 step(z) = 0 w przeciwnym przypadku ŷ = step(w T x) ŷ = step(x w)

Perceptron step(z) = { 1 z 0 0 w przeciwnym przypadku ŷ = step(x w)

Perceptron { 1 z 0 step(z) = 0 w przeciwnym przypadku ŷ = step(w T x) ŷ = step(x w)

Perceptron z wieloma wyjściami A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Uczenie perceptronu w (ε+1) i,j = w (ε) i,j + η(y j ŷ j )x i w i,j waga połączenia między wejściem i, a wyjściem j ε krok η prędkość uczenia

AND 1.0 0.8 0.6 x2 0.4 0.2 0.0 0.0 0.2 0.4 0.6 0.8 1.0 x 1 Jakie wagi musi mieć perceptron, żeby rozwiązać taki problem?

XOR 1.0 0.8 0.6 x2 0.4 0.2 0.0 0.0 0.2 0.4 0.6 0.8 1.0 x 1 Jakie wagi musi mieć perceptron, żeby rozwiązać taki problem?

Perceptron wielowarstwowy (MLP multilayer perceptron) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Jak to uczyć: backpropagation (Rumelhart et al. 1986) 1 Oblicz wyjścia sieci 2 Oblicz błąd popełniony przez sieć 3 Korzystając z gradientu delikatnie zmodyfikuj wagi

Jak to uczyć: backpropagation (Rumelhart et al. 1986) 1 Oblicz wyjścia sieci 2 Oblicz błąd popełniony przez sieć 3 Korzystając z gradientu delikatnie zmodyfikuj wagi Wszystko proste, jasne i oczywiste?

Funkcja aktywacji Ile wynosi pochodna funkcji step(z)?

Funkcja aktywacji Ile wynosi pochodna funkcji step(z)? Popularne funkcje aktywacji: logistyczna σ(z) = 1 1 + e z

Funkcja aktywacji Ile wynosi pochodna funkcji step(z)? Popularne funkcje aktywacji: logistyczna σ(z) = 1 1 + e z tangens hiperboliczny tgh(z) = 2σ(2z) 1

Funkcja aktywacji Ile wynosi pochodna funkcji step(z)? Popularne funkcje aktywacji: logistyczna σ(z) = 1 1 + e z tangens hiperboliczny tgh(z) = 2σ(2z) 1 ReLU (rectified linear unit) ReLU(z) = max{z, 0}

Funkcje aktywacji i ich pochodne A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Graf obliczeń A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Reverse-mode autodiff A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Współczesna sieć neuronowa do klasyfikacji A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Eksplodujący i znikający gradient A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

ReLU Czy ReLU jest odporne na problemy ze znikającym gradientem? ReLU(z) = max{0, z} 10 8 6 4 2 0 10.0 7.5 5.0 2.5 0.0 2.5 5.0 7.5 10.0

Leaky ReLU LRelu(z) = max{αz, z} A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

ELU ELU(z) = { α(e z 1) z < 0 z z 0 A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017

Strategia inicjalizacji wag Obserwacja (Xavier Glorot, Yoshua Bengio 2010) Wariancja wejść warstwy powinna być z grubsza równa wariancji wyjść warstwy, a wariancja gradientów przed warstwą wariancji gradientów za warstwą.

Strategia inicjalizacji wag Obserwacja (Xavier Glorot, Yoshua Bengio 2010) Wariancja wejść warstwy powinna być z grubsza równa wariancji wyjść warstwy, a wariancja gradientów przed warstwą wariancji gradientów za warstwą. Xavier initialization funkcja aktywacji rozkład jednostajny rozkład [ r, r] N(0, σ) logistyczna r = 6 n in +n out σ = tanh r = 4 6 n in +n out σ = 4 ReLU/LReLU/ELU r = 2 6 n in +n out σ = 2 normalny 2 n in +n out 2 n in +n out 2 n in +n out

Batch normalization (Ioffe Szegedy 2015) Z = X w

Batch normalization (Ioffe Szegedy 2015) Z = X w m B = 1 n Z i n i=1

Batch normalization (Ioffe Szegedy 2015) Z = X w m B = 1 n Z i n i=1 s 2 B = 1 n (Z i m B ) 2 n i=1

Batch normalization (Ioffe Szegedy 2015) Z = X w m B = 1 n Z i n i=1 s 2 B = 1 n (Z i m B ) 2 n i=1 Ẑ i = Z i m B s 2 B + ε

Batch normalization (Ioffe Szegedy 2015) Z = X w m B = 1 n Z i n i=1 s 2 B = 1 n (Z i m B ) 2 n i=1 Ẑ i = Z i m B s 2 B + ε Z i = γ Ẑ i + β

Batch normalization (Ioffe Szegedy 2015) Z = X w m B = 1 n Z i n i=1 s 2 B = 1 n (Z i m B ) 2 n i=1 Ẑ i = Z i m B s 2 B + ε Z i = γ Ẑ i + β Y i = f ( Z i )

Reużywanie NN A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017