Wstęp do głębokich sieci neuronowych. Paweł Morawiecki IPI PAN

Podobne dokumenty
Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Elementy inteligencji obliczeniowej

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Uczenie sieci typu MLP

Podstawy Sztucznej Inteligencji (PSZT)

Deep Learning na przykładzie Deep Belief Networks

Zastosowania sieci neuronowych

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3

Dariusz Brzeziński Instytut Informatyki, Politechnika Poznańska

Wrocław University of Technology. Uczenie głębokie. Maciej Zięba

Wprowadzenie do sieci neuronowych i zagadnień deep learning

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

8. Neuron z ciągłą funkcją aktywacji.

Sztuczna inteligencja

NEURAL NETWORK ) FANN jest biblioteką implementującą SSN, którą moŝna wykorzystać. w C, C++, PHP, Pythonie, Delphi a nawet w środowisku. Mathematica.

Temat: Sieci neuronowe oraz technologia CUDA

Widzenie komputerowe

Optymalizacja ciągła

STRATEGIA DOBORU PARAMETRÓW SIECI NEURONOWEJ W ROZPOZNAWANIU PISMA

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

Uczenie sieci neuronowych i bayesowskich

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

Uczenie sieci radialnych (RBF)

wiedzy Sieci neuronowe

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Definicja perceptronu wielowarstwowego

Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym

Systemy agentowe. Uczenie ze wzmocnieniem. Jędrzej Potoniec

Sztuczne sieci neuronowe

SIEĆ NEURONOWA DO OCENY KOŃCOWEJ PRZEDSIĘWZIĘCIA (PROJEKTU)

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań

Lekcja 5: Sieć Kohonena i sieć ART

Systemy agentowe. Sieci neuronowe. Jędrzej Potoniec

Optymalizacja optymalizacji

Uczenie maszynowe w zastosowaniu do fizyki cząstek

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Algorytmy wstecznej propagacji sieci neuronowych

UCZENIE WIELOWARSTWOWYCH SZEROKICH SIECI NEURONOWYCH Z FUNKCJAMI AKTYWACJI TYPU RELU W ZADANIACH KLASYFIKACJI

DEKOMPOZYCJA HIERARCHICZNEJ STRUKTURY SZTUCZNEJ SIECI NEURONOWEJ I ALGORYTM KOORDYNACJI

Metody klasyfikacji i rozpoznawania wzorców. Najważniejsze rodzaje klasyfikatorów

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

SID Wykład 8 Sieci neuronowe

MATLAB Neural Network Toolbox przegląd

Metody Sztucznej Inteligencji II

Technologie cyfrowe semestr letni 2018/2019

MODELOWANIE RZECZYWISTOŚCI

wiedzy Sieci neuronowe (c.d.)

Uczenie Wielowarstwowych Sieci Neuronów o

ZASTOSOWANIE SZTUCZNYCH SIECI NEURONOWYCH ORAZ ARCHITEKTURY OPENCL W SPEKTRALNEJ I FALKOWEJ ANALIZIE PRĄDU SILNIKA LSPMSM

A Zadanie

TTIC 31190: Natural Language Processing

ĆWICZENIE 5: Sztuczne sieci neuronowe

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

Filip Graliński. Ku sztucznym sieciom neuronowym

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu

Elementy kognitywistyki III: Modele i architektury poznawcze

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

1. Logika, funkcje logiczne, preceptron.

Elementy kognitywistyki III: Modele i architektury poznawcze

ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE

Sztuczna inteligencja

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Algorytmy sztucznej inteligencji

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Jakość uczenia i generalizacja

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311

Sztuczne sieci neuronowe (SNN)

WYKORZYSTANIE SIECI NEURONOWYCH DO ODWZOROWANIA DEFORMACJI POWIERZCHNI NA TERENACH GÓRNICZYCH

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.

Algorytm grupowania danych typu kwantyzacji wektorów

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Sieć przesyłająca żetony CP (counter propagation)

Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I

WYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania

Podstawy Sztucznej Inteligencji

xx + x = 1, to y = Jeśli x = 0, to y = 0 Przykładowy układ Funkcja przykładowego układu Metody poszukiwania testów Porównanie tabel prawdy

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD XI: Sztuczne sieci neuronowe

AUTOMATYKA INFORMATYKA

Recenzja rozprawy doktorskiej Deep Neural Architectures for Algorithms and Sequential Data napisanej przez mgr Karola Kuracha.

DOI /j

I EKSPLORACJA DANYCH

Elektroniczne materiały dydaktyczne do przedmiotu Wstęp do Sieci Neuronowych

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

Politechnika Warszawska

Wstęp do przetwarzania języka naturalnego. Wykład 13 Podsumowanie i spojrzenie w przyszłość

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład I dr inż. 2015/2016

Celem tych ćwiczeń jest zapoznanie się z klasyfikacją za pomocą sieci neuronowych.

Machine learning Lecture 6

Transkrypt:

Wstęp do głębokich sieci neuronowych Paweł Morawiecki IPI PAN

Liczba projektów z głębokim uczeniem rośnie bardzo szybko liczba projektów w firmie Google 4000 3000 2000 1000 2012 2013 2014 2015 2016 2017 czas Źródło: Prezentacja Jeffa Deana (Google Brain), 15.02.2017 Tensorflow Dev Summit

Głębokie sieci neuronowe podbijają NLP Z Facebookowego profilu Stanford NLP Group (21 marca 2017): The 2017 Stanford CS224N poster session will showcase projects in Natural Language Processing with Deep Learning that students have worked on over the past quarter. This year, over 650 students will be presenting over 300 projects, organized over two sessions.!!

Sieć neuronowa jest (prostym) modelem obliczeniowym warstwy ukryte warstwa wejściowa warstwa wyjściowa

Neuron odpala przy odpowiednim pobudzeniu i 1 w 1 i 2 w 2 + s f(s) w 3 i 3 f(s) = max(0,s) s

Uczenie sieci to w istocie zadanie minimalizacji Tak próbujemy dostroić sieć by liczba błędów była jak najmniejsza (wartość funkcji celu jak najmniejsza)

Wartość funkcji celu zależy od wag

Gradient podpowiada jak zmieniać wagi funkcja_celu(waga) waga

Zmieniamy wagi by sieć działała coraz lepiej gdzie to wektor wag, to współczynnik uczenia, to gradient (wektor pochodnych cząstkowych)

Naiwne liczenie gradientu działa za wolno waga1 waga2 waga3 waga4 wyjście

Naiwne liczenie gradientu działa za wolno waga1 waga2 waga3 waga4 wyjście Wydajne rozwiązanie: algorytm wstecznej propagacji!

Algorytm wstecznej propagacji bazuje na regule łańcuchowej 5 ^2

Algorytm wstecznej propagacji bazuje na regule łańcuchowej 5 ^2

Algorytm wstecznej propagacji jest wydajny Wejście1: Waga1: Wejście2: + + 1/x Waga2: Waga3: 3

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5 Wejście2: -0,3 + + 1/x Waga2: 0,7 Waga3: 0,8 3

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4 2,4 + 1/x Waga2: 0,7 Waga3: 0,8 3

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4-0,4 2 0,5 2,4 + 1/x Waga2: 0,7 Waga3: 0,8 3

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4-0,4 2 0,5 2,4 + 1/x -0,25 Waga2: 0,7 Waga3: 0,8 3

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 0,4 Wejście2: -0,3 + Waga2: 0,7 Waga3: 0,8 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-0,1-1 0,4 Wejście2: -0,3 + 0,25 Waga2: 0,7 Waga3: 0,8-0,6 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2-0,5 Waga1: -5-1 -0,1-0,02 0,4 Wejście2: -0,3 + 0,25 0,25 Waga2: 0,7 Waga3: 0,8 0,25-0,6 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

Uczenie się sieci to zmiany wag w dobrym kierunku dopóki czas pozwoli { dla każdego przykładu ze zbioru treningowego {oblicz gradient dla wag} policz średni gradient i zaktualizuj wagi }

Skuteczność głębokich sieci rośnie wraz z rozmiarem danych skuteczność sieci głęboka sieć średnia sieć płytka sieć rozmiar danych

Program AlphaGo pokonał zawodowego mistrza gry Go

Głębokie sieci neuronowe przycięły drzewo gry Źródło: Google Deepmind presentation on AlphaGo

Głębokie sieci potrafią diagnozować zmiany nowotworowe na poziomie doświadczonego eksperta (lub lepiej) Wycinek tkanki z węzła chłonnego Źródło: Detecting Cancer Metastases on Gigapixel Pathology Images, 2016 https://arxiv.org/pdf/1703.02442.pdf

Głębokie sieci neuronowe znakomicie służą NLP (np. pomagają wykrywać koreferencje) - Znam planetę na której mieszka pan o czerwonej twarzy. On nigdy nie wąchał kwiatów. Nigdy nie patrzył na gwiazdy. Nigdy nikogo nie kochał. Niczego w życiu nie robił poza rachunkami. I cały dzień powtarza tak jak ty: "Jestem człowiekiem poważnym, jestem człowiekiem poważnym. Nadyma się dumą.

Vincent van Gogh maluje prof. Koronackiego + https://deepart.io

Można się samemu uczyć course.fast.ai (Practical Deep Learning for Coders) neuralnetworksanddeeplearning.com cs231n.github.io (Convolutional Neural Networks for Visual Recognition)

Coraz lepsze i przystępniejsze narzędzia ułatwiają start Tensorflow (www.tensorflow.org) i Keras (keras.io) Biblioteka i API wspierane przez Google PyTorch (pytorch.org) Używany i wspierany przez Facebook i Twitter

Amazon oferuje serwery z GPU Amazon Web Services (aws.amazon.com) dedykowane serwery z preinstalowanymi bibliotekami koszt około 1$ za godzinę pracy na serwerze