Wstęp do głębokich sieci neuronowych. Paweł Morawiecki IPI PAN

Transkrypt

1 Wstęp do głębokich sieci neuronowych Paweł Morawiecki IPI PAN

2 Liczba projektów z głębokim uczeniem rośnie bardzo szybko liczba projektów w firmie Google czas Źródło: Prezentacja Jeffa Deana (Google Brain), Tensorflow Dev Summit

3 Głębokie sieci neuronowe podbijają NLP Z Facebookowego profilu Stanford NLP Group (21 marca 2017): The 2017 Stanford CS224N poster session will showcase projects in Natural Language Processing with Deep Learning that students have worked on over the past quarter. This year, over 650 students will be presenting over 300 projects, organized over two sessions.!!

4 Sieć neuronowa jest (prostym) modelem obliczeniowym warstwy ukryte warstwa wejściowa warstwa wyjściowa

5 Neuron odpala przy odpowiednim pobudzeniu i 1 w 1 i 2 w 2 + s f(s) w 3 i 3 f(s) = max(0,s) s

6 Uczenie sieci to w istocie zadanie minimalizacji Tak próbujemy dostroić sieć by liczba błędów była jak najmniejsza (wartość funkcji celu jak najmniejsza)

7 Wartość funkcji celu zależy od wag

8 Gradient podpowiada jak zmieniać wagi funkcja_celu(waga) waga

9 Zmieniamy wagi by sieć działała coraz lepiej gdzie to wektor wag, to współczynnik uczenia, to gradient (wektor pochodnych cząstkowych)

10 Naiwne liczenie gradientu działa za wolno waga1 waga2 waga3 waga4 wyjście

11 Naiwne liczenie gradientu działa za wolno waga1 waga2 waga3 waga4 wyjście Wydajne rozwiązanie: algorytm wstecznej propagacji!

12 Algorytm wstecznej propagacji bazuje na regule łańcuchowej 5 ^2

13 Algorytm wstecznej propagacji bazuje na regule łańcuchowej 5 ^2

14 Algorytm wstecznej propagacji jest wydajny Wejście1: Waga1: Wejście2: + + 1/x Waga2: Waga3: 3

15 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5 Wejście2: -0, /x Waga2: 0,7 Waga3: 0,8 3

16 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4 2,4 + 1/x Waga2: 0,7 Waga3: 0,8 3

17 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4-0,4 2 0,5 2,4 + 1/x Waga2: 0,7 Waga3: 0,8 3

18 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-1 Wejście2: -0,3 + 0,4-0,4 2 0,5 2,4 + 1/x -0,25 Waga2: 0,7 Waga3: 0,8 3

19 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: ,4 Wejście2: -0,3 + Waga2: 0,7 Waga3: 0,8 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

20 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2 Waga1: -5-0,1-1 0,4 Wejście2: -0,3 + 0,25 Waga2: 0,7 Waga3: 0,8-0,6 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

21 Algorytm wstecznej propagacji jest wydajny Wejście1: 0,2-0,5 Waga1: ,1-0,02 0,4 Wejście2: -0,3 + 0,25 0,25 Waga2: 0,7 Waga3: 0,8 0,25-0,6 3-0,4 2 0,5-0,25 2,4-0,25 + 1/x -0,25

22 Uczenie się sieci to zmiany wag w dobrym kierunku dopóki czas pozwoli { dla każdego przykładu ze zbioru treningowego {oblicz gradient dla wag} policz średni gradient i zaktualizuj wagi }

23 Skuteczność głębokich sieci rośnie wraz z rozmiarem danych skuteczność sieci głęboka sieć średnia sieć płytka sieć rozmiar danych

24 Program AlphaGo pokonał zawodowego mistrza gry Go

25 Głębokie sieci neuronowe przycięły drzewo gry Źródło: Google Deepmind presentation on AlphaGo

26 Głębokie sieci potrafią diagnozować zmiany nowotworowe na poziomie doświadczonego eksperta (lub lepiej) Wycinek tkanki z węzła chłonnego Źródło: Detecting Cancer Metastases on Gigapixel Pathology Images,

27 Głębokie sieci neuronowe znakomicie służą NLP (np. pomagają wykrywać koreferencje) - Znam planetę na której mieszka pan o czerwonej twarzy. On nigdy nie wąchał kwiatów. Nigdy nie patrzył na gwiazdy. Nigdy nikogo nie kochał. Niczego w życiu nie robił poza rachunkami. I cały dzień powtarza tak jak ty: "Jestem człowiekiem poważnym, jestem człowiekiem poważnym. Nadyma się dumą.

28 Vincent van Gogh maluje prof. Koronackiego +

29 Można się samemu uczyć course.fast.ai (Practical Deep Learning for Coders) neuralnetworksanddeeplearning.com cs231n.github.io (Convolutional Neural Networks for Visual Recognition)

30 Coraz lepsze i przystępniejsze narzędzia ułatwiają start Tensorflow ( i Keras (keras.io) Biblioteka i API wspierane przez Google PyTorch (pytorch.org) Używany i wspierany przez Facebook i Twitter

31 Amazon oferuje serwery z GPU Amazon Web Services (aws.amazon.com) dedykowane serwery z preinstalowanymi bibliotekami koszt około 1$ za godzinę pracy na serwerze