AUTO-ENKODER JAKO SKŠADNIK ARCHITEKTURY DEEP LEARNING
|
|
- Seweryn Witkowski
- 8 lat temu
- Przeglądów:
Transkrypt
1 AUTO-ENKODER JAKO SKŠADNIK ARCHITEKTURY DEEP LEARNING Magdalena Wiercioch Uniwersytet Jagiello«ski 3 kwietnia 2014
2 Plan Uczenie gª bokie (deep learning) Auto-enkodery Rodzaje Zasada dziaªania Przykªady Bibliograa 2 z 48
3 Uczenie gª bokie (deep learning) cel - wydobycie cech najbardziej istotnych 3 z 48
4 Uczenie gª bokie (deep learning) Potrzeba funkcji, która zapewni efektywno± oblicze«i wydajno± uczenia. Nasuwa si pytanie w jaki sposób j reprezentowa. 4 z 48
5 Uczenie gª bokie (deep learning) Technika uczenia gª bokiego ma swoje ideologiczne podstawy w procesie skªadania funkcji. Ka»da z funkcji skªadanych otrzymuje dane do przetworzenia. 5 z 48
6 Uczenie gª bokie (deep learning) 6 z 48
7 Uczenie gª bokie (deep learning) A mo»e sie wielowarstwowa (uczona gradientowo)? 7 z 48
8 Uczenie gª bokie (deep learning) (Bengio, 2007) Idea greedy layer-wise training: trenowanie krok po kroku, a wi c najpierw trenuje si sie z jedn warstw ukryt, potem z dwoma itd. w ka»dym kroku do rozwa»anej sieci zawieraj cej k 1 warstw ukrytych dodaje si kolejn warstw, która na wej±ciu przyjmuje rezultat poprzedniej architektury 8 z 48
9 Uczenie gª bokie (deep learning) mo»liwe jest zarówno podej±cie nadzorowane jak i nienadzorowane (cz ±ciej stosowane, realizowane za pomoc auto-enkoderów) wyuczone wagi sªu» do inicjalizacji wag w caªej sieci pozwala to na dostrojenie caªej architektury (ne-tune) 9 z 48
10 Uczenie gª bokie (deep learning) Zalety: zdecydowanie lepsza dost pno± danych metoda spadku gradientu znajduje wªa±ciwe (lub prawie poprawne) lokalne minimum 10 z 48
11 Auto-enkoder obecno± trzech warstw reprodukcja informacji wej±ciowej na wyj±ciu 11 z 48
12 Auto-enkoder rzadki (sparse autoencoder) W zwyczajnym trybie sie uczyªaby si funkcji identyczno±ciowej, co nie miaªoby sensu. Dlatego wprowadza si pewne kryteria, jak np. ilo± neuronów w warstwie ukrytej. Okazuje si,»e ciekawe wªasno±ci ujawniaj si gdy ilo± neuronów w warstwie ukrytej jest wi ksza od wymiaru danych wej±ciowych. Wówczas wprowadza si dodatkowe ograniczenie na rzadko± (sparsity). 12 z 48
13 Auto-enkoder 13 z 48
14 Auto-enkoder x [0, 1] d, y [0, 1] d, z [0, 1] d y f θ (x) = s(wx + b); θ = W, b z g θ (y) = s(w y + b ); θ = W, b θ, θ = argmin θ,θ 1 n n R(x (i), g i=1 θ (f θ (x (i) ))) 14 z 48
15 Auto-enkoder R(x, z) = x z 2 R H (x, z) = d j=1 [x j log z j + (1 x j ) log(1 z j )] Istnieje dowód na to,»e gdy neurony w warstwie ukrytej oraz w warstwie wyj±ciowej maj charakterystyki liniowe (lub qasiliniowe), to taka sie w rzeczywisto±ci uczy si aproksymowa standardowy algorytm analizy gªównych skªadowych. 15 z 48
16 Dywergencja Kullbacka-Leiblera Dywergencja Kullbacka-Leiblera (entropia wzgl dna, rozbie»no± Kullbacka-Leiblera) to miara stosowana w teorii informacji. Sªu»y do okre±lenia rozbie»no±ci pomi dzy dwoma rozkªadami p oraz q. Przyjmuje zawsze warto±ci nieujemne. Je±li dwa rozkªady s identyczne, wówczas jej warto± wynosi 0. Dla rozkªadów dyskretnych dywergencja Kullbacka-Leiblera wyra»a si wzorem: gdzie q - dane rzeczywiste; p - model teoretyczny. D KL (q, p) = i=1 q i log 2 q(i) p(i) 16 z 48
17 Ograniczenie na rzadko± (sparsity) a (2) k (x) - poziom aktywacji neuronu k w warstwie ukrytej pod wpªywem wej±cia x ˆρ k = 1 n n i=1 [a(2) k (x (i) )] - ±rednia aktywacja neuronu ρ jako parametr odnosz cy si do wymuszanej cechy rzadko±ci (sparsity parameter) celem jest doprowadzenie do równo±ci ˆρ k = ρ funkcja straty: L s (W, b) = L(W, b) + β n KL(ρ ˆρ i=1 i) 17 z 48
18 Dywergencja Kullbacka-Leiblera a auto-enkoder 18 z 48
19 Auto-enkoder odszumiaj cy (denoising autoencoder) wej±cie x [0, 1] d modykacja wej±cia daje x q( x x) przeksztaªcenie x do reprezentacji zredukowanej y = f θ ( x) odtworzenie z na podstawie y, z = g θ (y) 19 z 48
20 Auto-enkoder odszumiaj cy (denoising autoencoder) (Vincent, 2008) ró»ne interpretacje, jedno z nich oparte na idei rozmaito±ci przyjmuje si,»e oryginalne dane s umiejscowione bli»ej rozmaito±ci o mniejszej liczbie wymiarów p(x X ) = B gθ (f θ ( X ))(X ) zapewnia stosowne rzutowanie 20 z 48
21 Auto-enkoder stosowy (stacked autoencoder) warstwa 1 21 z 48
22 Auto-enkoder stosowy (stacked autoencoder) warstwa 1 warstwa 2 22 z 48
23 Auto-enkoder stosowy (stacked autoencoder) warstwa 1 warstwa 2 warstwa 3 23 z 48
24 Auto-enkoder stosowy (stacked autoencoder) warstwa 1 warstwa 2 warstwa 3 warstwa uczona z nadzorem 24 z 48
25 Auto-enkoder stosowy (stacked autoencoder) 25 z 48
26 Auto-enkoder stosowy (stacked autoencoder) 26 z 48
27 Auto-enkoder stosowy (stacked autoencoder) 27 z 48
28 Auto-enkoder stosowy (stacked autoencoder) 28 z 48
29 Zestaw odszumiaj cych auto-enkoderów (stacked denoising autoencoders) wstawianie kolejnych warstw z auto-enkoderem (odszumiaj cym) rezultat ka»dego procesu oczyszczenia przesyªany jest do warstwy poªo»nej wy»ej 29 z 48
30 Strojenie (ne tuning) inicjalizacja parametrów sieci w sposób nienadzorowany dostrajanie w wersji nadzorowanej 30 z 48
31 Auto-enkoder 31 z 48
32 Auto-enkoder 32 z 48
33 Auto-enkoder 33 z 48
34 Auto-enkoder 34 z 48
35 Auto-enkoder 35 z 48
36 Auto-enkoder 36 z 48
37 Auto-enkoder Zbiór STL z 48
38 Auto-enkoder 38 z 48
39 Auto-enkoder odszumiaj cy (denoising autoencoder) MNIST 39 z 48
40 Auto-enkoder odszumiaj cy (denoising autoencoder) poziom zaszumienia = 0% 40 z 48
41 Auto-enkoder odszumiaj cy (denoising autoencoder) poziom zaszumienia = 15% 41 z 48
42 Auto-enkoder odszumiaj cy (denoising autoencoder) poziom zaszumienia = 30% 42 z 48
43 Auto-enkoder odszumiaj cy (denoising autoencoder) poziom zaszumienia = 45% 43 z 48
44 Wynik zestawienia auto-enkoderów 44 z 48
45 Wynik zestawienia auto-enkoderów odszumiaj cych 45 z 48
46 Rezultat zastosowania sieci Deep Belief 46 z 48
47 Bibliograa Bengio Y., Learning deep architectures for AI, Foundations and trends in Machine Learning (2009) Vincent P., Larochelle H., Lajoie I., Bengio Y., Manzagol P.A., Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion (2010) Bengio Y., Lamblin P., Popovici D., Larochelle H., Greedy layer-wise training of deep networks. NIPS (2006) Ranzato M., Poultney C., Chopra S., and LeCun Y., Ecient learning of sparse representations with an energy-based model. NIPS 2006, MIT Press, 2006 Ranzato M., Boureau Y., LeCun Y., Sparse feature learning for deep belief networks. Advances in Neural Information Processing Systems (NIPS 2007) 47 z 48
48 Bibliograa Hinton G.E., Osindero S., Teh Y., A fast learning algorithm for deep belief nets. Neural Computation 18 (2006) Hinton G. E., Salakhutdinov R., Reducing the dimensionality of data with neural networks. Science (2006) 48 z 48
Deep Learning na przykładzie Deep Belief Networks
Deep Learning na przykładzie Deep Belief Networks Jan Karwowski Zakład Sztucznej Inteligencji i Metod Obliczeniowych Wydział Matematyki i Nauk Informacyjnych PW 20 V 2014 Jan Karwowski (MiNI) Deep Learning
Bardziej szczegółowoUczenie Wielowarstwowych Sieci Neuronów o
Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji
Bardziej szczegółowoWrocław University of Technology. Uczenie głębokie. Maciej Zięba
Wrocław University of Technology Uczenie głębokie Maciej Zięba UCZENIE GŁĘBOKIE (ang. deep learning) = klasa metod uczenia maszynowego, gdzie model ma strukturę hierarchiczną złożoną z wielu nieliniowych
Bardziej szczegółowoWprowadzenie do sieci neuronowych i zagadnień deep learning
Wprowadzenie do sieci neuronowych i zagadnień deep learning Inteligentne Obliczenia Wydział Mechatroniki Politechniki Warszawskiej Anna Sztyber INO (IAiR PW) Deep learning Anna Sztyber 1 / 28 Deep learning
Bardziej szczegółowodr Igor T. Podolak 19 grudnia 2013, 9 i 16 stycznia 2014
dr Igor T Podolak 19 grudnia 2013, 9 i 16 stycznia 2014 1 / Igor T Podolak, WMiI UJ igorpodolak@ujedupl Głębokie uczenie, nowe perspektywy uczenia maszynowego 1/47 47 Potrzeba głębokich architektur podstawowe
Bardziej szczegółowoMetody numeryczne i statystyka dla in»ynierów
Kierunek: Automatyka i Robotyka, II rok Wprowadzenie PWSZ Gªogów, 2009 Plan wykªadów Wprowadzenie, podanie zagadnie«, poj cie metody numerycznej i algorytmu numerycznego, obszar zainteresowa«i stosowalno±ci
Bardziej szczegółowoWYKŁAD 4 PLAN WYKŁADU. Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania. Metody uczenia sieci: Zastosowania
WYKŁAD 4 Sieci neuronowe: Algorytmy uczenia & Dalsze zastosowania PLAN WYKŁADU Metody uczenia sieci: Uczenie perceptronu Propagacja wsteczna Zastosowania Sterowanie (powtórzenie) Kompresja obrazu Rozpoznawanie
Bardziej szczegółowoDaniel Kierepka. Kompresja obrazów za pomoc sztucznych sieci neuronowych
Daniel Kierepka Kompresja obrazów za pomoc sztucznych sieci neuronowych We współczesnym wiecie do duym problemem jest przesyłanie danych o znacznej wielkoci w sieciach telekomunikacyjnych. W tej pracy
Bardziej szczegółowoprzewidywania zapotrzebowania na moc elektryczn
do Wykorzystanie do na moc elektryczn Instytut Techniki Cieplnej Politechnika Warszawska Slide 1 of 20 do Coraz bardziej popularne staj si zagadnienia zwi zane z prac ¹ródªa energii elektrycznej (i cieplnej)
Bardziej szczegółowoJednowarstwowe Sieci Neuronowe jako. klasykatory do wielu klas. (c) Marcin Sydow
Plan dyskretny perceptron i jego ograniczenia inne funkcje aktywacji wielo-klasykacja przy pomocy jedno-warstwowe sieci neuronowej ograniczenia jedno-warstwowej sieci neuronowej miary ewaluacyjne dla klasykacji
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING
METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING UCZENIE GŁĘBOKIE I GŁĘBOKIE SIECI NEURONOWE DEEP LEARNING AND DEEP NEURAL NETWORKS Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki,
Bardziej szczegółowoMATLAB Neural Network Toolbox uczenie sieci (dogłębnie)
MATLAB Neural Network Toolbox uczenie sieci (dogłębnie) WYKŁAD Piotr Ciskowski Neural Network Toolbox: NEURAL NETWORK TOOLBOX NOTACJA Neural Network Toolbox - notacja: pojedynczy neuron: z jednym wejściem
Bardziej szczegółowoElementy kognitywistyki III: Modele i architektury poznawcze
Elementy kognitywistyki III: Modele i architektury poznawcze Wykład VII: Modelowanie uczenia się w sieciach neuronowych Uczenie się sieci i trening nienaruszona struktura sieci (z pewnym ale ) nienaruszone
Bardziej szczegółowoZastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym, kontynuacja badań Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW
Bardziej szczegółowoUczenie sieci neuronowych i bayesowskich
Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10
Bardziej szczegółowoA = n. 2. Ka»dy podzbiór zbioru sko«czonego jest zbiorem sko«czonym. Dowody tych twierdze«(elementarne, lecz nieco nu» ce) pominiemy.
Logika i teoria mnogo±ci, konspekt wykªad 12 Teoria mocy, cz ± II Def. 12.1 Ka»demu zbiorowi X przyporz dkowujemy oznaczany symbolem X obiekt zwany liczb kardynaln (lub moc zbioru X) w taki sposób,»e ta
Bardziej szczegółowoIMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,
Bardziej szczegółowoZastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym
Zastosowanie optymalizacji rojem cząstek (PSO) w procesie uczenia wielowarstwowej sieci neuronowej w problemie lokalizacyjnym Jan Karwowski Wydział Matematyki i Nauk Informacyjnych PW 17 XII 2013 Jan Karwowski
Bardziej szczegółowoKlasyfikacja z milionami etykiet
Klasyfikacja z milionami etykiet Krzysztof Dembczyński Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Big Data: Przetwarzanie i eksploracja Poznań, 22 kwietnia 2016 r. Geoff
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Bardziej szczegółowoLab. 02: Algorytm Schrage
Lab. 02: Algorytm Schrage Andrzej Gnatowski 5 kwietnia 2015 1 Opis zadania Celem zadania laboratoryjnego jest zapoznanie si z jednym z przybli»onych algorytmów sªu» cych do szukania rozwi za«znanego z
Bardziej szczegółowoWst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe
Wst p do sieci neuronowych, wykªad 14 Zespolone sieci neuronowe M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toru«, Poland 2011-18-02 Motywacja Liczby
Bardziej szczegółowoAlgorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Bardziej szczegółowo1 Bª dy i arytmetyka zmiennopozycyjna
1 Bª dy i arytmetyka zmiennopozycyjna Liczby w pami ci komputera przedstawiamy w ukªadzie dwójkowym w postaci zmiennopozycyjnej Oznacza to,»e s one postaci ±m c, 01 m < 1, c min c c max, (1) gdzie m nazywamy
Bardziej szczegółowoMetody selekcji cech
Metody selekcji cech A po co to Często mamy do dyspozycji dane w postaci zbioru cech lecz nie wiemy które z tych cech będą dla nas istotne. W zbiorze cech mogą wystąpić cechy redundantne niosące identyczną
Bardziej szczegółowoElementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD XI: Sztuczne sieci neuronowe
Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD XI: Sztuczne sieci neuronowe [pattern associator], PA struktura: Sieci kojarzące wzorce programowanie: wyjście jednostki = aktywacji sieciowej (N)
Bardziej szczegółowoListy Inne przykªady Rozwi zywanie problemów. Listy w Mathematice. Marcin Karcz. Wydziaª Matematyki, Fizyki i Informatyki.
Wydziaª Matematyki, Fizyki i Informatyki 10 marca 2008 Spis tre±ci Listy 1 Listy 2 3 Co to jest lista? Listy List w Mathematice jest wyra»enie oddzielone przecinkami i zamkni te w { klamrach }. Elementy
Bardziej szczegółowoSystemy agentowe. Uwagi organizacyjne i wprowadzenie. Jędrzej Potoniec
Systemy agentowe Uwagi organizacyjne i wprowadzenie Jędrzej Potoniec Kontakt mgr inż. Jędrzej Potoniec Jedrzej.Potoniec@cs.put.poznan.pl http://www.cs.put.poznan.pl/jpotoniec https://github.com/jpotoniec/sa
Bardziej szczegółowoPoprawa efektywnoci metody wstecznej propagacji bdu. Jacek Bartman
Poprawa efektywnoci metody wstecznej propagac bdu Algorytm wstecznej propagac bdu. Wygeneruj losowo wektory wag. 2. Podaj wybrany wzorzec na wejcie sieci. 3. Wyznacz odpowiedzi wszystkich neuronów wyjciowych
Bardziej szczegółowoMachine learning Lecture 6
Machine learning Lecture 6 Marcin Wolter IFJ PAN 11 maja 2017 Deep learning Convolution network Zastosowanie do poszukiwań bozonu Higgsa 1 Deep learning Poszczególne warstwy ukryte uczą się rozpoznawania
Bardziej szczegółowoAlgorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa
Algorytmy MCMC (Markowowskie Monte Carlo) dla skokowych procesów Markowa Wojciech Niemiro 1 Uniwersytet Warszawski i UMK Toruń XXX lat IMSM, Warszawa, kwiecień 2017 1 Wspólne prace z Błażejem Miasojedowem,
Bardziej szczegółowoSTRATEGIA DOBORU PARAMETRÓW SIECI NEURONOWEJ W ROZPOZNAWANIU PISMA
ZESZYTY NAUKOWE POLITECHNIKI ŚLĄSKIEJ 2016 Seria: ORGANIZACJA I ZARZĄDZANIE z. 96 Nr kol. 1963 Wiktor WALENTYNOWICZ wiktorwalentynowicz@hotmail.com Ireneusz J. JÓŹWIAK Politechnika Wrocławska Wydział Informatyki
Bardziej szczegółowoStatystyka matematyczna
Statystyka matematyczna Aleksandra Ki±lak-Malinowska akis@uwm.edu.pl http://wmii.uwm.edu.pl/ akis/ Czym zajmuje si statystyka? Statystyka zajmuje si opisywaniem i analiz zjawisk masowych otaczaj cej czªowieka
Bardziej szczegółowoKLASYCZNE ZDANIA KATEGORYCZNE. ogólne - orzekaj co± o wszystkich desygnatach podmiotu szczegóªowe - orzekaj co± o niektórych desygnatach podmiotu
➏ Filozoa z elementami logiki Na podstawie wykªadów dra Mariusza Urba«skiego Sylogistyka Przypomnij sobie: stosunki mi dzy zakresami nazw KLASYCZNE ZDANIA KATEGORYCZNE Trzy znaczenia sªowa jest trzy rodzaje
Bardziej szczegółowoListy i operacje pytania
Listy i operacje pytania Iwona Polak iwona.polak@us.edu.pl Uniwersytet l ski Instytut Informatyki pa¹dziernika 07 Który atrybut NIE wyst puje jako atrybut elementów listy? klucz elementu (key) wska¹nik
Bardziej szczegółowoARYTMETYKA MODULARNA. Grzegorz Szkibiel. Wiosna 2014/15
ARYTMETYKA MODULARNA Grzegorz Szkibiel Wiosna 2014/15 Spis tre±ci 1 Denicja kongruencji i jej podstawowe wªasno±ci 3 2 Systemy pozycyjne 8 3 Elementy odwrotne 12 4 Pewne zastosowania elementów odwrotnych
Bardziej szczegółowoWykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych
WM Czarnecki (GMUM) Lokalna geometria w SVM 13 Listopada 2013 1 / 26 Wykorzystanie lokalnej geometrii danych w Maszynie Wektorów No±nych Wojciech Marian Czarnecki Jacek Tabor GMUM Grupa Metod Uczenia Maszynowego
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
Bardziej szczegółowoMetodydowodzenia twierdzeń
1 Metodydowodzenia twierdzeń Przez zdanie rozumiemy dowolne stwierdzenie, które jest albo prawdziwe, albo faªszywe (nie mo»e by ono jednocze±nie prawdziwe i faªszywe). Tradycyjnie b dziemy u»ywali maªych
Bardziej szczegółowoDariusz Brzeziński Instytut Informatyki, Politechnika Poznańska
Dariusz Brzeziński Instytut Informatyki, Politechnika Poznańska Podstawowe architektury sieci neuronowych Generowanie sztucznych danych Jak się nie przemęczyć Korzystanie z istniejących wag Zamrażanie
Bardziej szczegółowo1. Wprowadzenie do C/C++
Podstawy Programowania :: Roman Grundkiewicz :: 014 Zaj cia 1 1 rodowisko Dev-C++ 1. Wprowadzenie do C/C++ Uruchomienie ±rodowiska: Start Programs Developments Dev-C++. Nowy projekt: File New Project lub
Bardziej szczegółowoEkonometria. wiczenia 7 Modele nieliniowe. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej
Ekonometria wiczenia 7 Modele nieliniowe (7) Ekonometria 1 / 19 Plan wicze«1 Nieliniowo± : co to zmienia? 2 Funkcja produkcji Cobba-Douglasa 3 Nieliniowa MNK (7) Ekonometria 2 / 19 Plan prezentacji 1 Nieliniowo±
Bardziej szczegółowoJAO - J zyki, Automaty i Obliczenia - Wykªad 1. JAO - J zyki, Automaty i Obliczenia - Wykªad 1
J zyki formalne i operacje na j zykach J zyki formalne s abstrakcyjnie zbiorami sªów nad alfabetem sko«czonym Σ. J zyk formalny L to opis pewnego problemu decyzyjnego: sªowa to kody instancji (wej±cia)
Bardziej szczegółowoIndeksowane rodziny zbiorów
Logika i teoria mnogo±ci, konspekt wykªad 7 Indeksowane rodziny zbiorów Niech X b dzie przestrzeni zbiorem, którego podzbiorami b d wszystkie rozpatrywane zbiory, R rodzin wszystkich podzbiorów X za± T
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
Bardziej szczegółowoPodstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Bardziej szczegółowoBash i algorytmy. Elwira Wachowicz. 20 lutego
Bash i algorytmy Elwira Wachowicz elwira@ifd.uni.wroc.pl 20 lutego 2012 Elwira Wachowicz (elwira@ifd.uni.wroc.pl) Bash i algorytmy 20 lutego 2012 1 / 16 Inne przydatne polecenia Polecenie Dziaªanie Przykªad
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH
Bardziej szczegółowoMetody bioinformatyki (MBI)
Metody bioinformatyki (MBI) Wykªad 9 - mikromacierze DNA, analiza danych wielowymiarowych Robert Nowak 2016Z Metody bioinformatyki (MBI) 1/42 mikromacierze DNA Metoda badawcza, pozwalaj ca bada obecno±
Bardziej szczegółowoWst p do sieci neuronowych, wykªad 05a Algorytm wstecznej propagacji bª du
Wst p do sieci neuronowych, wykªad 05a M. Czoków, J. Piersa Wydziaª Matematyki i Informatyki, Uniwersytet Mikoªaja Kopernika w Toruniu 2012-11-14 Projekt pn. Wzmocnienie potencjaªu dydaktycznego UMK w
Bardziej szczegółowowiczenie nr 3 z przedmiotu Metody prognozowania kwiecie«2015 r. Metodyka bada«do±wiadczalnych dr hab. in». Sebastian Skoczypiec Cel wiczenia Zaªo»enia
wiczenie nr 3 z przedmiotu Metody prognozowania kwiecie«2015 r. wiczenia 1 2 do wiczenia 3 4 Badanie do±wiadczalne 5 pomiarów 6 7 Cel Celem wiczenia jest zapoznanie studentów z etapami przygotowania i
Bardziej szczegółowoWstęp do głębokich sieci neuronowych. Paweł Morawiecki IPI PAN
Wstęp do głębokich sieci neuronowych Paweł Morawiecki IPI PAN Liczba projektów z głębokim uczeniem rośnie bardzo szybko liczba projektów w firmie Google 4000 3000 2000 1000 2012 2013 2014 2015 2016 2017
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Bardziej szczegółowoWykªad 7. Ekstrema lokalne funkcji dwóch zmiennych.
Wykªad jest prowadzony w oparciu o podr cznik Analiza matematyczna 2. Denicje, twierdzenia, wzory M. Gewerta i Z. Skoczylasa. Wykªad 7. Ekstrema lokalne funkcji dwóch zmiennych. Denicja Mówimy,»e funkcja
Bardziej szczegółowoUczenie sieci radialnych (RBF)
Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt
Bardziej szczegółowoWst p do sieci neuronowych 2010/2011 wykªad 7 Algorytm propagacji wstecznej cd.
Wst p do sieci neuronowych 2010/2011 wykªad 7 Algorytm propagacji wstecznej cd. M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toru«, Poland 2010-11-23
Bardziej szczegółowoAlgorytm propagacji wstecznej
Algorytm propagacji wstecznej M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toru«, Poland 2010-11-16 Powtórzenie Architektury sieci Dlacezgo MLP? W sieciach
Bardziej szczegółowoSztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Bardziej szczegółowoMetody klasyfikacji danych zaszumionych. Stanisław Kaźmierczak
Metody klasyfikacji danych zaszumionych Stanisław Kaźmierczak Agenda Szum Źródła szumu Zaszumianie i odszumianie Nauka i testowanie Architektura sieci Wyniki Wnioski oraz kierunki dalszych badań 2 3 Definicja
Bardziej szczegółowoTEORETYCZNE PODSTAWY INFORMATYKI
1 TEORETYCZNE PODSTAWY INFORMATYKI WFAiS UJ, Informatyka Stosowana I rok studiów, I stopień Wykład 16 2 Data Science: Uczenie maszynowe Uczenie maszynowe: co to znaczy? Metody Regresja Klasyfikacja Klastering
Bardziej szczegółowoWst p do sieci neuronowych, wykªad 4 Algorytm wstecznej propagacji bª du, cz. 1
Wst p do sieci neuronowych, wykªad 4, cz. 1 M. Czoków, J. Piersa, A. Rutkowski Wydziaª Matematyki i Informatyki, Uniwersytet Mikoªaja Kopernika w Toruniu 2018-10-28 Projekt pn. Wzmocnienie potencjaªu dydaktycznego
Bardziej szczegółowoElementy kognitywistyki III: Modele i architektury poznawcze
Elementy kognitywistyki III: Modele i architektury poznawcze Wykład III: Psychologiczne modele umysłu Gwoli przypomnienia: Kroki w modelowaniu kognitywnym: teoretyczne ramy pojęciowe (modele pojęciowe)
Bardziej szczegółowoWykªad 6: Model logitowy
Wykªad 6: Model logitowy Ekonometria Stosowana SGH Model logitowy 1 / 18 Plan wicze«1 Modele zmiennej jako±ciowej idea 2 Model logitowy Specykacja i interpretacja parametrów Dopasowanie i restrykcje 3
Bardziej szczegółowoMODELOWANIE FAZ ZNI ANIA I L DOWANIA SAMOLOTU BOEING 767-300ER PRZY U YCIU SZTUCZNYCH SIECI NEURONOWYCH
P R A C E N A U K O W E P O L I T E C H N I K I W A R S Z A W S K I E J z. 102 Transport 2014 Aleksandra Stycunów, Jerzy Manerowski Politechnika Warszawska, Wydzia Transportu MODELOWANIE FAZ ZNI ANIA I
Bardziej szczegółowoMATLAB Neural Network Toolbox przegląd
MATLAB Neural Network Toolbox przegląd WYKŁAD Piotr Ciskowski Neural Network Toolbox: Neural Network Toolbox - zastosowania: przykłady zastosowań sieci neuronowych: The 1988 DARPA Neural Network Study
Bardziej szczegółowoSystemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn and TensorFlow 2017 Perceptron { 1 z 0 step(z) = 0 w przeciwnym przypadku
Bardziej szczegółowoMetody numeryczne i statystyka dla in»ynierów
Kierunek: Automatyka i Robotyka, II rok Interpolacja PWSZ Gªogów, 2009 Interpolacja Okre±lenie zale»no±ci pomi dzy interesuj cymi nas wielko±ciami, Umo»liwia uproszczenie skomplikowanych funkcji (np. wykorzystywana
Bardziej szczegółowoTeoria grafów i jej zastosowania. 1 / 126
Teoria grafów i jej zastosowania. 1 / 126 Mosty królewieckie W Królewcu, na rzece Pregole znajduj si dwie wyspy poª czone ze sob, a tak»e z brzegami za pomoc siedmiu mostów, tak jak pokazuje rysunek 2
Bardziej szczegółowoWidzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Bardziej szczegółowoEdycja geometrii w Solid Edge ST
Edycja geometrii w Solid Edge ST Artykuł pt.: " Czym jest Technologia Synchroniczna a czym nie jest?" zwracał kilkukrotnie uwagę na fakt, że nie należy mylić pojęć modelowania bezpośredniego i edycji bezpośredniej.
Bardziej szczegółowoEksploracja Danych. Wprowadzenie. (c) Marcin Sydow
Wprowadzenie Proponowane podr czniki T.Hastie, R.Tibshirani et al. An Introduction to Statistical Learning I.Witten et al. Data Mining S.Marsland Machine Learning J.Koronacki, J.Mielniczuk Statystyka dla
Bardziej szczegółowoWST P DO TEORII INFORMACJI I KODOWANIA. Grzegorz Szkibiel. Wiosna 2013/14
WST P DO TEORII INFORMACJI I KODOWANIA Grzegorz Szkibiel Wiosna 203/4 Spis tre±ci Kodowanie i dekodowanie 4. Kodowanie a szyfrowanie..................... 4.2 Podstawowe poj cia........................
Bardziej szczegółowoNieujemna faktoryzacja macierzy i tensorów
Rafał Zdunek Nieujemna faktoryzacja macierzy i tensorów Zastosowanie do klasyfikacji i przetwarzania sygnałów Oficyna Wydawnicza Politechniki Wrocławskiej Wrocław 2014 Recenzenci Andrzej CICHOCKI Ewaryst
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
Bardziej szczegółowoI EKSPLORACJA DANYCH
I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania
Bardziej szczegółowoSPOTKANIE 9: Metody redukcji wymiarów
Wrocław University of Technology SPOTKANIE 9: Metody redukcji wymiarów Piotr Klukowski* Studenckie Koło Naukowe Estymator piotr.klukowski@pwr.wroc.pl 08.12.2015 *Część slajdów pochodzi z prezentacji dr
Bardziej szczegółowoWstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału
Bardziej szczegółowoSystemy agentowe. Sieci neuronowe. Jędrzej Potoniec
Systemy agentowe Sieci neuronowe Jędrzej Potoniec Złe wieści o teście To jest slajd, przy którym wygłaszam złe wieści. Perceptron (Rossenblat, 1957) A. Géron, Hands-On Machine Learning with Scikit-Learn
Bardziej szczegółowoEkonometria - wykªad 8
Ekonometria - wykªad 8 3.1 Specykacja i werykacja modelu liniowego dobór zmiennych obja±niaj cych - cz ± 1 Barbara Jasiulis-Goªdyn 11.04.2014, 25.04.2014 2013/2014 Wprowadzenie Ideologia Y zmienna obja±niana
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 PLAN: Wykład 5 - Metody doboru współczynnika uczenia - Problem inicjalizacji wag - Problem doboru architektury
Bardziej szczegółowoWprowadzenie do uczenia maszynowego. Wstęp. (c) Marcin Sydow
Wstęp Sztuczna Inteligencja (AI - Artificial Intelligence) Jednym z celów AI: stworzenie maszyn, które potrafią myśleć. (temat obecny w kulturze długo przed powstaniem komputerów: Talos (stworzony przez
Bardziej szczegółowoSztuczne siei neuronowe - wprowadzenie
Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp
Bardziej szczegółowoEkonometria. wiczenia 8 Modele zmiennej jako±ciowej. Andrzej Torój. Instytut Ekonometrii Zakªad Ekonometrii Stosowanej
Ekonometria wiczenia 8 Modele zmiennej jako±ciowej (8) Ekonometria 1 / 25 Plan wicze«1 Modele zmiennej jako±ciowej 2 Model logitowy Specykacja i interpretacja parametrów Dopasowanie i restrykcje 3 Predykcja
Bardziej szczegółowoBiostatystyka, # 5 /Weterynaria I/
Biostatystyka, # 5 /Weterynaria I/ dr n. mat. Zdzisªaw Otachel Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowa«Matematyki i Informatyki ul. Gª boka 28, bud. CIW, p. 221 e-mail: zdzislaw.otachel@up.lublin.pl
Bardziej szczegółowoLiteratura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu
Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa
Bardziej szczegółowoTemat: Problem najkrótszych cieek w grafach waonych, cz. I: Algorytmy typu label - setting.
Temat: Problem najkrótszych cieek w grafach waonych, cz. I: Algorytmy typu label - setting.. Oznaczenia i załoenia Oznaczenia G = - graf skierowany z funkcj wagi s wierzchołek ródłowy t wierzchołek
Bardziej szczegółowo1. Wprowadzenie do C/C++
Podstawy Programowania - Roman Grundkiewicz - 013Z Zaj cia 1 1 rodowisko Dev-C++ 1. Wprowadzenie do C/C++ Uruchomienie ±rodowiska: Start Programs Developments Dev-C++. Nowy projekt: File New Project lub
Bardziej szczegółowox y x y x y x + y x y
Algebra logiki 1 W zbiorze {0, 1} okre±lamy dziaªania dwuargumentowe,, +, oraz dziaªanie jednoargumentowe ( ). Dziaªanie x + y nazywamy dodawaniem modulo 2, a dziaªanie x y nazywamy kresk Sheera. x x 0
Bardziej szczegółowo1 Stos: Stack i Stack<T>
1 Stos: Stack i Stack Przykªady z»ycia: Stos talerzy (aby wyci gn co± ze ±rodka, musimy wyci gn te z góry) Meble ªadowane do naczepy ci»arówki Osoby wsiadaj ce do samolotu i wysiadaj ce z niego. Piramida
Bardziej szczegółowoGranular Computing 9999 pages 15 METODY SZTUCZNEJ INTELIGENCJI - PROJEKTY
Granular Computing 9999 pages 15 METODY SZTUCZNEJ INTELIGENCJI - PROJEKTY PB 2 PB 1 Projekt z wyznaczania reduktów zbioru Liczba osób realizuj cych projekt: 1-2 osoby 1. Wczytanie danych w formatach arf,
Bardziej szczegółowoElementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2
Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
Bardziej szczegółowo1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
Bardziej szczegółowoMetody statystyczne w biologii - Wykªad 8. Uniwersytet Przyrodniczy we Wrocªawiu Katedra Genetyki i Ogólnej Hodowli Zwierz t
Metody statystyczne w biologii - Wykªad 8 Uniwersytet Przyrodniczy we Wrocªawiu Katedra Genetyki i Ogólnej Hodowli Zwierz t Plan wykªadu Regresja logistyczna 1. Podstawy teoretyczne i przykªady zastosowania
Bardziej szczegółowoDiagnoza psychologiczna: podstawowe kompetencje (II część - decyzje diagnostyczne) Rola intuicji w diagnozie
Uniwersytet im. Adama Mickiewicza w Poznaniu Instytut Psychologii Anna Słysz Diagnoza psychologiczna: podstawowe kompetencje (II część - decyzje diagnostyczne) konwersatorium/wykład Poznań 2008 1 Rola
Bardziej szczegółowo