Obliczenia Naturalne - Sztuczne sieci neuronowe

Wielkość: px
Rozpocząć pokaz od strony:

Download "Obliczenia Naturalne - Sztuczne sieci neuronowe"

Transkrypt

1 Literatura Wprowadzenie Obliczenia Naturalne - Sztuczne sieci neuronowe Paweł Paduch Politechnika Świętokrzyska 13 marca 2014 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 1 z 43

2 Plan wykładu Literatura Wprowadzenie 1 Literatura Wprowadzenie 2 3 Rekurencyjne Przegląd 4 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 2 z 43

3 Literatura Literatura Wprowadzenie Mariusz Flasiński - do sztucznej inteligencji, PWN, 2011 Ryszard Tadeusiewicz - neuronowe, Akademicka Oficyna Wydaw. RM, Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 3 z 43

4 Literatura Wprowadzenie Pod koniec XIX wieku Santiago Ramón y Cajal pokazał, że mózg ludzki składa się z neuronów. W 1943 roku Walter Pits i Warren McCulloch - stworzyli matematyczny model neuronu wraz z dowodem, że może odwzorować dowolną funkcję logiczną. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 4 z 43

5 Neuron Literatura Wprowadzenie a dentryty - wejścia neuronu b ciało komórki c jądro komórkowe - centrum obliczeniowe d akson - wyjście neuronu e otoczka mielinowa f komórka Schwanna g przewężenie Ranviera h zakończenia aksonu Neuron Rysunek: Neuron źródło wikipedia Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 5 z 43

6 Neuron Literatura Wprowadzenie Przy dentrytach umieszczone są synapsy, to one regulują moc sygnału wejściowego. Właściwości transmisyjne synaps zależą od substancji zwanych neurotransmiterami. Gdy całkowita siła oddziaływań synaps na neuron przekracza pewną progową wartość w neuronie pojawia się tzw. potencjał czynnościowy, który wędruje jako impuls nerwowy. Mówimy, że neuron został pobudzony. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 6 z 43

7 dendryty synapsy ciało komórki akson X 0 W 0 X 1. W 1. v f (v) y X n W n wagi synaptyczne Sygnały wejściowe X 0, X 1,..., Xn będące odpowiednikami impulsów nerwowych od innych neuronów tworzą wektor wejściowy X = (X 0, X 1,..., Xn). Zakładamy, że X 0 = 1. Wektor wag synaptycznych W = (W 0, W 1,..., W n ) określają w jakim stopniu sygnały od innych neuronów oddziałują na neuron. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 7 z 43

8 Funkcja potencjału postsynaptycznego g(w, X) określa całkowitą siłę oddziaływania sygnałów na neuron. Wektor X jest mnożony przez wektor W, następnie wyniki są sumowane dając w wyniku sygnał v. n v = g(w, X) = W i, X i i=0 Teraz wystarczy sprawdzić czy sygnał osiągnął wystarczający poziom do aktywacji neuronu, czy osiągnął wartość progową. Sprawdzenie następuje za pomocą funkcji aktywacji. y = f (v) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 8 z 43

9 Funkcja aktywacji neuronu McCullocha-Pittsa W. S. McCulloch i W. Pitts jako funkcji aktywacji użyli funkcji skokowej Heaviside a, którą oznacza się często przez 1(v) tzw. tłustą jedynką. 1(v) = { 1, jeśli v 0, 0, jeśli v < 0 y = f (v) v Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 9 z 43

10 neuronu Tak jak mózg ludzki jest zdolny do nauki tak samo sztuczny neuron można czegoś nauczyć. Chcemy aby neuron nauczył się reagować w poprawny sposób na prezentowane mu wzorce, reprezentowane przez wektory wejściowe. zainicjowanie wektora wag W i ustawienie ciągu uczącego na wejście neuronu wprowadzenie kolejnego wektora X ciągu uczącego na wejście neuronu ponowne ustawienie ciągu uczącego na wejście neuronu wyznaczenie sygnałów v i y wyznaczenie wektora wag W neuron nauczony Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 10 z 43

11 neuronu Cykl uczenia się neuronu można opisać następująco: Na wejście neuronu wprowadzamy wektor X Obliczany jest poziom sygnału v Wyznaczona wartość y zgodna z funkcją aktywacji jest reakcją na pokazany wzorzec. Proces uczenia się polega na korygowaniu wag wprowadzanego wektora w zależności od reakcji na dany wzorzec. Korygujemy wektor wag W, poczym przechodzimy do wprowadzenia nowego ciągu uczącego. Po wprowadzeniu wszystkich wektorów ciągu uczącego, sprawdzamy czy neuron nauczył się rozpoznawać wzorce, jeśli nie, ponownie ustawiamy cały ciąg uczący i wprowadzamy wszystkie wektory. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 11 z 43

12 neuronu - z nauczycielem Istnieją dwie techniki uczenia neuronu, z nauczycielem i bez. W pierwszym przypadku ciąg uczący ma postać: U = ((X(1), u(1)), (X(2), u(2)),..., (X(M), u(m))) Gdzie X(j) = (X 0 (j), X 1 (j),..., X n (j)), j = 1,..., M jest j-tym wektorem wejściowym, a u(j) jest sygnałem jakiego nauczyciel oczekuje od neuronu. Neuron poprawnie reaguje na wzorce gdy dla każdego X(j) generuje sygnał wyjściowy y(j) zgodny w granicach błędu z u(j). Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 12 z 43

13 neuronu - bez nauczyciela W uczeniu bez nauczyciela ciąg uczący ma postać: U = (X(1), X(2),..., X(M)) Tu neuron samodzielnie modyfikuje swoje wagi tak, żeby dla podobnych wzorców generować taki sam sygnał wyjściowy a dla różnych inne sygnały wyjściowe. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 13 z 43

14 Perceptron Perceptron zbudował w 1957 roku Frank Rosenblatt. Funkcja aktywacji perceptronu jest bipolarną funkcją skokową. { 1, jeśli v > 0, f (v) = 1, jeśli v 0. X 2 X0 = 1 W 0 X 1 X 3 W 1 X 4 W 2 W 3 v f (v) 1 y W 4 v -1 X 7 X 5 W 5 W 6 W 7 X 6 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 14 z 43

15 perceptronu W celu uczenia perceptronu modyfikujemy jego wagi w następujący sposób: Jeżeli w j-tym kroku uczenia y(j) u(j), to nowe wagi dla następnego kroku (j + 1) obliczamy według: W i (j + 1) = W i (j) + u(j)x i (j), jeżeli w j-tym kroku uczenia y(j) = u(j) to wagi w następnym kroku nie zostają zmienione. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 15 z 43

16 perceptronu Przykładowo chcemy nauczyć perceptron rozpoznawania liter A i C pojawiających się na 7 segmentowym wyświetlaczu. X 2 X 2 X 1 X 3 X 1 X 3 X 4 X 4 X 7 X 5 X 7 X 5 X 6 X 6 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 16 z 43

17 perceptronu Będą im przypisane sygnały wejściowe odpowiednio: X A = (X 0, 1, 1, 1, 1, 1, 0, 1) gdzie chcemy by perceptron generował na wyjściu sygnał u = 1 oraz X C = (X 0, 1, 1, 0, 0, 0, 1, 1) gdzie oczekujemy sygnału wyjściowego u = 1 Początkowy wektor wag jest wyzerowany: W(1) = (W 0 (1), W 1 (1), W 2 (1), W 3 (1), W 4 (1), W 5 (1), W 6 (1), W 7 (1)) = (0, 0, 0, 0, 0, 0, 0) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 17 z 43

18 perceptronu przebiegać będzie w kilku krokach: Wprowadzamy ciąg uczący X A wyliczamy wartość v ponieważ wszystkie wagi były równe 0 więc i v = 0 a co za tym idzie y = f (v) = 1 u gdzie u powinno być 1. Modyfikujemy wagi według W i (j + 1) = W i (j) + u(j)x i (j), nowy W(2) = (1, 1, 1, 1, 1, 1, 0, 1). Wprowadzamy ciąg uczący X C wyliczamy wartość v ponieważ wszystkie wagi zostały zmodyfikowane do W(2) więc i v = 4 a co za tym idzie y = f (v) = 1 u gdzie u dla C powinno być -1. Modyfikując wektor wag zgodnie z nowym ciągiem uczącym otrzymujemy W(3) = (0, 0, 0, 1, 1, 1, 1, 0) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 18 z 43

19 perceptronu Kolejne kroki to ponowne wprowadzenie ciągów uczących i sprawdzenie aktywacji neuronu. Dla X A i wag W(3) v = 3 a więc sygnał wyjściowy y = 1 jest zgodny z wymaganym u = 1, dlatego nie zmieniamy wag W(4) = W(3). Dla X C i wag W(4) v = 1 a więc sygnał wyjściowy y = 1 jest zgodny z wymaganym u = 1, też nie zmieniamy wag W(5) = W(4). Nauka zakończona. W 1 = W 2 = W 7 = 0 ma wagi neutralne, cechy w obu wzorcach są takie same. W 3 = W 4 = W 5 = 1 wzmacniają cechy występujące we wzorcu litery A i nie występujące w C. W 6 = 1 osłabia cechę X 6 występującą we wzorcu C i nie występującą we wzorcu A. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 19 z 43

20 Typologia sztucznych neuronów Sztuczne neurony zwykle różnią się od przedstawionego modelu podstawowego. Cechami je różniącymi zwykle są: strukturalny schemat funkcjonalny, rodzaj formuły wykorzystanej w metodzie uczenia, rodzaj funkcji aktywacji, rodzaj funkcji potencjału postsynaptycznego. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 20 z 43

21 Strukturalne schematy funkcjonalne Schemat perceptronu (góryny) Schemat Adeline (ang. adaptive linear neuron) (dolny) stworzonego przez Bernarda Widrowa i Marciana E. Teda Hoffa w 1960 roku. Różnią się nie tylko schematem funkcjonalnym ale i metodą uczenia. η w drugim wzorze jest współczynnikiem szybkości uczenia dobieranym eksperymentalnie. X 0 X 1. X n X 0 X 1. X n W 0 W 1. W n V f (v) 1 W i (j + 1) = W i (j) + u(j)x i (j), y(j) u(j) W 0 W 1. W n u f (v) 1 W i (j + 1) = W i (j) + η[u(j) v(j)]x i (j) V u -1-1 v v y y Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 21 z 43

22 Reguła Hebba Symuluje zjawisko stowarzyszania się nuronów. Gdy poprzedni neuron jest aktywowany to następny jest też w tym czasie pobudzony. Realizacje takiego zachowania można osiągnąć, podłączając wyjście poprzedniego neuronu y 1 do wejścia X i następnego, oraz ustawić odpowiednio wysoko jego wagę W i. y1 X 0 X 1.. X ị. X n W 0 W 1. W i. W n y 2 Reguła uczenia Hebba: W i (j + 1) = W i (j) + ηy(j)x i (j) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 22 z 43

23 Postacie funkcji aktywacji Jak zauważyliśmy modele neuronów różnią się postacią funkcji aktywacji. Heaviside, tzw. tłusta jedynka. Stan 0 lub 1, (progowa unipolarna) funkcja progowa bipolarna, stany -1 lub 1, obcieta funkcja liniowa, funkcja sigmoidalna, funkcja tangesoidalna. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 23 z 43

24 Obcięta funkcja liniowa 1 f (v) v , jeśli v > 1, f (v) = v, jeśli 1 v 1, 1, jeśli v < 1. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 24 z 43

25 Sigmoidalna (unipolarna) funkcja aktywacji 1 f (v) β = β = 1 β = v f (v) = e βv Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 25 z 43

26 Tangesoidalna / Sigmoidalna (bipolarna) funkcja aktywacji f (v) = tgh(βv) β = β = 1 β = 5 1 v f (v) = tgh(βv) = 1 eβv 1 + e βv Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 26 z 43

27 Postacie funkcji potencjału postsynaptycznego Zwykle przyjmuje się, że jest to funkcja sumy, choć można też spotkać inne np. w sieciach radialnych czy w systemach neuronowo-rozmytych. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 27 z 43

28 Rekurencyjne Przegląd Podstawowe struktury sieci neuronowych Przyjmijmy następujące oznaczenia: N (r)(k) k-ty neuron r-tej warstwy, y (r)(k) sygnał wyjściowy danego neuronu, X (r)(k) i W (r)(k) i sygnały wejściowe danego neuronu, wagi wejść danego neuronu, i = 1,...n, n to liczba wejść danego neuronu Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 28 z 43

29 Sieć jednowarstwowa Rekurencyjne Przegląd Najprostszą strukturą sieci neuronowych jest sieć jednowarstwowa. Zwykle sygnały wejściowe trafiają do wszystkich neuronów. Wejście Jedna warstwa Wyjście X 1 N (1)(1) y (1)(1) X 2 N (1)(2) y (1)(2) X 3 N (1)(3) y (1)(3) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 29 z 43

30 Sieć wielowarstwowa Rekurencyjne Przegląd Drugą strukturą jest sieć wielowarstwowa. Wejście Warstwa wejściowa Warstwa ukryta Warstwa wyjściowa Wyjście X 1 N (1)(1) N (2)(1) N (3)(1) y (3)(1) X 2 N (1)(2) N (2)(2) N (3)(2) y (3)(2) X 3 N (1)(3) N (2)(3) N (3)(3) y (3)(3) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 30 z 43

31 Sygnał wyjściowy Rekurencyjne Przegląd Można zauwazyć, że y (r 1)(k) = X (r)(p) k dla dowolnego p-tego neuronu r-tej warstwy. Sygnał wyjściowy dla neuronu N (r)(k) uwzględniając powyższe, można wyliczyć za pomocą zależności: y (r)(k) = f ( i ) ( ) W (r)(k) i X (r)(k) i = f W (r)(k) i y (r 1)(i) i Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 31 z 43

32 Wsteczna propagacja błędu Rekurencyjne Przegląd Wsteczną propagację błędu opublikował w 1986 roku David E. Rumelhart i Geoffrey E. Hinton. Obliczamy sygnał wyjściowy dla neuronów ostatniej warstwy L Dla każdego k-tego neuronu ostatniej warstwy obliczamy błąd δ (L)(k) = (u (k) y (L)(k) ) df (v (L)(k) ) dv (L)(k), gdzie u (k) jest wymaganym sygnałem wyjściowym k-tego neuronu L-tej warstwy a f funkcją aktywacji. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 32 z 43

33 Wsteczna propagacja błędu Rekurencyjne Przegląd Propagujemy wstecz błędy neuronów na warstwy poprzednie: δ (r)(k) = m ( δ (r+1)(m) W (r+1)(m) k ) df (v (r)(k) ) dv (r)(k) gdzie m indeksuje zbiór neuronów warstwy (r + 1) dla każdego neuronu N (r)(k) obliczamy nowe wagi W (r)(k) i = W (r)(k) i +ηδ (r)(i) X (r)(k) i = W (r)(k) i +ηδ (r)(i) y (r 1)(i), gdzie η jest współczynnikiem szybkości uczenia. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 33 z 43

34 Podstawowe problemy Rekurencyjne Przegląd W procesie uczenia podstawowymi problemami są: określenie warunku zatrzymania uczenia się metoda obliczania błędu uczenia dobór wag inicjalnych manipulowanie współczynnikiem szybkości uczenia wraz z kolejnymi etapami Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 34 z 43

35 Sieć rekurencyjna Hopfielda Rekurencyjne Przegląd Do tej pory prezentowane sieci były jednokierunkowe. w których sygnał wyjściowy może trafiać na wejścia tej samej warstwy lub poprzedniej nazywamy rekurencyjnymi. Charakteryzują się one dużą mocą obliczeniową. Pierwsza taka sieć została zaproponowana przez Johna Hopfielda w 1982 roku. Wyjścia kierowane są na wejścia neuronów i krążą dopóki sygnał wyjściowy nie przestanie się zmieniać. Może być wykożystana jako model pamięci skojarzeniowej. W (1)(1) 1 W (1)(1) 2 N (1)(1) W (1)(1) 3 W (1)(2) 1 X 1 W (1)(2) 2 N (1)(2) W (1)(2) 3 W (1)(3) 1 X 2 W (1)(3) 2 N (1)(3) W (1)(3) 3 X 3 y (1)(1) y (1)(2) y (1)(3) Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 35 z 43

36 Inne sieci rekurencyjne Rekurencyjne Przegląd W 1986 roku Michael I. Jordan zaprezentował model zwany siecią Jordana. Model wielowarstwowy oprócz 3 podstawowych warstw posiada dodatkową warstwę zawierającą tzw. neurony stanu, których wejścia połączone są z wyjściami neuronów warstwy wyjściowej a wyjścia podłączone są do wejść warstwy ukrytej. Elmana (Jeffrrey L. Elman) różnią się tym, że warstwa dodatkowa (kontekstowa) czerpie sygnały nie z warstwy wyjściowej a ukrytej. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 36 z 43

37 pamięci skojarzeniowej Rekurencyjne Przegląd Zapamiętuje wektory wzorcowe w celu późniejszego rozpoznawania podobnych wektorów przez mechanizm skojarzenia. Sprawdza się dobrze w sytuacjach kiedy informacja jest niepełna lub zniekształcona. dwuwarstwowa, jednokierunkowa, uczona z nauczycielem sieć Hintona. BAM (ang. Bidirectional Associative Memory) - uogólniona sieć Hopfielda na dwuwarstwową sieć rekurencyjną. Sygnały przebiegają w cyklach raz w jedną stronę raz w drugą, aż osiągnie stan stabilny. sieć Hamminga uogólnienie sieci Hopfielda na 3 warstwową strukturę rekurencyjną, tylko warstwa ukryta jest rekurencyjna, opiera się na minimalizowaniu odległości Hamminga wejściowego wektora testującego od wektorów wzorcowych zapamiętanych w sieci. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 37 z 43

38 samoorganizujące się Rekurencyjne Przegląd SOM - (ang. Self-Organizing Maps). Wykorzystywane w analizie skupisk. na podstawie ciągu uczącego generują dyskretną reprezentację, zwaną mapą (zwykle 2-3 wymiarową). Na mapie znaleźć można skupiska wektorów ciągu uczącego. bez nauczyciela, z konkurencją. Neurony konkurują ze sobą, w trakcie uczenia tylko najlepszy neuron wygrywa inne wyjścia są zerowane. Mamy dwie metody korekty wag. WTA (ang. Winer Takes All) - wagi koryguje się tylko w zwycięskim neuronie WTM (ang. Winner Takes Most) - wagi koryguje się nie tylko u zwycięzcy ale i u sąsiadów. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 38 z 43

39 ART Rekurencyjne Przegląd ART (ang. Adaptive Resonanse Theory), stosowane do rozpoznawania obrazów. Zwykle gdy dodajemy nowe wzorce uczące, trzeba cały proces uczenia przeprowadzić od początku, tak by sieć nie osłabiła wyuczonych starych wzorców. W sieci ART nowy wzorzec jest dołączany do już wyuczonego jeżeli jest bardzo podobny, jeżeli nie tworzona jest nowa klasa wzorców. To jak bardzo wzorce mają być podobne w swoich klasach zależy od parametru sterującego stopniem uogólnienia. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 39 z 43

40 Probabilistyczne Rekurencyjne Przegląd Probabilistyczne sieci neuronowe klasyfikują wzorce na podstawie funkcji gęstości prawdopodobieństwa dla poszczególnych klas. Jednym z pierwszych modeli, który możemy potraktować jako probabilistyczny jest maszyna Boltzmanna. radialnych funkcji bazowych (RBF). Zamiast jednej wspólnej funkcji aktywacji użyte są dla każdego neuronu różne tzw. radialne funkcje bazowe np. funkcje Gausa, wielomianowa, Hardy ego. Składają się z dwóch warstw, warstwa neuronów wyjściowych i radialnych. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 40 z 43

41 Zalety Wady Nie wymagają programowania, uczą się same. Są odporne na uszkodzenia, w przypadku utraty kilku połączeń nadal może działać. Posiada zdolności do uogólnienia. Są mało precyzyjne, operuje pojęciami, wysoki, niski, duży, mały. Nie rozumują wieloetapowo, kiedy trzeba wyciągać wnioski z poprzedniego rozumowania i z tych wniosków wyciągać kolejne. Takie działanie wymaga zastosowania kilku sieci. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 41 z 43

42 Pytania? Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 42 z 43

43 koniec Dziękuję Państwu za uwagę. Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 43 z 43

Wstęp do sztucznych sieci neuronowych

Wstęp do sztucznych sieci neuronowych Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna

Bardziej szczegółowo

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy

Bardziej szczegółowo

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,

Bardziej szczegółowo

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia

Bardziej szczegółowo

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa

Bardziej szczegółowo

MODELOWANIE RZECZYWISTOŚCI

MODELOWANIE RZECZYWISTOŚCI MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN Szkoła Wyższa Psychologii Społecznej d.wojcik@nencki.gov.pl dwojcik@swps.edu.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/

Bardziej szczegółowo

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych. Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji

Bardziej szczegółowo

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.

Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów. Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I

Bardziej szczegółowo

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,

Bardziej szczegółowo

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji (PSZT)

Podstawy Sztucznej Inteligencji (PSZT) Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12

Bardziej szczegółowo

Lekcja 5: Sieć Kohonena i sieć ART

Lekcja 5: Sieć Kohonena i sieć ART Lekcja 5: Sieć Kohonena i sieć ART S. Hoa Nguyen 1 Materiał Sieci Kohonena (Sieć samo-organizująca) Rysunek 1: Sieć Kohonena Charakterystyka sieci: Jednowarstwowa jednokierunkowa sieć. Na ogół neurony

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD X: Sztuczny neuron Koneksjonizm: wprowadzenie 1943: Warren McCulloch, Walter Pitts: ogólna teoria przetwarzania informacji oparta na sieciach binarnych

Bardziej szczegółowo

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego

Bardziej szczegółowo

wiedzy Sieci neuronowe

wiedzy Sieci neuronowe Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY

METODY INŻYNIERII WIEDZY METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii

Bardziej szczegółowo

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA: METODY HEURYSTYCZNE wykład 4 OCENA DZIAŁANIA AE 1 2 LOSOWOŚĆ W AE Różne zachowanie algorytmuw poszczególnych uruchomieniach przy jednakowych ustawieniach parametrów i identycznych populacjach początkowych.

Bardziej szczegółowo

Temat: Sieci neuronowe oraz technologia CUDA

Temat: Sieci neuronowe oraz technologia CUDA Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

METODY INTELIGENCJI OBLICZENIOWEJ wykład 5

METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 1 2 SZTUCZNE SIECI NEURONOWE cd 3 UCZENIE PERCEPTRONU: Pojedynczy neuron (lub 1 warstwa neuronów) typu percep- tronowego jest w stanie rozdzielić przestrzeń obsza-

Bardziej szczegółowo

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych. Sieci rekurencyjne Ewa Adamus ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych 7 maja 2012 Jednowarstwowa sieć Hopfielda, z n neuronami Bipolarna funkcja przejścia W wariancie

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury

Bardziej szczegółowo

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010 Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010 Sieci neuronowe jednokierunkowa wielowarstwowa sieć neuronowa sieci Kohonena

Bardziej szczegółowo

Sztuczne sieci neuronowe (SNN)

Sztuczne sieci neuronowe (SNN) Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe

Bardziej szczegółowo

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna. Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000

Bardziej szczegółowo

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe

Bardziej szczegółowo

Wykład 1: Wprowadzenie do sieci neuronowych

Wykład 1: Wprowadzenie do sieci neuronowych Wykład 1: Wprowadzenie do sieci neuronowych Historia badań nad sieciami neuronowymi. - początki: badanie komórek ośrodkowego układu nerwowego zwierząt i człowieka, czyli neuronów; próby wyjaśnienia i matematycznego

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

SZTUCZNE SIECI NEURONOWE

SZTUCZNE SIECI NEURONOWE INTELIGENTNE TECHNIKI KOMPUTEROWE wykład SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek

Bardziej szczegółowo

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe Sztuczne sieci neuronowe Wprowadzenie Trochę historii Podstawy działania Funkcja aktywacji Typy sieci 2 Wprowadzenie Zainteresowanie

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką

Bardziej szczegółowo

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe ELEMENTY SZTUCZNEJ INTELIGENCJI Sztuczne sieci neuronowe Plan 2 Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie regułą delta Perceptron wielowarstwowy i jego uczenie

Bardziej szczegółowo

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH Jakub Karbowski Gimnazjum nr 17 w Krakowie KRAKÓW 2017 1. Spis treści 2. WSTĘP 2 3. SIECI NEURONOWE 2 3.1. Co to są sieci neuronowe... 2

Bardziej szczegółowo

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** Górnictwo i Geoinżynieria Rok 31 Zeszyt 3 2007 Dorota Pawluś* PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH** 1. Wstęp Eksploatacja górnicza złóż ma niekorzystny wpływ na powierzchnię

Bardziej szczegółowo

Inteligentne systemy przeciw atakom sieciowym

Inteligentne systemy przeciw atakom sieciowym Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne

Bardziej szczegółowo

SZTUCZNA INTELIGENCJA

SZTUCZNA INTELIGENCJA SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH

Bardziej szczegółowo

Inteligentne systemy informacyjne

Inteligentne systemy informacyjne Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Sztuczne siei neuronowe - wprowadzenie

Sztuczne siei neuronowe - wprowadzenie Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp

Bardziej szczegółowo

METODY INTELIGENCJI OBLICZENIOWEJ wykład 4

METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 1 2 SZTUCZNE SIECI NEURONOWE HISTORIA SSN 3 Walter Pitts, Warren McCulloch (1943) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich

Bardziej szczegółowo

SZTUCZNE SIECI NEURONOWE

SZTUCZNE SIECI NEURONOWE METODY INTELIGENCJI OBLICZENIOWEJ wykład 4 SZTUCZNE SIECI NEURONOWE HISTORIA SSN Walter Pitts, Warren McCulloch (94) opracowanie matematyczne pojęcia sztucznego neuronu.. Udowodnili też, iż ich wynalazek

Bardziej szczegółowo

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW

Sztuczne Sieci Neuronowe. Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW Sztuczne Sieci Neuronowe Wiktor Tracz Katedra Urządzania Lasu, Geomatyki i Ekonomiki Leśnictwa, Wydział Leśny SGGW SN są częścią dziedziny Sztucznej Inteligencji Sztuczna Inteligencja (SI) zajmuje się

Bardziej szczegółowo

SIECI REKURENCYJNE SIECI HOPFIELDA

SIECI REKURENCYJNE SIECI HOPFIELDA SIECI REKURENCYJNE SIECI HOPFIELDA Joanna Grabska- Chrząstowska Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SPRZĘŻENIE ZWROTNE W NEURONIE LINIOWYM sygnał

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład

Bardziej szczegółowo

Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści

Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej

Bardziej szczegółowo

1. Logika, funkcje logiczne, preceptron.

1. Logika, funkcje logiczne, preceptron. Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję

Bardziej szczegółowo

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING

METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING NEURONOWE MAPY SAMOORGANIZUJĄCE SIĘ Self-Organizing Maps SOM Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki,

Bardziej szczegółowo

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2 Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego.

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego. Wstęp do sieci neuronowych, wykład 01. Model perceptronu prostego. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-04 In memoriam prof. dr hab. Tomasz Schreiber

Bardziej szczegółowo

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335

Sztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Wykład 10 Mapa cech Kohonena i jej modyfikacje - uczenie sieci samoorganizujących się - kwantowanie wektorowe

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408 Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe Krzysztof Regulski, WIMiIP, KISiM, regulski@aghedupl B5, pok 408 Inteligencja Czy inteligencja jest jakąś jedną dziedziną, czy też jest to nazwa

Bardziej szczegółowo

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,

Bardziej szczegółowo

Elementy inteligencji obliczeniowej

Elementy inteligencji obliczeniowej Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego

Bardziej szczegółowo

Sieć przesyłająca żetony CP (counter propagation)

Sieć przesyłająca żetony CP (counter propagation) Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są

Bardziej szczegółowo

METODY HEURYSTYCZNE 4

METODY HEURYSTYCZNE 4 METODY HEURYSTYCZNE wykład 4 1 OCENA DZIAŁANIA ANIA AE 2 LOSOWOŚĆ W AE Różne zachowanie algorytmu w niezależnych nych uruchomieniach przy jednakowych ustawieniach parametrów w i identycznych populacjach

Bardziej szczegółowo

Obliczenia inteligentne Zadanie 4

Obliczenia inteligentne Zadanie 4 Sieci SOM Poniedziałek, 10:15 2007/2008 Krzysztof Szcześniak Cel Celem zadania jest zaimplementowanie neuronowej samoorganizującej się mapy wraz z metodą jej nauczania algorytmem gazu neuronowego. Część

Bardziej szczegółowo

Uczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0

Uczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0 Uczenie się pojedynczego neuronu W0 X0=1 W1 x1 W2 s f y x2 Wp xp p x i w i=x w+wo i=0 Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z=0 Wówczas: W 1 x 1 + w 2 x 2 + = 0 Algorytm

Bardziej szczegółowo

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści

Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, Spis treści Metody i techniki sztucznej inteligencji / Leszek Rutkowski. wyd. 2, 3 dodr. Warszawa, 2012 Spis treści Przedmowa do wydania drugiego Przedmowa IX X 1. Wstęp 1 2. Wybrane zagadnienia sztucznej inteligencji

Bardziej szczegółowo

Emergentne właściwości. sztucznych sieci neuronowych

Emergentne właściwości. sztucznych sieci neuronowych Barbara Pankiewicz nauczyciel fizyki III Liceum Ogólnokształcące w Zamościu ul. Kilińskiego 15 22-400 Zamość Emergentne właściwości sztucznych sieci neuronowych Opracowała: Barbara Pankiewicz Zamość, 2001

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI. Adrian Horzyk. Akademia Górniczo-Hutnicza

PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI. Adrian Horzyk. Akademia Górniczo-Hutnicza PODSTAWY BAZ DANYCH I SZTUCZNEJ INTELIGENCJI Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I. Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd.

Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. Wstęp do sieci neuronowych, wykład 07 Uczenie nienadzorowane cd. M. Czoków, J. Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika w Toruniu 2013-11-26 Projekt pn. Wzmocnienie potencjału

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega

Bardziej szczegółowo

PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ**

PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ** Górnictwo i Geoinżynieria Rok 30 Zeszyt 4 2006 Dorota Pawluś* PRÓBA ZASTOSOWANIA SIECI NEURONOWYCH DO PROGNOZOWANIA OSIADAŃ POWIERZCHNI TERENU POWSTAŁYCH NA SKUTEK EKSPLOATACJI GÓRNICZEJ** 1. Wstęp Na

Bardziej szczegółowo

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014 Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner rok akademicki 2013/2014 Sieci neuronowe Sieci neuronowe W XIX wieku sformułowano teorię opisującą podstawowe

Bardziej szczegółowo

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman

Seminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Seminarium magisterskie Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Plan wystąpienia Ogólnie o sztucznych sieciach neuronowych Temat pracy magisterskiej

Bardziej szczegółowo

MODELOWANIE RZECZYWISTOŚCI

MODELOWANIE RZECZYWISTOŚCI MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN d.wojcik@nencki.gov.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/ Podręcznik Iwo Białynicki-Birula Iwona

Bardziej szczegółowo

Monitorowanie i Diagnostyka w Systemach Sterowania

Monitorowanie i Diagnostyka w Systemach Sterowania Monitorowanie i Diagnostyka w Systemach Sterowania Katedra Inżynierii Systemów Sterowania Dr inż. Michał Grochowski Monitorowanie i Diagnostyka w Systemach Sterowania na studiach II stopnia specjalności:

Bardziej szczegółowo

ESI: Perceptrony proste i liniowe

ESI: Perceptrony proste i liniowe ESI: Perceptrony proste i liniowe [Matlab 1.1] Matlab2015b i nowsze 1 kwietnia 2019 1. Cel ćwiczeń: Celem ćwiczeń jest zapoznanie się studentów z podstawami zagadnieniami z zakresu sztucznych sieci neuronowych.

Bardziej szczegółowo

wiedzy Sieci neuronowe (c.d.)

wiedzy Sieci neuronowe (c.d.) Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie

Bardziej szczegółowo

ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE

ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE ZACHODNIOPOMORSKI UNIWERSYTET TECHNOLOGICZNY W SZCZECINIE INSTYTUT TECHNOLOGII MECHANICZNEJ Metody Sztucznej Inteligencji Sztuczne Sieci Neuronowe Wstęp Sieci neuronowe są sztucznymi strukturami, których

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice) WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach

Bardziej szczegółowo

SIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA

SIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA SIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SAMOUCZENIE SIECI metoda Hebba W mózgu

Bardziej szczegółowo

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF.

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF. Metody sztucznej inteligencji Zadanie 3: ( klasteryzacja samoorganizująca się mapa Kohonena, (2 aproksymacja sieć RBF dr inż Przemysław Klęsk Klasteryzacja za pomocą samoorganizującej się mapy Kohonena

Bardziej szczegółowo

6. Perceptron Rosenblatta

6. Perceptron Rosenblatta 6. Perceptron Rosenblatta 6-1 Krótka historia perceptronu Rosenblatta 6-2 Binarne klasyfikatory liniowe 6-3 Struktura perceptronu Rosenblatta 6-4 Perceptron Rosenblatta a klasyfikacja 6-5 Perceptron jednowarstwowy:

Bardziej szczegółowo

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010

Automatyczna predykcja. Materiały/konsultacje. Co to jest uczenie maszynowe? Przykład 6/10/2013. Google Prediction API, maj 2010 Materiały/konsultacje Automatyczna predykcja http://www.ibp.pwr.wroc.pl/kotulskalab Konsultacje wtorek, piątek 9-11 (uprzedzić) D1-115 malgorzata.kotulska@pwr.wroc.pl Co to jest uczenie maszynowe? Uczenie

Bardziej szczegółowo

Wstęp do teorii sztucznej inteligencji

Wstęp do teorii sztucznej inteligencji Wstęp do teorii sztucznej inteligencji Wykład IV SSN = Architektura + Algorytm Uczenie sztucznych neuronów. Przypomnienie. Uczenie z nauczycielem. Wagi i wejścia dla sieci neuronuowej: reprezentacja macierzowa

Bardziej szczegółowo

Praktyczne informacje o sieciach neuronowych. Elżbieta Dłubis. Państwowa Wyższa Szkoła Zawodowa w Chełmie

Praktyczne informacje o sieciach neuronowych. Elżbieta Dłubis. Państwowa Wyższa Szkoła Zawodowa w Chełmie Praktyczne informacje o sieciach neuronowych Elżbieta Dłubis Państwowa Wyższa Szkoła Zawodowa w Chełmie Wiedza o sieciach neuronowych zaczęła się od fascynacji mózgiem narządem (..), którego możliwości

Bardziej szczegółowo

Uczenie Wielowarstwowych Sieci Neuronów o

Uczenie Wielowarstwowych Sieci Neuronów o Plan uczenie neuronu o ci gªej funkcji aktywacji uczenie jednowarstwowej sieci neuronów o ci gªej funkcji aktywacji uczenie sieci wielowarstwowej - metoda propagacji wstecznej neuronu o ci gªej funkcji

Bardziej szczegółowo

SIECI RBF (RADIAL BASIS FUNCTIONS)

SIECI RBF (RADIAL BASIS FUNCTIONS) SIECI RBF (RADIAL BASIS FUNCTIONS) Wybrane slajdy z prezentacji prof. Tadeusiewicza Wykład Andrzeja Burdy S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 5, PWNT, Warszawa 1996. opr. P.Lula,

Bardziej szczegółowo

Elementy kognitywistyki III: Modele i architektury poznawcze

Elementy kognitywistyki III: Modele i architektury poznawcze Elementy kognitywistyki III: Modele i architektury poznawcze Wykład VII: Modelowanie uczenia się w sieciach neuronowych Uczenie się sieci i trening nienaruszona struktura sieci (z pewnym ale ) nienaruszone

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt

Bardziej szczegółowo

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD XI: Sztuczne sieci neuronowe

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD XI: Sztuczne sieci neuronowe Elementy kognitywistyki II: Sztuczna inteligencja WYKŁAD XI: Sztuczne sieci neuronowe [pattern associator], PA struktura: Sieci kojarzące wzorce programowanie: wyjście jednostki = aktywacji sieciowej (N)

Bardziej szczegółowo

Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 8 Sieci rezonansowe

Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 8 Sieci rezonansowe Sieci Neuronowe Wykład 8 Sieci rezonansowe wykład przygotowany na podstawie. R. Tadeusiewicz, Sieci Neuronowe, Rozdz. 6. Akademicka Oficyna Wydawnicza RM, Warszawa 1993. Wprowadzenie Sieci wielowarstwowe

Bardziej szczegółowo

Sztuczne Systemy Skojarzeniowe. Adrian Horzyk

Sztuczne Systemy Skojarzeniowe. Adrian Horzyk Sztuczne Systemy Skojarzeniowe Inspiracje biologiczne Adrian Horzyk horzyk@agh.edu.pl AGH Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki

Bardziej szczegółowo

Sztuczne sieci neuronowe

Sztuczne sieci neuronowe Sztuczne sieci neuronowe Paweł Bęczkowski ETI 9.1 1 Czym określamy sztuczną sieć neuronową Sieć neuronowa (sztuczna sieć neuronowa) to ogólna nazwa struktur matematycznych i ich programowych lub sprzętowych

Bardziej szczegółowo

Wprowadzenie. SOM jest skrótem od Self Organizing Maps, czyli Samoorganizujące się mapy.

Wprowadzenie. SOM jest skrótem od Self Organizing Maps, czyli Samoorganizujące się mapy. SOM i WebSOM Wprowadzenie SOM jest skrótem od Self Organizing Maps, czyli Samoorganizujące się mapy. Podstawy teoretyczne stworzył fiński profesor Teuvo Kohonen w 1982 r SOM - ogólnie Celem tych sieci

Bardziej szczegółowo

Rozdział 1 Sztuczne sieci neuronowe. Materiały do zajęć dydaktycznych - na podstawie dokumentacji programu Matlab opracował Dariusz Grzesiak

Rozdział 1 Sztuczne sieci neuronowe. Materiały do zajęć dydaktycznych - na podstawie dokumentacji programu Matlab opracował Dariusz Grzesiak 2 Rozdział 1 Sztuczne sieci neuronowe. 3 Sztuczna sieć neuronowa jest zbiorem prostych elementów pracujących równolegle, których zasada działania inspirowana jest biologicznym systemem nerwowym. Sztuczną

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

2.4. Algorytmy uczenia sieci neuronowych

2.4. Algorytmy uczenia sieci neuronowych 2.4. Algorytmy uczenia sieci neuronowych Prosta struktura sieci jednokierunkowych sprawia, że są najchętniej stosowane. Ponadto metody uczenia ich należą również do popularnych i łatwych w realizacji.

Bardziej szczegółowo