SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

Podobne dokumenty
Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.

Sztuczne sieci neuronowe

Wstęp do sztucznych sieci neuronowych

Metody Sztucznej Inteligencji II

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

Elementy kognitywistyki II: Sztuczna inteligencja. WYKŁAD X: Sztuczny neuron

Podstawy sztucznej inteligencji

Inteligentne systemy przeciw atakom sieciowym

IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ

Wykład 1: Wprowadzenie do sieci neuronowych

Podstawy Sztucznej Inteligencji (PSZT)

Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu

wiedzy Sieci neuronowe

Obliczenia Naturalne - Sztuczne sieci neuronowe

Temat: Sieci neuronowe oraz technologia CUDA

Sztuczne sieci neuronowe

biologia w gimnazjum OBWODOWY UKŁAD NERWOWY

Inteligentne systemy informacyjne

MODELOWANIE RZECZYWISTOŚCI

Potencjał spoczynkowy i czynnościowy

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

OCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:

METODY INŻYNIERII WIEDZY

Sztuczne sieci neuronowe

Biologiczne mechanizmy zachowania

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

Uczenie sieci typu MLP

Budowa i zróżnicowanie neuronów - elektrofizjologia neuronu

Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.

SIECI REKURENCYJNE SIECI HOPFIELDA

MODELOWANIE RZECZYWISTOŚCI

Elementy inteligencji obliczeniowej

Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE

8. Neuron z ciągłą funkcją aktywacji.

Podstawy sztucznej inteligencji

Sztuczne sieci neuronowe

1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda

Sieci neuronowe jako przykład współczesnej technologii informatycznej

Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Projekt Sieci neuronowe

synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.

Sztuczna inteligencja

ELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe

SIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA

Sieć przesyłająca żetony CP (counter propagation)

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

PROGNOZOWANIE OSIADAŃ POWIERZCHNI TERENU PRZY UŻYCIU SIECI NEURONOWYCH**

Uczenie sieci neuronowych i bayesowskich

Rozpoznawanie wzorców. Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki

Sztuczne sieci neuronowe (SNN)

Dr inż. Marta Kamińska

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010

Systemy pomiarowo-diagnostyczne. Metody uczenia maszynowego wykład III 2016/2017

ZAJĘCIA 1. uczenie się i pamięć mechanizmy komórkowe. dr Marek Binder Zakład Psychofizjologii

Podstawy Sztucznej Inteligencji Sztuczne Sieci Neuronowe. Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

Wstęp do teorii sztucznej inteligencji

wiedzy Sieci neuronowe (c.d.)

METODY INTELIGENCJI OBLICZENIOWEJ wykład 4

SZTUCZNE SIECI NEURONOWE

Zastosowania sieci neuronowych

Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3

sieci jednowarstwowe w MATLABie LABORKA Piotr Ciskowski

Elementy kognitywistyki III: Modele i architektury poznawcze

SZTUCZNE SIECI NEURONOWE

Sieci neuronowe w Statistica

Lekcja 5: Sieć Kohonena i sieć ART

1. Logika, funkcje logiczne, preceptron.

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe.

mgr inż. Maciej Rudek opracował: dr inż. Daniel Kopiec

Wprowadzenie do Sieci Neuronowych Laboratorium 05 Algorytm wstecznej propagacji błędu

Definicja perceptronu wielowarstwowego

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Droga impulsu nerwowego w organizmie człowieka

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

Optymalizacja ciągła

Widzenie komputerowe

Wstęp. Spis treści. Krótka historia sztucznych sieci neuronowych. powrót

Wstęp do sieci neuronowych, wykład 01 Neuron biologiczny. Model perceptronu prostego.

Uczenie sieci radialnych (RBF)

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.

Błona komórkowa grubość od 50 do 100 A. Istnieje pewna różnica potencjałów, po obu stronach błony, czyli na błonie panuje pewne

Błona komórkowa grubość od 50 do 100 A. Istnieje pewna różnica potencjałów, po obu stronach błony, czyli na błonie panuje pewne

Sztuczne sieci neuronowe

Sztuczne siei neuronowe - wprowadzenie

OBLICZENIA ZA POMOCĄ PROTEIN

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

Algorytmy sztucznej inteligencji

Zastosowania sieci neuronowych

Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

1. Architektury, algorytmy uczenia i projektowanie sieci neuronowych

Budowa i funkcje komórek nerwowych

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

2.4. Algorytmy uczenia sieci neuronowych

Co to są wzorce rytmów?

Transkrypt:

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA

BUDOWA RZECZYWISTEGO NEURONU Jądro - "centrum obliczeniowe" neuronu. Tutaj zachodzą procesy kluczowe dla funkcjonowania neuronu. Akson - "wyjście" neuronu. Neuron ma tylko jeden akson. Wzgórek aksonu sumowanie przychodzących sygnałów i generowanie potencjału czynnościowego, który wędruje dalej poprzez akson. Dendryt - "wejście" neuronu. Dendrytów może być wiele - biologiczne neurony mają ich tysiące. Synapsa - jeśli dendryt jest wejściem neuronu, to synapsa jest jego furtką. Ma wpływ na moc sygnału napływającego poprzez akson.

NATURALNE STRUKTURY NEURONOWE Konwergencja - pobudzenie z wielu włókien dociera do jednego neuronu A B Neuron A Neuron B Neuron 1 Neuron 2 Neuron 3 Dywergencja - pobudzenie z jednego neuronu dociera do szeregu innych neuronów. Pobudzenie docierające z neuronów A i B nie wywołuje pobudzenia neuronów 2 lub 3. Dochodzi jednak do częściowej depolaryzacji błony komórkowej w neuronach 2 i 3 bliskiej progowej wartości potrzebnej do wzbudzenia. Kolejne pobudzenie docierające z neuronów bez trudu wzbudza potencjał czynnościowy.

OGÓLNA DEFINICJA NEURONU Wejścia Wagi Blok aktywacji X 1 X 2 X n w 1 w 2...... w n Obliczenie PSP f Wyjście y y = f ( ( x i * w i )) PSP Post-Synaptic Potential (Potencjał Postsynaptyczny) f - funkcja aktywacji

DEFINICJA NEURONU Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji Wyjście X 2 w 2 S f y X 3 w 3 y = f ( S ( x i * w i ))

NEURON LINIOWY Wejścia X 1 X 2 X 3 Wagi w 1 w 2 w 3 Blok sumujący S f funkcja liniowa Wyjście y y = S ( x i * w i )

NEURON LINIOWY Wejścia X 1 Wagi w 1 Blok sumujący Wyjście X 2 w 2 S y X 3 w 3 y = S ( x i * w i )

ZASADA DZIAŁANIA NEURONU Z FUNKCJĄ SKOKOWĄ (NIELINIOWEGO) Wejścia X 1 Wagi w 1 Blok sumujący Blok aktywacji f Wyjście X 2 w 2 S 0,8 y X 3 w 3 y = f ( S ( x i * w i ))

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ Trzy neurony zmysłowe (siatkówki oka żaby) kodują trzy różne reakcje organizmu: Ø odskoczenie (wyprostowanie mięśnia uda) Ø zjadanie (poruszanie mięśnia języka) Ø trawienie (wydzielanie soku żołądkowego). Wzorce muszą zostać rozpoznane tzn., kiedy z siatkówki oka do mózgu przesyłany jest : wzorzec A (bocian), powinien się uaktywnić neuron wyjściowy 1, który aktywuje mięsień uda i sprawia, ze żaba odskakuje; wzorzec B (mucha), to powinien się uaktywnić neuron wyjściowy 3 pobudzający mięsień języka. widok błękitnego nieba na siatkówce uaktywnia się wzorzec C, to wtedy aktywny powinien być neuron 2, którego zadaniem jest stymulacja procesu trawienia. Manfred Spitzer 1996

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ A B C

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ siatkówka mózg

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0,8 1 0 0,8 0 1 0 0,8

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ BOCIAN mózg 1 0,8 1 0 0,8 0 żaba odskakuje 1 0 0,8

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0,8 0 0 0,8 1

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0,8 0 0 0,8 1

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ MUCHA mózg 0 0,8 0 1 0 0,8 0,8 0 żaba wyciągnęła język i zjadła muchę 1

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0,8 0 1 0,8 1 1 0 0,8

PROSTY PRZYKŁAD DZIAŁANIA SIECI NEURONOWEJ NIEBO mózg 1 0,8 0 1 0,8 1 1 0 0,8 żaba trawi

x 2 = -w 1 /w 2 b/w 2 BIAS x 2 = -w 1 /w 2 + /w 2 PRÓG

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO (Z FUNKCJĄ SKOKOWĄ)

0 1 DYSKRYMINACJA LINIOWA 1 1 x 2 0 0 x 1 1 0

POWIERZCHNIA ODPOWIEDZI 1 y 1 0 1 0 0 1 1 0 x 1 x 2 1 0

NEURON LINIOWY

NEURON LINIOWY

NEURON LINIOWY X W y = cos

SIEĆ LINIOWA

LINIOWA SIEĆ NEURONOWA W W 2 X P Y X Y P = W 1 X W 1 Y = W 2 P Y = W 2 W 1 X W = W 2 W 1 Y = W X Sieć liniowa z zasady nie posiada warstw ukrytych, bo nawet jeśli się je wprowadzi, to nie wzbogacą one zachowania sieci

ADALINE ( ADAptive LINear Element ) = z - y Reguła WIDROW-HOFFA W = W + X - szybkość uczenia albo obliczamy wynik stosując pseudoinwersję macierzy W W = Z X -1 bo Z = W X

REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y > = 0 z y > = 0 z > y czyli odpowiedź sieci jest ZA MAŁA 2 < 1 X 1 2 W W cos 2 > cos 1 y 2 > y 1

REGUŁA WIDROW-HOFFA W = W + X > = 0 = z - y < = 0 z y < = 0 z < y czyli odpowiedź sieci jest ZA DUŻA 2 > 1 X 1 2 W cos 2 < cos 1 W y 2 < y 1

PROCES UCZENIA matematyczne aspekty CIĄG UCZĄCY

PROCES UCZENIA matematyczne aspekty reguła DELTA zastosowana w j+1 kroku W (j+1) = W (j) + (j) (j) X (j) BŁĄD UCZENIA (j) = z (j) - y (j) ODPOWIEDŹ SIECI y (j) = W (j) * X (j)

CEL UCZENIA OPTYMALIZACJA WAG ZGODNOŚĆ ODPOWIEDZI NEURONU Z WYMAGANYMI WARTOŚCIAMI TZN. MINIMALIZACJA FUNKCJI BŁĘDU CZYLI PEWNEJ FUNKCJI KRYTERIALNEJ: N Q = ½ S (z (j) - y (j) ) 2 j=1 N Q = S Q (j) j=1 j numer elementu uczącego gdzie Q (j) = ½ (z (j) - y (j) ) 2

- szukanie minimum metodą gradientową Q = Q (W) w i w i = D w i = - Q (j) w i Q (j) w i = Q (j) y (j) y (j) w i Q (j) = y (j) (½ (z (j) - y (j) ) 2 ) y (j) = - (z (j) - y (j) ) = - (j)

- Q (j) = y i (½ (z (j) - y (j) ) 2 ) = - (z (j) - y (j) ) = - (j) y i y (j) w i (S x k w k ) (j) = = x (j) i w i Q (j) D w i = - wi = - (- (j) )x i (j) = (j) x i (j) co należało wykazać

MADALINE (Many ADAptive LINear Elements Many ADALINEs )

MADALINE (Many ADAptive LINear Elements Many ADALINEs ) REGUŁA WIDROW - HOFFA

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO -0.25 Ta sieć przybliża funkcję AND przy pomocy regresji liniowej -0.25 0.25 0.25 0.75

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LINIOWEGO 0,75 0,25 NEURON LINIOWY WYTWARZA W ODPOWIEDZI PŁASZCZYZNĘ 0,25-0,25

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO 1 POWIERZCHNIA ODPOWIEDZI y 0,25 0 1 0 0 1 1 x 1 x 2 1 0

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU SKOKOWEGO 0 1 1 1 RZUT POWIERZCHNIA ODPOWIEDZI NA PŁASZCZYZNĘ X 1 X 2 x 2 0 0 x 1 1 0

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU NIELINIOWEGO LOGISTYCZNEGO (SIGMOIDY) -16.7 11.1 11.1 0 0.004 0.004 0.996 (z dowolną dokładnością)

ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY y POWIERZCHNIA ODPOWIEDZI x 1 x 2

0 0 ROZWIĄZANIE PROBLEMU AND PRZY POMOCY NEURONU LOGISTYCZNEGO (SIGMOIDY 0 1 odpowiedź 0.5 1 1 RZUT POWIERZCHNI ODPOWIEDZI NA PŁĄSZCZYZNĘ X 1 X 2 x 1 x 2 1 0