Sieci neuronowe. Sebastian Bożek.

Transkrypt

1 Sieci neuronoe Sebastian Bożek

2 Plan prezentacji. Metoda obliczeń i metoda skojarzeń 2. Neuron biologiczny 3. Model sztucznego neuronu 4. Funkcja aktyacji rodzaje sztucznych neuronó 5. Sztuczna sieć neuronoa - zapis ektoroo-macierzoy 6. Metody uczenia sieci 7. Przykłady zastosoań - Rozpoznaanie liter - Analiza idm promienioanie - Prognozoanie parametró betonu

3 Koncepcja sztucznych sieci neuronoych Komputer Człoiek Pamięć.574e+ 6.e+ 3.5e e e+ 4.79e e e+ Szybkość obliczeń Inteligencja Dokładność Błędy komputeró to błędy programistó / architektó Brak zmęczenia serery? Maszyna ykonuje kod programu algorytm. Sztuczna inteligencja personifikacja maszyn rozszerzenie ich działania o obszar do tej pory zarezeroany tylko dla organizmó żyych kojarzenia, rozpoznaania, klasyfikacji i przeidyania na podstaie skojarzeń.

4 Obliczenia vs kojarzenie Metoda obliczenioa Metoda skojarzeń ) Pomiary lub obliczenia 2) Storzenie zoru 3) Podstaianie danych do zoru DOŚWIADCZENIE OPARTE NA WIELU PODOBNYCH PRZYKŁADACH f funkcja określona zorem f(, 2, 3, 4 ) y Czarna skrzynka y W penych sytuacjach bardziej efektyna ydaje się metoda skojarzeń

5 Przykład: kieroca rajdoy Z jaką prędkością ejść ten zakręt? Metoda obliczenioa Metoda skojarzeń Dane: masa pojazdu 2 spółczynnik tarcia - 2 rodzaj naierzchni - 22 ilgotność itd.. 3 docisk spoilera 4 promień krzyizny zakrętu 5 moc silnika itd.. Szukane: Prędkość V = f(,2, 3 ) Kieroca przejechał WIELE PODOBNYCH ZAKRĘTÓW PODOBNYCH WARUNKACH. Jego iedza bazuje głónie na DOŚWIADCZENIU które uzględnia dane.

6 Komórka budująca mózg - NEURON * ~ 5 połączeń Impuls neroy Układ elektroniczny?

7 Prosty model neuronu y N i i y N i i i y N i i i b b

8 Funkcja aktyacji g N i i i b y f (g)

9 Rodzaje sztucznych neuronó Neuron linioy f ( g) g f Perceptron, ( g), g g f Neuron sigmoidalny (funkcja logistyczna) ( g) e g

10 Sztuczna sieć neuronoa - SSN ANN Artificial Neural Netork Jednoarstoa (single layer) Wieloarstoa (multilayer)

11 Zapis ektoroo-macierzoy 3,2 3, 2,2 2,,2, W y y y 2 b b b b W y T f b y y f y y y

12 Rodzaje uczenia sieci neuronoych Uczenie przystosoyanie się sieci do zadanego zbioru (ciągu) uczącego Uczenie z nauczycielem Znana jest pożądana odpoiedź sieci na przedstaiony sygnał ejścioy. Ciąg uczący to ciąg danych ejścioych (inputs) i skojarzonych z nimi pożądanych odpoiedzi (targets). Przykład: ychoanie Uczenie bez nauczyciela Pożądana odpoiedź (targets) nie jest znana. Samouczenie polega na utralaniu charakterystycznych cech sieci. Przykład: Krystalizoanie się śiatopoglądu.

13 Uczenie z nauczycielem reguła Delta Ciąg uczący n=,2, L z n, n yn Funkcja błędu Q 2 L z j y j j 2 Q, 2 2 Q j i j 2 z y 2 Q - stała uczenia j j i j j

14 Metoda momentum Q j i j Za małe poolne uczenie Za duże oscylacje okół minimum Metoda momentum korekta ag edług reguły i j Q j i j i ( j) Nadanie punktoi reprezentującemu agi penego momentu bezładności. Gdy kolejne gradienty skazują ten sam kierunek, ich działanie się kumuluje i przyrosty ag stają się coraz iększe. Gdy gradienty są przecine, ruch punktu jest hamoany.

15 Przykład Rozpoznaanie i klasyfikacja Sieć rozpoznająca litery alfabetu R. Tadeusieicz, Sieci neuronoe, Akademicka Oficyna Wydanicza, 993

16 Wektoroy zapis obrazu litery B =?

17 Architektura sieci B Y(B) B W Y(B) T f,, ) ( g g g f

18 Przykład 2: Prognozoanie Sieć yznaczająca procentoe udziały poszczególnych izotopó promieniotórczych na podstaie idm próbek zmierzonych detektorem scyntylacyjnym S.Bożek, Oznaczanie składu gamma promieniotórczych izotopó metodą sztucznych sieci neuronoych, praca magisterska, AGH 23

19 Dyfuzja znacznikó promieniotórczych Badanie dyfuzji poszczególnych pieriastkó stali manganoo-chromoej z ykorzystaniem znacznikó promieniotórczych

20 Amplituda sygnału - intensyność Widmo mierzone detektorem scyntylacyjnym izotop Cr Mn 5 59 Fe 54 E [kev ] T [ dni] / Detektor scyntylacyjny cechuje się słabą zdolnością rozdzielczą, jednak jest tańszy od dokładniejszych detektoró półprzeodnikoych Numer kanału - Energia promienioania Widmo całości jest peną kombinacją idm składoych

21 Wektoroy opis idma k kanałó detektora plik.tt kolumna k liczb Wektor k-ymiaroej przestrzeni P X P P X, X,, 2 X P k Normalizacja P k i X P P X i f ( ) d

22 Wersory idmoe P Cr k i X Cr Cr X i Mn k i X Mn Mn X i Cr k i X Cr Cr X i Wektor idmoy próbki jest sumą ektoró idmoych składoych izotopó P c Cr, c Mn, c Fe stężenia % c Cr c c Cr Mn Cr c c Fe Mn Mn c Fe Fe Cr Mn Fe

23 Architektura sieci k 2 c c 3 c c c c k k k k y W Dla licznika posiadającego k kanałó sieć ma k ejść (inputs) Liczba neuronó, i tym samym liczba yjść (outputs), odpoiada liczbie analizoanych izotopó Sieć jednoarstoa

24 Ciąg uczący c c c cr mn fe rand c c cr cr c rand mn Współczynniki stężeń ciągu uczącym są generoane przy użyciu generatora liczb losoych P c Cr Cr c Mn Mn c Fe Fe k 2 c c 2 c 3 c y c 2 c 3 c z c c Cr Mn Fe Q j i j 2 z y 2 Q j j j i j

25 Przykład 3: Prognozoanie Sieć prognozująca fizyczne łaściości betonu Wspomagane komputeroo prognozoanie fizycznych łaściości betonu o ysokiej ytrzymałości, zaierającego nanocząstki Fe 2 O 3, Cement, apno beton, rzesień-październik 22 r., Nr 5,.cementapnobeton.pl Computed-aided prediction of physical and mechanical properties of high strength concrete containing Fe 2 O 3 nanoparticles

26 Wytrzymałość betonu Wytrzymałość najażniejsza cecha betonu. Mierzona jest zazyczaj po normoym czasie dojrzeania. Wytrzymałość betonu zależy od ielu czynnikó. Do prognozoania ytrzymałości na zgnianie oraz nasiąkliości betonu zastosoano 2 arstoą sieć neuronoą z sigmoidalną funkcją aktyacji neuronó.

27 Architektura sieci INPUTS C zaartość cementu N zaartość nanocząstek AG rodzaj kruszya W zaartość ody S ilość superplastyfikatora CM rodzaj środoiska dojrzeania AC czas dojrzeania NT liczba pokazó TARGETS F F ytrzymałość na zginanie F W nasiąkliość

28 Ciąg uczący / testujący I N P U T S T A R G E T S zaartość cementu [kg/m 3 ] zaartość nanocząstek [kg/m 3 ] rodzaj kruszya zaartość ody [kg/m 3 ] zaartość superplastyfikatora [kg/m3] środoisko dojrzeania czas dojrzeania liczba pokazó ytrzymałość na zginanie nasiąkliość ,6 3, ,6 5,9 447,8 2, ,7 3,9 447,8 2, , 2,3 447,8 2, ,9,9 445,5 4, ,6 4,6 445,5 4, , 2,5 445,5 4, ,8, 443,3 6, , 4,7 443,3 6, , 2, ,9 4, ,8, ,4 5, 447,8 2, ,4 6,3 447,8 2, ,7,5 445,5 4, ,9 6,7 443,3 6, ,9, ,9,9 45 4,8 7, , 4,7 445,5 4,5 4,8 7, ,7 445,5 4,5 4,8 7, ,3, ,8 7, ,6, ,8 7, ,2,7 437,5 3,5 4,8 7, ,3, ,8 7, ,7,4 427,5 22,5 4,8 7, ,7 4,4 427,5 22,5 4,8 7, ,6,

29 Wyniki WARTOŚCI EKSPERYMENTALNE I ODPOWIEDZI SIECI NEURONOWEJ Wytrzymałość na zginanie Nasiąkliość Eksperyment SSN- SSN-2 Eksperyment SSN- SSN-2 4,6 4,6 4,7 3,6 3,7 3,6 4,6 4,8 4,5 5,9 5,9 5,9 4,7 5,4 4,8 3,9 4, 4, 5, 5,2 5,2 2,3 2,6 2,4 5,9 6,5 5,9,9,, 5,6 5,6 5,6 4,6 4,8 4,6 5, 5,3 5,3 2,5 2,3 2,6 5,8 5,9 5,8,,6, 5, 5, 5, 4,7 4,8 4,9 5, 5, 5,2 2,8 2,8 2,8 3,9 3,8 4, 4,7 4,8 4,6 4,8 4,8 4,8,5,6,8 4,4 4,2 4,4 5, 5, 5, 5,4 5,3 5, 6,3 6,3 6, 5,7 5,6 5,3,5 2,5,6 5,9 5,8 5,8 6,7 6,9 7,2 5,9 5,9 6,,,2, 6,9 6,9 6,9,9,8,9 4, 3,9 4, 4,7 4,3 4,3 4, 4,2 4,,7,8,8 4,3 4,4 4,4,6,6,7 4,6 4,4 4,7,8,7,7 6,2 5,9 6,,7,7,4 6,3 6,4 6,4,2,2,2 5,7 5,6 5,6,4,6,4 3,7 3,8 3,7 4,4 4,9 4,5 6,6 6,7 7,3,,,2 Eksperyment Wartości uzyskane dośiadczalnie SSN- Uczenie sieci neuronoej zostało zakończone dla zadanej liczby potórzeń ciągu uczącego () SSN-2 Uczenie sieci neuronoej zostało zakończone po osiągnięciu ustalonego minimalnego błędu sieci.

30 Literatura J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronoe, PWN 996 S. Ossoski, Sieci neuronoe do przetarzania informacji, Wyd. Politechniki Warszaskiej 26 R. Tadeusieicz, Sieci neuronoe, Akademicka Oficyna Wydanicza, 993

31 Zagadnienia do egzaminu część /3. Wymień i scharakteryzuj rodzaje sztucznych neuronó. 2. Tój zespół opracouje komputeroy program do gry kółko i krzyżyk. Znaki kółka i krzyżyka rozdzielczości (rysunek) grający będzie rysoał na tablecie. Toim zadaniem jest zbudoanie sieci neuronoej odróżniającej kółko od krzyżyka. Zaproponuj najprostszy model sieci neuronoej realizującej takie zadanie. Dołącz rysunek przedstaiający architekturę tej sieci.

32 Zagadnienia do egzaminu część 2/3 3. Na ejście perceptronu (rysunek) trafia sygnał Współczynniki agoe neuronu ynoszą odpoiednio: =.5, 2 =.3, 3=-.2. Oblicz odpoiedź y perceptronu. T 4. Przedsta klasyczny schemat uczenia neuronu (regułę delta ) oraz metodę momentum.

33 Zagadnienia do egzaminu część 3/3 5. W kontekście sztucznych sieci neuronoych yjaśnij następujące pojęcia: a) sygnały ejścioe (dane), (input variable) b) arsta ejścioa, (input layer) c) arsta ukryta, (hidden layer) d) arsta yjścioa, (output layer) e) sygnały yjścioe (yniki), (output) f) artość progoa, (bias) g) zadana (ymagana) odpoiedź neuronu na sygnał, (target) h) ciąg uczący, (training set) i) ciąg testujący,(testing set) j) epoka, (epoch) k) aga neuronu, (eight) l) szybkość uczenia, (learning rate) m) momentum, (momentum factor)