Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1.

Save this PDF as:
 WORD  PNG  TXT  JPG

Wielkość: px
Rozpocząć pokaz od strony:

Download "Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1."

Transkrypt

1 Politechnika Rzeszowska Wydział Elektrotechniki i Informatyki Mateusz Błażej Nr albumu: Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1. Projekt zaliczeniowy z przedmiotu: Sztuczna Inteligencja Praca wykonana pod kierunkiem dr. inż. Romana Zajdla z Katedry Informatyki i Automatyki WEiI PRz Rzeszów, kwiecień 2014

2 SPIS TREŚCI WSTĘP... 2 ROZDZIAŁ I. Opis teoretyczny Model neuronu Sieć jednokierunkowa wielowarstwowa Metoda momentum... 7 ROZDZIAŁ II. Rozwiązanie problemu Wybór funkcji Korekta kodu i wybór parametrów ROZDZIAŁ III. Eksperymenty i rezultaty Wstępny eksperyment Rezultaty i dodatkowe eksperymenty ZAKOŃCZENIE BIBLIOGRAFIA ZESTAWIENIE SPISÓW

3 WSTĘP Celem projektu jest słowny opis działań, jakie zostały wykonane w celu zbudowania sieci aproksymującej funkcję dwóch zmiennych, tj. zrealizowania zagadnienia z przedmiotu Sztuczna Inteligencja pt.: Zrealizować sieć neuronową (learnbpm) uczącą się odwzorowania z = x 2 + y 2 dla x i y zmieniających się od -1 do 1. Do wykonania tego projektu został użyty program firmy MathSoft MATLAB w wersji: Z racji prac przeprowadzonych na systemie operacyjnym Windows 8.1 x64 konieczne było ustawienie trybu zgodności z Windows Vista (Service Pack 2). Maszyna wykorzystana do obliczeń miała parametry: procesor Intel T9500 2x 2,6GHz oraz pamięć ram Kingston HyperX 4GB 667MHz CL4. Wykonanie skryptów zajęło około 50 godzin. Rys. 1. Aproksymowana funkcja z = x 2 + y 2 dla x i y zmieniających się od -1 do 1 Źródło: Opracowanie własne przy użyciu oprogramowania MATLAB. 2

4 ROZDZIAŁ I Opis teoretyczny 1.1. Model neuronu Rys. 2. Model neuronu Źródło: Opracowanie własne na podstawie: PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw6 Model neuronu, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: Sygnał wyjściowy neuronu y określony jest zależnością: gdzie xj jest j tym (j = 1, 2,, L) sygnałem wejściowym, a wj współczynnikiem wagowym (wagą). Ze względu na skrócenie zapisu wygodnie będzie stosować zapis macierzowy do opisu, 3

5 działania neuronu. Niech x = [x1, x2,, xl] T będzie wektorem sygnałów wejściowych, w = [w1, w2,, wl] - macierzą wierszową wag, a y i b skalarami. Wówczas y = f (wx + b). Ważona suma wejść wraz z przesunięciem często bywa nazywana łącznym pobudzeniem neuronu i w dalszych rozważaniach oznaczana będzie symbolem z 1 : Sieć jednokierunkowa wielowarstwowa Sieć jednokierunkowa wielowarstwowa ma zwykle jedną warstwę neuronów ukrytych między warstwą wejściową a wyjściową. Rys. 3. Sieć jednokierunkowa wielowarstwowa Źródło: PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw9 Sieć jednokierunkowa wielowarstwowa, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: 1 PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw6 Model neuronu, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: 4

6 Taką sieć nazywa się trójwarstwową. Występują tu połączenia pomiędzy warstwami neuronów typu każdy z każdym. Sygnały wejściowe podawane są do warstwy wejściowej neuronów, których wyjścia stanowią sygnały źródłowe dla kolejnej warstwy. Można wykazać, że sieć trójwarstwowa nieliniowa jest w stanie odwzorować praktycznie dowolne odwzorowanie nieliniowe. Każda warstwa neuronów posiada swoją macierz wag w, wektor przesunięć b, funkcje aktywacji f i wektor sygnałów wyjściowych y. Działanie poszczególnych warstw dane jest przez: Działanie całej sieci można więc opisać jako:. W przypadku sieci trójwarstwowej, błąd średniokwadratowy wyliczany jest następująco:. gdzie: j = 1,, L oznacza numer wejścia warstwy pierwszej, i1 = 1,, K1, i2 = 1,, K2, i3 = 1,, K3 oznaczają odpowiednio numer wyjścia warstwy pierwszej, drugiej i trzeciej., 5

7 Obliczanie wag neuronów rozpoczyna się od warstwy wyjściowej, dla której mamy: gdzie:, jest łącznym pobudzeniem i3 tego neuronu warstwy wyjściowej. Stosując podstawienie: zależność przyjmuje postać: Podobnie wyznacza się elementy gradientu względem wag warstw ukrytej i wejściowej 2 :. 2 PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw9 Sieć jednokierunkowa wielowarstwowa, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: 6

8 Metoda momentum Z praktycznego punktu widzenia istotne znaczenie ma szybkość uczenia. Metoda wstecznej propagacji błędu jest bardzo czasochłonna. W literaturze poświęconej sieciom neuronowym spotyka się szereg metod pozwalających na znaczne przyśpieszenie procesu uczenia. Można wyróżnić dwa podejścia. Jedno z nich polega na wprowadzeniu do wzoru na korektę wag dodatkowego składnika będącego miarą bezwładności zmiany wag, zwanego momentum. W przypadku uczenia pod nadzorem pojedynczej warstwy sieci reguła uczenia z momentum może wyglądać następująco: gdzie momentum M(k)ij jest wyliczane z zależności, η ɛ [0,1] jest współczynnikiem uczenia momentum. Jeżeli η = 1, to nowa waga jest równa ostatniej zmianie wagi. Jeżeli η = 0, to zmiana wagi oparta jest tylko na składowej gradientowej. 7

9 Najczęściej przyjmuje się η = Wprowadzenie składnika momentum zdecydowanie wpływa na zwiększenie szybkości uczenia. 3 3 PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw10 Przyśpieszanie procesu uczenia, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: 8

10 ROZDZIAŁ II Rozwiązanie problemu 2.1. Wybór funkcji Funkcja odpowiadająca nauczaniu wielowarstwowej sieci neuronowej ze wsteczną propagacją błędu przyspieszoną metodą momentum w programie MATLAB nosi nazwę learnbpm. Wywołanie: [dw,db] = learnbpm (P,D,LR,MC,dW,dB) Argumenty: P - macierz wektorów wejściowych (wymiar R*Q, R - liczba wejść warstwy, Q - ilość wektorów), D - macierz pochodnych błędów warstwy (wymiar S*Q, S - liczba neuronów w warstwie), LR - współczynnik prędkości uczenia, MC - wartość stałej momentum, dw - macierz przyrostów współczynników wagowych warstwy w poprzednim kroku (wymiar S*R), db - wektor przyrostów współczynników progowych warstwy w poprzednim kroku (wymiar S*1). Wielkości zwracane: dw - nowa macierz przyrostów współczynników wagowych warstwy (wymiar S*R), db - nowa macierz przyrostów współczynników progowych warstwy (wymiar S*1). 4 4 Sztuczne sieci neuronowe [online] [dostęp: 3 kwietnia 2014 r.]. Dostępne w Internecie: 9

11 2.2. Korekta kodu i wybór parametrów W celu zrealizowania zadania konieczna była korekta wstępnie napisanego kodu oraz ustalenie idealnych wartości parametrów S1, S2, lr (współczynnik uczący) i mc (współczynnik momentum). Dobór dokonywany jest na podstawie SSE (błędu średniokwadratowego) - pożądana jest wartość minimalna. Kod wstępny wygląda następująco (istotne zmiany zostały opisane w dalszej części projektu): clear all; nntwarn off; X=-1:.1:1; Y=-1:.1:1; Z=zeros(length(X), length(y)); XX = []; YY = []; ZZ = []; SSES =[]; EEE=[]; for i = 1 : length(x), for j = 1 : length(y), XX = [XX X(i)]; YY = [YY Y(j)]; Z(i, j) = ((X(i)^2 + Y(j)^2)); ZZ = [ZZ Z(i, j)]; ; P = [XX; YY]; [R, Q] = size(p); max_epoch = 20000; disp_freq = 100; for S1 = 1:10, for S2 = 1:S1, for lr=[1e-5 1e-4 1e-3 1e-2] for mc=[ :.1: ], [S3, Q] = size(zz); 10

12 error = []; [W1, B1] = nwtan (S1, R); [W2, B2] = nwtan (S2, S1); [W3, B3] = rands (S3, S2); dw1 = zeros (size (W1)); db1 = zeros (size (B1)); dw2 = zeros (size (W2)); db2 = zeros (size (B2)); dw3 = zeros (size (W3)); db3 = zeros (size (B3)); A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; SSE = sumsqr (E); for epoch = 1 : max_epoch, if isnan(sse) break; D3 = deltalin (A3, E); D2 = deltatan (A2, D3, W3); D1 = deltatan (A1, D2, W2); [dw1, db1] = learnbpm (P, D1, lr, mc, dw1, db1); [dw2, db2] = learnbpm (A1, D2, lr, mc, dw2, db2); [dw3, db3] = learnbpm (A2, D3, lr, mc, dw3, db3); W1 = W1 + dw1; B1 = B1 + db1; W2 = W2 + dw2; B2 = B2 + db2; W3 = W3 + dw3; B3 = B3 + db3; A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; 11

13 SSE = sumsqr(e); error = [error, SSE]; if (rem (epoch, disp_freq) == 0), epoch SSE S1 S2 lr mc SSES=[SSES ; SSE S1 S2 lr mc]; Główne modyfikacje polegały na wprowadzeniu czterech dodatkowych pętli for: - S1 od 1 do 10, - S2 od 1 do S1, - lr dla wartości 1e-5, 1e-4, 1e-3, 1e-2, - mc dla wartości 0.001, , 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.95, 0.99, skutkiem czego znacznie wydłużył się czas wykonywania skryptu. Dla parametrów komputera przedstawionych we wstępie wyniósł on blisko 25 godzin. Dodatkowo usunięto przerwanie wykonywania pętli po osiągnięciu żądanego błędu średniokwadratowego. Kolejną modyfikacją było wprowadzenie macierzy, do których zapisywanie były pożądane wyniki: - SSES błąd średniokwadratowy dla każdej kombinacji parametrów S1, S2, lr i mc, Ostatnią ciekawą korektą było dodanie warunku if isnan(sse) powodującego przy spełnieniu przerwanie wykonywania pętli. Zaobserwowano, że dalsze zwiększanie współczynnika epoch przy pojawieniu się parametru SSE=NaN powoduje znaczne spowolnienie wykonywania pętli, a co za tym idzie bardzo duży wzrostu czasu realizacji całego skryptu. Dodatnie tego warunku wyeliminowuje ten problem. 12

14 ROZDZIAŁ III Eksperymenty i rezultaty 3.1. Wstępny eksperyment Pierwszym z przeprowadzonych eksperymentów było zapisanie błędów średniokwadratowych dla każdej kombinacji: - S1 od 1 do 10, - S2 od 1 do S1, - lr dla wartości 1e-5, 1e-4, 1e-3, 1e-2, - mc dla wartości 0.001, , 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.95, Powyższy eksperyment wygenerował 55 kombinacji S1 i S2. Po włączeniu możliwych kombinacji lr i mc liczba obserwacji wzrosła do Dalsze eksperymenty opierały się na wynikach otrzymanych we wcześniej wygenerowanej próbie Rezultaty i dodatkowe eksperymenty Dla żadnej z wygenerowanych sieci błąd średniokwadratowy nie spadł poniżej Posortowano otrzymane rezultaty rosnąco według SSE (błędu średniokwadratowego). Poniżej przedstawiono 20 pierwszych wyników: SSE S1 S2 lr mc

15 Zauważono, że dla każdej z 89 pierwszych obserwacji lr (współczynnik uczenia) wyniósł Dalszą aproksymację postanowiono ograniczyć do lr równego 0.01, gdyż wydaje się on wpływać najkorzystniej na efektywność sieci. Dodatkowo zwiększono ilości neuronów S1 i S2 w warstwach. Ostatecznie otrzymano następujące kombinacje: - S1 od 1 do 20, - S2 od 1 do S1, - lr dla wartości 0.01, - mc dla wartości 0.001, , 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 0.95, Po wprowadzeniu zmian, kod ma postać: clear all; nntwarn off; X=-1:.1:1; Y=-1:.1:1; Z=zeros(length(X), length(y)); XX = []; YY = []; ZZ = []; SSES =[]; EEE=[]; for i = 1 : length(x), for j = 1 : length(y), XX = [XX X(i)]; YY = [YY Y(j)]; Z(i, j) = ((X(i)^2 + Y(j)^2)); ZZ = [ZZ Z(i, j)]; ; P = [XX; YY]; [R, Q] = size(p); 14

16 max_epoch = 20000; err_goal =.002; disp_freq = 100; lr=.01; for S1 = 1:20, for S2 = 1:S1, for mc=[ :.1: ], [S3, Q] = size(zz); error = []; [W1, B1] = nwtan (S1, R); [W2, B2] = nwtan (S2, S1); [W3, B3] = rands (S3, S2); dw1 = zeros (size (W1)); db1 = zeros (size (B1)); dw2 = zeros (size (W2)); db2 = zeros (size (B2)); dw3 = zeros (size (W3)); db3 = zeros (size (B3)); A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; SSE = sumsqr (E); for epoch = 1 : max_epoch, if SSE < err_goal, epoch = epoch - 1; EEE=[EEE ; SSE S1 S2 mc epoch/10000]; break; if isnan(sse) break; D3 = deltalin (A3, E); D2 = deltatan (A2, D3, W3); D1 = deltatan (A1, D2, W2); 15

17 [dw1, db1] = learnbpm (P, D1, lr, mc, dw1, db1); [dw2, db2] = learnbpm (A1, D2, lr, mc, dw2, db2); [dw3, db3] = learnbpm (A2, D3, lr, mc, dw3, db3); W1 = W1 + dw1; B1 = B1 + db1; W2 = W2 + dw2; B2 = B2 + db2; W3 = W3 + dw3; B3 = B3 + db3; A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; SSE = sumsqr(e); error = [error, SSE]; if (rem (epoch, disp_freq) == 0), epoch SSE S1 S2 mc EEE SSES=[SSES ; SSE S1 S2 mc]; Powyższy eksperyment wygenerował 210 kombinacji S1 i S2. Po włączeniu możliwych kombinacji mc liczba obserwacji wzrosła do Dodatkowo wprowadzono przerwanie wykonywania pętli po osiągnięciu żądanego błędu średniokwadratowego. Kolejną modyfikacją było wprowadzenie macierzy EEE, do której zapisywanie były pożądane wyniki: - EEE błąd średniokwadratowy i parametry SSES + parametr epoch, dla którego można przyjąć, że sieć została nauczona, tj. błąd średniokwadratowy był mniejszy od err_goal =

18 Po wykonaniu skryptu, macierz EEE zawierała następujące wyniki: SSE S1 S2 mc epoch Pożądany SSE (błąd średniokwadratowy) osiągnięty został tylko dla parametrów mc (momentum) równych 0.9, 0.95 oraz Tabela 1 obrazuje rozkład osiągniętych rezultatów wg. parametru mc: Tabela 1. Rozkład rezultatów wg. parametru mc Lp. mc Ilość Źródło: Opracowanie własne na podstawie wygenerowanej macierzy EEE przy użyciu programu MATLAB. Podana w tabeli 1 ilość rezultatów wg. parametru mc sugeruje ograniczenie wykonywania pętli dla parametru mc równego 0.95., gdyż blisko 70% pożądanych rezultatów zostało osiągniętych dla tego parametru. Co więcej najmniej epok (11674) do osiągnięcia SSE równego zostało wykonanych również dla tego parametru. Również najmniejszy rozmiar S1 (warstwy wyjściowej) (5) dotyczył parametru mc równego

19 Biorąc pod uwagę powyższe eksperymenty, ostatecznie kod obejmuje następujące parametry: - S1 od 1 do 20, - S2 od 1 do S1, - lr dla wartości 0.01, - mc dla wartości Po wprowadzeniu zmian, kod finalny ma postać: clear all; nntwarn off; X=-1:.1:1; Y=-1:.1:1; Z=zeros(length(X), length(y)); XX = []; YY = []; ZZ = []; SSES =[]; EEE=[]; for i = 1 : length(x), for j = 1 : length(y), XX = [XX X(i)]; YY = [YY Y(j)]; Z(i, j) = ((X(i)^2 + Y(j)^2)); ZZ = [ZZ Z(i, j)]; ; P = [XX; YY]; [R, Q] = size(p); max_epoch = 20000; err_goal =.002; disp_freq = 100; lr=.01; mc=.95; for S1 = 1:20, for S2 = 1:S1, [S3, Q] = size(zz); 18

20 error = []; [W1, B1] = nwtan (S1, R); [W2, B2] = nwtan (S2, S1); [W3, B3] = rands (S3, S2); dw1 = zeros (size (W1)); db1 = zeros (size (B1)); dw2 = zeros (size (W2)); db2 = zeros (size (B2)); dw3 = zeros (size (W3)); db3 = zeros (size (B3)); A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; SSE = sumsqr (E); for epoch = 1 : max_epoch, if SSE < err_goal, epoch = epoch - 1; EEE=[EEE ; SSE S1 S2 epoch/10000]; break; if isnan(sse) break; D3 = deltalin (A3, E); D2 = deltatan (A2, D3, W3); D1 = deltatan (A1, D2, W2); [dw1, db1] = learnbpm (P, D1, lr, mc, dw1, db1); [dw2, db2] = learnbpm (A1, D2, lr, mc, dw2, db2); [dw3, db3] = learnbpm (A2, D3, lr, mc, dw3, db3); W1 = W1 + dw1; B1 = B1 + db1; W2 = W2 + dw2; B2 = B2 + db2; W3 = W3 + dw3; B3 = B3 + db3; 19

21 A1 = tansig (W1*P, B1); A2 = tansig (W2*A1, B2); A3 = purelin (W3*A2, B3); E = ZZ - A3; SSE = sumsqr(e); error = [error, SSE]; if (rem (epoch, disp_freq) == 0), epoch SSE S1 S2 EEE A3_ = zeros (size (Z)); error_ = zeros (size (Z)); for i = 1 : length(x), for j = 1 : length(y), A1_ = tansig(w1*[x(i); Y(j)], B1); A2_ = tansig(w2*a1_, B2); A3_(i, j) = purelin(w3*a2_,b3); error_(i,j)=z(i,j)-a3_(i,j); figure (1) subplot (1, 2, 1), mesh (X, Y, Z); subplot (1, 2, 2), mesh (X, Y, A3_); figure (2) mesh (X, Y, error_); pause (1e-200); SSES=[SSES ; SSE S1 S2]; 20

22 Powyższy eksperyment wygenerował jedynie 210 kombinacji, co pozwoliło znacznie skrócić czas generowania pożądanych sieci neuronowych. Najszybciej ucząca się sieć miała następujące parametry: - S1 równe 8, - S2 równe 7, - lr równe 0.01, - mc równe Poniżej przedstawiono grafikę porównującą aproksymowaną funkcję z wygenerowaną dla parametrów podanych powyżej. Rys. 4. Porównanie aproksymowanej funkcji z wygenerowaną Źródło: Opracowanie własne przy użyciu oprogramowania MATLAB. Wykres obrazujący błąd średniokwadratowy przedstawiono poniżej. 21

23 Rys. 5. Błąd średniokwadratowy 8 x Źródło: Opracowanie własne przy użyciu oprogramowania MATLAB. Dla parametrów lr i mc uznanych za idealne (0.01 i 0.95 kolejno) wygenerowano wykres obrazujący zmianę SSE w zależności od S1 i S2 w przedziale S1 od 1 do 10 i S2 od 1 do S1. Skorzystano ze stworzonej macierzy pomocniczej o wymiarach 10x10: Grafika została przedstawiona poniżej. 22

24 Rys. 6. Zależność SSE od S1 i S Źródło: Opracowanie własne przy użyciu oprogramowania MATLAB. Rysunek 6 obrazuje, że przy wzroście S1 powyżej 4, SSE gwałtownie maleje. W celu zobrazowania dokładniejszej zależności, przeskalowano współrzędne, korzystając z polecenia: axis([1,10,1,10,0,0.3217]) Wynik przekształcenia przedstawiony został na rysunku 7. 23

25 Rys. 7. Zależność SSE od S1 i S2 po przeskalowaniu współrzędnych Źródło: Opracowanie własne przy użyciu oprogramowania MATLAB. Wykres 7 potwierdza, że przy wzroście S1 powyżej 4, SSE gwałtownie maleje. Jedynie dla kilku kombinacji S1 i S2 następuje wzrost SSE, np. S1 = 9 i S2 = 5. 24

26 ZAKOŃCZENIE Celem projektu było zbudowanie jak najdokładniejszej sieci aproksymującej funkcję dwóch zmiennych z = x 2 + y 2 dla x i y zmieniających się od -1 do 1. Zadanie zostało zrealizowane i otrzymano kilkanaście kombinacji parametrów S1, S2, lr i mc, dla których SSE (błąd średniokwadratowy) był zadowalająco niski. Głównym utrudnieniem technicznym był długi czas realizacji skryptów obciążonych głównie przez 4 pętle, co skutkowało realizacją trwającą około 50 godzin. 25

27 BIBLIOGRAFIA PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw6 Model neuronu, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw9 Sieć jednokierunkowa wielowarstwowa, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: PRz, KIiA, Sztuczna inteligencja, Laboratorium, Ćw10 Przyśpieszanie procesu uczenia, Roman Zajdel [online] [dostęp: 2 kwietnia 2014 r.]. Dostępne w Internecie: Sztuczne sieci neuronowe [online] [dostęp: 3 kwietnia 2014 r.]. Dostępne w Internecie: 26

28 ZESTAWIENIE SPISÓW Spis tabel Tabela 1. Rozkład rezultatów wg. parametru mc Spis rysunków Rys. 1. Aproksymowana funkcja z = x 2 + y 2 dla x i y zmieniających się od -1 do 1. 2 Rys. 2. Model neuronu... 3 Rys. 3. Sieć jednokierunkowa wielowarstwowa... 4 Rys. 4. Porównanie aproksymowanej funkcji z wygenerowaną Rys. 5. Błąd średniokwadratowy Rys. 6. Bezrobocie zróżnicowane sezonowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką

Bardziej szczegółowo

Uczenie sieci typu MLP

Uczenie sieci typu MLP Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik

Bardziej szczegółowo

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice)

WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO. Stanisław Kowalik (Poland, Gliwice) WYKORZYSTANIE SIECI NEURONOWEJ DO BADANIA WPŁYWU WYDOBYCIA NA SEJSMICZNOŚĆ W KOPALNIACH WĘGLA KAMIENNEGO Stanisław Kowalik (Poland, Gliwice) 1. Wprowadzenie Wstrząsy podziemne i tąpania występujące w kopalniach

Bardziej szczegółowo

Algorytmy sztucznej inteligencji

Algorytmy sztucznej inteligencji Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia

Bardziej szczegółowo

Temat: Sieci neuronowe oraz technologia CUDA

Temat: Sieci neuronowe oraz technologia CUDA Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

Podstawy Sztucznej Inteligencji

Podstawy Sztucznej Inteligencji Politechnika Łódzka Katedra Informatyki Stosowanej Podstawy Sztucznej Inteligencji Laboratorium Ćwiczenie 2 Wykorzystanie środowiska Matlab do modelowania sztucznych sieci neuronowych Opracowali: Dr hab

Bardziej szczegółowo

Sztuczne siei neuronowe - wprowadzenie

Sztuczne siei neuronowe - wprowadzenie Metody Sztucznej Inteligencji w Sterowaniu Ćwiczenie 2 Sztuczne siei neuronowe - wprowadzenie Przygotował: mgr inż. Marcin Pelic Instytut Technologii Mechanicznej Politechnika Poznańska Poznań, 2 Wstęp

Bardziej szczegółowo

Widzenie komputerowe

Widzenie komputerowe Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie

Bardziej szczegółowo

Uczenie sieci neuronowych i bayesowskich

Uczenie sieci neuronowych i bayesowskich Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie

Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie Zastosowania sieci neuronowych - automatyka identyfikacja sterowanie LABORKA Piotr Ciskowski ZASTOSOWANIA SIECI NEURONOWYCH IDENTYFIKACJA zastosowania przegląd zastosowania sieci neuronowych: o identyfikacja

Bardziej szczegółowo

Rozwiązywanie równań różniczkowych cząstkowych metodą elementów skończonych - wprowadzenie

Rozwiązywanie równań różniczkowych cząstkowych metodą elementów skończonych - wprowadzenie Rozwiązywanie równań różniczkowych cząstkowych metodą elementów skończonych - wprowadzenie Wprowadzenie Metoda Elementów Skończonych (MES) należy do numerycznych metod otrzymywania przybliżonych rozwiązań

Bardziej szczegółowo

Elementy metod numerycznych - zajęcia 9

Elementy metod numerycznych - zajęcia 9 Poniższy dokument zawiera informacje na temat zadań rozwiązanych w trakcie laboratoriów. Elementy metod numerycznych - zajęcia 9 Tematyka - Scilab 1. Labolatoria Zajęcia za 34 punktów. Proszę wysłać krótkie

Bardziej szczegółowo

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska

Sieci neuronowe w Statistica. Agnieszka Nowak - Brzezioska Sieci neuronowe w Statistica Agnieszka Nowak - Brzezioska Podstawowym elementem składowym sztucznej sieci neuronowej jest element przetwarzający neuron. Schemat działania neuronu: x1 x2 w1 w2 Dendrites

Bardziej szczegółowo

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Przetwarzanie Sygnałów Studia Podyplomowe, Automatyka i Robotyka. Wstęp teoretyczny Zmienne losowe Zmienne losowe

Bardziej szczegółowo

Metody Sztucznej Inteligencji II

Metody Sztucznej Inteligencji II 17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału

Bardziej szczegółowo

Zastosowania sieci neuronowych

Zastosowania sieci neuronowych Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład

Bardziej szczegółowo

ALGORYTMY SZTUCZNEJ INTELIGENCJI

ALGORYTMY SZTUCZNEJ INTELIGENCJI ALGORYTMY SZTUCZNEJ INTELIGENCJI Sieci neuronowe 06.12.2014 Krzysztof Salamon 1 Wstęp Sprawozdanie to dotyczy ćwiczeń z zakresu sieci neuronowych realizowanym na przedmiocie: Algorytmy Sztucznej Inteligencji.

Bardziej szczegółowo

do MATLABa programowanie WYKŁAD Piotr Ciskowski

do MATLABa programowanie WYKŁAD Piotr Ciskowski Wprowadzenie do MATLABa programowanie WYKŁAD Piotr Ciskowski instrukcje sterujące instrukcja warunkowa: if instrukcja wyboru: switch instrukcje iteracyjne: for, while instrukcje przerwania: continue, break,

Bardziej szczegółowo

Politechnika Warszawska

Politechnika Warszawska Politechnika Warszawska Programowa realizacja sieci neuronowych Zbigniew Szymański, Stanisław Jankowski grudzień 03 Instytut Informatyki Nowowiejska 5 / 9, 00-665 Warszawa Programowa realizacja sieci neuronowych

Bardziej szczegółowo

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE

Oprogramowanie Systemów Obrazowania SIECI NEURONOWE SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,

Bardziej szczegółowo

Sieci neuronowe w Statistica

Sieci neuronowe w Statistica http://usnet.us.edu.pl/uslugi-sieciowe/oprogramowanie-w-usk-usnet/oprogramowaniestatystyczne/ Sieci neuronowe w Statistica Agnieszka Nowak - Brzezińska Podstawowym elementem składowym sztucznej sieci neuronowej

Bardziej szczegółowo

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF.

Metody sztucznej inteligencji Zadanie 3: (1) klasteryzacja samoorganizująca się mapa Kohonena, (2) aproksymacja sieć RBF. Metody sztucznej inteligencji Zadanie 3: ( klasteryzacja samoorganizująca się mapa Kohonena, (2 aproksymacja sieć RBF dr inż Przemysław Klęsk Klasteryzacja za pomocą samoorganizującej się mapy Kohonena

Bardziej szczegółowo

Rozpoznawanie obrazów

Rozpoznawanie obrazów Rozpoznawanie obrazów Laboratorium Python Zadanie nr 1 Regresja liniowa autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, M. Zięba, J. Kaczmar Cel zadania Celem zadania jest implementacja liniowego zadania

Bardziej szczegółowo

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM

HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega

Bardziej szczegółowo

ĆWICZENIE 5: Sztuczne sieci neuronowe

ĆWICZENIE 5: Sztuczne sieci neuronowe Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny, Politechnika Śląska www.imio.polsl.pl METODY HEURYSTYCZNE ĆWICZENIE 5: Sztuczne sieci neuronowe opracował: dr inż. Witold

Bardziej szczegółowo

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów

Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Funkcja Wzór funkcji Wzór pochodnej Sigmoida f(s)=1/(1+e -(β*s) ) f (s)=β*(1- f(s))* f(s) Funkcje przejścia neuronu powinno się rozpatrywać

Bardziej szczegółowo

Podstawy sztucznej inteligencji

Podstawy sztucznej inteligencji wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,

Bardziej szczegółowo

Aproksymacja funkcji a regresja symboliczna

Aproksymacja funkcji a regresja symboliczna Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą

Bardziej szczegółowo

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe

Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g

Bardziej szczegółowo

Rys Wykres kosztów skrócenia pojedynczej czynności. k 2. Δk 2. k 1 pp. Δk 1 T M T B T A

Rys Wykres kosztów skrócenia pojedynczej czynności. k 2. Δk 2. k 1 pp. Δk 1 T M T B T A Ostatnim elementem przykładu jest określenie związku pomiędzy czasem trwania robót na planowanym obiekcie a kosztem jego wykonania. Związek ten określa wzrost kosztów wykonania realizacji całego przedsięwzięcia

Bardziej szczegółowo

1. Logika, funkcje logiczne, preceptron.

1. Logika, funkcje logiczne, preceptron. Sieci neuronowe 1. Logika, funkcje logiczne, preceptron. 1. (Logika) Udowodnij prawa de Morgana, prawo pochłaniania p (p q), prawo wyłączonego środka p p oraz prawo sprzeczności (p p). 2. Wyraź funkcję

Bardziej szczegółowo

Sieci obliczeniowe poprawny dobór i modelowanie

Sieci obliczeniowe poprawny dobór i modelowanie Sieci obliczeniowe poprawny dobór i modelowanie 1. Wstęp. Jednym z pierwszych, a zarazem najważniejszym krokiem podczas tworzenia symulacji CFD jest poprawne określenie rozdzielczości, wymiarów oraz ilości

Bardziej szczegółowo

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego IBS PAN, Warszawa 9 kwietnia 2008 Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego mgr inż. Marcin Jaruszewicz promotor: dr hab. inż. Jacek Mańdziuk,

Bardziej szczegółowo

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek

Sztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,

Bardziej szczegółowo

Aproksymacja. funkcji: ,a 2. ,...,a m. - są funkcjami bazowymi m+1 wymiarowej podprzestrzeni liniowej X m+1

Aproksymacja. funkcji: ,a 2. ,...,a m. - są funkcjami bazowymi m+1 wymiarowej podprzestrzeni liniowej X m+1 Założenie: f(x) funkcja którą aproksymujemy X jest przestrzenią liniową Aproksymacja liniowa funkcji f(x) polega na wyznaczeniu współczynników a 0,a 1,a 2,...,a m funkcji: Gdzie: - są funkcjami bazowymi

Bardziej szczegółowo

Sztuczne sieci neuronowe (SNN)

Sztuczne sieci neuronowe (SNN) Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe

Bardziej szczegółowo

7. Szybka transformata Fouriera fft

7. Szybka transformata Fouriera fft 7. Szybka transformata Fouriera fft Dane pomiarowe sygnałów napięciowych i prądowych często obarczone są dużym błędem, wynikającym z istnienia tak zwanego szumu. Jedną z metod wspomagających analizę sygnałów

Bardziej szczegółowo

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych.

Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Metody Sztucznej Inteligencji 2 Projekt Prognozowanie kierunku ruchu indeksów giełdowych na podstawie danych historycznych. Autorzy: Robert Wojciechowski Michał Denkiewicz Mateusz Gągol Wstęp Celem projektu

Bardziej szczegółowo

Obliczenia inteligentne Zadanie 4

Obliczenia inteligentne Zadanie 4 Sieci SOM Poniedziałek, 10:15 2007/2008 Krzysztof Szcześniak Cel Celem zadania jest zaimplementowanie neuronowej samoorganizującej się mapy wraz z metodą jej nauczania algorytmem gazu neuronowego. Część

Bardziej szczegółowo

1. PODSTAWY TEORETYCZNE

1. PODSTAWY TEORETYCZNE 1. PODSTAWY TEORETYCZNE 1 1. 1. PODSTAWY TEORETYCZNE 1.1. Wprowadzenie W pierwszym wykładzie przypomnimy podstawowe działania na macierzach. Niektóre z nich zostały opisane bardziej szczegółowo w innych

Bardziej szczegółowo

Podstawy Robotyki Określenie kinematyki oraz dynamiki manipulatora

Podstawy Robotyki Określenie kinematyki oraz dynamiki manipulatora Podstawy Robotyki Określenie kinematyki oraz dynamiki manipulatora AiR V sem. Gr. A4/ Wicher Bartłomiej Pilewski Wiktor 9 stycznia 011 1 1 Wstęp Rysunek 1: Schematyczne przedstawienie manipulatora W poniższym

Bardziej szczegółowo

Lokalna odwracalność odwzorowań, odwzorowania uwikłane

Lokalna odwracalność odwzorowań, odwzorowania uwikłane Lokalna odwracalność odwzorowań, odwzorowania uwikłane Katedra Matematyki i Ekonomii Matematycznej Szkoła Główna Handlowa 17 maja 2012 Definicja Mówimy, że odwzorowanie F : X R n, gdzie X R n, jest lokalnie

Bardziej szczegółowo

Podstawy MATLABA, cd.

Podstawy MATLABA, cd. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki Przetwarzanie Sygnałów Studia Podyplomowe, Automatyka i Robotyka Podstawy MATLABA, cd. 1. Wielomiany 1.1. Definiowanie

Bardziej szczegółowo

Interpolacja, aproksymacja całkowanie. Interpolacja Krzywa przechodzi przez punkty kontrolne

Interpolacja, aproksymacja całkowanie. Interpolacja Krzywa przechodzi przez punkty kontrolne Interpolacja, aproksymacja całkowanie Interpolacja Krzywa przechodzi przez punkty kontrolne Aproksymacja Punkty kontrolne jedynie sterują kształtem krzywej INTERPOLACJA Zagadnienie interpolacji można sformułować

Bardziej szczegółowo

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.

BIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej. Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego

Bardziej szczegółowo

MATLAB Neural Network Toolbox uczenie sieci (dogłębnie)

MATLAB Neural Network Toolbox uczenie sieci (dogłębnie) MATLAB Neural Network Toolbox uczenie sieci (dogłębnie) WYKŁAD Piotr Ciskowski Neural Network Toolbox: NEURAL NETWORK TOOLBOX NOTACJA Neural Network Toolbox - notacja: pojedynczy neuron: z jednym wejściem

Bardziej szczegółowo

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie

SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH. Jakub Karbowski Gimnazjum nr 17 w Krakowie SIEĆ NEURONOWA JAKO NARZĘDZIE APROKSYMACJI I KLASYFIKACJI DANYCH Jakub Karbowski Gimnazjum nr 17 w Krakowie KRAKÓW 2017 1. Spis treści 2. WSTĘP 2 3. SIECI NEURONOWE 2 3.1. Co to są sieci neuronowe... 2

Bardziej szczegółowo

Przykład optymalizacji struktury sztucznej sieci neuronowej metodą algorytmów genetycznych

Przykład optymalizacji struktury sztucznej sieci neuronowej metodą algorytmów genetycznych BIULETYN INSTYTUTU AUTOMATYKI I ROBOTYKI NR 23, 26 Przykład optymalizacji struktury sztucznej sieci neuronowej metodą algorytmów genetycznych Leszek Grad Zakład Automatyki, Instytut Teleinfo rmatyki i

Bardziej szczegółowo

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe

SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU

Bardziej szczegółowo

Ćwiczenie 3. MatLab: Algebra liniowa. Rozwiązywanie układów liniowych

Ćwiczenie 3. MatLab: Algebra liniowa. Rozwiązywanie układów liniowych Ćwiczenie 3. MatLab: Algebra liniowa. Rozwiązywanie układów liniowych Wszystko proszę zapisywać komendą diary do pliku o nazwie: imie_ nazwisko 1. Definiowanie macierzy i odwoływanie się do elementów:

Bardziej szczegółowo

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor

S O M SELF-ORGANIZING MAPS. Przemysław Szczepańczyk Łukasz Myszor S O M SELF-ORGANIZING MAPS Przemysław Szczepańczyk Łukasz Myszor Podstawy teoretyczne Map Samoorganizujących się stworzył prof. Teuvo Kohonen (1982 r.). SOM wywodzi się ze sztucznych sieci neuronowych.

Bardziej szczegółowo

2.4. Algorytmy uczenia sieci neuronowych

2.4. Algorytmy uczenia sieci neuronowych 2.4. Algorytmy uczenia sieci neuronowych Prosta struktura sieci jednokierunkowych sprawia, że są najchętniej stosowane. Ponadto metody uczenia ich należą również do popularnych i łatwych w realizacji.

Bardziej szczegółowo

Algorytmy wstecznej propagacji sieci neuronowych

Algorytmy wstecznej propagacji sieci neuronowych Algorytmy wstecznej propagacji sieci neuronowych Mateusz Nowicki, Krzysztof Jabłoński 1 Wydział Inżynierii Mechanicznej i Informatyki Politechnika Częstochowska Kierunek Informatyka, Rok III 1 krzysztof.jablonski@hotmail.com

Bardziej szczegółowo

Elektronika samochodowa (Kod: ES1C )

Elektronika samochodowa (Kod: ES1C ) Politechnika Białostocka Wydział Elektryczny Katedra Automatyki i Elektroniki Instrukcja do ćwiczeń laboratoryjnych z przedmiotu Elektronika samochodowa (Kod: ES1C 621 356) Temat: Magistrala CAN Opracował:

Bardziej szczegółowo

LABORATORIUM 3 ALGORYTMY OBLICZENIOWE W ELEKTRONICE I TELEKOMUNIKACJI. Wprowadzenie do środowiska Matlab

LABORATORIUM 3 ALGORYTMY OBLICZENIOWE W ELEKTRONICE I TELEKOMUNIKACJI. Wprowadzenie do środowiska Matlab LABORATORIUM 3 ALGORYTMY OBLICZENIOWE W ELEKTRONICE I TELEKOMUNIKACJI Wprowadzenie do środowiska Matlab 1. Podstawowe informacje Przedstawione poniżej informacje maja wprowadzić i zapoznać ze środowiskiem

Bardziej szczegółowo

Sieć przesyłająca żetony CP (counter propagation)

Sieć przesyłająca żetony CP (counter propagation) Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych

Bardziej szczegółowo

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie

Bardziej szczegółowo

Przykładowa analiza danych

Przykładowa analiza danych Przykładowa analiza danych W analizie wykorzystano dane pochodzące z publicznego repozytorium ArrayExpress udostępnionego na stronach Europejskiego Instytutu Bioinformatyki (http://www.ebi.ac.uk/). Zbiór

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Teoria sterowania MATLAB funkcje zewnętrzne (m-pliki, funkcje) Materiały pomocnicze do ćwiczeń laboratoryjnych

Bardziej szczegółowo

Ćwiczenie 2 LABORATORIUM ELEKTRONIKI POLITECHNIKA ŁÓDZKA KATEDRA PRZYRZĄDÓW PÓŁPRZEWODNIKOWYCH I OPTOELEKTRONICZNYCH

Ćwiczenie 2 LABORATORIUM ELEKTRONIKI POLITECHNIKA ŁÓDZKA KATEDRA PRZYRZĄDÓW PÓŁPRZEWODNIKOWYCH I OPTOELEKTRONICZNYCH LABORATORIUM LKTRONIKI Ćwiczenie Parametry statyczne tranzystorów bipolarnych el ćwiczenia Podstawowym celem ćwiczenia jest poznanie statycznych charakterystyk tranzystorów bipolarnych oraz metod identyfikacji

Bardziej szczegółowo

Metody sztucznej inteligencji Zadanie 1: Perceptron Rosenblatt a w wersji nieliniowej

Metody sztucznej inteligencji Zadanie 1: Perceptron Rosenblatt a w wersji nieliniowej Metody sztucznej inteligencji Zadanie : Perceptron Rosenblatt a w wersji nieliniowej dr inż. Przemysław Klęsk Zbiór danych dla zadania do wykonania w domu Zgodnie z tym, co zostało podane na laboratoriach,

Bardziej szczegółowo

Projekt Sieci neuronowe

Projekt Sieci neuronowe Projekt Sieci neuronowe Chmielecka Katarzyna Gr. 9 IiE 1. Problem i dane Sieć neuronowa miała za zadanie nauczyć się klasyfikować wnioski kredytowe. W projekcie wykorzystano dane pochodzące z 110 wniosków

Bardziej szczegółowo

Ćwiczenie 3. Iteracja, proste metody obliczeniowe

Ćwiczenie 3. Iteracja, proste metody obliczeniowe Ćwiczenie 3. Iteracja, proste metody obliczeniowe Instrukcja iteracyjna ( pętla liczona ) Pętla pozwala na wielokrotne powtarzanie bloku instrukcji. Liczba powtórzeń wynika z definicji modyfikowanej wartości

Bardziej szczegółowo

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ

Sieci neuronowe jako sposób na optymalizacje podejmowanych decyzji. Tomasz Karczyoski Wydział W-08 IZ optymalizacje podejmowanych decyzji Tomasz Karczyoski Wydział W-08 IZ Czym są sieci neuronowe Struktura matematycznych oraz programowy lub sprzętowy model, realizujących obliczenia lub przetwarzanie sygnałów

Bardziej szczegółowo

PROGRAMOWANIE KWADRATOWE

PROGRAMOWANIE KWADRATOWE PROGRAMOWANIE KWADRATOWE Programowanie kwadratowe Zadanie programowania kwadratowego: Funkcja celu lub/i co najmniej jedno z ograniczeń jest funkcją kwadratową. 2 Programowanie kwadratowe Nie ma uniwersalnej

Bardziej szczegółowo

CYFROWE PRZTWARZANIE SYGNAŁÓW (Zastosowanie transformacji Fouriera)

CYFROWE PRZTWARZANIE SYGNAŁÓW (Zastosowanie transformacji Fouriera) I. Wprowadzenie do ćwiczenia CYFROWE PRZTWARZANIE SYGNAŁÓW (Zastosowanie transformacji Fouriera) Ogólnie termin przetwarzanie sygnałów odnosi się do nauki analizowania zmiennych w czasie procesów fizycznych.

Bardziej szczegółowo

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe.

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe. Naśladując w komputerze ludzki mózg staramy się połączyć zalety komputera (dostępność i szybkość działania) z zaletami mózgu (zdolność do uczenia się) informatyka + 2 Badacze zbudowali wiele systemów technicznych,

Bardziej szczegółowo

LABORATORIUM AKUSTYKI MUZYCZNEJ. Ćw. nr 12. Analiza falkowa dźwięków instrumentów muzycznych. 1. PODSTAWY TEORETYCZNE ANALIZY FALKOWEJ.

LABORATORIUM AKUSTYKI MUZYCZNEJ. Ćw. nr 12. Analiza falkowa dźwięków instrumentów muzycznych. 1. PODSTAWY TEORETYCZNE ANALIZY FALKOWEJ. LABORATORIUM AKUSTYKI MUZYCZNEJ. Ćw. nr 1. Analiza falkowa dźwięków instrumentów muzycznych. 1. PODSTAWY TEORETYCZNE ANALIZY FALKOWEJ. Transformacja falkowa (ang. wavelet falka) przeznaczona jest do analizy

Bardziej szczegółowo

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I.

Sieci M. I. Jordana. Sieci rekurencyjne z parametrycznym biasem. Leszek Rybicki. 30 listopada Leszek Rybicki Sieci M. I. Sieci M. I. Jordana Sieci rekurencyjne z parametrycznym biasem Leszek Rybicki 30 listopada 2007 Leszek Rybicki Sieci M. I. Jordana 1/21 Plan O czym będzie 1 Wstęp do sieci neuronowych Neurony i perceptrony

Bardziej szczegółowo

Matlab Składnia + podstawy programowania

Matlab Składnia + podstawy programowania Matlab Składnia + podstawy programowania Matlab Matrix Laboratory środowisko stworzone z myślą o osobach rozwiązujących problemy matematyczne, w których operuje się na danych stanowiących wielowymiarowe

Bardziej szczegółowo

Sztuczna inteligencja

Sztuczna inteligencja Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury

Bardziej szczegółowo

Spis treści. I. Skuteczne. Od autora... Obliczenia inżynierskie i naukowe... Ostrzeżenia...XVII

Spis treści. I. Skuteczne. Od autora... Obliczenia inżynierskie i naukowe... Ostrzeżenia...XVII Spis treści Od autora..................................................... Obliczenia inżynierskie i naukowe.................................. X XII Ostrzeżenia...................................................XVII

Bardziej szczegółowo

Politechnika Lubelska

Politechnika Lubelska Politechnika Lubelska Wydział Zarządzania i Podstaw Techniki Temat: Sieć neuronowa do klasyfikacji rodzaju węgla kamiennego. Prowadzący: Wykonał: Dr Popko Artur Marek Harasimiuk ETI 5.3. (gr. lab. 5.5)

Bardziej szczegółowo

1. Zbadać liniową niezależność funkcji x, 1, x, x 2 w przestrzeni liniowej funkcji ciągłych na przedziale [ 1, ).

1. Zbadać liniową niezależność funkcji x, 1, x, x 2 w przestrzeni liniowej funkcji ciągłych na przedziale [ 1, ). B 2 Suma Zbadać, czy liniowo niezależne wektory u, v, w stanowią bazę przestrzeni liniowej lin { u + 2 v + w, u v + 2 w, 3 u + 5 w } 2 Współrzędne wektora (, 4, 5, 4 ) w pewnej bazie podprzestrzeni U R

Bardziej szczegółowo

Zastosowanie Excela w obliczeniach inżynierskich.

Zastosowanie Excela w obliczeniach inżynierskich. Zastosowanie Excela w obliczeniach inżynierskich. Część I Różniczkowanie numeryczne. Cel ćwiczenia: Zapoznanie się z ilorazami różnicowymi do obliczania wartości pochodnych. Pochodna jest miarą szybkości

Bardziej szczegółowo

Obliczenia iteracyjne

Obliczenia iteracyjne Lekcja Strona z Obliczenia iteracyjne Zmienne iteracyjne (wyliczeniowe) Obliczenia iteracyjne wymagają zdefiniowania specjalnej zmiennej nazywanej iteracyjną lub wyliczeniową. Zmienną iteracyjną od zwykłej

Bardziej szczegółowo

Własności i charakterystyki czwórników

Własności i charakterystyki czwórników Własności i charakterystyki czwórników nstytut Fizyki kademia Pomorska w Słupsku Cel ćwiczenia. Celem ćwiczenia jest poznanie własności i charakterystyk czwórników. Zagadnienia teoretyczne. Pojęcia podstawowe

Bardziej szczegółowo

Instrukcja realizacji ćwiczenia

Instrukcja realizacji ćwiczenia SIEĆ KOHONENA ROZPOZNAWANIE OBRAZÓW Cel ćwiczenia: zapoznanie się ze sposobem reprezentacji wiedzy w sieciach Kohonena i mechanizmami sąsiedztwa i sumienia neuronów. Zadanie do analizy: analizujemy sieć

Bardziej szczegółowo

METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH

METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH METODY ROZWIĄZYWANIA RÓWNAŃ NIELINIOWYCH Jednym z zastosowań metod numerycznych jest wyznaczenie pierwiastka lub pierwiastków równania nieliniowego. W tym celu stosuje się szereg metod obliczeniowych np:

Bardziej szczegółowo

0 + 0 = 0, = 1, = 1, = 0.

0 + 0 = 0, = 1, = 1, = 0. 5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,

Bardziej szczegółowo

Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe

Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe Przetworniki cyfrowo analogowe oraz analogowo - cyfrowe Przetworniki cyfrowo / analogowe W cyfrowych systemach pomiarowych często zachodzi konieczność zmiany sygnału cyfrowego na analogowy, np. w celu

Bardziej szczegółowo

Adrian Horzyk

Adrian Horzyk Metody Inteligencji Obliczeniowej Metoda K Najbliższych Sąsiadów (KNN) Adrian Horzyk horzyk@agh.edu.pl AGH Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej

Bardziej szczegółowo

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.

Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline. Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2

Bardziej szczegółowo

Pochodna i różniczka funkcji oraz jej zastosowanie do obliczania niepewności pomiarowych

Pochodna i różniczka funkcji oraz jej zastosowanie do obliczania niepewności pomiarowych Pochodna i różniczka unkcji oraz jej zastosowanie do obliczania niepewności pomiarowych Krzyszto Rębilas DEFINICJA POCHODNEJ Pochodna unkcji () w punkcie określona jest jako granica: lim 0 Oznaczamy ją

Bardziej szczegółowo

PętlaforwOctave. Roman Putanowicz 13 kwietnia 2008

PętlaforwOctave. Roman Putanowicz 13 kwietnia 2008 PętlaforwOctave Roman Putanowicz kwietnia 008 Zakresyioperator : Zakresy(ang. ranges) są wygodnym sposobem definiowania wektorów reprezentujących ciągi arytmetyczne, czyli ciągi w których różnica pomiędzy

Bardziej szczegółowo

Matlab (5) Matlab równania różniczkowe, aproksymacja

Matlab (5) Matlab równania różniczkowe, aproksymacja Matlab (5) Matlab równania różniczkowe, aproksymacja Równania różniczkowe - funkcja dsolve() Funkcja dsolve oblicza symbolicznie rozwiązania równań różniczkowych zwyczajnych. Równania są określane przez

Bardziej szczegółowo

ROBOTYKA. Odwrotne zadanie kinematyki - projekt. http://www.mbmaster.pl

ROBOTYKA. Odwrotne zadanie kinematyki - projekt. http://www.mbmaster.pl ROBOTYKA Odwrotne zadanie kinematyki - projekt Zawartość. Wstęp...... Proste zadanie kinematyki cel...... Odwrotne zadanie kinematyki cel..... Analiza statyczna robota..... Proste zadanie kinematyki....

Bardziej szczegółowo

Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2)

Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2) Zastosowanie sztucznych sieci neuronowych w prognozowaniu szeregów czasowych (prezentacja 2) Ewa Wołoszko Praca pisana pod kierunkiem Pani dr hab. Małgorzaty Doman Plan tego wystąpienia Teoria Narzędzia

Bardziej szczegółowo

Podstawowe funkcje biblioteki narzędziowej Neural Network Toolbox. Version 5 pakietu MATLAB v. 6

Podstawowe funkcje biblioteki narzędziowej Neural Network Toolbox. Version 5 pakietu MATLAB v. 6 Podstawowe funkcje biblioteki narzędziowej Neural Network Toolbox. Version 5 pakietu MATLAB v. 6 I. Funkcje przeznaczone do tworzenia jednokierunkowej sieci neuronowej newff newp newlin - tworzenie wielowarstwowej

Bardziej szczegółowo

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010

Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych. Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010 Sztuczne sieci neuronowe i sztuczna immunologia jako klasyfikatory danych Dariusz Badura Letnia Szkoła Instytutu Matematyki 2010 Sieci neuronowe jednokierunkowa wielowarstwowa sieć neuronowa sieci Kohonena

Bardziej szczegółowo

CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE

CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE CHARAKTERYSTYKI CZĘSTOTLIWOŚCIOWE Do opisu członów i układów automatyki stosuje się, oprócz transmitancji operatorowej (), tzw. transmitancję widmową. Transmitancję widmową () wyznaczyć można na podstawie

Bardziej szczegółowo

Implementacja sieci neuronowych na karcie graficznej. Waldemar Pawlaszek

Implementacja sieci neuronowych na karcie graficznej. Waldemar Pawlaszek Implementacja sieci neuronowych na karcie graficznej Waldemar Pawlaszek Motywacja Czyli po co to wszystko? Motywacja Procesor graficzny GPU (Graphics Processing Unit) Wydajność Elastyczność i precyzja

Bardziej szczegółowo

Przetworniki C/A. Ryszard J. Barczyński, 2016 Materiały dydaktyczne do użytku wewnętrznego

Przetworniki C/A. Ryszard J. Barczyński, 2016 Materiały dydaktyczne do użytku wewnętrznego Przetworniki C/A Ryszard J. Barczyński, 2016 Materiały dydaktyczne do użytku wewnętrznego Przetwarzanie C/A i A/C Większość rzeczywistych sygnałów to sygnały analogowe. By je przetwarzać w dzisiejszych

Bardziej szczegółowo

1. Podstawowe pojęcia

1. Podstawowe pojęcia 1. Podstawowe pojęcia Sterowanie optymalne obiektu polega na znajdowaniu najkorzystniejszej decyzji dotyczącej zamierzonego wpływu na obiekt przy zadanych ograniczeniach. Niech dany jest obiekt opisany

Bardziej szczegółowo

Rozdział 1 PROGRAMOWANIE LINIOWE

Rozdział 1 PROGRAMOWANIE LINIOWE Wprowadzenie do badań operacyjnych z komputerem Opisy programów, ćwiczenia komputerowe i zadania. T. Trzaskalik (red.) Rozdział 1 PROGRAMOWANIE LINIOWE 1.2 Ćwiczenia komputerowe Ćwiczenie 1.1 Wykorzystując

Bardziej szczegółowo