Sieci Neuronowe. Liniowe Sieci Neuronowe
|
|
- Dariusz Stasiak
- 7 lat temu
- Przeglądów:
Transkrypt
1 Sieci Neuronowe Liniowe Sieci Neuronowe Paweł KrzyŜanowski ETI 9.4 Sieci Liniowe Sieci liniowe, znane w literaturze pod nazwami ADALINE i MADALINE są najprostsze w budowie, a równocześnie są w wielu wypadkach wysoce uŝyteczne. Neurony Elementy z których buduje się sieci, charakteryzują się występowaniem wielu wejść i jednego wyjścia. Sygnały wejściowe x i (i=1, 2,...n) oraz sygnał wyjściowy y mogą przyjmować wartości z pewnego ograniczonego przedziału. Z dokładnością do prostej funkcji skalującej moŝna przyjąć, Ŝe x i [-1, 1] dla kaŝdego i, a takŝe y [-1, 1] ZaleŜność y = f( x 1, x 2,..., x n ) w najprostszym przypadku moŝe być rozwaŝana jako liniowa n y = Σ x i i=1 1
2 Sieci Liniowe Element opisany powyŝszym równaniem liniowym jest między innymi zdolny do rozpoznawania wejściowych sygnałów. Sygnały wejściowe Sygnał wyjściowy x 1 x 2 x n... Zmienne Parametry y Współczynniki, nazywane wagami synaptycznymi, podlegają modyfikacjom w trakcie procesu uczenia, który stanowi jeden z zasadniczych wyróŝników sieci neuronowych jako adaptacyjnych systemów przetwarzania informacji. Sieci Liniowe Niech zestaw sygnałów wejściowych neutronu stanowi wektor x = x 1 x 2.. x 1 x 2 x n ω 1 ω 2 e y ω n Σ Próg Θ ϕ x n Wektor ten moŝna interpretować jako punkt w n-wymiarowej przestrzeni X, nazywanej przestrzenią wejść. Wektor ten moŝemy teŝ zapisać jako X = < x 1, x 2,..., x n > T Zestaw n współczynników wagowych moŝemy równieŝ rozpatrywać jako wektor W = < ω 1, ω 2,..., ω n > T wyznaczający punkt w n-wymiarowej przestrzeni zwanej przestrzenią wag: y = W X (iloczyn skalarny) 2
3 Sieci Liniowe Rozpoznawanie sygnału: Z własności iloczynu skalarnego, moŝna powiedzieć, Ŝe wartość y będzie tym większa im bardziej połoŝenie wektora X będzie przypominać połoŝenie wektora wag. JeŜeli załoŝymy, Ŝe wektory X, W są znormalizowane do 1, to wówczas y = cos(φ) gdzie φ jest katem pomiędzy wektorem X i W. JeŜeli na wejście neuronu będziemy podawali róŝne sygnały, X, to sygnał na wyjściu neuronu będzie miał tym większą wartość, im bardziej podany sygnał X będzie podobny do sygnału wzorcowego, który neuron pamięta w postaci swojego zestawu wag W. Warstwa neuronów jako najprostsza sieć RozwaŜmy warstwę neutronów, z których kaŝdy ma ten sam zestaw sygnałów wejściowych X = < x 1, x 2,..., x n > T, natomiast kaŝdy ma swój własny wektor wag. Ponumerujmy neurony i oznaczmy jako W (m) = < ω 1, ω 2,..., ω n > T wektor wag m-tego neuronu ( m = 1,2,..., k). Sygnał wyjściowy m-tego neuronu moŝna wyznaczyć ze wzoru: y m = W (m) X = n Σ (m) x i i=1 Omawiana struktura stanowi najprostszy przykład sieci neuronowej. Działanie sieci polega na tym, Ŝe pojawienie się określonego wektora wejściowego X powoduje powstanie sygnałów wyjściowych y m na wszystkich neuronach wchodzących w skład rozwaŝanej warstwy. 3
4 Warstwa neuronów jako najprostsza sieć y 1 y 2 y 3 (1), w 2 (1)...w n (1) (2), w 2 (2)...w n (2) (3), w 2 (3)...w n (3) x 1 x 2 x 3 Oczekujemy maksymalnego sygnału w tym neuronie, którego wektor wag W (m) najbardziej przypomina X. Sieć tego typu moŝe rozpoznawać k róŝnych klas obiektów, gdyŝ kaŝdy neuron zapamiętuje jeden wzorcowy obiekt na którego pojawienie się jest uczulony. Wzorce róŝnych klas zawarte są w poszczególnych neuronach w postaci ich wektorów wag. Stosując notacje wektorową moŝemy zapisać Y = < y 1, y 2,..., y k > T Warstwa neuronów jako najprostsza sieć MoŜemy wprowadzić macierz W k o wymiarach k n, utworzoną w taki sposób, Ŝe jej kolejnymi wierszami są (transponowane) kolejne wektory W (m) (dla m = 1,2,...,k). Macierz W (m) ma więc następującą budowę: ω (1) 1 ω (2) 1... ω (k) 1 ω(1) 2... ω(1) n ω(2) 2... ω(2) n ω(k) 2... ω(k) n y 1 y 2 y 3 (1), w 2 (1)...w n (1) (2), w 2 (2)...w n (2) (3), w 2 (3)...w n (3) x 1 x 2 x 3 4
5 Warstwa neuronów jako najprostsza sieć Wykorzystując macierz W k moŝna zapisać funkcję realizowaną przez całą sieć w formie y 1 y 2 y 3 Y = W k X (1), w 2 (1)...w n (1) (2), w 2 (2)...w n (2) (3), w 2 (3)...w n (3) x 1 x 2 x 3 Macierz W k zadaje odwzorowanie liniowe sygnału X R n w sygnał Y R k. Odwzorowanie to moŝe być w zasadzie dowolne (np. transformacja Fouriera). Przekształcenie sygnału X w sygnał Y moŝna teŝ interpretować jako filtrację, w związku z tym o sieci neuronowej dokonującej takiego przekształcenia moŝemy mówić jako o filtrze. Uczenie pojedynczego neuronu. O zachowaniu pojedynczego neuronu decydował wektor wag W, a o działaniu sieci macierz wag Wk. Istnieje moŝliwość zastąpienia jednorazowego aktu zaprogramowania sieci, iteracyjnym, wieloetapowym procesem jej uczenia. Aby zapewnić moŝliwość uczenia, trzeba wprowadzony juŝ model neuronu uzupełnić o dwa dodatkowe elementy: procesor zmiany wag oraz detektor błędu. Tak zmodyfikowany neuron nazywany bywa ADALINE (ADAptive LINear Element), i wykazuje zastanawiająco bogate moŝliwości w zakresie dostosowywania swojego działania do wymagań wynikających z postawionego zadania. x 1 z w 2 w n δ - y 5
6 Uczenie pojedynczego neuronu. ZałóŜmy, Ŝe zadanie stawiane ADALINE polega na tym, by sygnał wyjściowy y był związany z sygnałami wejściowymi X pewną zaleŝnością funkcyjną x 1 y = f (X) w 2 y Funkcja f nie musi być zadana w sposób jawny; wystarczy, Ŝe dla kaŝdego konkretnego wektora wejściowego potrafimy wskazać konkretną wartość z w n δ - z = f(x) stanowiącą referencyjną wartość odnośnie sygnału wyjściowego y. Uczenie pojedynczego neuronu Zasada działania ADALINE przy rozwiązaniu tego zadania oparta jest na podstawowym algorytmie uczenia wprowadzonym przez Widrowa i Hoffa, zwanym regułą DELTA. Wraz z kaŝdym wektorem wejściowym X, do neuronu podany jest równieŝ sygnał z, czyli Ŝądana (wymagana) odpowiedź neuronu na sygnał X. Neuron odpowiada na sygnał X sygnałem x 1 z w 2 w n δ - y y = W X, przy czym jeśli neuron nie jest nauczony, sygnał ten jest inny niŝ wymagany, czyli y z. Wewnątrz neuronu ADALINE istnieje blok skladający sie z sumatora i inwertora oceniający wielkość błędu δ = z y 6
7 Uczenie pojedynczego neuronu Na podstawie sygnału błędu δ oraz wektora wejściowego X moŝliwe jest takie skorygowanie wektora wag W, by neuron lepiej realizował zadaną funkcję y = f(x). Nowy wektor wag obliczany jest ze wzoru W = W + η δ X x 1 z w 2 w n δ - y gdzie η jest współczynnikiem liczbowym, decydującym o szybkości uczenia. Korekta W jest tym silniejsza im większy został odnotowany błąd. Matematyczne aspekty procesu uczenia sieci Wprowadźmy pojecie ciągu uczącego. Ciąg ten ma następującą budowę: U = < < X (1), z (1) >, < X (2), z (2) >,..., < X (N), z (N) > > czyli składa się z par postaci < X, z > zawierających wektor X podany w j-tym kroku procesu uczenia i informacje o wymaganej odpowiedzi neutronu z w tym kroku. Regułę uczenia moŝemy napisać następująco: W (j+1) = W + η δ X gdzie δ = z - y oraz y = W X Reguła ta daje się łatwo stosować pod warunkiem wprowadzenia początkowego wektora wag W (1) ; zwykle zakłada sięŝe wektor ten ma składowe wybrane losowo. 7
8 Matematyczne aspekty procesu uczenia sieci Celem procesu uczenia jest uzyskanie zgodności odpowiedzi neutronu y z wymaganymi wartościami z, co daje się sprowadzić do problemu minimalizacji funkcji kryterialnej Q = ½ ( z - y ) 2 Σ N j=1 powyŝszy wzór moŝemy teŝ zapisać jako Q = Q, j=1 gdzie Q = ½ ( z - y ) 2 Σ N Matematyczne aspekty procesu uczenia sieci PoniewaŜ Q = Q(W), zatem poszukiwanie minimum moŝe być dokonywane metodą gradientową. Skupiając uwagę na i-tej składowej wektora W, moŝemy więc zapisać: ω i - = = η Q Wzór ten moŝna interpretować w sposób następujący: poprawka jakiej powinna podlegać i-ta składową wektora W, musi być proporcjonalna do i-tej składowej gradientu funkcji Q. Znak w omawianym wzorze wynika z faktu, Ŝe gradient Q wskazuje kierunek najszybszego wzrastania tej funkcji, podczas gdy w omawianej metodzie zaleŝy nam na tym, by zmieniać W w kierunku najszybszego malenia błędu popełnianego przez sieć, czyli w kierunku najszybszego malenia funkcji Q. Współczynnik proporcjonalności η (i) określa wielkość kroku i moŝe być w zasadzie wybierany dowolnie. 8
9 Matematyczne aspekty procesu uczenia sieci Przy wyborze współczynnika η (i) mogą pojawić się pewne subtelności: a) Z teorii aproksymacji stochastycznej moŝna wyprowadzić wniosek, Ŝe η (i) powinny spełniać warunki Σ j=1 η (i) =, ( η (i) ) 2 < W najprostszym przykładzie warunki te spełnia ciąg η (i) = η (0) /j ale szybkie malenie η (i) moŝe ograniczać skuteczność procesu uczenia. b) w celu ograniczenia malenia η (i) oraz ograniczenia rośnięcia modułu wektora W, często proponuje się η (i) = λ / X 2, Σ j=1 gdzie λ jest pewną ustaloną stałą (zwykle 0.1 < λ < 1). Matematyczne aspekty procesu uczenia sieci Gradientowa minimalizacja funkcji błędu (funkcji kryterialnej) Rozpisując wzór gradientowego uczenia dla kroku j, otrzymujemy: ω (j+1) i - ω i = ω Q i = - η Uwzględniając fakt, Ŝe Q zaleŝne jest od y, a dopiero y jest funkcją wektora wag W, moŝemy zapisać wzór, odpowiadający pochodnej funkcji złoŝonej Q Q = y y Na podstawie zaleŝności Q = ½ ( z - y ) 2 moŝna ustalićŝe, y = - ( z y ) = - δ 9
10 Matematyczne aspekty procesu uczenia sieci Natomiast liniowa funkcja wiąŝąca sygnał wyjściowy y z wektorem wag W powoduje, Ŝe y = x i Zbierając razem wszystkie powyŝsze rozwaŝania, końcowa formuła uczenia neuronu typu ADALINE wygląda następująco: = η δ x i co potwierdza jej poprawność. Proces uczenia jest zbieŝny i pozwala wyznaczyć potrzebny wektor wag W*, zapewniający dokładną realizację przez neuron wymaganej funkcji y = f(x), jeśli f jest funkcją liniową, lub gwarantujący optymalną (w sensie minimum średniokwadratowego) aproksymację tej funkcji, jeśli jest ona nieliniowa. Uczenie sieci elementów liniowych W sposób analogiczny do opisanego algorytmu uczenia pojedynczego neuronu moŝna uczyć takŝe całą sieć elementów liniowych. y 1 y 2 y k (1), w 2 (1)... w n (1) (2), w 2 (2)... w n (2) (k), w 2 (k)... w n (k) x 1 x 2 x k 10
11 Uczenie sieci elementów liniowych Objektem podlegającym uczeniu jest w tym wypadku macierz W k, a ciąg uczący ma postać: U = < < X (1), Z (1) >, < X (2), Z (2) >,..., < X (N), Z (N) > > gdzie Z są k-elementowymi wektorami oznaczającymi wymagane zestawy odpowiedzi sieci na wymuszenia danych odpowiednimi wektorami X. Sieć taka w literaturze nazywana jest MADALINE ( Many ADALINE s). Uczenie sieci MADALINE odbywa się w sposób zupełnie analogiczny do uczenia neuronu ADALINE, z tą róŝnicą Ŝe formuła uczenia ma postać macierzową W k (j+1) = W k + η (Z - Y ) ( X ) T Uczenie sieci elementów liniowych: filtry Przypominając interpretację funkcjonowania sieci o n-wejściach i k- wyjściach jako filtra przetwarzającego sygnały X na odpowiadające im (zgodnie z określonym odwzorowaniem) sygnały Y moŝna interpretować proces uczenia sieci jako adaptację filtra do określonych potrzeb. Wkraczamy w ten sposób w krąg zagadnień filtracji adaptacyjnej oraz problemu poszukiwania optymalnego filtra (z punktu widzenia określonych kryteriów), samoczynnie dostosowującego się do potrzeb. Sieci neuronowe (zwłaszcza typu MADALINE) były i są chętnie stosowane jako filtry adaptacyjne (na przykład do eliminacji efektu echa w liniach telefonicznych). Filtry tworzone w wyniku uczenia sieci neuronowej mogą być wykorzystywane do typowych zadań (dolno lub górnoprzepustowa filtracja sygnału, eliminacja zakłóceń, polepszanie stosunku sygnału do szumu, wydobywanie określonych cech sygnału, analiza widmowa, itp.), ale mogą teŝ mieć zupełnie nowe zastosowania. 11
12 Uczenie sieci elementów liniowych: filtry Filtry tego typu mogą słuŝyć do odtwarzania kompletnego sygnału na podstawie jego fragmentu. Takie zadanie nazywa się pamięcią adresowana kontekstowo lub pamięcią asocjacyjną. Pamięć taka pozwala odtworzyć cały zestaw zapamiętanych informacji w przypadku przedstawienia informacji niekompletnej lub niedokładnej. Tego rodzaju urządzenie, działając w powiązaniu z systemem ekspertowym, moŝe doskonale odpowiadać na pytania uŝytkowników. Zadaniem sieci jest w tym wypadku uzupełnienie wiadomości podanych przez uŝytkownika w taki sposób, by system ekspertowy mógł (w oparciu o bazę wiedzy) efektywnie szukać rozwiązania. Innym zastosowaniem omawianych tu filtrów moŝe być tzw. filtr nowości, czyli tej informacji która uległa nagłej zmianie (ochrona przed włamaniem, automatyka przemysłowa). Uczenie z lub bez nauczyciela Opisany poprzednio schemat uczenia sieci MADALINE opierał się na załoŝeniu Ŝe istnieje zewnętrzny arbiter ( nauczyciel ), który podaje poprawne odpowiedzi Z, w wyniku czego korekta macierzy wag W k następuje w sposób sterowany i zdeterminowany przez cel, jakim jest minimalizacja błędu Q. Taki schemat nazywamy supervised learning albo delta rule. Jest on często niewygodny, ponadto mało wiarygodny biologicznie, gdyŝ wielu czynności mózg uczy się bez świadomego i celowego instruktaŝu. 12
13 Uczenie z lub bez nauczyciela Często stosowaną metodą jest technika uczenia bez nauczyciela, zwanej unsupervised learning lub hebbian learning. Zasada tego uczenia polega na tym, Ŝe waga (m), i-tego wejścia m-tego neuronu wzrasta podczas prezentacji j-tego wektora wejściowego X proporcjonalnie do iloczynu i-tej składowej sygnału wejściowego tego x i docierającego do rozwaŝanej synapsy i sygnału wyjściowego rozwaŝanego neuronu. przy czym oczywiście (m)(j+1) = (m) + η x i y m y m = Σ m i=1 (m) x i Wzmocnieniu w sieci ulegają te wagi, które są aktywne (duŝe x i ) w sytuacji gdy ich neuron jest pobudzony (duŝe y m ). Tego typu sieć jest zatem autoasocjacyjna : jeśli pewien wzór pobudzeń X jest sygnalizowany przez pewne m-te wyjście sieci, to w miarę upływu czasu ta sygnalizacja staje się coraz bardziej wyraźna. Uczenie z lub bez nauczyciela Sieć uczy się rozpoznawać bodźce oraz grupować w pewne kategorie (clusters), gdyŝ neuron wytrenowany do rozpoznawania pewnego sygnału X, będzie zdolny do rozpoznawania takŝe tych sygnałów które są podobne do wzorcowego. Zdolność do uogólniania zdobytego juŝ doświadczenia jest jedną z najwaŝniejszych cech sieci neuronowej. Regułę uczenia pochodzącą od praw Hebba nazywa się takŝe niekiedy uczeniem korelacyjnym ( correlation learning ), poniewaŝ zmierza ona do takiego dopasowania wag aby uzyskać najlepszą korelację pomiędzy sygnałami wejściowymi, a zapamiętanym w formie wartości wag wzorcem sygnału, na który określony neuron ma reagować. Eksponuje ona fakt uśredniania wejściowych sygnałów przez sieć uczoną wg. reguły Hebba. 13
14 Uczenie z lub bez nauczyciela W wyniku takiego uczenia sieć jest zdolna do rozpoznawania sygnałów których wcześniej nigdy jej nie pokazywano: zniekształcone, niekompletne, zaburzone przez szum. Sieć uczona wg. metody Hebba na ogół uzyskuje dobre wyniki i samoczynnie grupuje sygnały wejściowe w kategorie. Efekt ten nie jest jednak nigdy pewny, gdyŝ istotnie zaleŝy od stanu początkowego sieci. Często teŝ wiele neuronów uczy się rozpoznawać te same kategorie, czyli na ogół ilość neuronów w sieci musi być większa niŝ liczba oczekiwanych kategorii. Warianty metod uczenia i samouczenia Przyrostowe samouczenie (Hebba): Proces samouczenia i samoorganizacji moŝna uczynić bardziej efektywnym poprzez zastosowanie tak zwanego przyrostowego samouczenia ( differential hebbian learning ) polegającego na uzaleŝnieniu procesu zmiany wag od przyrostów sygnałów wejściowych na danej synapsie i wyjściowych na danym neuronie: (m)(j+1) = (m) + η [ (x i - x i (j-1) ) ( y m - y m (j-1) ) ] W niektórych wypadkach ta przyrostowa strategia daje znacznie lepsze rezultaty niŝ czysty algorytm Hebba. 14
15 Warianty metod uczenia i samouczenia Metoda gwiazdy wejść (Grossberga): W metodzie tej, instar training, wybiera się pewien neuron i narzuca mu się taką strategie uczenia, by zapamiętał i potrafił rozpoznać aktualnie wprowadzany sygnał X. Inne neurony sieci są w tym czasie bezczynne. (m)(j+1) = (m) + η ( x i - (m) ) Z praktyki stosowania tej metody wynikają pewne zalecenia odnośnie wyboru wartości η, które powinny się zmieniać zgodnie z empiryczna regułą: η = 0, 1 λ j przy czym współczynnik λ naleŝy wybrać na tyle mały, by w ciągu całego uczenia zachodził warunek η > 0. Warianty metod uczenia i samouczenia Metoda gwiazdy wyjść (Grossberga): Na zasadzie analogii moŝna wprowadzić koncepcje outgoing stars. W koncepcji tej rozwaŝa się wagi wszystkich neuronów całej warstwy, jednak wybiera się wyłącznie wagi łączące te neurony z pewnym ustalonym wejściem. W sieciach wielowarstwowych wejście to pochodzi od pewnego ustalonego neuronu wcześniejszej warstwy i to właśnie ten neuron staje się gwiązda wyjść (outstar). (m)(j+1) = (m) + η ( y m - (m) ) W powyŝszym wzorze i jest ustalone, natomiast m jest zmienne i przebiega wszelkie moŝliwe wartości (m = 1,2,...,k). Reguła zmieniania η jest dana wzorem η = 1 λ j 15
16 Warianty metod uczenia i samouczenia Metoda instar stosowana jest w przypadku, kiedy trzeba sieć nauczyć rozpoznawania określonego sygnału X, natomiast metoda outstar znajduje zastosowanie przy uczeniu sieci wytwarzania określonego wzorca zachowań Y w odpowiedzi na określony sygnał inicjujący x i. Reguły uczenia podane przez Hebba i Grossberga były przez wielu badaczy wzbogacane i modyfikowane. Warianty metod uczenia i samouczenia Dyskryminacja wejściowych i wyjściowych sygnałów. Polega na dzieleniu sygnałów x i i y m na aktywne i nieaktywne. W tym celu wprowadza się pewna ustaloną lub zaleŝną od j wartość progowa i wprowadza się nowe zmienne 1 gdy x i > ε ˆx i = 0 w przeciwnym wypadku oraz ŷ i = 1 gdy y i > ε 0 w przeciwnym wypadku Przy tych oznaczeniach mowa technikę uczenia wg. zmodyfikowanego algorytmu Hebba zapisać moŝna w postaci: (m)(j+1) = (m) + η xˆ yˆ i m Czy zmiana wagi jest dokonana decyduje logiczny warunek podany powyŝej. 16
17 Warianty metod uczenia i samouczenia Reguła Hebb/Anti-Hebb Podany wzór pozwala jedynie na zwiększanie wartości wag, co moŝe prowadzić do osiąganie przez nie bardzo duŝych wartości. proponuje się niekiedy uogolnieny algorytm, w którym przy aktywnym wyjściu synapsy obsługujące aktywne wejścia xˆ i uzyskują wzmocnienie, a synapsy obsługujące nieaktywne wyjścia są osłabiane (zakłada się Ŝe {0,1} ) ŷ i (m)(j+1) = (m) + η ( 2-1 ) Dalsze poszerzenie rozwaŝanej metody uczenia daje wzór Hopfielda, w podobny sposób traktujący zarówno ˆx i jak i ŷ i ω (m)(j+1) i = ω (m) i + η ( 2 xˆ i -1 ) (2 ŷ i -1 ) Wszystkie współczynniki wagowe podlegają przy nim bardzo intensywnemu treningowi, niezaleŝnie od tego, czy dotyczą wejść aktywnych i niezaleŝnie od tego, czy odpowiednie wyjścia są aktywne, natomiast oczywiście kierunek zmian aktywności wag zaleŝy od aktywności wejść i wyjść. ŷ i ŷ i Uczenie z rywalizacją i sieci Kohonena Uczenie z rywalizacja (competitive learning) wprowadził Kohonen przy tworzeniu sieci neuronowych uczących się realizacji dowolnych odwzorowań X Y. Zasada uczenia z rywalizacja jest formalnie identyczna z regułą instar (m*)(j+1) = (m*) + η ( x i - (m*) ) z dwoma dość istotnymi uzupełnieniami. Wektor wejściowy X jest przed procesem uczenia normalizowany tak, aby X = 1. Numer podawanego treningowi neuronu m* nie jest przypadkowy czy arbitralnie wybierany, jest to bowiem ten (i tylko ten) neuron którego sygnał wyjściowy y m* jest największy. Przy kaŝdorazowym podaniu sygnału wejściowego X neurony rywalizują ze sobą i wygrywa ten, który uzyskał największy sygnał wyjściowy y m*. Tylko ten zwycięski neuron podlega uczeniu, którego efektem jest jeszcze lepsze dopasowanie wag W (m*)(j+1) do rozpoznawania obiektów podobnych do X. 17
18 Uczenie z rywalizacją i sieci Kohonena Inne neurony będą podlegać uczeniu przy pojawieniu się w serii uczącej obiektów np. X (ν), w tym kroku uczenia ich wektory wag pozostają niezmienione. Reguła uczenia Kohonena bywa często wzbogacana o dodatkowy element związany z topologią uczącej się sieci. Neurony w sieci są uporządkowane, moŝna więc wprowadzić pojęcie sąsiedztwa. Uogólniona metoda samoorganizującej się sieci Kohonena polega na tym, Ŝe uczeniu podlega nie tylko neuron m* wygrywający w konkurencji z innymi neuronami sieci, ale takŝe neurony które z nim sąsiadują. Formalnie regule moŝna zapisać wzorem: (m*)(j+1) = (m*) + η h(m,m*) ( x i - (m) ) formuła uczenia moŝe być zapisana w formie: (m*)(j+1) = (m*) + η x i ( 2 y m -1 ) Uczenie z rywalizacją i sieci Kohonena Funkcjonowanie powyŝszego wzoru w istotny sposób oparto na fakcie, Ŝe y m {0,1}. Wzór ten nazywamy regułą Hebb/Anti-Hebb. Funkcje h(m,m*) moŝna definiować na wiele róŝnych sposobów, na przykład: 1 dla m=m* h(m,m*) = 0.5 dla m-m* =1 0 dla m-m* > 1 h(m,m*) = 1/ρ(m,m ) h(m,m*) = exp ( - [ρ(m,m )] 2 ) 18
19 Uczenie z forsowaniem Omawiane dotychczas techniki uczenia bez nauczyciela maja bardzo interesującą odmianę polegającą na wykorzystaniu przytoczonych powyŝej metod wówczas kiedy wektor wymaganych wartości sygnałów wyjściowych sieci Z jest znany. Wszystkie wymienione powyŝej metody uczenia dadzą się łatwo zastosować poprzez zamianę y przez stosowne z. Takie uczenie ma charakter forsowania poprawnych rozwiązań bez względu na to co robi sieć. Uczenie z forsowaniem WyróŜnić moŝemy następujące metody: metoda autoasocjacji: (m)(j+1) = (m) + η x i z m metoda przyrostowej autoasocjacji: (m)(j+1) = (m) + η [ ( x i - x i (j-1) ) ( z m - z m (j-1) ) ] metoda zbliŝania wektora wag do wektora odpowiedzi: (m)(j+1) = (m) + η ( z m - (m) ) Wybór jednej z róŝnych moŝliwości podyktowany musi być ocena ich przydatności w konkretnym zadaniu. Brak jest tutaj konkretnej teorii, konieczne są eksperymenty i poszukiwania oparte na badaniach empirycznych. 19
20 Uczenie z forsowaniem Sieć moŝe słuŝyć jako pamięć Wystartujmy od równania autoasocjacji (m)(j+1) = (m) + η x i z m i przepiszmy go do postaci macierzowej W k (j+1) = W k + η Z [ X ] T Efekt uczenia moŝna zapisać w postaci sumarycznego wzoru N W k = η Z [ X ] T + W (1) Σ k j=1 ZałóŜmy, ze W k (1) =0 oraz przyjmijmy ze wszystkie wektory wejściowe w ciągu uczącym są ortonormalne. Wówczas siec nauczy się wiernie odtwarzać wymagane sygnały wyjściowe dla wszystkich rozwaŝanych sygnałów wejściowych. Uczenie z forsowaniem Sieć ma zdolność uogólniania: Sieć jest zdolna do uogólniania sygnałów wejściowych: X = X + ζ gdzie ζ reprezentuje szum zniekształcający sygnały wejściowe w kaŝdym kolejnym przykładzie. Taki model odpowiada np. procedurze odczytywania ręcznie pisanych liter. JeŜeli dla kaŝdego wczytywanego X będziemy podawać ten sam wektor wyjściowy Z (np. uczmy sieć rozpoznawania litery A), to w wyniku uczenia macierz wag zostanie zbudowana następująco: N W k = Σ η Z [ X ] T = Σ η Z [ X + ζ ] T = h Z ( N [ X] T + Σ [ζ ] T ) j=1 N j=1 N j=1 20
21 Uczenie z forsowaniem W macierzy wag manifestować się będzie głownie idealny wzorzec X, podczas gdy N Σ [ ζ ] T j=1 na ogół ma niewielką wartość, poniewaŝ poszczególne składniki ζ mogą się wzajemnie kompensować. Oznacza to, Ŝe sieć ma zdolność uśredniania sygnałów wejściowych i moŝe sama odkryć nowy wzorzec X. Oba omawiane efekty są niezaleŝne od siebie i mogą być nałoŝone, co w wyniku daje sieć która ma zdolność zapamiętania róŝnych reakcji Z na róŝne sygnały wejściowe X wydobywane z serii przypadkowo zniekształconych obserwacji. Organiczeniem moŝe być pojemność pamięci związana z liczbą neutronów w sieci: N max k / ( 2 log k). Przyspieszanie procesu uczenia W bardziej złoŝonych i rozbudowanych sieciach istotną rolę odgrywa sprawność procesu uczenia. Jak optymalizujemy potrzebne CPU? Odpowiedni dobór wartości η Wprowadzanie do wzoru na korektę wektora wag dodatkowego składnika uwzględniającego bezwładność procesu zmiany wag w postaci tzw. momentu. W k (j+1) = W k + η 1 ( Z Y ) [ X ] T + η 2 M gdzie moment M wyliczane jest ze wzoru: M = W k - W k (j-1) 21
22 Przyspieszanie procesu uczenia Ograniczanie procesu uczenia wyłącznie do duŝych poprawek. Oznacza to,ŝe reguła uczenia ma dodatkowy parametr η 3 i działa następująco: ω (m)(j+1) i = ω (m) i + η 1 x i (z m - y m ) gdy (z m - y m ) > η 3 ω (m) i gdy (z m - y m ) < η 3 Wybór współczynników η 1, η 2, η 3 jest sprawą doświadczenia/intuicji osoby która stosuje specyficzny algorytm. Wygładzanie wykładnicze: W k (j+1) = W k + η 1 { (1 - η 1 ) ( Z Y ) [ X ] T + η 2 ( W k - W k (j-1) ) } Istotnym problemem jest równieŝ odpowiednia randomizacja zbioru uczącego, kolejne elementy X powinny być losowo wybierane (a nie cyklicznie). Uwagi końcowe Sieci MADALINE były pierwszymi efektywnie zastosowanymi sieciami neuronowymi i wciąŝ pozostają uŝywanym narzędziem przy budowaniu systemów rozpoznających, filtrów, pamięci asocjacyjnych. JednakŜe: MoŜliwości systemów budowanych z elementów liniowych są ograniczone. sieć moŝe realizować tylko odwzorowania liniowe klasa dostępnych odwzorowań nie zaleŝy od tego czy mamy odczynienia z siecią jednowarstwową czy wielowarstwową. Budowa wielowarstwowej sieci liniowej nie ma sensu, poniewaŝ moŝna ja zastąpić efektywną siecią jednowarstwową. Y = W n X ( W n = W k W l ) 22
23 Uwagi końcowe W ramach sieci liniowych, rozwaŝa się dwa schematy funkcjonowania takiej sieci jednokierunkowy przepływ sygnałów (feedforward) sygnały X pojawiające się na wejściu są niezaleŝne od sygnałów na wyjściu Y sieci ze sprzęŝeniem zwrotnym (feedback) w których sygnały wyjściowe Y są pośrednio lub bezpośrednio podawane na wejście X. Takie sieci nazywane są autoasocjacyjnymi i oznaczają się bogatymi własnościami dynamicznymi. X SIEć Y 23
Wykład 2. Model Neuronu McCulocha-Pittsa Perceptron Liniowe Sieci Neuronowe
Sztuczne Sieci Neuronowe Wykład 2 Model Neuronu McCulocha-Pittsa Perceptron Liniowe Sieci Neuronowe wykład przygotowany na podstawie. R. Tadeusiewicz, Sieci Neuronowe, Rozdz. 3. Akademicka Oficyna Wydawnicza
Bardziej szczegółowoNajprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;
Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.
Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I
Bardziej szczegółowoSztuczna inteligencja
Sztuczna inteligencja Wykład 7. Architektury sztucznych sieci neuronowych. Metody uczenia sieci. źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Podstawowe architektury
Bardziej szczegółowoSztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Bardziej szczegółowo8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i
Bardziej szczegółowoIMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Bardziej szczegółowoSieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści
Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej
Bardziej szczegółowoLekcja 5: Sieć Kohonena i sieć ART
Lekcja 5: Sieć Kohonena i sieć ART S. Hoa Nguyen 1 Materiał Sieci Kohonena (Sieć samo-organizująca) Rysunek 1: Sieć Kohonena Charakterystyka sieci: Jednowarstwowa jednokierunkowa sieć. Na ogół neurony
Bardziej szczegółowowiedzy Sieci neuronowe
Metody detekcji uszkodzeń oparte na wiedzy Sieci neuronowe Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 7 Wprowadzenie Okres kształtowania się teorii sztucznych sieci
Bardziej szczegółowoMetody Sztucznej Inteligencji II
17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
Bardziej szczegółowoPodstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Bardziej szczegółowoSIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA
SIECI KOHONENA UCZENIE BEZ NAUCZYCIELA JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SAMOUCZENIE SIECI metoda Hebba W mózgu
Bardziej szczegółowoSieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 4 Wariacje na temat propagacji wstecznej Sieci CP
Sieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009 Sieci Neuronowe Wykład 4 Wariacje na temat propagacji wstecznej Sieci CP wykład przygotowany na podstawie. S. Osowski, Sieci neuronowe w ujęciu
Bardziej szczegółowoSIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe
SIECI NEURONOWE Liniowe i nieliniowe sieci neuronowe JOANNA GRABSKA-CHRZĄSTOWSKA Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA BUDOWA RZECZYWISTEGO NEURONU
Bardziej szczegółowoLiteratura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu
Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa
Bardziej szczegółowoSztuczne sieci neuronowe
www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,
Bardziej szczegółowoAlgorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Bardziej szczegółowoElementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2
Elementy Sztucznej Inteligencji Sztuczne sieci neuronowe cz. 2 1 Plan wykładu Uczenie bez nauczyciela (nienadzorowane). Sieci Kohonena (konkurencyjna) Sieć ze sprzężeniem zwrotnym Hopfielda. 2 Cechy uczenia
Bardziej szczegółowoOprogramowanie Systemów Obrazowania SIECI NEURONOWE
SIECI NEURONOWE Przedmiotem laboratorium jest stworzenie algorytmu rozpoznawania zwierząt z zastosowaniem sieci neuronowych w oparciu o 5 kryteriów: ile zwierzę ma nóg, czy żyje w wodzie, czy umie latać,
Bardziej szczegółowoSZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA WYKŁAD 8. SZTUCZNE SIECI NEURONOWE INNE ARCHITEKTURY Częstochowa 24 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska SIEĆ O RADIALNYCH FUNKCJACH BAZOWYCH
Bardziej szczegółowoZASTOSOWANIA SIECI NEURONOWYCH
SN... 1 DZIEJE BADA¼ NAD SIECIAMI NEURONOWYMI - równoleg»y sposób przetwarzania informacji - 1957 : Perceptron, Cornell Aeronautical Laboratory (uk»ad elektromechaniczny do rozpoznawania znaków) 8 komórek,
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 335 Wykład 10 Mapa cech Kohonena i jej modyfikacje - uczenie sieci samoorganizujących się - kwantowanie wektorowe
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
Bardziej szczegółowosynaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.
Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000
Bardziej szczegółowoSieć przesyłająca żetony CP (counter propagation)
Sieci neuropodobne IX, specyficzne architektury 1 Sieć przesyłająca żetony CP (counter propagation) warstwa Kohonena: wektory wejściowe są unormowane jednostki mają unormowane wektory wag jednostki są
Bardziej szczegółowoTemat: Sieci neuronowe oraz technologia CUDA
Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w
Bardziej szczegółowoMETODY INTELIGENCJI OBLICZENIOWEJ wykład 5
METODY INTELIGENCJI OBLICZENIOWEJ wykład 5 1 2 SZTUCZNE SIECI NEURONOWE cd 3 UCZENIE PERCEPTRONU: Pojedynczy neuron (lub 1 warstwa neuronów) typu percep- tronowego jest w stanie rozdzielić przestrzeń obsza-
Bardziej szczegółowoSIECI REKURENCYJNE SIECI HOPFIELDA
SIECI REKURENCYJNE SIECI HOPFIELDA Joanna Grabska- Chrząstowska Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SPRZĘŻENIE ZWROTNE W NEURONIE LINIOWYM sygnał
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY
METODY INŻYNIERII WIEDZY SZTUCZNE SIECI NEURONOWE MLP Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki i Inżynierii
Bardziej szczegółowoSztuczne sieci neuronowe Ćwiczenia. Piotr Fulmański, Marta Grzanek
Sztuczne sieci neuronowe Ćwiczenia Piotr Fulmański, Marta Grzanek Piotr Fulmański 1 Wydział Matematyki i Informatyki, Marta Grzanek 2 Uniwersytet Łódzki Banacha 22, 90-232, Łódź Polska e-mail 1: fulmanp@math.uni.lodz.pl,
Bardziej szczegółowoSztuczne Sieci Neuronowe
Sztuczne Sieci Neuronowe Wykład 11 Podsumowanie wykłady przygotowane wg. W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusiewicz, Sieci Neuronowe, Rozdz. 1. Biocybernetyka i Inżynieria Medyczna, tom VI, AOFE,
Bardziej szczegółowoSieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.
Sieci rekurencyjne Ewa Adamus ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych 7 maja 2012 Jednowarstwowa sieć Hopfielda, z n neuronami Bipolarna funkcja przejścia W wariancie
Bardziej szczegółowoDefinicja pochodnej cząstkowej
1 z 8 gdzie punkt wewnętrzny Definicja pochodnej cząstkowej JeŜeli iloraz ma granicę dla to granicę tę nazywamy pochodną cząstkową funkcji względem w punkcie. Oznaczenia: Pochodną cząstkową funkcji względem
Bardziej szczegółowoZagadnienia optymalizacji i aproksymacji. Sieci neuronowe.
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji
Wstęp do teorii sztucznej inteligencji Wykład IV SSN = Architektura + Algorytm Uczenie sztucznych neuronów. Przypomnienie. Uczenie z nauczycielem. Wagi i wejścia dla sieci neuronuowej: reprezentacja macierzowa
Bardziej szczegółowoUczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Bardziej szczegółowoBIOCYBERNETYKA SIECI NEURONOWE. Akademia Górniczo-Hutnicza. Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej.
Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej BIOCYBERNETYKA Adrian Horzyk SIECI NEURONOWE www.agh.edu.pl Mózg inspiruje nas od wieków Co takiego
Bardziej szczegółowo1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
Bardziej szczegółowoElementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Bardziej szczegółowoA B. Modelowanie reakcji chemicznych: numeryczne rozwiązywanie równań na szybkość reakcji chemicznych B: 1. da dt. A v. v t
B: 1 Modelowanie reakcji chemicznych: numeryczne rozwiązywanie równań na szybkość reakcji chemicznych 1. ZałóŜmy, Ŝe zmienna A oznacza stęŝenie substratu, a zmienna B stęŝenie produktu reakcji chemicznej
Bardziej szczegółowoPodstawy sztucznej inteligencji
wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,
Bardziej szczegółowoSieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe
Sieci Neuronowe Wykład 6 Sieci pamieci skojarzeniowej: sieci Hamminga, sieci Hintona, sieci BAM wykład przygotowany na podstawie. S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT, W-wa 1996. R.
Bardziej szczegółowoZastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2014/2015
Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner rok akademicki 2014/2015 Sieci Kohonena Sieci Kohonena Sieci Kohonena zostały wprowadzone w 1982 przez fińskiego
Bardziej szczegółowoSieci Neuronowe - Rok III - kierunek IS w IFAiIS UJ 2008/2009. Sieci Neuronowe. Wykład 8 Sieci rezonansowe
Sieci Neuronowe Wykład 8 Sieci rezonansowe wykład przygotowany na podstawie. R. Tadeusiewicz, Sieci Neuronowe, Rozdz. 6. Akademicka Oficyna Wydawnicza RM, Warszawa 1993. Wprowadzenie Sieci wielowarstwowe
Bardziej szczegółowoDla naszego obiektu ciągłego: przy czasie próbkowania T p =2.
1. Celem zadania drugiego jest przeprowadzenie badań symulacyjnych układu regulacji obiektu G(s), z którym zapoznaliśmy się w zadaniu pierwszym, i regulatorem cyfrowym PID, którego parametry zostaną wyznaczone
Bardziej szczegółowo2.4. Algorytmy uczenia sieci neuronowych
2.4. Algorytmy uczenia sieci neuronowych Prosta struktura sieci jednokierunkowych sprawia, że są najchętniej stosowane. Ponadto metody uczenia ich należą również do popularnych i łatwych w realizacji.
Bardziej szczegółowoInteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe wykład 1. Właściwości sieci neuronowych Model matematyczny sztucznego neuronu Rodzaje sieci neuronowych Przegląd d głównych g
Bardziej szczegółowoHAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM
ZASTOSOWANIE SIECI NEURONOWYCH W SYSTEMACH AKTYWNEJ REDUKCJI HAŁASU Z UWZGLĘDNIENIEM ZJAWISK O CHARAKTERZE NIELINIOWYM WPROWADZENIE Zwalczanie hałasu przy pomocy metod aktywnych redukcji hałasu polega
Bardziej szczegółowojest rozwiązaniem równania jednorodnego oraz dla pewnego to jest toŝsamościowo równe zeru.
Układy liniowe Układ liniowy pierwszego rzędu, niejednorodny. gdzie Jeśli to układ nazywamy jednorodnym Pamiętamy, Ŝe kaŝde równanie liniowe rzędu m moŝe zostać sprowadzone do układu n równań liniowych
Bardziej szczegółowoMETODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING
METODY INŻYNIERII WIEDZY KNOWLEDGE ENGINEERING AND DATA MINING NEURONOWE MAPY SAMOORGANIZUJĄCE SIĘ Self-Organizing Maps SOM Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki,
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
Bardziej szczegółowoInteligentne systemy informacyjne
Inteligentne systemy informacyjne Moduł 10 Mieczysław Muraszkiewicz www.icie.com.pl/lect_pw.htm M. Muraszkiewicz strona 1 Sieci neuronowe szkic Moduł 10 M. Muraszkiewicz strona 2 Dwa nurty M. Muraszkiewicz
Bardziej szczegółowoAproksymacja funkcji a regresja symboliczna
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(x), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(x), zwaną funkcją aproksymującą
Bardziej szczegółowoInteligentne systemy przeciw atakom sieciowym
Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne
Bardziej szczegółowoTemat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe
Bardziej szczegółowoI EKSPLORACJA DANYCH
I EKSPLORACJA DANYCH Zadania eksploracji danych: przewidywanie Przewidywanie jest podobne do klasyfikacji i szacowania, z wyjątkiem faktu, że w przewidywaniu wynik dotyczy przyszłości. Typowe zadania przewidywania
Bardziej szczegółowoMODELOWANIE RZECZYWISTOŚCI
MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN Szkoła Wyższa Psychologii Społecznej d.wojcik@nencki.gov.pl dwojcik@swps.edu.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/
Bardziej szczegółowoElementy kognitywistyki III: Modele i architektury poznawcze
Elementy kognitywistyki III: Modele i architektury poznawcze Wykład VII: Modelowanie uczenia się w sieciach neuronowych Uczenie się sieci i trening nienaruszona struktura sieci (z pewnym ale ) nienaruszone
Bardziej szczegółowoZastosowania sieci neuronowych
Zastosowania sieci neuronowych klasyfikacja LABORKA Piotr Ciskowski zadanie 1. klasyfikacja zwierząt sieć jednowarstwowa żródło: Tadeusiewicz. Odkrywanie własności sieci neuronowych, str. 159 Przykład
Bardziej szczegółowoSztuczne sieci neuronowe (SNN)
Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe
Bardziej szczegółowoSpis treści. 1. Cyfrowy zapis i synteza dźwięku Schemat blokowy i zadania karty dźwiękowej UTK. Karty dźwiękowe. 1
Spis treści 1. Cyfrowy zapis i synteza dźwięku... 2 2. Schemat blokowy i zadania karty dźwiękowej... 4 UTK. Karty dźwiękowe. 1 1. Cyfrowy zapis i synteza dźwięku Proces kodowania informacji analogowej,
Bardziej szczegółowoSeminarium magisterskie. Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman
Seminarium magisterskie Dyskusja nad tematem pracy magisterskiej pisanej pod kierunkiem pani Dr hab. Małgorzaty Doman Plan wystąpienia Ogólnie o sztucznych sieciach neuronowych Temat pracy magisterskiej
Bardziej szczegółowoWstęp do teorii sztucznej inteligencji
Wstęp do teorii sztucznej inteligencji Wykład V Algorytmy uczenia SSN Modele sieci neuronowych. SSN = Architektura + Algorytm Wagi i wejścia dla sieci neuronuowej: reprezentacja macierzowa δ i = z i y
Bardziej szczegółowoUczenie sieci radialnych (RBF)
Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien
Bardziej szczegółowo1. Podstawowe pojęcia
1. Podstawowe pojęcia Sterowanie optymalne obiektu polega na znajdowaniu najkorzystniejszej decyzji dotyczącej zamierzonego wpływu na obiekt przy zadanych ograniczeniach. Niech dany jest obiekt opisany
Bardziej szczegółowowiedzy Sieci neuronowe (c.d.)
Metody detekci uszkodzeń oparte na wiedzy Sieci neuronowe (c.d.) Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 8 Metody detekci uszkodzeń oparte na wiedzy Wprowadzenie
Bardziej szczegółowoĆwiczenie 14. Maria Bełtowska-Brzezinska KINETYKA REAKCJI ENZYMATYCZNYCH
Ćwiczenie 14 aria Bełtowska-Brzezinska KINETYKA REAKCJI ENZYATYCZNYCH Zagadnienia: Podstawowe pojęcia kinetyki chemicznej (szybkość reakcji, reakcje elementarne, rząd reakcji). Równania kinetyczne prostych
Bardziej szczegółowoOptymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu
Bardziej szczegółowoOCENA DZIAŁANIA AE. METODY HEURYSTYCZNE wykład 4 LOSOWOŚĆ W AE KRZYWE ZBIEŻNOŚCI ANALIZA STATYSTYCZNA:
METODY HEURYSTYCZNE wykład 4 OCENA DZIAŁANIA AE 1 2 LOSOWOŚĆ W AE Różne zachowanie algorytmuw poszczególnych uruchomieniach przy jednakowych ustawieniach parametrów i identycznych populacjach początkowych.
Bardziej szczegółowoPolitechnika Lubelska
Politechnika Lubelska Wydział Zarządzania i Podstaw Techniki Temat: Sieć neuronowa do klasyfikacji rodzaju węgla kamiennego. Prowadzący: Wykonał: Dr Popko Artur Marek Harasimiuk ETI 5.3. (gr. lab. 5.5)
Bardziej szczegółowoAlgorytmy sztucznej inteligencji
Algorytmy sztucznej inteligencji Dynamiczne sieci neuronowe 1 Zapis macierzowy sieci neuronowych Poniżej omówione zostaną części składowe sieci neuronowych i metoda ich zapisu za pomocą macierzy. Obliczenia
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych
Bardziej szczegółowoOptymalizacja systemów
Optymalizacja systemów Laboratorium - problem detekcji twarzy autorzy: A. Gonczarek, J.M. Tomczak, S. Zaręba, P. Klukowski Cel zadania Celem zadania jest zapoznanie się z gradientowymi algorytmami optymalizacji
Bardziej szczegółowoWidzenie komputerowe
Widzenie komputerowe Uczenie maszynowe na przykładzie sieci neuronowych (3) źródła informacji: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym, WNT 1996 Zdolność uogólniania sieci neuronowej R oznaczenie
Bardziej szczegółowoSystemy Inteligentnego Przetwarzania wykład 7: Sieci RBF
Systemy Inteligentnego Przetwarzania wykład 7: Sieci RBF Dr inż. Jacek Mazurkiewicz Katedra Informatyki Technicznej e-mail: Jacek.Mazurkiewicz@pwr.edu.pl Bazowe funkcje radialne (1) Sieci neuronowe wielowarstwowe
Bardziej szczegółowoSztuczne sieci neuronowe. Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311
Sztuczne sieci neuronowe Krzysztof A. Cyran POLITECHNIKA ŚLĄSKA Instytut Informatyki, p. 311 PLAN: Wykład 5 - Metody doboru współczynnika uczenia - Problem inicjalizacji wag - Problem doboru architektury
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
Bardziej szczegółowoSztuczne sieci neuronowe. Uczenie, zastosowania
Wydział Zarządzania AGH Katedra Informatyki Stosowanej Sztuczne sieci neuronowe. Uczenie, zastosowania Inteligencja Sztuczne sieci neuronowe Metody uczenia Budowa modelu Algorytm wstecznej propagacji błędu
Bardziej szczegółowoELEMENTY SZTUCZNEJ INTELIGENCJI. Sztuczne sieci neuronowe
ELEMENTY SZTUCZNEJ INTELIGENCJI Sztuczne sieci neuronowe Plan 2 Wzorce biologiczne. Idea SSN - model sztucznego neuronu. Perceptron prosty i jego uczenie regułą delta Perceptron wielowarstwowy i jego uczenie
Bardziej szczegółowoWykład 1: Wprowadzenie do sieci neuronowych
Wykład 1: Wprowadzenie do sieci neuronowych Historia badań nad sieciami neuronowymi. - początki: badanie komórek ośrodkowego układu nerwowego zwierząt i człowieka, czyli neuronów; próby wyjaśnienia i matematycznego
Bardziej szczegółowoROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL. sin x2 (1)
ROZWIĄZYWANIE UKŁADÓW RÓWNAŃ NIELINIOWYCH PRZY POMOCY DODATKU SOLVER PROGRAMU MICROSOFT EXCEL 1. Problem Rozważmy układ dwóch równań z dwiema niewiadomymi (x 1, x 2 ): 1 x1 sin x2 x2 cos x1 (1) Nie jest
Bardziej szczegółowoWstęp do sztucznych sieci neuronowych
Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna
Bardziej szczegółowoObliczenia inteligentne Zadanie 4
Sieci SOM Poniedziałek, 10:15 2007/2008 Krzysztof Szcześniak Cel Celem zadania jest zaimplementowanie neuronowej samoorganizującej się mapy wraz z metodą jej nauczania algorytmem gazu neuronowego. Część
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Bardziej szczegółowoZastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner. rok akademicki 2013/2014
Zastosowanie metod eksploracji danych Data Mining w badaniach ekonomicznych SAS Enterprise Miner rok akademicki 2013/2014 Sieci neuronowe Sieci neuronowe W XIX wieku sformułowano teorię opisującą podstawowe
Bardziej szczegółowoObliczenia Naturalne - Sztuczne sieci neuronowe
Literatura Wprowadzenie Obliczenia Naturalne - Sztuczne sieci neuronowe Paweł Paduch Politechnika Świętokrzyska 13 marca 2014 Paweł Paduch Obliczenia Naturalne - Sztuczne sieci neuronowe 1 z 43 Plan wykładu
Bardziej szczegółowoPrawdopodobieństwo i statystyka
Wykład XV: Zagadnienia redukcji wymiaru danych 2 lutego 2015 r. Standaryzacja danych Standaryzacja danych Własności macierzy korelacji Definicja Niech X będzie zmienną losową o skończonym drugim momencie.
Bardziej szczegółowoSztuczne sieci neuronowe
Sztuczne sieci neuronowe Paweł Bęczkowski ETI 9.1 1 Czym określamy sztuczną sieć neuronową Sieć neuronowa (sztuczna sieć neuronowa) to ogólna nazwa struktur matematycznych i ich programowych lub sprzętowych
Bardziej szczegółowoCyfrowe przetwarzanie obrazów i sygnałów Wykład 7 AiR III
1 Niniejszy dokument zawiera materiały do wykładu z przedmiotu Cyfrowe Przetwarzanie Obrazów i Sygnałów. Jest on udostępniony pod warunkiem wykorzystania wyłącznie do własnych, prywatnych potrzeb i może
Bardziej szczegółowoKADD Minimalizacja funkcji
Minimalizacja funkcji Poszukiwanie minimum funkcji Foma kwadratowa Metody przybliżania minimum minimalizacja Minimalizacja w n wymiarach Metody poszukiwania minimum Otaczanie minimum Podział obszaru zawierającego
Bardziej szczegółowoSztuczne Sieci Neuronowe
Sztuczne Sieci Neuronowe Wykład 7 Sieci neuronowe o radialnych funkcjach bazowych wykład przygotowany na podstawie. S. Osowski, Sieci Neuronowe w ujęciu algorytmicznym, Rozdz. 5, PWNT, Warszawa 1996. 26/11/08
Bardziej szczegółowow analizie wyników badań eksperymentalnych, w problemach modelowania zjawisk fizycznych, w analizie obserwacji statystycznych.
Aproksymacja funkcji a regresja symboliczna Problem aproksymacji funkcji polega na tym, że funkcję F(), znaną lub określoną tablicą wartości, należy zastąpić inną funkcją, f(), zwaną funkcją aproksymującą
Bardziej szczegółowoFiltracja obrazu operacje kontekstowe
Filtracja obrazu operacje kontekstowe Podział metod filtracji obrazu Metody przestrzenne i częstotliwościowe Metody liniowe i nieliniowe Główne zadania filtracji Usunięcie niepożądanego szumu z obrazu
Bardziej szczegółowoWstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka ADALINE.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka ADALINE. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 218-1-15/22 Projekt pn.
Bardziej szczegółowoTechniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Bardziej szczegółowoAlgorytmy decyzyjne będące alternatywą dla sieci neuronowych
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny
Bardziej szczegółowo