SSI - lab 5. DP SSI - lab 5 16, Kwiecie«, / 23

Transkrypt

1 SSI - lab 5 DP DP SSI - lab 5 16, Kwiecie«, / 23

2 Plan dzisiejszych zaj 1 Podªo»e biologiczne 2 Budowa i dziaªanie neuronów 3 Dziaªanie pami ci 4 Sztuczne sieci neuronowe 5 Uczenie sieci DP SSI - lab 5 16, Kwiecie«, / 23

3 Klasyczne sieci neuronowe Jest to model zainspirowany dziaªaniem systemu nerwowego w ludzkim organi¹mie. Badania nad tym zagadnieniem rozpoczeªy si w 1943 roku, kiedy to Pitt's i McColloch przedstawili matematyczny opis neuronu oraz zauwa»yli,»e komórki nerwowe mog znale¹ zastosowanie w przetwarzaniu danych. Nast pnie w roku 1949 Hebb korzystaj c ze spostrze»enia,»e informacja mo»e by przechowywana w synapsach zaprojektowaª metod uczenia sieci, której dziaªanie opieraªo si na zmianach wag poª cze«mi dzy neuronami. Za pierwszy przykªad dziaªaj cej przynajmniej w stopniu zadawalaj cym sieci neuropodobnej mo»na uzna stworzony do rozpoznawania znaków perceptron, którego twórc byª Rosenblatt. Przez kolejne lata w mniejszym lub wi kszym stopniu tematyka sieci neuronowych byªa rozwijana. DP SSI - lab 5 16, Kwiecie«, / 23

4 Sztuczna sie neuronowa to struktura matematyczna, która opiera si na dziaªaniu sieci neuronowej u czªowieka. Z tego powodu mechanizmy stosowane w tej strukturze znajduj swoje odpowiedniki w dziaªaniu i zwi zkach mi dzy neuronami w prawdziwym organizmie. W sztucznych sieciach neuronowych elementy systemu nerwowego zostaj przeªo»one na j zyk algorytmiczny, co pozwala na wykorzystanie takich zdolno±ci mózgu, jak zapami tywanie, czy uczenie si. DP SSI - lab 5 16, Kwiecie«, / 23

5 Podªo»e biologiczne Sterowanie aktywno±ci organizmu odbywa si przy pomocy ukªadu nerwowego. Znajduj ce si w nim komórki pozwalaj na rejestrowanie bod¹ców, przetwarzanie ich oraz wywoªuj odpowiedni reakcj organizmu. DP SSI - lab 5 16, Kwiecie«, / 23

6 Podªo»e biologiczne Sterowanie aktywno±ci organizmu odbywa si przy pomocy ukªadu nerwowego. Znajduj ce si w nim komórki pozwalaj na rejestrowanie bod¹ców, przetwarzanie ich oraz wywoªuj odpowiedni reakcj organizmu. Najwa»niejsz cz ±ci ukªadu nerwowego jest o±rodkowy ukªad nerwowy. Skªada si on z mózgowia i rdzenia kr gowego. Cz ± ta, w szczególno±ci za± mózg odpowiada za koordynacj czynno±ci zjologicznych organizmu na podstawie zewn trznych bod¹ców. Bod¹ce te zostaj poddane szczegóªowej analizie - s oceniane zarówno emocjonalnie jak i poznawczo, nast puje ich selekcja i integracja, po czym wywoªywana jest odpowiednia reakcja organizmu. W o±rodkowym ukªadzie nerwowym informacje s przechowywane, jako pami. DP SSI - lab 5 16, Kwiecie«, / 23

7 Podªo»e biologiczne Kolejn cz ±ci ukªadu nerwowego jest obwodowy ukªad nerwowy, którego skªadowymi s nerwy i zwoje. Jego zadaniem jest przekazywanie informacji pomi dzy receptorami (komórki odbieraj ce informacja z otoczenia) i o±rodkowym ukªadem nerwowym, a mi ±niami i gruczoªami. DP SSI - lab 5 16, Kwiecie«, / 23

8 Podªo»e biologiczne Kolejn cz ±ci ukªadu nerwowego jest obwodowy ukªad nerwowy, którego skªadowymi s nerwy i zwoje. Jego zadaniem jest przekazywanie informacji pomi dzy receptorami (komórki odbieraj ce informacja z otoczenia) i o±rodkowym ukªadem nerwowym, a mi ±niami i gruczoªami. Ostatni cz ±ci ukªadu nerwowego jest autonomiczny ukªad nerwowy skªadaj cy si z dróg nerwowych. Odpowiada on za wegetatywne funkcje organizmu w narz dach wewn trznych. DP SSI - lab 5 16, Kwiecie«, / 23

9 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; DP SSI - lab 5 16, Kwiecie«, / 23

10 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; DP SSI - lab 5 16, Kwiecie«, / 23

11 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; 3 informacja jest przewodzona neuronami czuciowymi; DP SSI - lab 5 16, Kwiecie«, / 23

12 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; 3 informacja jest przewodzona neuronami czuciowymi; 4 informacja jest integrowana; DP SSI - lab 5 16, Kwiecie«, / 23

13 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; 3 informacja jest przewodzona neuronami czuciowymi; 4 informacja jest integrowana; 5 o±rodkowy ukªad nerwowy interpretuje sygnaª i okre±la jaka b dzie na niego reakcja organizmu; DP SSI - lab 5 16, Kwiecie«, / 23

14 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; 3 informacja jest przewodzona neuronami czuciowymi; 4 informacja jest integrowana; 5 o±rodkowy ukªad nerwowy interpretuje sygnaª i okre±la jaka b dzie na niego reakcja organizmu; 6 informacja na temat reakcji jest przesyªana do odpowiednich narz dów przy pomocy neuronów ruchowych; DP SSI - lab 5 16, Kwiecie«, / 23

15 Podªo»e biologiczne Ogólny schemat dziaªania ukªadu nerwowego mo»na opisa nast puj co: 1 pojawia si bodziec np. zapach, d¹wi k; 2 bodziec jest odbierany poprzez receptory ukªadu nerwowego; 3 informacja jest przewodzona neuronami czuciowymi; 4 informacja jest integrowana; 5 o±rodkowy ukªad nerwowy interpretuje sygnaª i okre±la jaka b dzie na niego reakcja organizmu; 6 informacja na temat reakcji jest przesyªana do odpowiednich narz dów przy pomocy neuronów ruchowych; 7 nast puje reakcja organizmu. DP SSI - lab 5 16, Kwiecie«, / 23

16 Budowa i dziaªanie neuronów Ukªad nerwowy skªada si z komórek nerwowych nazywanych neuronami. Wi kszo± z nich jest poª czona w sie. Pozwala to na realizacj funkcji organizmu takich jak pami, emocje czy inteligencja. DP SSI - lab 5 16, Kwiecie«, / 23

17 Budowa i dziaªanie neuronów Najwa»niejszymi cz ±ciami skªadowymi neuronu, którego budow przedstawia Rys. 8 s : j dro znajduj ce si w somie (ciaªo komórki), w którym zachodz procesy kluczowe dla funkcjonowania komórki; DP SSI - lab 5 16, Kwiecie«, / 23

18 Budowa i dziaªanie neuronów Najwa»niejszymi cz ±ciami skªadowymi neuronu, którego budow przedstawia Rys. 8 s : j dro znajduj ce si w somie (ciaªo komórki), w którym zachodz procesy kluczowe dla funkcjonowania komórki; dendryty - liczne i rozkrzewione wypustki, wzdªu» których sygnaªy dostaj si do neuronu; DP SSI - lab 5 16, Kwiecie«, / 23

19 Budowa i dziaªanie neuronów Najwa»niejszymi cz ±ciami skªadowymi neuronu, którego budow przedstawia Rys. 8 s : j dro znajduj ce si w somie (ciaªo komórki), w którym zachodz procesy kluczowe dla funkcjonowania komórki; dendryty - liczne i rozkrzewione wypustki, wzdªu» których sygnaªy dostaj si do neuronu; aksony - grube i rozwidlaj ce si na ko«cach wypustki sªu» ce do przekazywania sygnaªów kolejnym neuronom w sieci; DP SSI - lab 5 16, Kwiecie«, / 23

20 Budowa i dziaªanie neuronów Najwa»niejszymi cz ±ciami skªadowymi neuronu, którego budow przedstawia Rys. 8 s : j dro znajduj ce si w somie (ciaªo komórki), w którym zachodz procesy kluczowe dla funkcjonowania komórki; dendryty - liczne i rozkrzewione wypustki, wzdªu» których sygnaªy dostaj si do neuronu; aksony - grube i rozwidlaj ce si na ko«cach wypustki sªu» ce do przekazywania sygnaªów kolejnym neuronom w sieci; synapsa - wej±cie do neuronu; zako«czenie dendrytów, w którym sygnaª jest wst pnie modykowany poprzez jego osªabienie lub wzmocnienie; DP SSI - lab 5 16, Kwiecie«, / 23

21 Budowa i dziaªanie neuronów Najwa»niejszymi cz ±ciami skªadowymi neuronu, którego budow przedstawia Rys. 8 s : j dro znajduj ce si w somie (ciaªo komórki), w którym zachodz procesy kluczowe dla funkcjonowania komórki; dendryty - liczne i rozkrzewione wypustki, wzdªu» których sygnaªy dostaj si do neuronu; aksony - grube i rozwidlaj ce si na ko«cach wypustki sªu» ce do przekazywania sygnaªów kolejnym neuronom w sieci; synapsa - wej±cie do neuronu; zako«czenie dendrytów, w którym sygnaª jest wst pnie modykowany poprzez jego osªabienie lub wzmocnienie; wzgórek aksonu - wyj±cie z neuronu; pocz tek aksonu, przez który sygnaª opuszcza neuron; DP SSI - lab 5 16, Kwiecie«, / 23

22 Budowa i dziaªanie neuronów Rysunek: Schemat budowy neuronu. DP SSI - lab 5 16, Kwiecie«, / 23

23 Budowa i dziaªanie neuronów Z powodu ró»nej koncentracji jonów wewn trz komórki nerwowej i w pªynie mi dzykomórkowym bªona komórkowa jest elektrycznie spolaryzowana. W stanie spoczynku, gdy neuron nie odbiera i nie przetwarza»adnych sygnaªów jego wn trze jest ujemnie spolaryzowane wzgl dem ±rodowiska, co wi»e si z obecno±ci napi cia elektrycznego o warto±ci ok. 70 mv. W stanie pobudzonym na okoªo jedn tysi czn sekundy napi cie polaryzuj ce bªon zanika i pojawia si napi cie elektryczne o warto±ci okoªo 30 mv dziaªaj ce w przeciwnym kierunku. W momencie, gdy zostanie osi gni ta warto± progowa potencjaªu elektrycznego bªony komórkowej, impuls w kierunku aksonu jest wysªany. Odbiór sygnaªu mo»e dziaªa na komórk na dwa sposoby - mo»e zmusi neuron do wygenerowania lub wyhamowania sygnaªu, co zale»y od synaps, przez które przeszedª sygnaª. DP SSI - lab 5 16, Kwiecie«, / 23

24 Budowa i dziaªanie neuronów Z powodu ró»nej koncentracji jonów wewn trz komórki nerwowej i w pªynie mi dzykomórkowym bªona komórkowa jest elektrycznie spolaryzowana. W stanie spoczynku, gdy neuron nie odbiera i nie przetwarza»adnych sygnaªów jego wn trze jest ujemnie spolaryzowane wzgl dem ±rodowiska, co wi»e si z obecno±ci napi cia elektrycznego o warto±ci ok. 70 mv. W stanie pobudzonym na okoªo jedn tysi czn sekundy napi cie polaryzuj ce bªon zanika i pojawia si napi cie elektryczne o warto±ci okoªo 30 mv dziaªaj ce w przeciwnym kierunku. W momencie, gdy zostanie osi gni ta warto± progowa potencjaªu elektrycznego bªony komórkowej, impuls w kierunku aksonu jest wysªany. Odbiór sygnaªu mo»e dziaªa na komórk na dwa sposoby - mo»e zmusi neuron do wygenerowania lub wyhamowania sygnaªu, co zale»y od synaps, przez które przeszedª sygnaª. Przesªanie sygnaªu powoduje chwilow niepobudliwo± neuronu. Jest to czas refrakcji bezwzgl dnej. Po nim nast puje czas refrakcji wzgl dnej, kiedy to komórka nerwowa wraca do stanu wyj±ciowego i jest trudna do pobudzenia. DP SSI - lab 5 16, Kwiecie«, / 23

25 Dziaªanie pami ci Pami to zdolno± pozwalaj ca na rejestrowanie i przywoªywanie informacji. Skªada si z trzech faz. Pierwsza z nich to zapami tanie, w czasie, którego tworzy si ±lad pami ciowy. Druga to przechowywanie informacji, trzecia za± to zdolno± przywoªywania ±ladu pami ciowego. Mo»na wyró»ni dwa podstawowe mechanizmy utrwalania zdarze«zmysªowych. S to pami krótkotrwaªa i pami dªugotrwaªa. DP SSI - lab 5 16, Kwiecie«, / 23

26 Dziaªanie pami ci Pami to zdolno± pozwalaj ca na rejestrowanie i przywoªywanie informacji. Skªada si z trzech faz. Pierwsza z nich to zapami tanie, w czasie, którego tworzy si ±lad pami ciowy. Druga to przechowywanie informacji, trzecia za± to zdolno± przywoªywania ±ladu pami ciowego. Mo»na wyró»ni dwa podstawowe mechanizmy utrwalania zdarze«zmysªowych. S to pami krótkotrwaªa i pami dªugotrwaªa. Pami krótkotrwaªa pozwala na przechowywanie niewielkiej ilo±ci informacji przez krótki okres czasu. Zwykle s to dane powstaªe w wyniku dziaªania bod¹ca zewn trznego, pobrane z pami ci dªugotrwaªej lub b d ce rezultatem dziaªania procesów przetwarzania danych w mózgu jak np. wykonywanie oblicze«czy wnioskowanie. Dziaªanie pami ci krótkotrwaªej opiera si na kr»eniu impulsów przez wieloneuronowe ªa«cuchy przebiegaj ce przez mózg i inne elementy ukªadu nerwowego. Informacja jest zapami tywana tak dªugo jak kr» impulsy. Mo»e to trwa od kilku sekund do kilku minut. DP SSI - lab 5 16, Kwiecie«, / 23

27 Dziaªanie pami ci Pami trwaªa to pami o nieograniczonej pojemno±ci, w której ±lady pami ciowe mog by przechowywane przez teoretycznie niesko«czono±. Powstaje ona, gdy przez te same synapsy w krótkim okresie czasu przejdzie kilkadziesi t tysi cy sygnaªów poruszaj cych si na tych samych wieloneuronowych ªa«cuchach. Droga, przez któr przechodz te impulsy zostaje wówczas utorowana w postaci zmian w metabolizmie komórkowym. DP SSI - lab 5 16, Kwiecie«, / 23

28 Dziaªanie pami ci Pami trwaªa to pami o nieograniczonej pojemno±ci, w której ±lady pami ciowe mog by przechowywane przez teoretycznie niesko«czono±. Powstaje ona, gdy przez te same synapsy w krótkim okresie czasu przejdzie kilkadziesi t tysi cy sygnaªów poruszaj cych si na tych samych wieloneuronowych ªa«cuchach. Droga, przez któr przechodz te impulsy zostaje wówczas utorowana w postaci zmian w metabolizmie komórkowym. Proces zapisywania informacji w pami ci nosi nazw konsolidacji i dzieli si na dwa etapy. Pierwszy z nich trwaj cy maksymalnie kilkana±cie godzin to konsolidacja synaptyczna zachodz ca na poziomie neuronów. Tworz one sieci neuronowe koduj ce informacj, w wyniku, czego dochodzi do aktywacji mi dzykomórkowych mechanizmów pozwalaj cych na produkowanie biaªek modykuj cych i tworz cych synapsy. Drugi etap to konsolidacja systemowa, która trwa nawet przez kilka lat. Polega na reorganizacji sieci neuronowych, co sprawia,»e ±lad pami ciowy zajmuje miejsce w rejonie mózgu, gdzie mo»e by przechowywany przez dªugi okres czasu. DP SSI - lab 5 16, Kwiecie«, / 23

29 Sztuczne sieci neuronowe Komputery skªadaj si z szeregowo zªo»onych procesorów i wykonuj dziaªania kolejno. Mózg za± skªada si z milionów neuronów zªo»onych w sie i mimo, i» dziaªaj du»o wolniej od procesorów ich równolegªe uªo»enie sprawia,»e efektywniej rozwi zuj problemy z zakresu na przykªad rozpoznawania obrazów, czy mowy. Na podstawie dziaªania neuronów i poª cze«mi dzy nimi powstaª matematyczny model sztucznej inteligencji nazywany sieciami neuronowymi. DP SSI - lab 5 16, Kwiecie«, / 23

30 Sztuczne sieci neuronowe Komputery skªadaj si z szeregowo zªo»onych procesorów i wykonuj dziaªania kolejno. Mózg za± skªada si z milionów neuronów zªo»onych w sie i mimo, i» dziaªaj du»o wolniej od procesorów ich równolegªe uªo»enie sprawia,»e efektywniej rozwi zuj problemy z zakresu na przykªad rozpoznawania obrazów, czy mowy. Na podstawie dziaªania neuronów i poª cze«mi dzy nimi powstaª matematyczny model sztucznej inteligencji nazywany sieciami neuronowymi. Najwa»niejsz cech dobrze skonstruowanej sieci neuronowej jest generalizacja - zdolno± do uogólniania nabytej wiedzy na podobne problemy. Informacje s przetwarzane równolegle, a sie jest niewra»liwa na bª dy w zbiorze danych i uszkodzenia. Zarówno wprowadzenie do sieci niepoprawnych informacji, jak i usuni cie kilku neuronów nie wpªywaj na spadek, jako±ci dziaªania sieci. DP SSI - lab 5 16, Kwiecie«, / 23

31 Sztuczne sieci neuronowe Zadaniem sztucznego neuronu jest przetwarzanie warto±ci sygnaªów wej±ciowych w pojedynczy sygnaª wyj±ciowy. Jego dziaªanie i budowa przypominaj dziaªanie neuronu w ludzkim organizmie. Poszczególne cz ±ci modelu sztucznego odpowiadaj elementom neuronu naturalnego. Rysunek: Schemat budowy sztucznego neuronu. DP SSI - lab 5 16, Kwiecie«, / 23

32 Sztuczne sieci neuronowe Sztuczny neuron, przestawiony na Rys. 9, skªada si z nast puj cych cz ±ci skªadowych peªni cych podane funkcje: wej±cia, które odpowiadaj dendrytom. Wej±cia mog by tutaj równie» brane pod uwag, jako sygnaªy przechodz ce przez dendryty. Wektor sygnaªów wej±ciowych okre±lany jest, jako x. DP SSI - lab 5 16, Kwiecie«, / 23

33 Sztuczne sieci neuronowe Sztuczny neuron, przestawiony na Rys. 9, skªada si z nast puj cych cz ±ci skªadowych peªni cych podane funkcje: wej±cia, które odpowiadaj dendrytom. Wej±cia mog by tutaj równie» brane pod uwag, jako sygnaªy przechodz ce przez dendryty. Wektor sygnaªów wej±ciowych okre±lany jest, jako x. wagi przy pomocy, których sygnaª jest modykowany w sposób podobny do tego jak robi to synapsy w naturalnym neuronie. W zale»no±ci od warto±ci wagi sygnaª jest wyciszany lub wzmacniany w stosunku do pozostaªych. Wag musi by tyle samo ile wej± i s oznaczane, jako wektor w. DP SSI - lab 5 16, Kwiecie«, / 23

34 Sztuczne sieci neuronowe Sztuczny neuron, przestawiony na Rys. 9, skªada si z nast puj cych cz ±ci skªadowych peªni cych podane funkcje: wej±cia, które odpowiadaj dendrytom. Wej±cia mog by tutaj równie» brane pod uwag, jako sygnaªy przechodz ce przez dendryty. Wektor sygnaªów wej±ciowych okre±lany jest, jako x. wagi przy pomocy, których sygnaª jest modykowany w sposób podobny do tego jak robi to synapsy w naturalnym neuronie. W zale»no±ci od warto±ci wagi sygnaª jest wyciszany lub wzmacniany w stosunku do pozostaªych. Wag musi by tyle samo ile wej± i s oznaczane, jako wektor w. blok sumuj cy dziaªaj cy podobnie do j dra neuronu. Nast puje w nich sumowanie sygnaªów wej±ciowych przy uwzgl dnieniu ich wag i pewnej warto±ci progowej. W wyniku dziaªania bloku sumuj cego powstaje sygnaª e, którego warto± jest wyra»ona wzorem n e = w i x i p, (1) i=1 gdzie, n to ilo± wej±, a p warto± progowa. DP SSI - lab 5 16, Kwiecie«, / 23

35 Sztuczne sieci neuronowe blok aktywacyjny, którego odpowiednikiem jest wzgórek aksonu. Tutaj sygnaª funkcji zostaje przeksztaªcony przy pomocy funkcji aktywacji f (x), mog c by zarówno funkcj liniow, jak i nieliniow. Najcz ±ciej u»ywane funkcje aktywacji to: funkcja skoku jednostkowego { f (x) = 1 dla x p 0 dla x < p (2) DP SSI - lab 5 16, Kwiecie«, / 23

36 Sztuczne sieci neuronowe blok aktywacyjny, którego odpowiednikiem jest wzgórek aksonu. Tutaj sygnaª funkcji zostaje przeksztaªcony przy pomocy funkcji aktywacji f (x), mog c by zarówno funkcj liniow, jak i nieliniow. Najcz ±ciej u»ywane funkcje aktywacji to: funkcja skoku jednostkowego { f (x) = 1 dla x p 0 dla x < p (2) funkcja sigmoidalna f (x) = gdzie β to wspóªczynnik sko±no±ci 1, (3) 1 + e βx DP SSI - lab 5 16, Kwiecie«, / 23

37 Sztuczne sieci neuronowe blok aktywacyjny, którego odpowiednikiem jest wzgórek aksonu. Tutaj sygnaª funkcji zostaje przeksztaªcony przy pomocy funkcji aktywacji f (x), mog c by zarówno funkcj liniow, jak i nieliniow. Najcz ±ciej u»ywane funkcje aktywacji to: funkcja skoku jednostkowego { f (x) = 1 dla x p 0 dla x < p (2) funkcja sigmoidalna f (x) = gdzie β to wspóªczynnik sko±no±ci funkcja tangens hiperboliczny 1, (3) 1 + e βx f (x) = ex e x e x. (4) + e x DP SSI - lab 5 16, Kwiecie«, / 23

38 Sztuczne sieci neuronowe blok aktywacyjny, którego odpowiednikiem jest wzgórek aksonu. Tutaj sygnaª funkcji zostaje przeksztaªcony przy pomocy funkcji aktywacji f (x), mog c by zarówno funkcj liniow, jak i nieliniow. Najcz ±ciej u»ywane funkcje aktywacji to: funkcja skoku jednostkowego { f (x) = 1 dla x p 0 dla x < p (2) funkcja sigmoidalna f (x) = gdzie β to wspóªczynnik sko±no±ci funkcja tangens hiperboliczny 1, (3) 1 + e βx f (x) = ex e x e x. (4) + e x Potencjaª membranowy jest argumentem funkcji aktywacji. DP SSI - lab 5 16, Kwiecie«, / 23

39 Sztuczne sieci neuronowe blok aktywacyjny, którego odpowiednikiem jest wzgórek aksonu. Tutaj sygnaª funkcji zostaje przeksztaªcony przy pomocy funkcji aktywacji f (x), mog c by zarówno funkcj liniow, jak i nieliniow. Najcz ±ciej u»ywane funkcje aktywacji to: funkcja skoku jednostkowego { f (x) = 1 dla x p 0 dla x < p (2) funkcja sigmoidalna f (x) = gdzie β to wspóªczynnik sko±no±ci funkcja tangens hiperboliczny 1, (3) 1 + e βx f (x) = ex e x e x. (4) + e x Potencjaª membranowy jest argumentem funkcji aktywacji. wyj±cie odpowiadaj ce aksonowi, którym sygnaª opuszcza neuron. Sygnaªem opuszczaj cym jest warto± funkcji aktywacji dla potencjaªu membranowego. DP SSI - lab 5 16, Kwiecie«, / 23

40 Sie feedforward Sztuczne sieci neuronowe Sie feedforward skªada si z kilku warstw, pierwsza z nich jest nazywana warstw wej±ciow, ostania wyj±ciow, a ±rodkowe warstwami ukrytymi. Dane przechodz kolejno od warstwy wej±ciowej, przez warstwy ukryte do warstwy wyj±ciowej. Ruch odbywa si tylko w jednym kierunku. Warstwy ró»ni si mi dzy sob ilo±ci neuronów i funkcja aktywacyjn. Niemniej jednak w obr bie jednej warstwy wszystkie neurony maja taka sam funkcj. DP SSI - lab 5 16, Kwiecie«, / 23

41 Sie feedforward Sztuczne sieci neuronowe Sie feedforward skªada si z kilku warstw, pierwsza z nich jest nazywana warstw wej±ciow, ostania wyj±ciow, a ±rodkowe warstwami ukrytymi. Dane przechodz kolejno od warstwy wej±ciowej, przez warstwy ukryte do warstwy wyj±ciowej. Ruch odbywa si tylko w jednym kierunku. Warstwy ró»ni si mi dzy sob ilo±ci neuronów i funkcja aktywacyjn. Niemniej jednak w obr bie jednej warstwy wszystkie neurony maja taka sam funkcj. W warstwie wej±ciowej neurony maj tylko jedno wej±cie. Funkcja aktywacyjna jest tutaj do± prosta, a jej zadaniem jest obróbka danych przez normalizacj, ltracj lub inne przetwarzanie danych. DP SSI - lab 5 16, Kwiecie«, / 23

42 Sie feedforward Sztuczne sieci neuronowe Sie feedforward skªada si z kilku warstw, pierwsza z nich jest nazywana warstw wej±ciow, ostania wyj±ciow, a ±rodkowe warstwami ukrytymi. Dane przechodz kolejno od warstwy wej±ciowej, przez warstwy ukryte do warstwy wyj±ciowej. Ruch odbywa si tylko w jednym kierunku. Warstwy ró»ni si mi dzy sob ilo±ci neuronów i funkcja aktywacyjn. Niemniej jednak w obr bie jednej warstwy wszystkie neurony maja taka sam funkcj. W warstwie wej±ciowej neurony maj tylko jedno wej±cie. Funkcja aktywacyjna jest tutaj do± prosta, a jej zadaniem jest obróbka danych przez normalizacj, ltracj lub inne przetwarzanie danych. Zadaniem warstw ukrytych jest przetwarzanie neuronowe. Cechuj si one funkcjami aktywacyjnymi typu synodalnego. Ostateczna odpowied¹ sieci neuronowej jest uzyskiwana w warstwie wyj±ciowej. Funkcja aktywacyjna tej warstwy musi by dopasowana do warto±ci oczekiwanych wyników dziaªania sieci. DP SSI - lab 5 16, Kwiecie«, / 23

43 Uczenie sieci Uczenie sieci polega na skªanianiu jej do odpowiedniej reakcji na zadane sygnaªy wej±ciowe. Dokonuje si tego poprzez zastosowanie odpowiedniego algorytmu dobierania warto±ci wag synaptycznych tak, aby wynik najbardziej odpowiadaª oczekiwanym wynikom. DP SSI - lab 5 16, Kwiecie«, / 23

44 Uczenie sieci Uczenie sieci polega na skªanianiu jej do odpowiedniej reakcji na zadane sygnaªy wej±ciowe. Dokonuje si tego poprzez zastosowanie odpowiedniego algorytmu dobierania warto±ci wag synaptycznych tak, aby wynik najbardziej odpowiadaª oczekiwanym wynikom. Uczenie mo»e odbywa si na dwa sposoby. Pierwszy z nich to uczenie nadzorowane, nazywane tak»e uczeniem z nauczycielem. Porównuje si tutaj bezpo±rednio sygnaª wej±ciowy ze znanymi poprawnymi rozwi zaniami i na tej podstawie znajduje si algorytm przyporz dkowywania odpowiednich wag. DP SSI - lab 5 16, Kwiecie«, / 23

45 Uczenie sieci Uczenie sieci polega na skªanianiu jej do odpowiedniej reakcji na zadane sygnaªy wej±ciowe. Dokonuje si tego poprzez zastosowanie odpowiedniego algorytmu dobierania warto±ci wag synaptycznych tak, aby wynik najbardziej odpowiadaª oczekiwanym wynikom. Uczenie mo»e odbywa si na dwa sposoby. Pierwszy z nich to uczenie nadzorowane, nazywane tak»e uczeniem z nauczycielem. Porównuje si tutaj bezpo±rednio sygnaª wej±ciowy ze znanymi poprawnymi rozwi zaniami i na tej podstawie znajduje si algorytm przyporz dkowywania odpowiednich wag. Drugi sposób to uczenie nienadzorowane, inaczej uczenie bez nauczyciela. Uczenie to jest stosowane, gdy nie jest znana posta poprawnych wyników. DP SSI - lab 5 16, Kwiecie«, / 23

46 Uczenie sieci Algorytm wstecznej propagacji bª dów (nadzorowane) Dziaªanie algorytmu opiera si na minimalizacji sumy kwadratów bª dów przy wykorzystaniu optymalizacyjnej metody najwi kszego spadku. Jest to metoda gradientowa, w której w ka»dej iteracji wykonuje si krok w lokalnie najlepszym kierunku wyznaczonym przez ujemny gradient. Spadek warto±ci funkcji w znalezionym punkcie ma by jak najwi kszy. DP SSI - lab 5 16, Kwiecie«, / 23

47 Uczenie sieci Algorytm wstecznej propagacji bª dów (nadzorowane) Dziaªanie algorytmu opiera si na minimalizacji sumy kwadratów bª dów przy wykorzystaniu optymalizacyjnej metody najwi kszego spadku. Jest to metoda gradientowa, w której w ka»dej iteracji wykonuje si krok w lokalnie najlepszym kierunku wyznaczonym przez ujemny gradient. Spadek warto±ci funkcji w znalezionym punkcie ma by jak najwi kszy. Odnosz c si do sieci neuronowej, zastosowanie algorytmu wstecznej propagacji polega na minimalizacji funkcji bª du. Proces b dzie polegaª na obliczaniu bª dów neuronów, zaczynawszy od warstwy wyj±ciowej a» do pierwszej warstwy ukrytej. Tak obliczany bª d wykorzystywany jest do modykowania wag poª cze«mi dzy neuronami. DP SSI - lab 5 16, Kwiecie«, / 23

48 Uczenie sieci Bª d dla neuronów w warstwie wyj±ciowej jest liczony za pomoc k wyjscie k (1 wyjscie k )(oczekiwana k wyjscie k ), (5) a dla neuronów w warstwach ukrytych k wyjscie k (1 wyjscie k ) l wyjscia w lk k. (6) Tak obliczany bª d jest wykorzystywany w równaniu aktualizacji wag dla ka»dego i-tego wej±cia w i w i + w i. (7) DP SSI - lab 5 16, Kwiecie«, / 23

49 Metoda momentum Uczenie sieci Algorytm wstecznej propagacji bª dów mo»na zmodykowa tak, aby zwi kszy szybko± uczenia, ale zarazem nie zaburzy stabilno±ci uczenia. Jest to metoda momentum, czyli technika heurystyczna, która ma za zadanie unikania minimum lokalnych. Momentum polega na zapami taniu dla ka»dej wagi poprzedniej warto±ci, która byªa dodana do wagi w poprzedniej epoce. Nast pnie, gdy nast puje aktualizacja wag w ka»dej epoce, zostaje dodana pewna cz ± warto±ci. Jak du»a, o tym decyduje wspóªczynnik momentum α (0, 1). Zgodnie z tym, wzór na aktualizacje wag przedstawiony wcze±niej modykujemy w i w i + w i + α w i (n 1). (8) Aby nakre±li wpªyw momentum, zauwa»my,»e wagi zmieniaj si zale»nie od kierunku, w którym pod»ano w poprzedniej epoce, wtedy ruch ten b dzie bardziej zdecydowany w aktualnej epoce. DP SSI - lab 5 16, Kwiecie«, / 23

50 Uczenie sieci Dzi kuj za uwag ;) DP SSI - lab 5 16, Kwiecie«, / 23