Budowa i własności sztucznych neuronów i sieci

Transkrypt

1 Budowa i własości sztuczch euroów i sieci Uwaga: Slajd w tej prezetacji są iteswie aimowae, więc a statczch kopiach mogą bć mało cztele (elemet pokazwae podczas aimacji sekwecjie a statczej kopii są ałożoe jede a drugie!) Droga postępowaia Jak zbudowae są sztucze euro i sieci? A) B) w w 2 w2 3 w w w g(, w) f() X X2 X X w w w w Y Y2 w w Elemet, z którch buduje się euroow model Budowa wierego modelu awet pojedczego eurou (komórki Purkijego) jest bardzo kosztowa (de Schutter 5) Do zbudowaia modelu użto: 6 kompartmetów 82 modeli kaałów joowch tpów różch złożoch opisów matematczch kaałów zależch od apięcia 32 rówań różiczkowch! 92 parametrów do oszacowaia prz dostrajaiu modelu Opisu morfologii zrekostruowaej za pomocą mikroskopu

2 Obraz wików smulacji komputerowej modelu komórki Purkijego uzskae w badaiach de Schuttera: u gór aktwość elektrcza smulowaej komórki, u dołu zjawiska biochemicze (przepłw joów wapia 2 Neuro - podstawow elemet sieci w w 2 s gwi, i w... i,, agregacja dach wejściowch Zadaia??? Jak zróżicować sgał wejściowe? f s obliczeie wartości fukcji aktwacji Proces składaia sgałów w biologiczm euroie Kwestia wag różicującch wejścia do eurou iformatka + Załóżm, że oceia kwiat ma ład kolor, ale brzdki zapach. euro wśle a wjściu sgał, że kwiat mu się podoba Prz przeciwm rozłożeiu wag wik jest odwrot euro wśle a wjściu sgał, że kwiat mu się ie podoba do sgału wejściowego zapach przpiszem małą wagę a do sgału kolor wagę dużą iformatka + iformatka + 2 2

3 Wagi mają przemoż wpłw a zachowaie euroów! Wiosek: Prz tm samm zestawie sgałów wejściowch mam dwie całkiem róże reakcje eurou! to wagi decdują o zachowaiu eurou i całej sieci! iformatka + 3 Schemat odruchu warukowego Pawłowa Przkład sieci mającej budowę opartą a próbie odwzorowaia rzeczwistego mechaizmu eurofizjologiczego Reakcja: wdzielaie śli 3

4 Własości eurou determiują: przjęta agregacja dach wejściowch oraz założoa fukcja wjścia Wracam do modelu eurou użwaego w praktczie stosowach sieciach euroowch Agregacja liiowa 2 w s w i i Neuro liiow i w 2 s g wi, i w... i,, = s Tożsamościowa fukcja aktwacji W przpadku eurou liiowego jego zachowaie daje się łatwo ziterpretować Z euroem liiowm (i z imi euroami budowami a jego bazie) związaa jest jeszcze sprawa wrazu wolego w formule agregacji Czsta agregacja liiowa: 2 w s w i i i w s g w 2 wi, i i,, w... ma wadę, polegającą a tm, że charakterstka eurou musi tu przechodzić przez początek układu = s To adal jest euro liiow! Żeb zachować liiową postać wzoru opisującego euro dodaje się dodatkowe pseudowejście azwae BIAS, które zawsze dostarcza sgał Bogatsze możliwości daje agregacja afiicza (z wrazem wolm w formule): Wted agregacja jest adal liiowa: s s i i w w i i w i i W strukturze sieci euroowej czasem zazacza się bias jako osobe wejście W przpadku eurou ieliiowego ie jest tak łatwo, poieważ zagregowa (w taki lub i sposób) sgał wejściow może bć przetworzo prz użciu fukcji ieliiowej o teoretczie dowolm kształcie. 4

5 -2,9-2,7-2,5-2,3-2, -,9 -,7 -,5 -,3 -, -,9 -,7 -,5 -,3 -,,,3,5,7,9,,3,5,7,9 2, 2,3 2,5 2,7 2, Własości eurou determiują: przjęta agregacja dach wejściowch oraz założoa fukcja wjścia Fukcja przejścia wiąże zagregowae wejścia do eurou z jego sgałem wjściowm Agregacja liiowa s w i i euro radial liiow i euro ieliiow 2 w w 2 s g wi, i w i,, = s f s i 2 s w i i Agregacja radiala Najstarsze prace dotczące sieci euroowch wkorzstwał jako charakterstkę eurou fukcję progową ( wszstko albo ic ). Warto odróżić dwie ieliiowe charakterstki eurou: uipolarą (po lewej) i bipolarą (po prawej) Potem wprowadzoo obszar mootoiczej zależości wejścia od wjścia, wzbogacając możliwości obliczeiowe sieci. Róże przkładowe formuł matematcze, wkorzstwae jako fukcje przejścia Fukcje aktwacji eurou może bć dowola, ale ajczęściej stosowae są iżej podae kształt.,5,5 S -,5 - Liiowa Sigmoidala Tagesoidala -,5 Gaussa 5

6 jakość działaia sieci.. :=/(+ep(-*)) Wkres sigmoid w zależości od parametru β β=,5 β= β=2,8,6,4 W wielowmiarowch przestrzeiach charakterstka eurou ma formę urwiska sigmoidalego,2 S f ( s) ep( s) Dobór współczika β ma wpłw a jakość działaia sieci! Aproksmacja sigmoid prz realizacji sprzętowej β Ie przbliżeie sigmoid fukcjami sklejami + Fukcja tages hiperbolicz ma praktczie taki sam kształt, tlko jej wartości zmieiają się od - do +, a ie od do + jak w sigmoidzie - ep( s) ep( s) f ( s) tah( s) ep( s) ep( s) 6

7 β=,5 β= β=2,8,6 Porówaie: Nieliiowe fukcje aktwacji też bwają róże ie, iż omówioe wżej:,4,2-5 5 S Sigmoida f ( s) ep( s) Fukcja tages hiperbolicz ep( s) ep( s) f ( s) tah( s) ep( s) ep( s) Dobierając współcziki wagowe wejść eurou moża wpłwać a kształt jego ieliiowej charakterstki! Podsumowując do tpowego użtkowaia mam do dspozcji główie trz tp euroów: w Neuro liiow Najbardziej popular euro ieliiow sigmoidal, adając się do budow sieci MLP 2 w w 2... w s i w i i = s 2 w w 2... w s w i i i.. :=/(+ep(-*))

8 Neuro radial użwa w sieci RBF i GRNN Sposób separacji przestrzei dach przez: (a) euro sigmoidal, (b) euro radial w 2 w 2... w i 2 s w i i Porówaie zasad działaia perceptrou wielowarstwowego (MLP) i sieci radialej (RBF) To samo pokazae w i sposób Możliwości uzskiwaia różch kształtów i rozmiarów obszarów deczjch prz pomoc euroów RBF Neuro radial użwa w sieci Kohoea w 2 w 2... w i 2 s w i i 8

9 Sztucz euro jest więc w sumie dosć prostą strukturą, dzięki czemu stosukowo łatwo jest stworzć sieć takich elemetów Sgał wejściowe 2. w w 2 w Zmiee "wagi" Sgał Sał wjściow Jak łączć euro, żeb wszła dobra sieć? Obserwacja połączeń w małch skrawkach mózgu pozwala lokalizować połączeia i ustalać ich liczbę Jedak z tej wiedz z reguł się ie korzsta prz ustalaiu struktur sztuczch sieci euroowch Niektórz autorz silą się a tworzeie sieci o bardzo orgialej architekturze Bwał prób budowaia sieci o architekturze ściśle dopasowaej do atur rozwiązwaeg o zadaia (tutaj pokazaa struktura sieci przezaczoa bła do rozpozawaia kodów pocztowch a kopertach) 9

10 Nie zdało to jedak egzamiu i obecie prz budowie sztuczch sieci euroowch ajczęściej przjmuje się arbitralie, że ich budowa jest złożoa z warstw, podobie jak a przkład struktur euroowe zlokalizowae w siatkówce oka Rówież w korze mózgowej daje się zaobserwować warstwowa budowa Kora wzrokowa Połączeia do i od poszczególch warstw w mózgu Warstwowość kor wzrokowej widać lepiej prz wborze małch jej fragmetów Trzeba jedak dodać, że sieci euroowe w mózgu miewają też zaczie bardziej skomplikowaą strukturę Przkład: schemat kor móżdżku Schemat sztuczej sieci euroowej (uproszczoej) Warstwa wejściowa Warstwa ukrta (jeda lub dwie) Warstwa wjściowa 2 Działaie sieci zależ od: przjętego modelu eurou, topologii (struktur) sieci, wartości parametrów eurou, ustalach w wiku uczeia

11 Prawdziwe sieci euroowe mają zwkle bardzo wiele wejść, móstwo euroów ukrtch oraz ajczęściej kilka wjść. Tmczasem a prezetowach tu rsukach chętie stosujem schemat, w którm mam zaledwie dwa wejścia, jedo wjście oraz iewiele euroów ukrtch. Przkład połączeń międzeuroowch wstępującch w sieciach euroowch. (m) - połączeia międzwarstwowe, (w) - połączeia wewątrzwarstwowe, () - połączeia adwarstwowe, (s) samosprzężeia, (r) - połączeia rekurecje s sgał a wejściu r 2 2 Dlaczego? Bo zbiór sgałów wejściowch dla sieci o dwóch wejściach moża łatwo pokazać w postaci puktu a płaszczźie, a wartość sgału a wjściu sieci moża sgalizować a przkład kolorem puktu m m m m w w s m m r mi ma sgał a wejściu r r W strukturze sieci istote jest to, że każd euro warstw wcześiejszej komuikuje się z każdm euroem warstw astępej atomiast euro w warstwach ie komuikują się pomiędz sobą W dużej sieci trudo jest przedstawić i prześledzić wszstkie połączeia Warstw ukrtch może bć wiele

12 Skala możliwości sieci zależ od liczb warstw Struktura sieci ieliiowej Tp obszaru deczjego Przkładow kształt obszaru a płaszczźie sgałów wejściowch Zdolość do rozwiązaia zadaia klasfikacji X X 2 X X 2 X X 2 Jedowarstwowa Dwuwarstwowa Trójwarstwowa półprzestrzeń ograiczoa przez hiperpłaszczzę wpukłe oraz jedospóje ograiczoe hiperpłaszczzami simpleks dowol obszar o złożoości ograiczoej włączie liczbą euroów X 2 X 2 X 2 X X X Jedak sieci z bardziej liczmi warstwami ukrtmi ie są szczególie gode poleceia! Poglądowe działaie sieci euroowej Początek działaia sieci euroowej wiąże się z pojawieiem się a jej wejściach sgałów (czerwoe kropki) iosącch owe zadaie do rozwiązaia Sgał wejściowe (ie przetworzoe w żade sposób w warstwie wejściowej) są rozsłae do wszstkich euroów warstw ukrtej 2

13 Po przetworzeiu sgałów przez euro warstw ukrtej powstają sgał pośredie, kierowae do euroów warstw wjściowej Neuro warstw wjściowej korzstają ze wstępie opracowaej iformacji pochodzącej z warstw ukrtej i obliczają końcowe wiki, będące rozwiązaiem postawioego zadaia Przkładow rozkład pobudzeń euroów w sieci Tp : MLP :--:, Id. = 93 Jakość ucz. =,785276, Jakość wal. =,777778, Jakość test. =, Problem rozwiązwale i ie rozwiązwale z pomocą jedowarstwowej sieci euroowej Możliwości itelektuale sieci z większą lub miejszą liczbą warstw ilustruje za schemat Liebmaa Rola warstw ukrtej przkładow problem żółt czar Na wejście sieci podawae są współrzęde puktów. Sieć ma się auczć, które pukt są żółte, a które czare? 3

14 . :=/(+ep(-*)) :=/(+ep(-*)) :=/(+ep(-*)) :=/(+ep(-*)) :=/(+ep(-*)) :=/(+ep(-*)) :=/(+ep(-*)) Rola warstw ukrtej 6 Przkładowe rzeczwiste zachowaia sieci jedo-, dwu- oraz trójwarstwowej Niektóre zadaia rozpozawaia potrafią bć aprawdę paskude! Przpomijm, że obok różorodości wikającej z różego doboru liczb warstw jest jeszcze różorodość wikająca z faktu istieia w sieci euroów różch charakterstkach Najbardziej tpowa struktura: sieć MLP Podstawowe właściwości: wiele wejść i wiele wjść jeda (rzadziej dwie) warstw ukrte ieliiowe charakterstki euroów ukrtch w formie sigmoid W warstwie wjściowej euro mogą bć liiowe lub także mogą mieć charakterstki sigmoidale Uczeie ajczęściej przeprowadzae metodą wsteczej propagacji błędów Często w różch warstwach sieci euro mają róże charakterstki, zarówo ieliiowe jak i liiowe 4

15 Sieć tpu RBF w zastosowaiu do klasfikacji (wkrwa i sgalizuje skupiska dach wejściowch) Dwie filozofie tworzeia sieci RBF Elemet zbioru uczącego dzieloe są a grup elemetów podobch (metodą k-średich, która będzie zaraz opisaa). Jak uczć taką sieć? W charakterze wag euroów radialch stosowae są środki ciężkości każdej wróżioej grup. Przestrzeń sgałów wejściowch oraz wag Określeie wag euroów radialch metodą K-średich Przedstawim działaie tego algortmu w pięciu krokach Dla próbek wejściowch..., metodę k-meas wkorzstuje się do utworzeia k klastrów, prz czm dla każdego z ich zostaie wzaczo elemet modal, reprezetując umow środek całej grup w przestrzei cech. Metoda k-meas działa w sposób iteracj. W celu wszukaia ajlepszch lokalizacji dla środkowch puktów każdego z klastrów a początek przjmuje się lokalizacji przpadkowe, a potem się je doskoali, tak, ab optmalie dopasować każd wzorzec do klastra dach wejściowch, którego środek jest ajbliżej wzorca. 5

16 ) Ustaleie środków poszczególch klas za pomocą pierwotch wartości m, m,..., m K. Na początku są to wektor Krok przpadkowo rozrzucoe w przestrzei sgałów wejściowch. 2) Wzaczeie odległości międz wszstkimi próbkami,,..., ciągu, a wszstkimi środkami klas m, m m K, Krok 2,..., d 2, m ) m ( m )... ( m, dla i=,...,- oraz j=,...,k- 2 ij i j ip ) 2 ( i j i j jp 3) Połączeie w jedą grupę wszstkich tch sgałów wejściowch i spośród próbek,..., którch odległość od środka mj klas j jest miejsza od odległości tchże Krok 3 sgałów wejściowch i od środków ml ich klas (l j) w celu utworzeia klas j. Czość ta wkowaia jest dla wszstkich umerów klas j=,...,k-. 4) Zalezieie owch środków klas, poprzez wszukaie wśród sgałów i tej próbki, której współrzęde są ajbliższe wartościom średim współrzędch wzaczom dla wszstkich sgałów wejściowch, które został ulokowae w klasie j. (W wariacie metod pozwalającm a Krok to, żeb 4 wzorzec klas mógł bć obiektem abstrakcjm, ie ależącm do zbioru próbek,,..., środkiem klas j staje się po prostu pukt, którego współrzęde są wartościami średimi współrzędch elemetów i przpisach do tej klas.) 5) Jeśli w ciągu ostatiej iteracji żade z elemetów i ie zmieił swojej klas ależ zakończć proces klasterigu, w przeciwm Krok 5 przpadku trzeba wrócić do puktu 3. Puktem wjścia do algortmu k średich jest zbiór dach, o którch sądzim, że tworzą k skupisk. Na rsuku k = 3. W losow sposób wbieram k puktów (rozrzucoch) i azwam te pukt prowizorczmi cetrami budowach skupisk. Na rsuku pukt wbrae jako cetra są ozaczoe zakiem X, a skupiska są azwae red, gree oraz blue Na podstawie odległości od wbrach cetrów skupisk z przpisami im azwami klas zalicza się wszstkie pukt do odpowiedich klas. Każd pukt wejściow jest zaliczo do tej klas której cetrum zajduje się ajbliżej ze wszstkich cetrów. Teraz dla każdej z klas wzacza się owe cetrum a podstawie średiej współrzędch wszstkich puktów przpisach do daej klas Dokouje się poowego przpisaia puktów do poszczególch klas i poowie wzacza się w poszczególch klasach średie. Czości powższe powtarza się tak długo, jak długo chociaż jede pukt zmiei swoją przależość do klas. Po przerwaiu algortmu ostatio użte średie wskazują cetra klas. Odmieie działającm elemetem użwam w iektórch tpach jest tzw. euro radial (wkorzstwa w sieciach RBF) t... t r r Agregacja sgałów wejściowch w tm tpie eurou polega a obliczaiu odległości pomiędz obecm wektorem wejściowm X a ustalom podczas uczeia cetroidem pewego podzbioru T f f -t Rówież ieliiowa fukcja przejścia w tch euroach ma odmieą formę - dzwou gaussoid - czli jest fukcją iemootoiczą. 6