Konspekt projektu Cele projektu jest przedstawene dzałana dynacznej sec neuronowej na przykładze probleu kowojażera, przy poocy prograu napsanego Jave. Eksperyent a na celu zweryfkowane wynków otrzyanych drogą praktyczną, z oczekwany rozwązana teoretyczny. Analza zagadnena poruszanego w projekce a na celu wycągnęce wnosków, w jak stopnu użyce autoasocjacyjnych sec neuronowych w kobnatorycznych probleach NP.-zupełnych(np. proble TSP), jest opłacalne efektywne bądź newskazane ryzykowne. Wstęp 1.1.Wstęp teoretyczny do sec Hopfelda 1.2.Zadane optyalzacj w problee kowojażera 1.3.Dynaka stablność sec Hopfelda 1.4.Ipleentacja prograowa sec Hopfelda Proble kowojażera w aspekce sec neuronowych 2.1. Reprezentacja danych w zagadnenu kowojażera 2.2. Paraetry funkcj energetycznej 2.3. Dobór wag względnych sec 2.4. Zodyfkowana funkcja energetyczna (Ansar Hou) Testowane, dobór paraetrów analza prograe TSP.jar 4.1. Progra testowy Tsp.jar (wprowadzene) 4.2. Testy orygnalną etodą Hopfelda Tanka 4.3. Testy zodyfkowaną etodą Ansar Hou 4.4. Analza porównawcza etod sec neuronowych Podsuowane, wnosk 5.1. Wnosk ogólne 5.2. Weryfkacja wynków zbeżność optyalność rozwązana 5.3. Inne zastosowana sec Hopfelda w nauce technce Zadana do saodzelnego rozwązana 1
Wstęp 1.1. Wstęp teoretyczny do sec Hopfelda Seć Hopfelda należy do rodzny rekurencyjnych sec neuronowych. Jej specyfka, pozwalająca na zastosowane w rozpoznawanu obrazów, czy w rozwązywanu probleów optyalzacj, polega dynaczny charakterze procesów w nej zachodzących. W noralnych secach przepływ sygnałów jest jednokerunkowy, ożna w nch wyróżnć warstwę wejścową, wyjścową warstwy pośredne. W sec Hopfelda, kerunek przepływu nforacj jest odwrócony, dzęk powązanu neuronów za poocą welu sprzężeń zwrotnych to gwarantuje postrzegane jej jako systeu dynacznego. Została ona zdefnowana w hstorycznej pracy Hopfelda, której publkacja w 1982 roku stała sę punkte zwrotny w badanach nad seca neuronowy przywrócła zanteresowane ty systea w sferze docekań naukowych. Rys.1. Sprzężena zwrotne w sec Hopfelda W sec Hopfelda neurony ają nelnowe charakterystyk: Nelnowość e gdze: y e e j j j j j w y x y dana jest zależnoścą bnarną: 2
y j1 1 y j 0 j j dla e w 0 j 1 dla e w 0 3 dla e w gdze: nuer -tego neuronu, j oznacza chwlę czasową określającą w jak oent procesu dynacznego następuje po pobudzenu sec obecne sę znajduje aktywuje neurony jest zwykle sgodą lub nną stroą funkcją zblżoną do bnarnej. Klasyczna sgoda a następującą postać wzoru: 1 e e 1 exp dla dużych wartośc, funkcja przypona funkcję progową, dla ałych przebeg jest gładszy w wynku czego zachowane sec cągłej zaczyna odbegać od zachowana sę sec dyskretnej, pleentowanej na koputerach. Funkcja e Suowane sygnałów wyjścowych y j z poszczególnych neuronów, we wzorze defnujący łączne pobudzene e j odbywa sę po wszystkch -tych eleentach sec. Oznacza to, że w sec występują równeż połączena z warstw dalej położonych (wyjścowych) do warstw wcześnejszych czyl sprzężene zwrotne. Taka struktura, powoduje, że w secach ożlwe jest powstawane przebegów dynacznych. Uzyskane w kroku j-ty wartośc sygnałów wyjścowych y j wszystkch neuronów j1 sec (=1,2,...,k) stają sę autoatyczne wartośca wejścowy y w kolejny kroku syulacj. 1.2. Dynaka stablność sec Hopfelda Dynaczne stany przestrzen wyjść neuronów ogą być stablne lub nestablne. O ty, czy przebeg wykażą zbeżność lub ne, decyduje zestaw współczynnków wagowych w. Zgodne z twerdzene Cohena Grossberga, seć generuje stablne rozwązana, jeśl uneożlw sę stnene sprzężeń zwrotnych pojedynczych neuronów(wyjśce pojedynczego neuronu ne oże być połączone z jego wejśce), co zachodz gdy :
w 0 oraz zapewn sę syetrę sec (acerz wag, będze syetryczna) j w w, to wówczas seć wykazuje stablność. Proble polega na ty, żeby wybrać konkretny stan docelowy przestrzen wyjść, których jest neskończene wele, a który będze spełnał postawone warunk zadana, np. rozwązanu probleu kowojażera. Często dobera sę stany o nalnej energ, gdze funkcją energ oże być funkcją Lapunowa lub odpowedno zodyfkowana jej postać: j 1 j j j j E w y y x y w y 0 2 Z defncj funkcj Lapunowa, jej energa(wartość) oże pozostać stała lub sę znejszać, ne oże rosnąć. Zate funkcja w końcu osągne pewne nu lokalne(lub globalne), wtedy procesy w sec ustają, a saa seć generuje stablne rozwązane. Dynakę sec Hopfelda(w odelu cągły) wygodne jest opsać za poocą różnczkowego równana stanu: de w y x, dt y ( e ), wtedy zachodz zależność ędzy pochodną pobudzeń a pochodną funkcj energetycznej opsanej wyżej: de dt E dy Seć neuronowa Hopfelda oże być wykorzystana jako paęć autoasocjacyjna (skojarzenowa). Oznacza to, że seć na zasadze swobodnych skojarzeń, pownna odnaleźć jeden z zapaętanych wcześnej wzorców. Dzęk teu a zastosowane.n. w rozpoznawanu obrazów a także w rozwązywanu kobnatorycznych probleów optyalzacyjnych. Uczene (trenng) sec neuronowej do pełnena funkcj paęc asocjacyjnej a za zadane tak dobór wag W poszczególnych neuronów, aby na etape odtwarzana seć była zdolna odnaleźć zbór danych, najblższy w sense ar Hanga, wektorow testująceu. Proces uczena sec kształtuje obszar przycągana (atrakcj) 4
poszczególnych punktów równowag, odpowadających dany uczący. W przypadku sec autoasocjacyjnej ay do czynena z wektore uczący x lub zbore wektorów, które w wynku przeprowadzonego uczena sec ustalają położene poszczególnych atraktorów. Seć Hopfelda uczy sę etodą Hebba. 1.3. Zadane optyalzacj w problee kowojażera Proble kowojażera (Travelng Salesan Proble) polega na ustalenu optyalnej trasy objazdu n ast przez wędrownego sprzedawcę, który us być we wszystkch astach przynajnej raz chce wydać jak najnej na sae podróże. Jako dane w problee, podane są odległośc ędzy asta najczęścej w postac acerzy D o wyarze nxn. Koszty podróży jest równy długośc suarycznej przebytej drog. j Tak postawony proble należy do zadań NP.-trudnych, tzn. takch, na których rozwązane czas rośne wykładnczo wraz ze wzroste lczby rozważanych n ast. Złożoność algorytu zachłannego dla probleu kowojażera wynos: n! O( n) 2n Oznacza to, że ne jest ożlwy do praktycznego stosowana algoryt o takej złożonośc, dla dużego wyaru probleu. (dla 10 ast, trzeba przeszukać 181440 sekwencj połączeń) Rys.2. Graf cyklu w problee kowojażera 5
Z racj na olbrzyą złożoność probleu, stosuje sę algoryty przyblżone: prograowane dynaczne, algoryty genetyczne sec neuronowe z dynakę np. sec Hopfelda sec neuronowe ze zodyfkowaną funkcją energetyczną (Ansar Hou) 1.4. Ipleentacja prograowa sec Hopfelda Przykładowe postępowane przy pleentacj probleu kowojażera na platfore prograstycznej: 1. Oblcz odległośc d(,j) poędzy wszystk asta. 2. Oblcz wag dla sec neuronowej według odpowednej funkcj(hopfelda, Ansar Hou) 3. Zancjuj funkcje pobudzena wszystkch neuronów losową wartoścą o średnej równej zero, odpowadającej średnej wyjść neuronów 0.5. 4. Wykonaj ponższe krok, aż kryteru stopu będze satysfakcjonujące: a) Ustaw losową kolejność pobudzeń neuronów b) Dokonaj pobudzena neuronów porządku określony w punkce 4.a stosując odpowedne wzory na pobudzene neuronu oraz na funkcję aktywacj (np. sgnu) 5. Sprawdź kryteru stopu, zakończ jeśl spełnone. 6. Sprawdź dopuszczalność rozwązana. W kroku 4 zaleca sę użyce funkcj aktywującej neurony jako sgodę, ożna równeż przyjąć nne stroe funkcje, jednak wynk ogą ne być zadawalające. 6
Kryteru stopu w punkce 5 oże być złożone z welu warunków. Algoryt kończy sę, gdy wykonana zostane odpowedna aksyalna lczba teracj lub gdy każdy z neuronów znajduje albo sę ędzy (0 b1) albo ędzy (b2 1), gdze b1<b2 są określony paraetra. Należy zwrócć uwagę, że algoryt kończy sę nawet przy nedopuszczalny rozwązanu. Proble kowojażera w aspekce sec neuronowych 2.1 Reprezentacja danych w zagadnenu kowojażera Wykorzystane sec neuronowych Hopfelda do rozwązywana probleów NP.-zupełnych posada zarówno zalety jak wady. Zalety: - współbeżna praca neuronów sec, skraca czas rozwązywana - wzrost wyaru probleu będze wyagał rozbudowy sec, jednak czas oblczeń pozostane w przyblżenu ten sa Wady: - trudność z reprezentacją danych dla konkretnego probleu - nekedy rozwązana bywają nedopuszczalne, seć łatwo ulega wcąganu w lokalne na - trudność w doborze współczynnków odpowadających za uczene sec Reprezentacja danych probleu TSP w sec neuronowej przebega następująco: Każde asto jest reprezentowane za poocą wersza zawerającego n neuronów. Indeks neuronu(od 1 do n) o wartośc 1 odpowada kolejnośc, w jakej to asto(reprezentowane przez j-tą kolunę) a być odwedzone. Buduje sę acerz o wyarze nxn, w której wersze reprezentują kolejność dla danego asta, a koluny oznaczają odpowedne asta. 7
1 2 3 4 A 0 1 0 0 B 0 0 0 1 C 0 0 1 0 D 1 0 0 0 Rys.3. Przykładowa acerz 4 ast z dopuszczalny rozwązane D-A-C-B W tak zapleentowanej sec sygnał y oznaczać będze sygnał x wyjścowy z neuronu wchodzącego z skład wersza odpowadającego astu nuer x, przy czy neuron ten odpowada -tej pozycj w ty werszu. Warunk: - dopuszczalność rozwązana odwedzone uszą być wszystke asta - optyalność rozwązana nalzacja kosztów podróży (długośc trasy) 2.2. Paraetry funkcj energetycznej Funkcja energetyczna nalzowana przez seć opsująca warunk zadana przyjuje postać zaproponowaną przez Hopfelda Tanka: E E E E E 1 2 3 4, gdze jej cztery składnk ają postać: A E 1 ( y y ) x xj 2 x j B E ( ) 2 y y x zj 2 x zx 2 C E 3 2 y n x x D E 4 d y y y xz x z, 1 z, 1 2 x zx (przy oblczanu składnków wszystke wskaźnk przy y brane są odulo n ) 8
Interpretacja paraetrów: E 1 składnk określający karę za nedotrzyane warunku dopuszczalnośc zadana każde asto a eć jednoznaczne określoną kolejnośc odwedzn. Zerowa wartość odpowada sytuacj, kedy w dany werszu jest co najwyżej jedna jedynka. Każde asto us być odwedzone tylko raz. E 2 składnk oznaczający karę za naruszene warunku jednoznacznego określena, kedy jake asto należy odwedzć. Ma zerową wartość, jeśl w każdej kolune(oznaczającej konkretny etap podróży) będze najwyżej jedna jedynka. E 3 składnk odpowadający dopuszczalnośc postawonego zadana a wartość zerową, gdze w acerzy będze dokładne n jedynek. E 4 oznacza funkcję kosztu suaryczną długośc wybranej drog. Jest to kara za zbyt długą trasę. Funkcja jest wprost proporcjonalna do długośc trasy. 2.3. Dobór wag względnych sec Współczynnk A, B, C D są wyberane arbtralne oznaczają względne wag poszczególnych warunków. Duże wartośc A, B, C oznaczają slne zwązane poszukwanych rozwązań z warunka zadana (dopuszczalność rozwązana), natoast duże wartośc D oznaczają slne zwązane poszukwanego rozwązana z optyalzowaną funkcją celu nalzacją kosztu podróży. Ne a konkretnych rad na teat doboru tych współczynnków, dlatego ch przyjowane us być poprzedzone sera lcznych eksperyentów zwykle są one zależne wyaru probleu, zwłaszcza współczynnk 3 * * C D( n n ), gdze n oznacza rzeczywstą lczbę ast jest 4 * powązane zgodne z propozycją Hopfelda Tanka wzore n 1.5n. W orygnalnej publkacj tych badaczy zaproponowano: 9
A B D 500 C 200 W tak opsanej sec, współczynnk wagowe określające paraetry połączeń poędzy -ty neurone x-tej warstwy, a j-ty neurone z-tej warstwy wyraża sę wzore: w A 1 ) B (1 ) C Dd ( ), ( x, zj xz j j xz xz j, 1 j, 1 gdze oznacza funkcję Kroneckera j j 1 0 gdy gdy j j Funkcja energ Hopfelda przyje wówczas postać: 1 C 2 E w y C ny n x, zj x, zj x 2 x z j x 2 co dowodz, że spełna postać funkcj Laponowa. W orygnalnych pracach Hopfelda Tanka, funkcja opsująca neuron a postać: 1 e xz ( e ) 1 tanh xz oraz przyjęto, że 0. 2 2 Paraetr reguluje jej kształt. Zbyt duża wartość powoduje generowane przez seć rozwązań nedopuszczalnych zbyt ała wartość utrudna znalezene optyalnych wartośc wyznaczających trasę kowojażera (funkcja staje sę wtedy zblżona do skoku jednostkowego). 2.4. Zodyfkowana funkcja energetyczna (Ansar Hou) Klasyczna etoda Hopfelda Tanka ne daje rewelacyjnych rezultatów, gdyż ustalony stan neuronów sec, stanow w wększośc rozwązana nedopuszczalne z punktu postawonego probleu TSP. Po dokonanu analzy stablnośc sec Hopfelda, Ansar Hou zaproponowal zodyfkowaną funkcję energetyczną postac : 10
2( AN A A ) 1 w A ( 1 ) A (1 ) 2A C Dd ( ) x, zj xz j j xz 1 xz j 2 xz j, 1 j, 1 N Nowy paraetr A zastąpł paraetr B w funkcj Hopfelda. 1 W etodze tej używa sę funkcj pobudzającej neurony postac: j1 j e e t w y Cn x, zj zj z j Przyjuje sę następujące paraetry A 8, A 7.75, C 0.8, 1 natoast D 1.0,3. 0. Testowane, dobór paraetrów analza prograe Tsp.jar 4.1. Progra testowy Tsp.jar (wprowadzene) Progra TSP.jar to narzędze pozwalające rozwązywać proble kowojażera z użyce sec neuronowych oraz analzować zbeżność rozwązań dzęk pleentacj algorytu zachłannego a także o wele wydajnejszego w aspekce złożonośc oblczenowej algorytu genetycznego dla celów porównawczych. Środowske uruchoenowy jest każdy koputer z zanstalowaną wrtualną aszyną javy (JVM). Wyagana sprzętowe (dla oblczeń probleu o wyarze 10): częstotlwość taktowana procesora CPU: 266 lub wększa, paęć operacyjna: nu 64MB Możlwośc: wybór lczby ast generowane losowe odległośc ędzy n lub wczytywane z plku algoryt wyczerpujący (rozwązuje wszystke ożlwe drog) algoryt genetyczny algoryty sec neuronowych: - z klasyczną funkcją energ Hopfelda Tanka 11
- ze zodyfkowaną funkcją energ - z funkcją energ zaproponowana przez Ansar Hou ożlwość wyboru funkcj aktywacj : - tangens hperbolczny z ożlwoścą regulacj dynak funkcj - sgoda zodyfkowana ożlwość zany paraetrów funkcj energ aksyalna lczba teracj, krok czasowy, lczba eksperyentów odyfkowane neuronów w losowej kolejnośc bogaty raport eksperyentu zaps raportu do plku, wczytywane raportu z plku. 4.2. Testy orygnalną etodą Hopfelda Tanka Testowane będze polegało doberanu optyalnych paraetrów funkcj energetycznej A, B, C D oraz funkcj aktywacj dla poszczególnych lośc ast, przy welokrotnych eksperyentach na ustalony zestawe paraetrów. Eksperyent 1.1 12
Eksperyent 1.2 Wszystke rozwązana są nedopuszczalne, 13
4.3. Testy zodyfkowaną etodą Ansar Hou Eksperyent 2.1 14
Eksperyent 2.2 (orygnalne nastawy) 4.4. Analza porównawcza etod sec neuronowych Poprawne rozwązane probleu z powyższy lokalzacja ast: 15
Właścwy dobór paraetrów funkcj energetycznej gwarantuje wygenerowane dopuszczalnego rozwązana seć neuronowa jest w stane równowag jest zbeżna. Nekedy rozwązana zbegają do lokalnych nów, co za ty dze ne są spełnone wszystke warunk dopuszczalnośc rozwązana. Dzeje sę tak zwłaszcza w przypadku użyca klasycznej sec Hopfelda, gdze procent poprawnych rozwązań jest ały w stosunku do etody Ansar Hou. Ta ostatna daje lepsze wynk w sense optyalzacj postawonego probleu tzn. generuje krótszą drogę podróży kowojażera. Przy rozarze zadana n=10, ożna ówć o pozytywnych wynkach, jednak przy jego wzrośce powyżej 30 ast, sec neuronowe ne dają żadnego zadawalającego rozwązana. Dzeje sę tak dlatego, poneważ zwększa sę wyar acerzy wag, która zawera wartośc pośredne różne od 0 oraz od 1, ponadto nektóre z werszy/kolun posada węcej eleentów nezerowych. W tak przypadku dostrojene paraetrów jest nezwykle ucążlwe, gdyż newelka zana jednego z nch wpływa na wartość funkcj energetycznej. Wag są ze sobą powązane bardzo slne, newelka zana jednej wpływa na dynakę tej częśc sec, która jest odpowedzalna za reprezentację pozostałych częśc funkcj energetycznej. Zodyfkowana etoda Ansar Hou, jest zdecydowane efektywnejsza, choć też daleka od deału. 16
Podsuowane, wnosk 5.1. Wnosk ogólne Sec neuronowe nadają sę do rozwązywana probleów NP.- zupełnych tylko dla newelkego rozaru zadana. Na wynk uzyskwane przy rozwązywana probleu kowojażera duży wpływ ogą eć warunk początkowe, przyjowane dla neuronów sec przy jej ustawanu. Ważne są także współczynnk występujące we wzorze opsujący funkcję energ, które nekedy trzeba ustawać w sposób neco zaskakujący 5.2. Weryfkacja wynków zbeżność optyalność rozwązana Przy doborze paraetrów trzeba eć na uwadze kopros poędzy zbeżnoścą a optyalnoścą rozwązana. Dlatego warto najperw zapewnć stablność sec, a dopero późnej obserwując acerz wag, korygować paraetr odpowadający za optu rozwązana (D), żeby seć zachowywała sę nadal zbeżne. Lepsze właścwośc zbeżnośc wykazuje etoda Ansar Hou, toteż zaleca sę jej używane. 5.3. Inne zastosowana sec Hopfelda w nauce technce Sec neuronowe Hopfelda wykorzystuje sę równeż w rozpoznawanu prostych obrazów, np. kon, znaków o ałej rozdzelczośc. Proces polega na rekonstrukcj obrazu faktycznego na podstawe obrazu nekopletnego lub zakłóconego. Dzeje sę tak dzęk rol paęc autoasocjacyjnej, którą pełn seć Hopfelda. Jest to zapaętywane zboru próbek wejścowych w tak sposób aby przy prezentacj nowej próbk układ ógł wygenerować odpowedź odpowadającą jednej z zapaętanych wcześne próbek. Ważny paraetre paęc asocjacyjnej jest jej pojeność, którą defnuje sę jako aksyalną lczbę wzorców wejścowych zapaętanych odtwarzanych z dopuszczalny błęde. 17
Zadana do saodzelnego rozwązana: 1. Zapoznaj sę z teorą sec neuronowych Hopfelda, probleu kowojażera oraz prograe TSP.jar. włącz progra Tspnn.jar (Uwaga! progra wyaga zanstalowanej Javy) ustaw doyślne paraetry prograu wygeneruj losowo 4 asta znajdź najlepsze rozwązane powtórz eksperyenty dla 5,6...15 ast przeglądnj raport wynkowy pytane: - jak ocensz złożoność algorytu zachłannego w funkcj wyaru probleu? 2. Przeprowadź eksperyent algoryte genetyczny wyberz etodę algoryt genetyczny zaobserwuj przy jakej aksyalnej lczbe ast daje on rozwązane dentyczne z algoryte zachłanny 3. Przeprowadź eksperyent używając klasycznej sec Hopfelda ustaw w paraetrach etoda klasyczna doberz wag względne A,B,C D zalecane przez Hopfelda (podane są w częśc teoretycznej) wygeneruj 10 ast, po zakończenu eksperyentu ne generuj ch ponowne, gdyż zostaną użyte dla nnej etody ustaw funkcję aktywacj na tangens hperbolczny przeprowadź 50 eksperyentów (Uwaga! zaleca sę wykonane dużej lczby eksperyentów ając na uwadze częstotlwość taktowana procesora) przejrzyj raport wynkowy, zapoznaj sę z acerzą potencjałów wyjścowych najlepszego rozwązana jeśl ne otrzyano rozwązana dopuszczalnego, zwększ lczbę teracj uczena albo zenaj stopnowo wag względne obserwując eleenty acerzy potencjałów wyjścowych zapsz raport do plku 18
4. Przeprowadź eksperyent używając etody Ansar Hou ustaw w paraetrach etoda Ansar Hou doberz wag A, A 1 = B, C D zalecane przez Ansar Hou(podane są w częśc teoretycznej) przeprowadź 50 eksperyentów z kroke czasowy dt=0.02 najperw z funkcją aktywacj tangensa hperbolcznego, późnej sgody (wynk zapsz do plku) odyfkuj paraetry, aż uzyskasz rozwązane dopuszczalne porównaj otrzyane wynk z poprzedn eksperyente(pkt.3) pytana: - oceń wpływ poszczególnych paraetrów funkcj energetycznej na rozwązane probleu kowojażera, zaproponuj własny algoryt doberana tych współczynnków - w jak sposób wybór funkcj aktywacj a wpływ na końcowe rozwązana? - czy zastosowane sec neuronowych Hopfelda na tle nnych etod rozwązywana probleu kowojażera jest efektywne? Jeśl tak to dla jakej lczby ast?jeśl ne, podaj efektywnejszy algoryt Odpowedź uzasadnj. 19