(a) Jednowarstwowa sieć Hopfielda, z n neuronami (źródło [2]) (b) Bipolarna funkcja przejścia

Podobne dokumenty
Sieć Hopfielda. Sieci rekurencyjne. Ewa Adamus. ZUT Wydział Informatyki Instytut Sztucznej Inteligencji i Metod Matematycznych.

METODY I ZASTOSOWANIA SZTUCZNEJ INTELIGENCJI. LABORATORIUM nr 01. dr inż. Robert Tomkowski

Metrologia: miary dokładności. dr inż. Paweł Zalewski Akademia Morska w Szczecinie

MINIMALIZACJA PUSTYCH PRZEBIEGÓW PRZEZ ŚRODKI TRANSPORTU

L A B O R A T O R I U M T E C H N I K I C Y F R O W E J

SYSTEM OCENY STANU NAWIERZCHNI SOSN ZASADY POMIARU I OCENY STANU RÓWNOŚCI PODŁUŻNEJ NAWIERZCHNI BITUMICZNYCH W SYSTEMIE OCENY STANU NAWIERZCHNI SOSN

ZADANIA - ZESTAW 2. Zadanie 2.1. Wyznaczyć m (n)

Metody Sztucznej Inteligencji II

Kolorowanie Dywanu Sierpińskiego. Andrzej Szablewski, Radosław Peszkowski

Jarosław Wróblewski Analiza Matematyczna 2B, lato 2015/16

EGZAMIN MATURALNY Z INFORMATYKI MAJ 2011 POZIOM ROZSZERZONY WYBRANE: CZĘŚĆ I. Czas pracy: 90 minut. Liczba punktów do uzyskania: 20 WPISUJE ZDAJĄCY

INSTRUKCJA DO ĆWICZEŃ LABORATORYJNYCH Z WYTRZYMAŁOŚCI MATERIAŁÓW

Numeryczny opis zjawiska zaniku

Materiał powtarzany w II etapie. II 4. Ciągi

Znajdowanie pozostałych pierwiastków liczby zespolonej, gdy znany jest jeden pierwiastek

WYDZIAŁ ELEKTRYCZNY POLITECHNIKI WARSZAWSKIEJ INSTYTUT ELEKTROENERGETYKI ZAKŁAD ELEKTROWNI I GOSPODARKI ELEKTROENERGETYCZNEJ

Przykład Obliczenie wskaźnika plastyczności przy skręcaniu

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

D. Miszczyńska, M.Miszczyński KBO UŁ, Badania operacyjne (wykład 6 _ZP) [1] ZAGADNIENIE PRZYDZIAŁU (ZP) (Assignment Problem)

Analiza wyników symulacji i rzeczywistego pomiaru zmian napięcia ładowanego kondensatora

X i. X = 1 n. i=1. wartość tej statystyki nazywana jest wartością średnią empiryczną i oznaczamy ją symbolem x, przy czym x = 1. (X i X) 2.

Jak obliczać podstawowe wskaźniki statystyczne?

Egzamin maturalny z informatyki Poziom rozszerzony część I

O liczbach naturalnych, których suma równa się iloczynowi

Algorytmy sztucznej inteligencji

Zadanie 2 Niech,,, będą niezależnymi zmiennymi losowymi o identycznym rozkładzie,.

Metoda analizy hierarchii Saaty ego Ważnym problemem podejmowania decyzji optymalizowanej jest często występująca hierarchiczność zagadnień.

STATYSTYKA I ANALIZA DANYCH

ma rozkład złożony Poissona z oczekiwaną liczbą szkód równą λ i rozkładem wartości pojedynczej szkody takim, że Pr( Y

KADD Metoda najmniejszych kwadratów

Ćwiczenie 6. Realizacja i pomiary filtrów adaptacyjnych

WYZNACZENIE CHARAKTERYSTYK STATYCZNYCH PRZETWORNIKÓW POMIAROWYCH

Inteligentne systemy przeciw atakom sieciowym

Zeszyty naukowe nr 9

3. Regresja liniowa Założenia dotyczące modelu regresji liniowej

Podstawy sztucznej inteligencji

Metody badania zbieżności/rozbieżności ciągów liczbowych

Sztuczna Inteligencja Tematy projektów Sieci Neuronowe

EGZAMIN MATURALNY Z INFORMATYKI MAJ 2012 POZIOM PODSTAWOWY CZĘŚĆ I WYBRANE: Czas pracy: 75 minut. Liczba punktów do uzyskania: 20 WPISUJE ZDAJĄCY

TRANZYSTORY POLOWE JFET I MOSFET

Pierwiastki z liczby zespolonej. Autorzy: Agnieszka Kowalik

Uczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0

, dla n = 1, 2, 3, 4 : 2

ELEKTROTECHNIKA I ELEKTRONIKA

Prawdopodobieństwo i statystyka

VII MIĘDZYNARODOWA OLIMPIADA FIZYCZNA (1974). Zad. teoretyczne T3.

OBLICZENIE SIŁ WEWNĘTRZNYCH DLA BELKI SWOBODNIE PODPARTEJ SWOBODNIE PODPARTEJ ALGORYTM DO PROGRAMU MATHCAD

WERSJA TESTU A. Komisja Egzaminacyjna dla Aktuariuszy. LX Egzamin dla Aktuariuszy z 28 maja 2012 r. Część I. Matematyka finansowa

zadań z pierwszej klasówki, 10 listopada 2016 r. zestaw A 2a n 9 = 3(a n 2) 2a n 9 = 3 (a n ) jest i ograniczony. Jest wiec a n 12 2a n 9 = g 12

Artykuł techniczny CVM-NET4+ Zgodny z normami dotyczącymi efektywności energetycznej

Ciągi liczbowe z komputerem

z przedziału 0,1. Rozważmy trzy zmienne losowe:..., gdzie X

Struktura czasowa stóp procentowych (term structure of interest rates)

Błędy kwantyzacji, zakres dynamiki przetwornika A/C

Kongruencje Wykład 4. Kongruencje kwadratowe symbole Legendre a i Jac

ZAGADNIENIE ESTYMACJI. ESTYMACJA PUNKTOWA I PRZEDZIAŁOWA

ROZDZIAŁ 5 WPŁYW SYSTEMU OPODATKOWANIA DOCHODU NA EFEKTYWNOŚĆ PROCESU DECYZYJNEGO

Prawdopodobieństwo i statystyka r.

Matematyka ubezpieczeń majątkowych r. Zadanie 1. Rozważamy proces nadwyżki ubezpieczyciela z czasem dyskretnym postaci: n

Moduł 4. Granica funkcji, asymptoty

Zasada indukcji matematycznej. Dowody indukcyjne.

Rekursja 2. Materiały pomocnicze do wykładu. wykładowca: dr Magdalena Kacprzak

Przykładowe pytania na egzamin dyplomowy dla kierunku Automatyka i Robotyka

STATYSTYKA OPISOWA WYKŁAD 1 i 2

Relacje rekurencyjne. będzie następująco zdefiniowanym ciągiem:

1. Metoda zdyskontowanych przyszłych przepływów pieniężnych

Fundamentalna tabelka atomu. eureka! to odkryli. p R = nh -

Jarosław Wróblewski Analiza Matematyczna 1A, zima 2012/13. Ciągi.

Jarosław Wróblewski Analiza Matematyczna A1, zima 2011/12. Kresy zbiorów. x Z M R

EA3 Silnik komutatorowy uniwersalny

Przetworniki analogowo-cyfrowe i cyfrowo- analogowe

Niepewności pomiarowe

Metody Obliczeniowe w Nauce i Technice laboratorium

PODSTAWY OPRACOWANIA WYNIKÓW POMIARÓW Z ELEMENTAMI ANALIZY NIEPEWNOŚCI POMIAROWYCH

Matematyka finansowa r. Komisja Egzaminacyjna dla Aktuariuszy. XLIII Egzamin dla Aktuariuszy z 8 października 2007 r.

Termodynamika defektów sieci krystalicznej

Badanie efektu Halla w półprzewodniku typu n

Harmonogramowanie linii montażowej jako element projektowania cyfrowej fabryki

Rachunek prawdopodobieństwa i statystyka W12: Statystyczna analiza danych jakościowych. Dr Anna ADRIAN Paw B5, pok 407 adan@agh.edu.

2 n < 2n + 2 n. 2 n = 2. 2 n 2 +3n+2 > 2 0 = 1 = 2. n+2 n 1 n+1 = 2. n+1

Lekcja 5: Sieć Kohonena i sieć ART

OBWODY LINIOWE PRĄDU STAŁEGO

Jarosław Wróblewski Analiza Matematyczna 1, zima 2016/17

System finansowy gospodarki

MODELOWANIE RZECZYWISTOŚCI

Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.

Chłodnictwo i Kriogenika - Ćwiczenia Lista 2

Elementy Sztucznej Inteligencji. Sztuczne sieci neuronowe cz. 2

Statystyka matematyczna. Wykład II. Estymacja punktowa

Metody numeryczne Laboratorium 5 Info

Internetowe Kółko Matematyczne 2004/2005

Geometrycznie o liczbach

Algorytmy I Struktury Danych Prowadząca: dr Hab. inż. Małgorzata Sterna. Sprawozdanie do Ćwiczenia 3 Algorytmy grafowe ( )

Charakterystyki liczbowe zmiennych losowych: wartość oczekiwana i wariancja

Wokół testu Studenta 1. Wprowadzenie Rozkłady prawdopodobieństwa występujące w testowaniu hipotez dotyczących rozkładów normalnych

KATEDRA ENERGOELEKTRONIKI I ELEKTROENERGETYKI

Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Podstawy OpenCL część 2

Transkrypt:

Sieci rekurecyje Przedmiot: Sieci euroowe i ich zastosowaie Sieci rekurecyje posiadają sprzężeie zwrote, co ma istoty wpływ a ich możliwości uczeia. Mają symulować asocjacyjy charakter ludzkiej pamięci. Najprostszy przykład sieci rekurecyjej to jedowarstwowa sieć Hopfielda.. Sieć Hopfielda Po podaiu owej próbki wejściowej wyliczae jest wyjście i podawae z powrotem a wejście. Wyliczae poowie, proces powtarzay jest dopóki wyjście się ie ustali (ie zmieia się w kolejych iteracjach). Zmiay w wartościach wyjściowych kolejych iteracji ie zawsze skutkują coraz miejszymi zmiaami ich wartości. Przeciwie, mogą prowadzić do chaotyczych zachowań. W takim przypadku, wyjście sieci igdy się ie ustali i sieć jest iestabila. (a) Jedowarstwowa sieć Hopfielda, z euroami (źródło [2]) (b) Bipolara fukcja przejścia Rys. a przedstawia warstwową sieć Hopfielda z euroami. Wyjście każdego eurou jest sprzężoe z wejściami (z wyjątkiem własego, brak samosprzężeia). W sieci stosuje się zazwyczaj euroy ze skokowymi, bipolarymi fukcjami przejścia (rys. b): { + if X Y = if X < Bieżący sta sieci jest określoy przez zestaw wyjść euroów y, y 2,..., y : y y 2 Y =. y Wagi w macierzowej formie: W = Y m Ym T M I, m= gdzie M to liczba staów do zapamiętaia przez sieć, Y m to wymiarowy biary wektor, I macierz idetyczościowa. Jak działa sieć Hopfielda przykład. Załóżmy, że mamy do zapamiętaia dwa stay (,, ) oraz (,, ):. Możemy określić wagi: W = [ ] + Y = ad Y = [ ] 2 = 2 2 2 2 2 2

Po określeiu wag moża przetestować sieć podając wektory wejściowe X oraz X 2 (które są rówoważe wektorom docelowym Y, Y 2 ). Po podaiu wektora wejściowego X oraz obliczeiu aktualego wyjścia Y porówujemy wyik z wektorem wejściowym. W celu uzyskaia wyjścia: Y m = sig(w X m θ), m =, 2,..., M gdzie θ jest wartością progową, w przypadku aszej fukcji przejścia rówą. Dla aszego przykładu, wyjścia sieci: Y = sig 2 2 2 2 = 2 2 oraz Y 2 = sig 2 2 2 2 2 2 = Wszystko się zgadza, obydwa stay możemy określić jako stabile. Jak wygląda sytuacja z pozostałymi staami? Dla sieci złożoej z trzech euroów (o skokowych fukcjach przejścia) możliwych jest osiem staów. W aszym przypadku pozostałe sześć staów jest iestabilych. Natomiast stabile stay (fudametala pamięć powiy przyciągać stay im bliskie. W ramach ćwiczeń obliczeiowych proszę sprawdzić, czy tak jest rzeczywiście, a uzyskae wyiki umieścić w tabeli. Podsumujmy algorytm treigowy sieci Hopfielda.. Zapamiętywaie. Wagi euroowa sieć Hopfielda, wymagaej do zapamiętaia M wzorców: Y, Y 2,..., Y M w formie macierzowej: W = Y m Ym T M I. () Raz obliczoe wagi pozostają stałe. m= 2. Testowaie. W celu potwierdzeia, że sieć prawidłowo odtwarza wszystkie wzorce fudametalej macierzy Y m, które są rówoważe wejściom X m : Y m = sig(w X m θ), m =, 2,..., M. (2) Jeżeli wszystkie wzorce odtwarzae są prawidłowo, możemy przejść do astępego kroku. 3. Odzyskiwaie daych. Zaprezetujmy sieci iezaą próbkę X, w celu uzyskaia stau stabilego. Zazwyczaj, w takim przypadku próbka jest iekompletą bądź uszkodzoą wersją stau z pamięci fudametalej: X Y m dla m =, 2,..., M. Obliczmy odpowiedź sieci dla aszej próbki X(), w iteracji p = : Y() = sig(w X() θ) Obliczoy sygał wyjściowy podajemy z powrotem a wejście sieci i w ramach kolejej iteracji poowie obliczmy wyjście. Porówujemy obydwa wektory Y(p) oraz Y(p+) czyli wyjście uzyskae w bieżącej iteracji z wcześiejszym. Jeżeli obydwa wektory są iezmieioe, ozacza to, że uzyskaliśmy sta stabily. Waruek stabilości: Y(p + ) = sig(w Y(p) θ) Okazuje się, że wprzypadku sieci Hopfielda uzyskay sta stabily iekoieczie musi odpowiadać wzorcowi z fudametalej pamięci, a jeżeli odpowiada to ie musi to być sta ajbliższy badaej próbce testowej. Przykład: Dla sieci zlożoej z pięciu euroów umieść w pamięci fudametalej trzy wzorce: X = (,,,, ) X 2 = (,,,, ) X 3 = (,,,, ) 2

Następie sprawdź reakcję sieci a ową próbkę testową:x = (,,,, ). Jeżeli wcześiej porówamy ową próbkę z aszą pamięcią, to zauważymy, że ajbardziej odpowiada wzorcowi X (różica tylko a jedym bicie). Jakiej odpowiedzi atmiast udzieliła sieć? Przykład wskazuje a problem charakterystyczy dla sieci Hopfielda, o którym już wspomialiśmy (częsty brak zbieżości do abliższego wzorca). Iym problemem jest pojemość pamięci, czyli maksymala liczba wzorców, która może być w iej umieszczoa oraz poprawie odzyskaa. Hopfield wykazał eksperymetalie, że dla euroowej sieci maksymala liczba możliwych wzorców do zapamiętaia wyosi: M max =.5 (3) Geeralie, większość wzorców może być odzyskaa z pamięci o maksymalej pojemości: M max = 2 l Natomiast wszystkie próbki odzyskamy perfekcyje dla pamięci o pojemości zmiejszoej o połowę: M max = 4 l Jak widzimy, pamięć sieci Hopfielda ie jest pojema i ta cecha jest jej główym ograiczeiem. Na rys.. możemy sprawdzić wartości pojemości w zależości od liczby euroów w sieci (od 2 do euroów). Przykładowo, z sieci składającej się ze euroów możemy w sposób perfekcyjy odzyskać maksymalie 5 wzorców (pojemość 5.43). (4) (5) Rysuek : Zależość liczby euroów w sieci Hopfielda od maksymalej pojemości: M max = 4 l Dodatkowo, sieć Hopfielda reprezetuje typ pamięci auto asocjacyjej. Iymi słowy, może odtworzyć uszkodzoy lub iekomplety wzorzec, atomiast ie skojarzy go z ią iformacją. W odróżieiu od ludzkiej pamięci, która jest skojarzeiowa (asocjacyja). Przykładowo, jeda iformacja wyzwala skojarzeie z ią, bądź ciąg skojarzeń. Dlaczego sieć Hopfielda posiada wspomiae ograiczia? Składa się z jedej warstwy euroów. Wzorzec wyjściowy pojawia się a tym samym zbiorze euroów, a którym próbka wejściowa została zastosowaa. W celu skojarzeia jedej pamięci z ią, potrzebujemy sieci rekurecyjej akceptującej wzorzec wejściowy a jedym zbiorze euroów i produkującej skojarzoy wzorzec wyjściowy a iym zbiorze euroów. Potrzebujemy dwuwarstwowej sieci rekurecyjej:dwukierukowej pamięci asocjacyjej bidirectioal associative memory (BAM)..2 BAM Dwukierukowa pamięć asocjacyja (BAM) została zapropoowaa przez B. Kosko. Kojarzy próbki z jedego zbioru: A, z próbkami z iego zbioru: B i odwrotie. Podobie jak sieć Hopfielda, BAM może geeralizować oraz odtwarzać wzorce uszkodzoe bądź iekomplete. Podstawowa architektura przedstawioa jest a rys. 2. Sieć składa się z dwóch, w pełi połączoych warstw: wejściowej oraz wyjściowej. Wektor wejściowy X(p) podaway jest do traspoowaej macierzy wag W T, w celu ustaleia Y(p) (rys. 2(a).) Następie wektor Y(p) 3

Rysuek 2: Architektura sieci BAM: (a) kieruek wprzód, (b) wstecz (źródło [2]) podaway jest wstecz do macierzy wag W dla uzyskaia owego wektora wejściowego Y(p + ). Proces jest powtarzay dopóki wektory wejściowy oraz wyjściowy się ie zmieiają sieć uzyska sta stabily. Podstawową ideą pamięci BAM jest takie zapamiętaie par wzorców, że po zaprezetowaiu -wymiarowego wektora wejściowego X ze zbioru A, sieć odpowie m-wymiarowym wektorem Y ze zbioru B, bądź odwrotie (wektor Y a wejściu skutkuje odpowiedzią X). W celu zapamiętaia par wzorców ależy stworzyć macierz ich korelacji, którą staowi iloczy macierzowy wektora wejść X oraz traspoowaego wektora wyjść Y T. Tak więc macierz wag jest sumą macierzy korelacji wszystkich wzorców: W = X m Ym, T (6) gdzie M jest liczbą próbek do zapamiętaia. Podobie jak sieć Hopfielda, BAM zazwyczaj posiada euroy z bipolarą fukcją aktywacji. Algorytm uczeia sieci BAM. m=. Zapamiętywaie. W pamięci ależy umieścić trzy pary próbek: Wejściowe:X = X 2 = X 3 = Wyjściowe:Y = [ ] [ Y 2 = ] [ Y 3 = W tym przypadku, warstwa wejściowa BAM będzie posiadać trzy euroy, atomiast wyjściowa dwa. Ustalamy macierz wag zgodie z zależością 6: W = 3 X m Ym T m= ]. czyli W = [, ] + [, ] + [, ] = 3 3 3 2. Testowaie. Podając dowoly wektor ze zbioru wejściowego powiiśmy uzyskać odpowiedi wektor wyjściowy: Y m = sig(w T X m ), m =, 2,..., M (7) i odwrotie X m = sig(w Y m ), m =, 2,..., M (8) 4

3. Odtwarzaie. Zaprezetujmy sieci iezaą próbkę i sprawdźmy reakcję. Obliczamy wyjście Y(p) = sig(w T X(p)) dla początkowej iteracji p =.. Aktualizujemy wektor wejściowy: X(p + ) = sig(w Y(p)) procedurę powtarzamy dopóki, w kolejych iteracjach, wektory wejściowy i wyjściowy się ie zmieiają..3 Zadaie do samodzielego wykoaia Ze względu a biary charakter wzorców możliwych do umieszczeia w pamięci BAM (oczywiście przy założeiu skokowych fukcji aktywacji euroów), sprawdźmy możliwości tej sieci w rozpozawaiu zaków prezetowaych, przykładowo w formie moochromatyczych map bitowych.. Zbiór próbek do przechowaia. W tym celu ależy przygotować zbiór zaków. Należy założyć stały rozmiar bitmapy przechowującej pojedyńczy zak oraz wygeerować (przykładowo w programie pait ) wybraą liczbę zaków przykładowo 2 plików. Obliczeia ależy wykoać w formie macierzowej w Matlabie (fukcja do pobraia pliku graficzego imread). Przykładowy zbiór pięciu próbek wejściowych: (a) (b) (c) (d) (e) oraz odpowiedio wektorów wyjściowych: A: Y = [,, ], B: Y 2 = [+, +, +], C: Y 3 = [, +, ], D: Y 4 = [+, +, ], E: Y 5 = [,, +]. 2. Struktura sieci. Przykładowo dla rozmiaru bitmapy 3 3 pikseli, warstwa wejściowa sieci będzie posiadać 69 euroów (rozmiar macierzy bitmapy w formie wektora kolumowego). Liczba euroów w warstwie wyjściowej będzie zależała od długości wektora wyjściowego, będącego kodem daego zaku (w aszym przykładzie 3 euroy). 3. Zapis oraz odtwarzaie. Przygotoway zbiór próbek ależy umieścić w pamięci. Sprawdzić możliwości odtwarzaia zapisaych zaków. Jeżeli wszystkie zaki odtwarzae są prawidłowo, przystępujemy do astępego kroku. 4. Weryfikacja. Najciekawsza część weryfikacja możliwości odtwarzaia przez pamięć wzorców uszkodzoych, iekompletych. W tym celu ależy przygotować zbiór testujący. Przykładowo zapisae w pamięci wzorce moża częściowo zdekompletować, bądź obciążyć szumem. 5. Przeprowadzoe eksperymety obiczeiowe ależy zdokumetować w postaci sprawozdaia. Literatura [] Mark H. Beale Marti T. Haga, Howard B. Demuth. Neural Network Desig. ISBN: -97732--8. [2] M. Negevitsky. Artificial Itelligece. A Guide to Itelliget Systems. Secod Editio. Addiso Wesley, 25. [3] Osowski S. Sieci euroowe do przetwarzaia iformacji. Oficya Wydawicza Politechiki Warszawskiej, 26. 5