Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

Transkrypt

1 Sieci Hopfielda

2 Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

3 Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie rzeczywistym; sieć Elmana i inne o uproszczonej strukturze rekurencji; RCC ( Recurrent Cascade Correlation);

4 Sieci rekurencyjne, a jednokierunkowe Sieci jednokierunkowe wyjścia sieci mogą być połączone tylko z wejściami neuronów warstwy następnej; implikuje to jednokierunkowy przepływ informacji: sygnały są przesyłane od warstwy wejściowej do wyjściowej; Sieci rekurencyjne dopuszcza się istnienie sprzęŝeń zwrotnych tzn. gdy wyjścia neuronów mogą być połączone z wejściami neuronów tej samej warstwy lub warstw pośrednich; informacja oscyluje między warstwami lub w obrębie warstw, aŝ do spełnienia pewnego kryterium zbieŝności i dopiero wtedy jest przekazywana na wyjście sieci;

5 Rodzaje sieci Hopfielda: sieć dyskretna - przewaŝnie dyskretne funkcje aktywacji, zmiana stanu w chwilach dyskretnych; sieć ciągła - zastosowanie ciągłych funkcji aktywacji, odpowiedzi neuronów zmieniają się w sposób ciągły;

6 Schemat sieci Hopfielda

7 Wnioski ze schematu Sieć jest siecią jednowarstwową ze sprzęŝeniem zwrotnym, kaŝdy neuron połączony jest bezpośrednio z wyjściami innych neuronów i nie jest połączony z własnym wyjściem, tzn. w ii =0. Neurony posiadają znakową funkcję aktywacji f ( x) : = 1 dla sgn( x) = 1 dla Wyznaczenie wyjścia sieci w danej iteracji obliczeniowej odbywa się w sposób synchroniczny, tzn. neurony ustawiają swoje wyjścia w jednym momencie, co powoduje, Ŝe wartości wyjść kaŝdego neuronu wyznaczane są na podstawie wyjść sieci z poprzedniej iteracji obliczeniowej. x x < 0 0

8 Inne własności sieci Hopfielda - pamięć adresowalna przez zawartość - aby odtworzyć wzorzec zapisany w sieci wystarczy podać fragment informacji; - tolerancja błędów - jeŝeli jakiś element popełni błąd, to cała sieć i tak poda poprawne rozwiązanie; - wszystkie neurony są ze sobą połączone wagami; - symetryczne wagi (w ij = w ji );

9 Algorytm działania sieci Hopfielda 1. Wybieramy losowo neuron. 2. Obliczamy sumę waŝoną połączeń do aktywnych sąsiadów: 3. JeŜeli suma jest dodatnia, to neuron się aktywuje, w przeciwnym przypadku dezaktywuje.

10 Algorytm działania sieci Hopfielda c.d. 4. Losujemy kolejny neuron i postępujemy według algorytmu, aŝ do uzyskania stanu stabilnego. 5. Proces ten nazywa się równoległą relaksacją.

11 Funkcja energetyczna Stan energetyczny sieci wyraŝa funkcja w postaci: ( przy czym i j ). Funkcja ta jest malejąca w kolejnych krokach t, dlatego wiadomo, Ŝe osiągnie ona minimum, w którym sieć będzie stabilna.

12 Dobór wag w sieci Hopfielda uogólnioną regułą Hebba Zgodnie z tą regułą wagi modyfikowane są według zaleŝności: dla i j ( gdzie x i (k) jest i-tą współrzędną k-tego wzorca uczącego ). Dla i = j zachodzi w ij =0.

13 Przykład Przykład ten jest próbą nauczenia sieci Hopfielda rozpoznawania trzech cyfr: 1, 4, 7. Na podstawie wzorców przedstawionych na poniŝszym rysunku tworzony jest ciąg uczący (białe pola oznaczają -1, a czarne 1). x(1)=[ ] x(2)=[ ] x(3)=[ ]

14 Przykład c.d. Następnie sieć Hopfielda jest uczona za pomocą wcześniej wypisanych wzorców. Aby sprawdzić poprawność działania nauczonej sieci, na jej wejście podajemy kolejno sygnały uczące. Sieć Hopfielda bezbłędnie rozwiązała zagadnienie asocjacji dla niezaszumionych wektorów uczących:

15 Przykład c.d. Po zaszumieniu wzorce uczące mają postać: Wówczas sygnały wejściowe x są postaci: x (1)= [ ] x (2)= [ ] x (3)=[ ]

16 Przykład c.d. Efekt zaszumienia przedstawia poniŝsza tabela: Dla trzeciego zaszumionego wektora wyjście sieci po 12 iteracjach jeszcze się nie ustabilizowało. Oznacza to, Ŝe sieć nie mogła rozpoznać zniekształconej próbki.

17 Sieci Hopfielda w praktyce Pamięć asocjacyjna (skojarzeniowa) zdolność sieci do prawidłowego zinterpretowania danych zniekształconych lub niekompletnych (sieć taka moŝe takŝe usuwać zakłócenia i zniekształcenia róŝnych sygnałów - takŝe wtedy, gdy stopień zaszumienia sygnału wejściowego wyklucza praktyczne uŝycie jakichkolwiek innych metod filtracji ). Optymalizacja rozwiązywanie trudnych problemów optymalizacyjnych ( np. problem komiwojaŝera ).

18 Koniec