Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów

Transkrypt

1 Przykładowe funkcje przejścia używane przy budowie sztucznych neuronów Funkcja Wzór funkcji Wzór pochodnej Sigmoida f(s)=1/(1+e -(β*s) ) f (s)=β*(1- f(s))* f(s) Funkcje przejścia neuronu powinno się rozpatrywać jako powierzchnie w przestrzeniach wielowymiarowych Tangens Hiperboliczny f(s)=tanh(β*s) f (s)=β(1-f 2 (s)) Sinusoida f(s)=sin(β*s)) f (s)=β(1-f 2 (s)) 1/2 Kosinusoida f(s)=cos(β*s) f (s)=-β(1-f 2 (s)) 1/2 s/(1+ s ) brak nazwy f(s)=(β*s)/(1+ β*s ) f (s)=β/(1+ β*s )- ( β*s )/(1+ β*s ) 2 1

2 Sieci budowane z neuronów o charakterystykach sigmoidalnych pozwalają na wydzielanie w przestrzeni sygnałów wejściowych sieci podobszarów ograniczonych skarpami urwisk sigmoidalnych Każdy model budowany z pomocą sieci neuronowych klasy MLP cechuje zwykle obecność urwisk sigmoidalnych Przykład zadania klasyfikacyjnego i jego rozwiązanie uzyskane z użyciem sieci MLP i techniki urwisk sigmoidalnych Inne zadanie klasyfikacyjne i jego dwa rozwiązania Stromość zboczy urwisk, korzystna w zadaniach typu klasyfikacyjnego, może być w zdaniach regresyjnych łagodzona odpowiednim doborem parametrów sigmoidy Można otrzymywać zależności w jednych rejonach bardzo ostre, a w innych zmieniające się w sposób łagodny, zgodnie z naturą danych uczących 2

3 Urwiska sigmoidalne mogą wygradzać w przestrzeni sygnałów wyodrębnione wyspy otoczone urwiskami definiującymi ich rozmiar i położenie Łącząc ze sobą wiele urwisk sigmoidalnych można odwzorować nawet bardzo skomplikowane funkcje Porównanie sieci RBF z sieciami MLP RBF W sieciach RBF funkcja przejścia ma najczęściej kształt funkcji Gaussa Idea sieci RBF opiera się na przeświadczeniu, że pojedynczy element zbioru uczącego daje możliwość określenia pożądanego sygnału wyjściowego sieci w pojedynczym punkcie przestrzeni sygnałów wejściowych. W miarę oddalania się od tego punktu wiemy w istocie coraz mniej. 3

4 Jednak złożenie takich elementarnych wiadomości pochodzących od różnych danych uczących pozwala wypowiadać się na temat całych rejonów przestrzeni sygnałów wejściowych Złożenie wielu funkcji typu RBF pozwala bowiem na tworzenie pokryć dowolnie złożonych obszarów w przestrzeni sygnałów wejściowych sieci neuronowej Technika ta jest szczególnie przydatna przy wyodrębnianiu obszarów o kształcie wydzielonych wysp Funkcje Gaussa bywają indywidualnie skalowane wzdłuż poszczególnych osi, co zmienia ich wrażliwość w odniesieniu do różnych zmiennych Nierównomierne skalowanie współrzędnych daje też możliwość swoistego obracania i przesuwania charakterystyki neuronu Możliwe jest także podbicie funkcji wzdłuż pewnych wybranych kierunków 4

5 Dla przyspieszenia obliczeń funkcja ta bywa aproksymowana funkcjami sklejanymi Interesującą możliwość taniego wytwarzania funkcji przejścia o charakterystyce zbliżonej do RBF dają neurony sigmoidalne z kwadratową funkcją agregacji, zaproponowane w pracach Ridelli. Funkcje Ridelli można kojarzyć z nierównomiernym skalowaniem poszczególnych składowych wejściowych, co skutkuje obrotami charakterystyki Przybliżenia funkcji typu radialnego można uzyskiwać także za pomocą złożenia krzywych stożkowych 5

6 Właściwości funkcji i neuronów radialnych mogą być silnie modyfikowane poprzez użycie innych niż euklidesowe miar odległości na wejściach neuronów 6

7 Wygodnym budulcem do tworzenia neuronów o korzystnych cechach w kontekście zadań aproksymacji są funkcje przejścia oparte na koncepcji funkcji bicentralnych W charakterze funkcji radialnej może występować też inna funkcja o symetrii kołowej Funkcje Bicentralne z dwoma skosami Funkcje tego typu (oraz ich odwrotności) pozwalają elastyczniej kształtować zasięg funkcji radialnej oraz jej wrażliwość Formuła funkcji radialnej może niekiedy być dosyć złożona: h 3 (x; t, b) = (b x t ) 2 ln(b x t ) 7

8 Jako funkcje przejścia neuronów bywają także (rzadko) stosowane funkcje o zupełnie nietypowych kształtach Pozwalają one skuteczniej rozwiązywać niektóre klasyczne problemy z obszaru sieci neuronowych, tradycyjnie uznawane za szczególnie trudne na przykład problem XOR Inne przykłady rozwiązania problemu XOR w sieci RBF Dla porównania przykłady rozwiązania problemu XOR w sieci MLP 8

9 9