Struktury bezskalowe w rekurencyjnych sieciach neuronowych
|
|
- Andrzej Mucha
- 10 lat temu
- Przeglądów:
Transkrypt
1 Struktury bezskalowe w rekurencyjnych sieciach neuronowych Wydział Matematyki i Informatyki UMK Prezentacja na Seminarium Probabilistyczne KTPiAS dostępna na 6 grudnia 2007
2 1 Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto 2 Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha 3 Grafy przepływu impulsów Model matematyczny i dowód bezskalowości Warianty modelu przepływowego Wyniki numeryczne Bezskalosowść w sieciach dynamicznych? 4 Co dalej?
3 Grafy losowe, model Erdős a-rényi Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Ciekawym z punktu widzenia informatyki jest to jak wygląda przeciętny graf? Sformułowanie to wymaga określenia czym jest przeciętny graf! Oznacza to zdefiniowanie przestrzeni probabilistycznej, której elementami będą grafy, oraz zadania pewnej miary na tej przestrzeni. Jak to zrobić?
4 Grafy losowe, model Erdős a-rényi Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Łatwo zdefiniować przestrzeń wszystkich grafów n wierzchołkowych i zadać na niej miarę jednostajną (osobną kwestią jest problem losowania z tego rozkładu) Wszystkich grafów jest jednak nieskończenie wiele, podobnie jak liczb rzeczywistych, nie da się zatem zadawać na nich miary poprzez przypisanie każdemu grafowi skończonego prawdopodobieństwa... Możliwe są inne podejścia do stworzenia modelu grafu losowego, każdy jednak model może być inny bo do końca nie wiemy czym jest graf losowy...
5 Grafy losowe, model Erdős a-rényi Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Podstawowym modelem grafu losowego był od lat model Erdős a-rényi [Erdős and Rényi(1959), Erdős and Rényi(1960)] Zakłada on następującą drogę wylosowania grafu: Ustalamy pewną liczbą p (0, 1), wybieramy liczbą naturalną n (losowo) Pomiędzy każdą z n 2 par wierzchołków dodajemy krawędź prawdopodobieństwem p Model E-R jest przyzwoicie losowy, a jednocześnie na tyle prosty, iż dało się go łatwo zbadać
6 Grafy losowe, model Erdős a-rényi Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Łatwo sprawdzić, iż histogram stopni wierzchołków w modelu E-R ma rozkład dwumianowy: ( ) n P(deg(v) = k) = p k (1 p) n k (1) k który zbiega do rozkładu Poissona przy n Warto też odnotować przejścia fazowe w grafach E-R. Dla p < graf prawie na pewno nie będzie spójny. (1 ɛ) ln n n Natomiast dla p > spójny. (1 ɛ) ln n n praktycznie z pewnością będzie
7 Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model E-R ma jednak pewne wady które powodują, że nie nadaje się do symulowania grafów empirycznych Po pierwsze, grafy E-R nie przejawiają struktury lokalnej, nie posiadają dobrze zdefiniowanych ośrodków i skupisk Grafy empiryczne nie przejawiają rozkładu dwumianowego w histogramach stopni wierzchołków...
8 Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model Small World Network (Watts-Strogatz) Grafy empiryczne mają często dość dziwne cechy. Pomimo iż znaczna większość połączeń jest lokalnych (graf dziedziczy pewną strukturę odległości), to średnia długość drogi liczona w ilości krawędzi między dowolną parą wierzchołków jest bardzo niewielka, znacznie mniejsza niż w pełni lokalnym grafie Własność ta została zaobserwowana przez socjologów w strukturze znajomości w społeczeństwie ludzkim, nosi nazwę fenomenu sześciu uścisków dłoni Okazuje się, że przeciętnie pomiędzy dowolnymi dwoma osobami na świecie istnieje łańcuch sześciu osób które uścisnęły sobie dłonie
9 Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model Small World Network (Watts-Strogatz) W 1998 roku Watts i Strogatz [Watts and Strogatz(1998)] zauważyli, iż pewien bardzo prosty proces losowy prowadzi do powstania dobrze zlokalizowanych sieci z niewielką średnią odległością między wierzchołkami Model sprowadza się do następującego algorytmu: Zacznij od zlokalizowanej sieci, np. kraty lub pierścienia w którym każdy wierzchołek połączony jest z kilkoma najbliższymi sąsiadami Następnie losowo pozamieniaj wierzchołki startowe pewnej ilości krawędzi Jak się okazuje, wystarczy zaingerować w kilka procent krawędzi, aby średnia odległość dramatycznie spadła
10 Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model Small World Network (Watts-Strogatz) Rysunek: Od grafu zlokalizowanego (po lewo) do grafu losowego (prawo). Sieci małego świata są blisko grafów lokalnych, jednak niewielka ilość losowych połączeń istotnie skraca średnią drogę między wierzchołkami.
11 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model W-S interpoluje między grafami z lokalną strukturą połączeń a losowymi grafami E-R Wiele grafów empirycznych, pozornie losowych jest raczej bliżej grafów zlokalizowanych niż E-R Sama lokalność i niewielka średnia odległość to jednak nie wszystko Wiele empirycznych grafów posiada bardzo specyficzny rozkład stopni wierzchołków, nie przypominający rozkładu dwumianowego
12 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rysunek: Rozkład stopni wierzchołków spotykany w grafach empirycznych (niebieski) oraz ten spodziewany w dużych grafach losowych w sensie Erdős a-rényi (różowy)
13 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rysunek: Rozkład stopni wierzchołków spotykany w grafach empirycznych (niebieski) oraz ten spodziewany w dużych grafach losowych w sensie Erdős a-rényi (różowy), wykres logarytmiczny.
14 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Grafy empiryczne okazują się posiadać rozkład stopni wierzchołków raczej przypominający rozkład Pareto, czyli k γ dla pewnego γ > 2. Właściwość ta, nosi nazwę bezskalowości, gdyż zarówno małe jak i duże grafy tego typu parametryzują się za pomocą pewnego γ. Oznacza to, że rozkład stopni wierzchołków zasadniczo nie różni się dla małych i dla dużych instancji. Skoro tak, to oznacza, iż istnieje pewien proces przyrostu, który z małego grafu bezskalowego tworzy duży, jednocześnie zachowując parametr prawa potęgowego. Przez ładnych parę lat nie było wiadomo co to za mechanizm.
15 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto W roku 1999 Albert-László Barabási oraz Reka Albert zaproponowali model [Barabási and Albert(1999)], który w naturalny sposób produkuje sieć bezskalową. Od czasu tej publikacji posypała się lawina prac z analizami rozmaitych grafów, w których obserwuje się strukturę bezskalową: WWW [Albert et al.(1999)albert, Jeong, and Barabási], Sieć kolaboracji naukowej [Barabási et al.(2002)barabási, Jeong, Néda, Ravasz, Schubert, and Vicsek] Sieć cytowań [Redner(1998)], Sieci ekologiczne [Montoya and V.(2002)], Sieci lingwistyczne [i Cancho and Solé(2001)] Sieci metabolizmu [Jeong et al.(2000)jeong, Tombor, Albert, Oltvai, and Barabási] I wiele innych [Albert and Barabási(2002b)].
16 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Model B-A jest bardzo prosty: Załóżmy, że mamy już pewien graf bezskalowy (na początku jeden wierzchołek) Dodajemy nowy wierzchołek i łączymy go z już obecnymi w ten sposób, iż preferowane są te wierzchołki które w poprzednim grafie miały wysokie stopnie. Losujemy zatem pewną ilość wierzchołków z którymi nowy zostanie połączony, z rozkładu proporcjonalnego do obecnego histogramu stopni wierzchołków. Można pokazać, że taki model zbiega do grafu bezskalowego z γ = 3
17 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Sieci bezskalowe mają dość ciekawe cechy: Istnieje niewielka ilość węzłów o wysokich stopniach (hubów) oraz cała masa węzłów o niskich stopniach Są dobrze sklasteryzowane, zatem istnieje pewna struktura lokalna Przejawiają cechy sieci małego świata, ze względu na istnienie hubów, średnia droga między wierzchołkami jest bardzo niewielka Podobnie jak w życiu, gdy masz dużo łatwo ci zdobyć więcej. Gdy twoja praca jest już cytowana, łatwiej zdobyć dalsze cytowania...
18 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rysunek: Grafy: losowy E-R, małego świata W-S, bezskalowy B-A. W przypadku tego ostatniego rzuca się w oczy wezeł skupiający wiele połączeń, i spora liczba dość osamotnionych węzłów.
19 Sieci bezskalowe, model Barabási-Albert Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rysunek: Większa sięć losowa (lewo) i bezskalowa (prawo).
20 Rozkład Pareto Spis treści Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rozkłady bezskalowe (γ = k + 1)to tak zwane rozkłady Pareto o następujących własnościach: gęstości ( ) x k P(X > x) = (2) f (x, k, x m ) = k x k m x k+1 (3) Wartości oczekiwanej x m E(X ) = kx m k 1 (4)
21 Rozkład Pareto Spis treści Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rozkłady bezskalowe (γ = k + 1)to tak zwane rozkłady Pareto o następujących własnościach: gęstości ( ) x k P(X > x) = (2) f (x, k, x m ) = k x k m x k+1 (3) Wartości oczekiwanej x m E(X ) = kx m k 1 (4)
22 Rozkład Pareto Spis treści Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rozkłady bezskalowe (γ = k + 1)to tak zwane rozkłady Pareto o następujących własnościach: gęstości ( ) x k P(X > x) = (2) f (x, k, x m ) = k x k m x k+1 (3) Wartości oczekiwanej x m E(X ) = kx m k 1 (4)
23 Rozkład Pareto Spis treści Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rozkłady bezskalowe (γ = k + 1)to tak zwane rozkłady Pareto o następujących własnościach: gęstości ( ) x k P(X > x) = (2) f (x, k, x m ) = k x k m x k+1 (3) Wartości oczekiwanej x m E(X ) = kx m k 1 (4)
24 Rozkład Pareto Spis treści Grafy losowe, model Erdős a-rényi Model Small World Network (Watts-Strogatz) Sieci bezskalowe, model Barabási-Albert Rozkład Pareto Rysunek: Rozkład Pareto dla k = 1, 2, 3.
25 Sieci Neuronowe Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha to dział informatyki rozwijający się od lat 50 nieco z boku głównego nurtu W dziedzinie tej istnieją dwa równoważne cele badawcze: zrozumieć w jaki sposób układy nerwowe zwierząt i człowieka prowadzą obliczenia oraz jak tą samą funkcjonalność przenieść na maszynę Turinga. Inspiracją wielu koncepcji w sieciach neuronowych są nierzadko brutalnie uproszczone modele działania neuronów. Często nawet jeśli model pojedynczej jednostki jest bardzo prosty, układ wielu takich jednostek posiada ciekawe możliwości.
26 Sieci Neuronowe Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Z początku sieci neuronowe rozwijały się dość wolno, modele neuronu przypominały nieco bramki logiczne, wydawało się jednak, iż uzyskanie ludzkiej inteligencji na komputerze jest na wyciągnięcie ręki... później badania przyspieszyły zaś entuzjazm opadł... W latach 70 i 80 XX wieku, w czasie burzliwego rozwoju informatyki wokół sieci neuronowych pojawiły się działy takie jak machine learning, fuzzy logic, data mining. Dzisiaj można całą tą dziedzinę nazwać soft computing. W pobliżu sieci neuronowych pojawiła się nowa dziedzina neuroscience, która za przedmiot swoich badań objęła neurony biologiczne
27 Neurony Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Biologiczne neurony pomimo mikroskopijnych rozmiarów są skomplikowanymi urządzeniami elektrochemicznymi. Każde przekazanie sygnału elektrochemicznego wiąże się z falą skomplikowanych przemian błony komórkowej. W każdym punkcie błony przemiany te są opisywane skomplikowanym równaniem różniczkowym Hodgkina- Huxleya [Hodgkin and Huxley(1952)]. W największym uproszczeniu można przyjąć, iż neuron przyjmuje sygnały z dendrytów i sumuje je. Jeśli zsumowany sygnał przekroczy pewien próg, neuron wzbudza się, wysyłając sygnał dalej. To brutalne uproszczenie stało się podstawą działania perceptronu.
28 Neurony Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Równania Hodkina-Huxleya: C m dv dt = g L(V V L ) g Na m 3 h(v V Na ) g K n 4 (V V K ) dm dt = α m(v )(1 m) β m (V )m dh dt = α h(v )(1 h) β h (V )h dn dt = α n(v )(1 n) β n (V )n
29 Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha membrane voltage versus time Vm time 20 Rysunek: Przykładowy przebieg zmian potencjału na membranie neuronowej w odpowiedzi na sygnał 6.2 milivolta
30 Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha gna sodium channel conductance versus time time Rysunek: Przykładowy przebieg zmian przewodnictwa jonów sodu na membranie neuronowej w odpowiedzi na sygnał 6.2 milivolta
31 Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha potassium channel conductance versus time gk time 5 Rysunek: Przykładowy przebieg zmian przewodnictwa jonów potasu na membranie neuronowej w odpowiedzi na sygnał 6.2 milivolta
32 Perceptron Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Rysunek: Schemat perceptronu, za f można wziąć funkcję progową lub tanh.
33 Perceptron Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Pojedynczy perceptron potrafi (po odpowiednim dostosowaniu wag), rozwiązywać tak zwane problemy liniowo separowalne. Działanie tego prostego mechanizmu sprowadza się na wyznaczeniu płaszczyzny w przestrzeni wejść parametryzowanej wagami i progiem. Dla punktów wejścia znajdujących się z jednej strony tej płaszczyzny perceptron zwraca 1 (sygnał wzbudzenia), dla pozostałych -1 (sygnał braku wzbudzenia). Granice decyzji można nieco rozmyć poprzez zastosowanie sigmoidalnej funkcji aktywacji (zamiast progowej)
34 Perceptron Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Rysunek: Funkcja sigmoidalna, w tym przypadku tangens hiperboliczny.
35 Perceptron Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Rysunek: Geometryczne przedstawienie zadania realizowanego przez perceptron.
36 Sieci Feed Forward Network Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Problem liniowo separowalny nie jest niczym ciekawym... Pojedynczy perceptron nie jest zbyt inteligentny, ale być może siła w ilości? Okazuje się, że już sieć złożona z trzech warstw perceptronów jest w stanie rozwiązać po odpowiednim doborze wag i progów dowolny problem klasyfikacji. Jak jednak dobierać wagi i progi? To zagadnienie nosi nazwę problemu uczenia i wymaga zastosowania algorytmu uczenia sieci Problem w tym, że do połowy lat 70 XX wieku taki algorytm dla MLP (multi layer perceptron) nie był znany...
37 Sieci Feed Forward Network Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Rysunek: Schemat sieci MLP (Multi Layer Perceptron). Informacja w tej sieci biegnie z dołu do góry zawsze w jednym kierunku, stąd Feed forward network.
38 Sieci Feed Forward Network Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Sposobem na rozwiązanie trudnych problemów jest często wyrażenie ich w terminach optymalizacji. Dana sieć neuronowa to ostatecznie funkcja zależna od parametrów (wag i progów) która przykładowi przypisuje wartość aktywacji. Zbiór przykładów zawiera także docelowe aktywacje (dlatego nazwany jest zbiorem treningowym). Zbiór treningowy powinien być niesprzeczny. Przez O W (e) oznaczmy aktywację sieci z macierzą wag W (wektor progów θ można uwikłać w macierz W łącząc każdą jednostkę ze sztucznym wejściem stale równym jeden) na przykładzie e.
39 Algorytm wstecznej propagacji Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Mając pewien zbiór przykładów (e i, t i ) gdzie e i jest wejściem do sieci a t i oczekiwanym wyjściem możemy wyrazić problem uczenia sieci w terminach minimalizacji błędu średniokwadratowego: E = n O W (e i ) t i (5) i=1 Następnie aplikujemy algorytm spadku gradientowego na funkcji E: [ ] E W := W η w i,j i=1...n,j=1...m (6)
40 Algorytm wstecznej propagacji Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Od tej pory cały problem sprowadza się do efektywnego policzenia pochodnej względem wag... W ogólności przy wielu tysiącach zmiennych policzenie gradientu jest bardzo trudne i niestabilne numerycznie... Jeśli sieć ma charakter jednokierunkowy, można jednak bardzo łatwo wyliczyć pochodną, poprzez proces w którym w odpowiedni sposób przesyłamy błąd jako aktywację do tyłu Algorytm ten nosi nazwę algorytmu wstecznej propagacji i jest bez wątpienia perełką Wsteczną propagację zawdzięczamy Paulowi Werbosowi [Werbos(1974)], który zaproponował tą metodę w swojej pracy doktorskiej w 1974 roku. Algorytm został zapomniany i na nowo odkryty w latach 80 przez Rumelharta, Hintona i Williamsa [Rumelhart et al.(1986)rumelhart, Hinton, and Williams].
41 Sieci rekurencyjne Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Uczenie algorytmem wstecznej propagacji o ile w sieci nie ma połączeń zwrotnych (rekurencji) Jest to duże ograniczenie, gdyż biologiczne sieci są często prawie całkowicie rekurencyjne... Ta stytuacje wymaga trochę innego podejścia, zahaczającego o mechanikę statystyczną...
42 Sieci rekurencyjne Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Rysunek: Przykład sieci w pełni rekurencyjnej. Właściwie trudno nawet określić które jednostki są wejściowe a które wyjściowe. Można ustalić, że cała sieć jest wejściem i wyjściem, wtedy wynikiem działania sieci może być pewien stan równowagi.
43 Sieci rekurencyjne Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha W roku 1982 J. Hopfield [Hopfield(1982)] zaproponował prosty model rekurencyjnej sieci neuronowej wraz ze skutecznym algorytmem uczenia opartym o tak zwaną regułę Hebba. Reguła Hebba [Hebb(1949)] była używana już wcześniej w tak zwanym uczeniu bez nadzoru Reguła ta sprowadza się do obserwacji, iż w biologicznych neuronach synapsy często używane do wymiany sygnałów się rozrastają, te zaś które nie są używane zmniejszają się. W języku sztucznych sieci neuronowych tłumaczy się to na wzmacnianie połączeń pomiędzy skorelowanymi jednostkami
44 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Sieć składa się z n jednostek binarnych, każda jednostka przyjmuje wartości ze zbioru { 1, 1} Wszystkie jednostki są połączone, wagi w układzie zadaje macierz W = [w i,j ], zakładamy że w i,i = 0 oraz w i,j = w j,i Z siecią stowarzyszona jest funkcja energetyczna: E = 1 w i,j σ i σ j + 2 i<j i θ i σ i (7) Pierwszy czynnik sumy zależy od wewnętrznych interakcji sieci, drugi zwany jest polem zewnętrznym.
45 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha W trakcie swojej ewolucji sieć startuje ze stanu początkowego a następnie w każdym kroku: wybieramy losowo jednostkę σ i obliczamy pole lokalne dla tej jednostki czyli Σ i = j w j,i σ j (8) Sprawdzamy czy Σ i > θ i. Jeśli tak, ustawiamy σ i = 1, gdy Σ i < θ i ustawiamy σ i = 1, zaś gdy Σ i = θ i pozostawiamy sieć bez zmian. Powyższa dynamika w wersji asynchronicznej (naraz uaktualniamy tylko jedną jednostkę) nigdy nie zwiększa globalnej energii układu, a zatem zbiega do pewnego minimum.
46 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Oznaczmy przez σ stan wyjściowy sieci, a przez σ stan po dokonaniu zmiany przez dynamikę. Załóżmy, że zmieniony został neuron i: E(σ ) E(σ) = 1 w i,j σ j (σ 2 i σ i ) θ i (σ i σ i ) (σ i σ i )(Σ i θ i ) 0 j Jeśli założymy, że przy Σ i = θ i nie następuje zmiana sieci, to ostatnia nierówność jest ostra. Ponieważ energia jest funkcją ograniczoną, zatem w trakcie dynamiki asynchronicznej osiągany jest pewne minimum (lokalne). Zatem problem uczenia sieci, sprowadza się do odpowiedniego zaprojektowania krajobrazu energetycznego... (9)
47 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Oznaczmy przez σ stan wyjściowy sieci, a przez σ stan po dokonaniu zmiany przez dynamikę. Załóżmy, że zmieniony został neuron i: E(σ ) E(σ) = 1 w i,j σ j (σ 2 i σ i ) θ i (σ i σ i ) (σ i σ i )(Σ i θ i ) 0 j Jeśli założymy, że przy Σ i = θ i nie następuje zmiana sieci, to ostatnia nierówność jest ostra. Ponieważ energia jest funkcją ograniczoną, zatem w trakcie dynamiki asynchronicznej osiągany jest pewne minimum (lokalne). Zatem problem uczenia sieci, sprowadza się do odpowiedniego zaprojektowania krajobrazu energetycznego... (9)
48 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Oznaczmy przez σ stan wyjściowy sieci, a przez σ stan po dokonaniu zmiany przez dynamikę. Załóżmy, że zmieniony został neuron i: E(σ ) E(σ) = 1 w i,j σ j (σ 2 i σ i ) θ i (σ i σ i ) (σ i σ i )(Σ i θ i ) 0 j Jeśli założymy, że przy Σ i = θ i nie następuje zmiana sieci, to ostatnia nierówność jest ostra. Ponieważ energia jest funkcją ograniczoną, zatem w trakcie dynamiki asynchronicznej osiągany jest pewne minimum (lokalne). Zatem problem uczenia sieci, sprowadza się do odpowiedniego zaprojektowania krajobrazu energetycznego... (9)
49 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Ukształtowanie krajobrazu energetycznego sprowadza się do ustalenia macierzy wag Załóżmy, iż chcemy, aby minima energetyczne przypadały w określonych konfiguracjach wzorcowych I µ = {ζ µ i }sieci Ustalmy miarę podobieństwa konfiguracji sieci σ do wzorca µ: M µ (σ) = 1 σ i ζ µ i = 1 N N < σ, Iµ > (10) i Ustalmy funkcję energetyczną jako błąd średniokwadratowy odtwarzania wzorca: E(σ) = 1 2 N µ (M µ (σ)) 2 (11)
50 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Wtedy: E(σ) = 1 2N Ustalając: Mamy: µ i,j σ i ζ µ i ζ µ j σ j 1 2 P 1 2N 1 N σ i ζ µ i ζ µ j σ j (12) µ ζ µ i ζ µ j = w i,j (13) µ E = 1 2 i,j σ i σ j w i,j (14) Zatem wagi zdefiniowane regułą Hebba ustalają dobry krajobraz energetyczny. i,j
51 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Wtedy: E(σ) = 1 2N Ustalając: Mamy: µ i,j σ i ζ µ i ζ µ j σ j 1 2 P 1 2N 1 N σ i ζ µ i ζ µ j σ j (12) µ ζ µ i ζ µ j = w i,j (13) µ E = 1 2 i,j σ i σ j w i,j (14) Zatem wagi zdefiniowane regułą Hebba ustalają dobry krajobraz energetyczny. i,j
52 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Wtedy: E(σ) = 1 2N Ustalając: Mamy: µ i,j σ i ζ µ i ζ µ j σ j 1 2 P 1 2N 1 N σ i ζ µ i ζ µ j σ j (12) µ ζ µ i ζ µ j = w i,j (13) µ E = 1 2 i,j σ i σ j w i,j (14) Zatem wagi zdefiniowane regułą Hebba ustalają dobry krajobraz energetyczny. i,j
53 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Wtedy: E(σ) = 1 2N Ustalając: Mamy: µ i,j σ i ζ µ i ζ µ j σ j 1 2 P 1 2N 1 N σ i ζ µ i ζ µ j σ j (12) µ ζ µ i ζ µ j = w i,j (13) µ E = 1 2 i,j σ i σ j w i,j (14) Zatem wagi zdefiniowane regułą Hebba ustalają dobry krajobraz energetyczny. i,j
54 Model Hopfielda Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Sieci Hopfielda mają tendencję do popadania w minima lokalne, aby tego uniknąć stosuje się wersję stochastyczną dynamiki (maszyna Boltzmanna [Ackley et al.(1985)ackley, Hinton, and Sejnowski]) Model Hopfielda znajduje zastosowanie w rozpoznawaniu wzorców, a także jako model prostych układów nerwowych dla robotów, biotów, systemów agentowych Prawdziwe neurony nie działają w sposób asynchroniczny, faktycznie zaś przesyłają impulsy których przesunięcia czasowe mogą mieć istotne znaczenie dla przetwarzanego sygnału. Dotychczas wymienione modele neuronowe zupełnie ignorują to zjawisko...
55 Sieci impulsujące Spis treści Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Trzecią generacją modeli neuronowych są tak zwane sieci impulsujące (spiking neural network) opisane obszernie w [Gerstner and Kistler(2002)]. Zagadnienie sprowadza się do mniej lub bardziej dokładnego modelowania dynamiki błony komórkowej z uwzględnieniem opóźnień i innych czynników wpływających na impulsy Najprostszą wersją neuronu impulsującego jest tzw. integrate and fire. Neuron całkuje po czasie nadchodzący sygnał, gdy całko osiągnie pewien próg, wysyła własny sygnał, zerując zliczaną całkę (ewentualnie wchodząc w okres refrakcji poprzez przyjęcie ujemnej wartości całki). Minimalnym ulepszeniem jest model leaky integrate and fire w którym część zbieranego potencjału umyka
56 Dynamiczne sieci impulsujące Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Model integrate and fire nie przejawia żadnych oscylacji, tymczasem o neuronach wiadomo, iż ich odpowiedź impulsowa nie zależy jedynie od mocy sygnału, ale także od częstotliwości i jej synchronizacji z wewnętrznym rytmem komórki. Tego typu przekształcenie nie jest realizowalne za pomocą prostego splotu czy podobnych mechanizmów, wymaga zastosowania układu równań różniczkowych o odpowiednio bogatej przestrzeni fazowej Punktem wyjścia może być równanie Hodkina-Huxleya, które pasuje do wyników empirycznych, jednak jest ono dość skomplikowane i (prawdopodobnie) nadmiernie sparametryzowane
57 Dynamiczne sieci impulsujące Perceptron Sieci Feed Forward Network Sieci rekurencyjne Model Hopfielda Sieci impulsujące Dynamiczne sieci impulsujące Model Eugene Izhikevicha Z pewnością niezbędnym minimum do wygenerowania oscylacji jest układ dwóch równań różniczkowych, jedno określające odpowiednik potencjału membrany, oraz drugi składnik wolny, odpowiadający przewodności kanałów jonowych Przestrzenią fazową takie układu jest płaszczyzna, stan komórki zatacza na tej płaszczyźnie cykle Nadchodzący sygnał wejściowy na bieżąco wpływa na trajektorie układu
Struktury bezskalowe w rekurencyjnych sieciach neuronowych
Struktury bezskalowe w rekurencyjnych sieciach neuronowych Wydział Matematyki i Informatyki UMK Prezentacja dostępna na http://www.mat.uni.torun.pl/~philip/sem_dok2007.pdf 18 listopada 2007 1 Grafy losowe,
Podstawy Sztucznej Inteligencji (PSZT)
Podstawy Sztucznej Inteligencji (PSZT) Paweł Wawrzyński Uczenie maszynowe Sztuczne sieci neuronowe Plan na dziś Uczenie maszynowe Problem aproksymacji funkcji Sieci neuronowe PSZT, zima 2013, wykład 12
Wstęp do teorii sztucznej inteligencji Wykład III. Modele sieci neuronowych.
Wstęp do teorii sztucznej inteligencji Wykład III Modele sieci neuronowych. 1 Perceptron model najprostzszy przypomnienie Schemat neuronu opracowany przez McCullocha i Pittsa w 1943 roku. Przykład funkcji
Metody Sztucznej Inteligencji II
17 marca 2013 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką, która jest w stanie odbierać i przekazywać sygnały elektryczne. Neuron działanie Jeżeli wartość sygnału
Sztuczna Inteligencja Tematy projektów Sieci Neuronowe
PB, 2009 2010 Sztuczna Inteligencja Tematy projektów Sieci Neuronowe Projekt 1 Stwórz projekt implementujący jednokierunkową sztuczną neuronową złożoną z neuronów typu sigmoidalnego z algorytmem uczenia
Uczenie sieci neuronowych i bayesowskich
Wstęp do metod sztucznej inteligencji www.mat.uni.torun.pl/~piersaj 2009-01-22 Co to jest neuron? Komputer, a mózg komputer mózg Jednostki obliczeniowe 1-4 CPU 10 11 neuronów Pojemność 10 9 b RAM, 10 10
Uczenie sieci typu MLP
Uczenie sieci typu MLP Przypomnienie budowa sieci typu MLP Przypomnienie budowy neuronu Neuron ze skokową funkcją aktywacji jest zły!!! Powszechnie stosuje -> modele z sigmoidalną funkcją aktywacji - współczynnik
Sztuczne sieci neuronowe
www.math.uni.lodz.pl/ radmat Cel wykładu Celem wykładu jest prezentacja różnych rodzajów sztucznych sieci neuronowych. Biologiczny model neuronu Mózg człowieka składa się z około 10 11 komórek nerwowych,
Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa 2010-12-07 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa, Andrzej Rutkowski Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-10-15 Projekt
Optymalizacja ciągła
Optymalizacja ciągła 5. Metoda stochastycznego spadku wzdłuż gradientu Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 04.04.2019 1 / 20 Wprowadzenie Minimalizacja różniczkowalnej
8. Neuron z ciągłą funkcją aktywacji.
8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i
Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu
Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-12-13 1 Modele sieci rekurencyjnej Energia sieci 2 3 Modele sieci
Modelowanie sieci złożonych
Modelowanie sieci złożonych B. Wacław Instytut Fizyki UJ Czym są sieci złożone? wiele układów ma strukturę sieci: Internet, WWW, sieć cytowań, sieci komunikacyjne, społeczne itd. sieć = graf: węzły połączone
Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej
Wstęp do sieci neuronowych, wykład 12 Wykorzystanie sieci rekurencyjnych w optymalizacji grafowej Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2013-01-09
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.
Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI
Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;
Sieci Hopfielda Najprostsze modele sieci z rekurencją sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga; Modele bardziej złoŝone: RTRN (Real Time Recurrent Network), przetwarzająca sygnały w czasie
Grafy Alberta-Barabasiego
Spis treści 2010-01-18 Spis treści 1 Spis treści 2 Wielkości charakterystyczne 3 Cechy 4 5 6 7 Wielkości charakterystyczne Wielkości charakterystyczne Rozkład stopnie wierzchołków P(deg(x) = k) Graf jest
Zastosowania sieci neuronowych
Zastosowania sieci neuronowych aproksymacja LABORKA Piotr Ciskowski zadanie 1. aproksymacja funkcji odległość punktów źródło: Żurada i in. Sztuczne sieci neuronowe, przykład 4.4, str. 137 Naucz sieć taką
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ
IMPLEMENTACJA SIECI NEURONOWYCH MLP Z WALIDACJĄ KRZYŻOWĄ Celem ćwiczenia jest zapoznanie się ze sposobem działania sieci neuronowych typu MLP (multi-layer perceptron) uczonych nadzorowaną (z nauczycielem,
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2011-10-11 1 Modelowanie funkcji logicznych
Spontaniczna struktura bezskalowa w grafach przepływu impulsów dla rekurencyjnych sieci neuronowych
Spontaniczna struktura bezskalowa w grafach przepływu impulsów dla rekurencyjnych sieci neuronowych Filip Piękniewski Wydział Matematyki i Informatyki Uniwersytetu Mikołaja Kopernika w Toruniu Praca doktorska
Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16
Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego
3. FUNKCJA LINIOWA. gdzie ; ół,.
1 WYKŁAD 3 3. FUNKCJA LINIOWA FUNKCJĄ LINIOWĄ nazywamy funkcję typu : dla, gdzie ; ół,. Załóżmy na początek, że wyraz wolny. Wtedy mamy do czynienia z funkcją typu :.. Wykresem tej funkcji jest prosta
Prawa potęgowe w grafach przepływu informacji dla geometrycznych sieci neuronowych
w grafach przepływu informacji dla geometrycznych sieci neuronowych www.mat.uni.torun.pl/~piersaj 2009-06-10 1 2 3 symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji X (p) p α Rozkłady prawdopodobieństwa
Elementy inteligencji obliczeniowej
Elementy inteligencji obliczeniowej Paweł Liskowski Institute of Computing Science, Poznań University of Technology 9 October 2018 1 / 19 Perceptron Perceptron (Rosenblatt, 1957) to najprostsza forma sztucznego
Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda
Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-12-19 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu
Biostatystyka, # 3 /Weterynaria I/
Biostatystyka, # 3 /Weterynaria I/ dr n. mat. Zdzisław Otachel Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowań Matematyki i Informatyki ul. Głęboka 28, p. 221 bud. CIW, e-mail: zdzislaw.otachel@up.lublin.pl
Podstawy sztucznej inteligencji
wykład 5 Sztuczne sieci neuronowe (SSN) 8 grudnia 2011 Plan wykładu 1 Biologiczne wzorce sztucznej sieci neuronowej 2 3 4 Neuron biologiczny Neuron Jest podstawowym budulcem układu nerwowego. Jest komórką,
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I
Techniki Optymalizacji: Stochastyczny spadek wzdłuż gradientu I Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje:
Programowanie celowe #1
Programowanie celowe #1 Problem programowania celowego (PC) jest przykładem problemu programowania matematycznego nieliniowego, który można skutecznie zlinearyzować, tzn. zapisać (i rozwiązać) jako problem
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta
Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa
Temat: Sieci neuronowe oraz technologia CUDA
Elbląg, 27.03.2010 Temat: Sieci neuronowe oraz technologia CUDA Przygotował: Mateusz Górny VIII semestr ASiSK Wstęp Sieci neuronowe są to specyficzne struktury danych odzwierciedlające sieć neuronów w
Wstęp do sztucznych sieci neuronowych
Wstęp do sztucznych sieci neuronowych Michał Garbowski Zachodniopomorski Uniwersytet Technologiczny w Szczecinie Wydział Informatyki 15 grudnia 2011 Plan wykładu I 1 Wprowadzenie Inspiracja biologiczna
W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych:
W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych: Zmienne losowe skokowe (dyskretne) przyjmujące co najwyżej przeliczalnie wiele wartości Zmienne losowe ciągłe
Uczenie się pojedynczego neuronu. Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z<0 y=1 gdy z>=0. Wówczas: W 1 x 1 + w 2 x 2 + = 0
Uczenie się pojedynczego neuronu W0 X0=1 W1 x1 W2 s f y x2 Wp xp p x i w i=x w+wo i=0 Jeśli zastosowana zostanie funkcja bipolarna s y: y=-1 gdy z=0 Wówczas: W 1 x 1 + w 2 x 2 + = 0 Algorytm
Inteligentne systemy przeciw atakom sieciowym
Inteligentne systemy przeciw atakom sieciowym wykład Sztuczne sieci neuronowe (SSN) Joanna Kołodziejczyk 2016 Joanna Kołodziejczyk Inteligentne systemy przeciw atakom sieciowym 2016 1 / 36 Biologiczne
Sieci bezskalowe. Filip Piękniewski
Wydział Matematyki i Informatyki UMK Prezentacja na Seminarium Doktoranckie dostępna na http://www.mat.uni.torun.pl/ philip/sem-2008-2.pdf 24 listopada 2008 1 Model Erdős a-rényi Przejścia fazowe w modelu
Znaleźć wzór ogólny i zbadać istnienie granicy ciągu określonego rekurencyjnie:
Ciągi rekurencyjne Zadanie 1 Znaleźć wzór ogólny i zbadać istnienie granicy ciągu określonego rekurencyjnie: w dwóch przypadkach: dla i, oraz dla i. Wskazówka Należy poszukiwać rozwiązania w postaci, gdzie
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova
Wstęp do sieci neuronowych, wykład 11 Łańcuchy Markova M. Czoków, J. Piersa 2010-12-21 1 Definicja Własności Losowanie z rozkładu dyskretnego 2 3 Łańcuch Markova Definicja Własności Losowanie z rozkładu
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty
Wstęp do sieci neuronowych laboratorium 01 Organizacja zajęć. Perceptron prosty Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-03 Projekt pn. Wzmocnienie potencjału
Definicje i przykłady
Rozdział 1 Definicje i przykłady 1.1 Definicja równania różniczkowego 1.1 DEFINICJA. Równaniem różniczkowym zwyczajnym rzędu n nazywamy równanie F (t, x, ẋ, ẍ,..., x (n) ) = 0. (1.1) W równaniu tym t jest
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa
Wstęp do sieci neuronowych, wykład 12 Łańcuchy Markowa M. Czoków, J. Piersa 2012-01-10 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego 3 1 Łańcucha Markowa 2 Istnienie Szukanie stanu stacjonarnego
Spacery losowe generowanie realizacji procesu losowego
Spacery losowe generowanie realizacji procesu losowego Michał Krzemiński Streszczenie Omówimy metodę generowania trajektorii spacerów losowych (błądzenia losowego), tj. szczególnych procesów Markowa z
Zajęcia nr. 3 notatki
Zajęcia nr. 3 notatki 22 kwietnia 2005 1 Funkcje liczbowe wprowadzenie Istnieje nieskończenie wiele funkcji w matematyce. W dodaktu nie wszystkie są liczbowe. Rozpatruje się funkcje które pobierają argumenty
Temat: Sztuczne Sieci Neuronowe. Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE
Temat: Sztuczne Sieci Neuronowe Instrukcja do ćwiczeń przedmiotu INŻYNIERIA WIEDZY I SYSTEMY EKSPERTOWE Dr inż. Barbara Mrzygłód KISiM, WIMiIP, AGH mrzyglod@ agh.edu.pl 1 Wprowadzenie Sztuczne sieci neuronowe
WYMAGANIA Z WIEDZY I UMIEJĘTNOŚCI NA POSZCZEGÓLNE STOPNIE SZKOLNE DLA KLASY CZWARTEJ H. zakres rozszerzony. Wiadomości i umiejętności
WYMAGANIA Z WIEDZY I UMIEJĘTNOŚCI NA POSZCZEGÓLNE STOPNIE SZKOLNE DLA KLASY CZWARTEJ H. zakres rozszerzony Funkcja wykładnicza i funkcja logarytmiczna. Stopień Wiadomości i umiejętności -definiować potęgę
Instytut Politechniczny Państwowa Wyższa Szkoła Zawodowa. Diagnostyka i niezawodność robotów
Instytut Politechniczny Państwowa Wyższa Szkoła Zawodowa Diagnostyka i niezawodność robotów Laboratorium nr 6 Model matematyczny elementu naprawialnego Prowadzący: mgr inż. Marcel Luzar Cele ćwiczenia:
Prognozowanie i Symulacje. Wykład I. Matematyczne metody prognozowania
Prognozowanie i Symulacje. Wykład I. e-mail:e.kozlovski@pollub.pl Spis treści Szeregi czasowe 1 Szeregi czasowe 2 3 Szeregi czasowe Definicja 1 Szereg czasowy jest to proces stochastyczny z czasem dyskretnym
VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa.
VII. Elementy teorii stabilności. Funkcja Lapunowa. 1. Stabilność w sensie Lapunowa. W rozdziale tym zajmiemy się dokładniej badaniem stabilności rozwiązań równania różniczkowego. Pojęcie stabilności w
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa.
Wstęp do sieci neuronowych, wykład 02 Perceptrony c.d. Maszyna liniowa. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2012-10-10 Projekt pn. Wzmocnienie
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe
Inteligentne systemy decyzyjne: Uczenie maszynowe sztuczne sieci neuronowe Trening jednokierunkowych sieci neuronowych wykład 2. dr inż. PawełŻwan Katedra Systemów Multimedialnych Politechnika Gdańska
W celu obliczenia charakterystyki częstotliwościowej zastosujemy wzór 1. charakterystyka amplitudowa 0,
Bierne obwody RC. Filtr dolnoprzepustowy. Filtr dolnoprzepustowy jest układem przenoszącym sygnały o małej częstotliwości bez zmian, a powodującym tłumienie i opóźnienie fazy sygnałów o większych częstotliwościach.
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3
Wstęp do sieci neuronowych, wykład 6 Wsteczna propagacja błędu - cz. 3 Andrzej Rutkowski, Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-11-05 Projekt
Metody numeryczne I Równania nieliniowe
Metody numeryczne I Równania nieliniowe Janusz Szwabiński szwabin@ift.uni.wroc.pl Metody numeryczne I (C) 2004 Janusz Szwabiński p.1/66 Równania nieliniowe 1. Równania nieliniowe z pojedynczym pierwiastkiem
Hierarchiczna analiza skupień
Hierarchiczna analiza skupień Cel analizy Analiza skupień ma na celu wykrycie w zbiorze obserwacji klastrów, czyli rozłącznych podzbiorów obserwacji, wewnątrz których obserwacje są sobie w jakimś określonym
Zadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =
Matematyka ubezpieczeń majątkowych 0.0.006 r. Zadanie. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k 5 Pr( N = k) =, k = 0,,,... 6 6 Wartości kolejnych szkód Y, Y,, są i.i.d.,
13. Równania różniczkowe - portrety fazowe
13. Równania różniczkowe - portrety fazowe Grzegorz Kosiorowski Uniwersytet Ekonomiczny w Krakowie rzegorz Kosiorowski (Uniwersytet Ekonomiczny 13. wrównania Krakowie) różniczkowe - portrety fazowe 1 /
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Struktury danych i złożoność obliczeniowa Wykład 7. Prof. dr hab. inż. Jan Magott
Struktury danych i złożoność obliczeniowa Wykład 7 Prof. dr hab. inż. Jan Magott Problemy NP-zupełne Transformacją wielomianową problemu π 2 do problemu π 1 (π 2 π 1 ) jest funkcja f: D π2 D π1 spełniająca
Efekt motyla i dziwne atraktory
O układzie Lorenza Wydział Matematyki i Informatyki Uniwersytet Mikołaja kopernika Toruń, 3 grudnia 2009 Spis treści 1 Wprowadzenie Wyjaśnienie pojęć 2 O dziwnych atraktorach 3 Wyjaśnienie pojęć Dowolny
Zadanie 3 Oblicz jeżeli wiadomo, że liczby 8 2,, 1, , tworzą ciąg arytmetyczny. Wyznacz różnicę ciągu. Rozwiązanie:
Zadanie 3 Oblicz jeżeli wiadomo, że liczby 8 2,, 1, 6 11 6 11, tworzą ciąg arytmetyczny. Wyznacz różnicę ciągu. Uprośćmy najpierw liczby dane w treści zadania: 8 2, 2 2 2 2 2 2 6 11 6 11 6 11 26 11 6 11
Uczenie sieci radialnych (RBF)
Uczenie sieci radialnych (RBF) Budowa sieci radialnej Lokalne odwzorowanie przestrzeni wokół neuronu MLP RBF Budowa sieci radialnych Zawsze jedna warstwa ukryta Budowa neuronu Neuron radialny powinien
Sztuczne sieci neuronowe (SNN)
Sztuczne sieci neuronowe (SNN) Pozyskanie informacji (danych) Wstępne przetwarzanie danych przygotowanie ich do dalszej analizy Selekcja informacji Ostateczny model decyzyjny SSN - podstawy Sieci neuronowe
Wprowadzenie do analizy korelacji i regresji
Statystyka dla jakości produktów i usług Six sigma i inne strategie Wprowadzenie do analizy korelacji i regresji StatSoft Polska Wybrane zagadnienia analizy korelacji Przy analizie zjawisk i procesów stanowiących
TEORETYCZNE PODSTAWY INFORMATYKI
1 TEORETYCZNE PODSTAWY INFORMATYKI 16/01/2017 WFAiS UJ, Informatyka Stosowana I rok studiów, I stopień Repetytorium złożoność obliczeniowa 2 Złożoność obliczeniowa Notacja wielkie 0 Notacja Ω i Θ Rozwiązywanie
1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN. Agenda
Sieci neuropodobne 1. Historia 2. Podstawy neurobiologii 3. Definicje i inne kłamstwa 4. Sztuczny neuron i zasady działania SSN Agenda Trochę neurobiologii System nerwowy w organizmach żywych tworzą trzy
Funkcje dwóch zmiennych
Funkcje dwóch zmiennych Andrzej Musielak Str Funkcje dwóch zmiennych Wstęp Funkcja rzeczywista dwóch zmiennych to funkcja, której argumentem jest para liczb rzeczywistych, a wartością liczba rzeczywista.
W. Guzicki Próbna matura, grudzień 2014 r. poziom rozszerzony 1
W. Guzicki Próbna matura, grudzień 01 r. poziom rozszerzony 1 Próbna matura rozszerzona (jesień 01 r.) Zadanie 18 kilka innych rozwiązań Wojciech Guzicki Zadanie 18. Okno na poddaszu ma mieć kształt trapezu
Modele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11
Modele DSGE Jerzy Mycielski Maj 2008 Jerzy Mycielski () Modele DSGE Maj 2008 1 / 11 Modele DSGE DSGE - Dynamiczne, stochastyczne modele równowagi ogólnej (Dynamic Stochastic General Equilibrium Model)
METODY BADAŃ NA ZWIERZĘTACH ze STATYSTYKĄ wykład 3-4. Parametry i wybrane rozkłady zmiennych losowych
METODY BADAŃ NA ZWIERZĘTACH ze STATYSTYKĄ wykład - Parametry i wybrane rozkłady zmiennych losowych Parametry zmiennej losowej EX wartość oczekiwana D X wariancja DX odchylenie standardowe inne, np. kwantyle,
Matematyka dyskretna. Andrzej Łachwa, UJ, /15
Matematyka dyskretna Andrzej Łachwa, UJ, 2013 andrzej.lachwa@uj.edu.pl 7/15 Rachunek różnicowy Dobrym narzędziem do obliczania skończonych sum jest rachunek różnicowy. W rachunku tym odpowiednikiem operatora
MATEMATYKA ZP Ramowy rozkład materiału na cały cykl kształcenia
MATEMATYKA ZP Ramowy rozkład materiału na cały cykl kształcenia KLASA I (3 h w tygodniu x 32 tyg. = 96 h; reszta godzin do dyspozycji nauczyciela) 1. Liczby rzeczywiste Zbiory Liczby naturalne Liczby wymierne
Program MC. Obliczyć radialną funkcję korelacji. Zrobić jej wykres. Odczytać z wykresu wartość radialnej funkcji korelacji w punkcie r=
Program MC Napisać program symulujący twarde kule w zespole kanonicznym. Dla N > 100 twardych kul. Gęstość liczbowa 0.1 < N/V < 0.4. Zrobić obliczenia dla 2,3 różnych wartości gęstości. Obliczyć radialną
Wybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Programowanie w Baltie klasa VII
Programowanie w Baltie klasa VII Zadania z podręcznika strona 127 i 128 Zadanie 1/127 Zadanie 2/127 Zadanie 3/127 Zadanie 4/127 Zadanie 5/127 Zadanie 6/127 Ten sposób pisania programu nie ma sensu!!!.
- prędkość masy wynikająca z innych procesów, np. adwekcji, naprężeń itd.
4. Równania dyfuzji 4.1. Prawo zachowania masy cd. Równanie dyfuzji jest prostą konsekwencją prawa zachowania masy, a właściwie to jest to prawo zachowania masy zapisane dla procesu dyfuzji i uwzględniające
Wstęp do teorii sztucznej inteligencji Wykład II. Uczenie sztucznych neuronów.
Wstęp do teorii sztucznej inteligencji Wykład II Uczenie sztucznych neuronów. 1 - powtórzyć o klasyfikacji: Sieci liniowe I nieliniowe Sieci rekurencyjne Uczenie z nauczycielem lub bez Jednowarstwowe I
Wybrane rozkłady zmiennych losowych. Statystyka
Wybrane rozkłady zmiennych losowych Statystyka Rozkład dwupunktowy Zmienna losowa przyjmuje tylko dwie wartości: wartość 1 z prawdopodobieństwem p i wartość 0 z prawdopodobieństwem 1- p x i p i 0 1-p 1
Indukcja matematyczna. Zasada minimum. Zastosowania.
Indukcja matematyczna. Zasada minimum. Zastosowania. Arkadiusz Męcel Uwagi początkowe W trakcie zajęć przyjęte zostaną następujące oznaczenia: 1. Zbiory liczb: R - zbiór liczb rzeczywistych; Q - zbiór
ROZKŁAD MATERIAŁU DO II KLASY LICEUM (ZAKRES ROZSZERZONY) A WYMAGANIA PODSTAWY PROGRAMOWEJ.
ROZKŁAD MATERIAŁU DO II KLASY LICEUM (ZAKRES ROZSZERZONY) A WYMAGANIA PODSTAWY PROGRAMOWEJ. LICZBA TEMAT GODZIN LEKCYJNYCH Potęgi, pierwiastki i logarytmy (8 h) Potęgi 3 Pierwiastki 3 Potęgi o wykładnikach
Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, Spis treści
Sieci neuronowe do przetwarzania informacji / Stanisław Osowski. wyd. 3. Warszawa, 2013 Spis treści Przedmowa 7 1. Wstęp 9 1.1. Podstawy biologiczne działania neuronu 9 1.2. Pierwsze modele sieci neuronowej
Wstęp do sieci neuronowych, wykład 03 Warstwy RBF, jednostka Adaline.
Wstęp do sieci neuronowych, wykład 3 Warstwy, jednostka Adaline. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 211-1-18 1 Pomysł Przykłady Zastosowanie 2
synaptycznych wszystko to waży 1.5 kg i zajmuje objętość około 1.5 litra. A zużywa mniej energii niż lampka nocna.
Sieci neuronowe model konekcjonistyczny Plan wykładu Mózg ludzki a komputer Modele konekcjonistycze Perceptron Sieć neuronowa Uczenie sieci Sieci Hopfielda Mózg ludzki a komputer Twój mózg to 00 000 000
Programowanie dynamiczne i algorytmy zachłanne
Programowanie dynamiczne i algorytmy zachłanne Tomasz Głowacki tglowacki@cs.put.poznan.pl Zajęcia finansowane z projektu "Rozwój i doskonalenie kształcenia na Politechnice Poznańskiej w zakresie technologii
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych
Algorytmy decyzyjne będące alternatywą dla sieci neuronowych Piotr Dalka Przykładowe algorytmy decyzyjne Sztuczne sieci neuronowe Algorytm k najbliższych sąsiadów Kaskada klasyfikatorów AdaBoost Naiwny
Kształcenie w zakresie podstawowym. Klasa 2
Kształcenie w zakresie podstawowym. Klasa 2 Poniżej podajemy umiejętności, jakie powinien zdobyć uczeń z każdego działu, aby uzyskać poszczególne stopnie. Na ocenę dopuszczającą uczeń powinien opanować
Wstęp do sieci neuronowych, wykład 14 Maszyna Boltzmanna
do sieci neuronowych, wykład 14 Maszyna Boltzmanna M. Czoków, J. Piersa Faculty of Mathematics and Computer Science, Nicolaus Copernicus University, Toruń, Poland 2014-01-21 Problemy z siecią Hopfilda
2) R stosuje w obliczeniach wzór na logarytm potęgi oraz wzór na zamianę podstawy logarytmu.
ZAKRES ROZSZERZONY 1. Liczby rzeczywiste. Uczeń: 1) przedstawia liczby rzeczywiste w różnych postaciach (np. ułamka zwykłego, ułamka dziesiętnego okresowego, z użyciem symboli pierwiastków, potęg); 2)
Następnie przypominamy (dla części studentów wprowadzamy) podstawowe pojęcia opisujące funkcje na poziomie rysunków i objaśnień.
Zadanie Należy zacząć od sprawdzenia, co studenci pamiętają ze szkoły średniej na temat funkcji jednej zmiennej. Na początek można narysować kilka krzywych na tle układu współrzędnych (funkcja gładka,
MATEMATYKA WYKAZ UMIEJĘTNOŚCI WYMAGANYCH NA POSZCZEGÓLNE OCENY DLA KLASY DRUGIEJ
MATEMATYKA WYKAZ UMIEJĘTNOŚCI WYMAGANYCH NA POSZCZEGÓLNE OCENY 1. SUMY ALGEBRAICZNE DLA KLASY DRUGIEJ 1. Rozpoznawanie jednomianów i sum algebraicznych Obliczanie wartości liczbowych wyrażeń algebraicznych
Literatura. Sztuczne sieci neuronowe. Przepływ informacji w systemie nerwowym. Budowa i działanie mózgu
Literatura Wykład : Wprowadzenie do sztucznych sieci neuronowych Małgorzata Krętowska Wydział Informatyki Politechnika Białostocka Tadeusiewicz R: Sieci neuronowe, Akademicka Oficyna Wydawnicza RM, Warszawa
Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa
Spis treści Elementy Modelowania Matematycznego Wykład 4 Regresja i dyskryminacja liniowa Romuald Kotowski Katedra Informatyki Stosowanej PJWSTK 2009 Spis treści Spis treści 1 Wstęp Bardzo często interesujący
Klasyfikacja w oparciu o metrykę budowaną poprzez dystrybuanty empiryczne na przestrzeni wzorców uczących
Klasyfikacja w oparciu o metrykę budowaną poprzez dystrybuanty empiryczne na przestrzeni wzorców uczących Cezary Dendek Wydział Matematyki i Nauk Informacyjnych PW Plan prezentacji Plan prezentacji Wprowadzenie
SIECI REKURENCYJNE SIECI HOPFIELDA
SIECI REKURENCYJNE SIECI HOPFIELDA Joanna Grabska- Chrząstowska Wykłady w dużej mierze przygotowane w oparciu o materiały i pomysły PROF. RYSZARDA TADEUSIEWICZA SPRZĘŻENIE ZWROTNE W NEURONIE LINIOWYM sygnał
Prawdopodobieństwo i statystyka
Wykład XIV: Metody Monte Carlo 19 stycznia 2016 Przybliżone obliczanie całki oznaczonej Rozważmy całkowalną funkcję f : [0, 1] R. Chcemy znaleźć przybliżoną wartość liczbową całki 1 f (x) dx. 0 Jeden ze
Metody Rozmyte i Algorytmy Ewolucyjne
mgr inż. Wydział Matematyczno-Przyrodniczy Szkoła Nauk Ścisłych Uniwersytet Kardynała Stefana Wyszyńskiego Podstawowe operatory genetyczne Plan wykładu Przypomnienie 1 Przypomnienie Metody generacji liczb
KRYTERIA OCEN Z MATEMATYKI DLA KLASY VII
KRYTERIA OCEN Z MATEMATYKI DLA KLASY VII Na ocenę dopuszczającą uczeń powinien : Na ocenę dostateczną uczeń powinien: Na ocenę dobrą uczeń powinie: Na ocenę bardzo dobrą uczeń powinien: Na ocenę celującą
JAKIEGO RODZAJU NAUKĄ JEST
JAKIEGO RODZAJU NAUKĄ JEST INFORMATYKA? Computer Science czy Informatyka? Computer Science czy Informatyka? RACZEJ COMPUTER SCIENCE bo: dziedzina ta zaistniała na dobre wraz z wynalezieniem komputerów