Wstęp do sieci neuronowych, wykład 9. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika 2018-12-10 Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki
1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 Pojemność sieci
Modele sieci rekurencyjnej Energia sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 Pojemność sieci
Sieci skierowane przypomnienie Modele sieci rekurencyjnej Energia sieci Sieci skierowane graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie, dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,
Modele sieci rekurencyjnej Energia sieci Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologiczne nie jest możliwe, Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.
Motywacja Modele sieci rekurencyjnej Energia sieci Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować i rozwiązywać (dyskretne) problemy optymalizacyjne Rozważania w poniższym rozdziale będą dotyczyły konstrukcji autoasocjatora graficznego, W dalszych wykładach pokażemy jak dostosować sieć do innych problemów.
typu Hopfielda Modele sieci rekurencyjnej Energia sieci każda jednostka ma przypisany swój spin σ i { 1, +1} zmienny w trakcie dynamiki, połączenia synaptyczne mają przypisane wagi w ij = w ji R stałe w trakcie dynamiki, zmienne w trakcie uczenia, w ii = 0, jeżeli krawędzi nie ma w grafie, to w ij = 0, neurony otrzymują swoje pole zewnętrzne h i R stałe.
Modele sieci rekurencyjnej Energia sieci Ogólna koncepcja dynamiki w sieciach rekurencyjnych neuron zmienia swój spin i wysyła informację do sąsiadów, po zmianie jest nieaktywny przez pewien okres czasu τ r czas refrakcji, po upływie τ r neuron może przyjmować i wysyłać impulsy, przesył impulsu po krawędzi zajmuje pewien okres czasu τ p (czas przesyłu, może zależeć od rodzaju lub długości krawędzi),
Dynamika Glaubera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę: wylosuj neuron σ i, przypisz σ i = sign( j w ij σ j + h i ) powtarzaj 1 i 2 aż do ustabilizowania się sytuacji. Oznaczmy M i = j w ijσ j + h i lokalne pole wypadkowe dla jednostki i.
Dynamika Little a Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to działanie przybliżamy dynamiką synchroniczną: wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy: σ i = sign(m i ) przy wykorzystaniu zestawu spinów z poprzedniej iteracji.
Dynamika Little a Modele sieci rekurencyjnej Energia sieci Alternatywne sformułowanie: Rozpocznij z losowego σ 0 Powtarzaj wielokrotnie: Przypisz σ t+1 := sign(w σ t + H) gdzie: W = [w ij ] i,j=1..n jest macierzą wag, H wektor pól zewnętrznych σ t wektor spinów w t-tym kroku.
Dynamika Hybrydowa Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle. małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamiką asynchroniczną (Glaubera), w dużej skali stosujemy dynamikę synchroniczną uwzględniającą różnice czasowe.
Energia sieci Modele sieci rekurencyjnej Energia sieci Określmy energię sieci zależną od bieżącej konfiguracji spinów neuronów: Energia E( σ) = 1 w ij σ i σ j 2 i i j h i σ i Wagi w ij oraz pola zewnętrzne h i są ustalone, więc energia zależy tylko od spinów.
Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaubera energia sieci nie ulega wzrostowi.
Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ).
Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k 1 2 2 w ij σ i σ j h j σ j h i σ i j j i
Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k 1 2 2 w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii.
Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k 1 2 2 w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii. Obliczmy E( σ ) E( σ) = = j w ij σ iσ j h i σ i j w ij σ i σ j h i σ i =
Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i =
Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) =
Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i )
Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i ) Przypomnijmy, że podstawialiśmy σ i := sign(m i ). E( σ ) E( σ) = (sign(m i ) ( sign(m i )))M i = 2 M i 0
Modele sieci rekurencyjnej Energia sieci Ewolucja sieci Hopfielda, dynamika Little a click
Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.
Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie. Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych. Wystarczy do tego sprecyzować wagi w ij i pola lokalne h j, Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczenia sieci.
Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 Pojemność sieci
Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć.
Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć. Oznaczmy: I µ = {ξ µ i } obraz wzorcowy, i = 1..N indeks piksela, N ilość pikseli, µ = 1..P indeks wzorca, P ilość wzorców, σ i neurony sieci, po jednym neuronie na każdy piksel obrazu, w ij wagi między neuronami, h i pola zewnętrzne.
Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci
Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1
Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1 M µ ( σ) = 1 oznacza pełną zgodność, M µ ( σ) = 1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 P (M µ ( σ)) 2 = µ=1
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N N i j µ=1 P σ i σ j ξ µ i ξ µ j
Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N = 1 2 N i j µ=1 N σ i σ j 1 N i j P σ i σ j ξ µ i ξ µ j P ξ µ i ξ µ j µ=1
Wagi Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Otrzymujemy zależności na wagi: Wagi w ij = 1 N P ξ µ i ξ µ j µ=1 oraz na pola zewnętrzne Pola zewnętrzne h i = 0 Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośnie kolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne. Uwaga: Porównaj regułę uczenia z regułą Hebba.
Przestrzeń stanów Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci
Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Glaubera Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumiony obraz: 1 Obraz wejściowy konwertujemy na konfigurację spinów σ, 2 Poddajemy bieżącą konfigurację ewolucji Glaubera: 1 Losujemy jednostkę i, 2 Ustawiamy spin σ i := sign( j w ijσ j ), 3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ.
Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 Obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 Poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign( σ t+1 i ) 2 Powtarzamy 2.1 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ T.
Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rysunek uproszczony, przestrzeń to { 1, +1} d a nie R 2. 0-0.5-1 -1.5-2 -2.5-10 -5 0 0 5 10 5-5 10-10
Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci
Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Ile maksymalnie wzorców może się pomieścić w sieci o N neuronach?
Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Fakt W sieci o N wierzchołkach można przechować maksymalnie nieskorelowanych wzorców. Hertz, Krogh i Palmer (1991) poprawili to oszacowanie: N 4 log N Fakt W sieci o N wierzchołkach można przechować maksymalnie 0.138N nieskorelowanych wzorców.
Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci W poprawnym działaniu ważną rolę odgrywa brak korelacji między wzorcami uczącymi.
Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci
Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci
Korelacja a poprawne odzyskiwanie Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci -0.6-0.4-0.2 0-0.8-1.4-1.2-10 -5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10
Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Niepoprawne odzyskiwanie za dużo wzorców lub wzorce skorelowane -0.5 0-1.5-1 -2-10 10-5 5 0 0 5-5 10-10 -0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10-0.2 0-0.4-0.6-0.8-1 -10-5 5 0 0 5-5 10-10 10
Pojemność sieci Poniższy fragment zawiera szkice oszacowań pojemności sieci, przy której można stabilnie odzyskać obraz, Nie obowiązuje na egzaminie.
Stabilność wzorca Pojemność sieci Załóżmy, że wzorce I µ są niezależne, tj. Pytamy: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 kiedy I µ jest punktem stałym dynamiki sieci?
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j =
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j = j ( ) 1 ξ µ i ξ µ j N µ σ j
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0.
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i
Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ j = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i }{{} } {{ } sygnał szum
Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2
Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j
Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1:
Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) =
Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ j N j
Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ 1 j D N(0, 1) N N j
Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ 1 j D N(0, 1) N(0, 1 N N N ) j
Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ 1 j D N(0, 1) N(0, 1 N N N ) j I dalej: M µ (I µ0 )ξ µ i N(0, P 1 N ) µ µ 0
Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1
Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1
Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1 czyli P N
Pojemność sieci Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ). Sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz.
Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) =
Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) = Φ(1 2R/N α ) =
Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α
Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 2R/N N 1 Φ( )) α
Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( ) 1 2R/N N 1 2R/N 1 Φ( ) 1 N Φ( ) α α
Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ).
Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Przyjmiemy, że dopuszczalne p-stwo błędu wynosi δ, wówczas δ > N 1 2R/N Φ( ) α
Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Przyjmiemy, że dopuszczalne p-stwo błędu wynosi δ, wówczas δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α
Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Przyjmiemy, że dopuszczalne p-stwo błędu wynosi δ, wówczas δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π N α exp( (1 2R/N)2 2α ) 2π 2R/N)2 exp( (1 ) 2α
Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Przyjmiemy, że dopuszczalne p-stwo błędu wynosi δ, wówczas δ > N 1 2R/N Φ( ) α Po zlogarytmowaniu: N α (1 2R/N) 2π N α exp( (1 2R/N)2 2α ) 2π (1 2R N )2 2α ( ln δ + ln N + ln α ) 2 2R/N)2 exp( (1 ) 2α
Pojemność sieci Wniosek α (1 2R N )2 2 ln N 1 2 ln N W sieci o N wierzchołkach można przechować maksymalnie wzorców. N 4 log N