Wstęp do sieci neuronowych, wykład 10 Sieci rekurencyjne. Autoasocjator Hopfielda

Transkrypt

1 Wstęp do sieci neuronowych, wykład 10. Maja Czoków, Jarosław Piersa Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika Projekt pn. Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych realizowany w ramach Poddziałania Programu Operacyjnego Kapitał Ludzki

2 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

3 Modele sieci rekurencyjnej Energia sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

4 Sieci skierowane przypomnienie Modele sieci rekurencyjnej Energia sieci Sieci skierowane graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie, dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,

5 Modele sieci rekurencyjnej Energia sieci Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologiczne nie jest możliwe, Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.

6 Motywacja Modele sieci rekurencyjnej Energia sieci Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować i rozwiązywać (dyskretne) problemy optymalizacyjne Rozważania w poniższym rozdziale będą dotyczyły konstrukcji autoasocjatora graficznego, W dalszych wykładach pokażemy jak dostosować sieć do innych problemów.

7 typu Hopfielda Modele sieci rekurencyjnej Energia sieci każda jednostka ma przypisany swój spin σ i { 1, +1} zmienny w trakcie dynamiki, połączenia synaptyczne mają przypisane wagi w ij = w ji R stałe w trakcie dynamiki, zmienne w trakcie uczenia, w ii = 0, jeżeli krawędzi nie ma w grafie, to w ij = 0, neurony otrzymują swoje pole zewnętrzne h i R stałe.

8 Modele sieci rekurencyjnej Energia sieci Ogólna koncepcja dynamiki w sieciach rekurencyjnych neuron zmienia swój spin i wysyła informację do sąsiadów, po zmianie jest nieaktywny przez pewien okres czasu τ r czas refrakcji, po upływie τ r neuron może przyjmować i wysyłać impulsy, przesył impulsu po krawędzi zajmuje pewien okres czasu τ p (czas przesyłu, może zależeć od rodzaju lub długości krawędzi),

9 Dynamika Glaudera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę: wylosuj neuron σ i, przypisz σ i = sign( j w ij σ j + h i ) powtarzaj 1 i 2 aż do ustabilizowania się sytuacji. Oznaczmy M i = j w ijσ j + h i lokalne pole wypadkowe dla jednostki i.

10 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to działanie przybliżamy dynamiką synchroniczną: wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy: σ i = sign(m i ) przy wykorzystaniu zestawu spinów z poprzedniej iteracji.

11 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Alternatywne sformułowanie: Rozpocznij z losowego σ 0 Powtarzaj wielokrotnie: Przypisz σ t+1 := sign(w σ t + H) gdzie: W = [w ij ] i,j=1..n jest macierzą wag, H wektor pól zewnętrznych σ t wektor spinów w t-tym kroku.

12 Dynamika Hybrydowa Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle. małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamiką asynchroniczną (Glaudera), w dużej skali stosujemy dynamikę synchroniczną uwzględniającą różnice czasowe.

13 Energia sieci Modele sieci rekurencyjnej Energia sieci Określmy energię sieci (Hammiltonian) zależny od bieżącej konfiguracji spinów neuronów: Energia E( σ) = 1 w ij σ i σ j 2 i i j h i σ i Wagi w ij oraz pola zewnętrzne h i są ustalone, więc energia zależy tylko od spinów.

14 Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.

15 Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi. Dowód na tablicy

16 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ).

17 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i

18 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii.

19 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii. Obliczmy E( σ ) E( σ) = = j w ij σ iσ j h i σ i j w ij σ i σ j h i σ i =

20 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i =

21 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) =

22 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i )

23 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i ) Przypomnijmy, że podstawialiśmy σ i := sign(m i ). E( σ ) E( σ) = (sign(m i ) ( sign(m i ))M i = 2 M i 0

24 Modele sieci rekurencyjnej Energia sieci Ewolucja sieci Hopfielda, dynamika Little a click

25 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

26 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również, podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie. Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych. Wystarczy do tego sprecyzować wagi w ij i pola lokalne h j, Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczenia sieci.

27 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 1 Modele sieci rekurencyjnej Energia sieci 2 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci 3 4 Pojemność sieci

28 Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć.

29 Cel Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Chcemy stworzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będziemy w stanie go odtworzyć. Oznaczmy: I µ = {ξ µ i } obraz wzorcowy, i = 1..N indeks piksela, N ilość pikseli, µ = 1..P indeks wzorca, P ilość wzorców, σ i neurony sieci, po jednym neuronie na każdy piksel obrazu, w ij wagi między neuronami, h i pola zewnętrzne.

30 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

31 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1

32 Konstrukcja Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1 M µ ( σ) = 1 oznacza pełną zgodność, M µ ( σ) = 1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

33 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 P (M µ ( σ)) 2 = µ=1

34 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1

35 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

36 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

37 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j

38 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N N i j µ=1 P σ i σ j ξ µ i ξ µ j

39 Energia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N = 1 2 N i j µ=1 N σ i σ j 1 N i j P σ i σ j ξ µ i ξ µ j P ξ µ i ξ µ j µ=1

40 Wagi Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Otrzymujemy zależności na wagi: Wagi w ij = 1 N P ξ µ i ξ µ j µ=1 oraz na pola zewnętrzne Pola zewnętrzne h i = 0 Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośnie kolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.

41 Przestrzeń stanów Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

42 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumiony obraz: 1 Obraz wejściowy konwertujemy na konfigurację spinów σ, 2 Poddajemy bieżącą konfigurację ewolucji Glaudera: 1 Losujemy jednostkę i, 2 Ustawiamy spin σ i := sign( j w ijσ j ), 3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ.

43 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 Obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 Poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign( σ t+1 i ) 2 Powtarzamy 2.1 aż stan sieci się ustabilizuje, 3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ T.

44 Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Rysunek uproszczony, przestrzeń to { 1, +1} d a nie R

45 Trajektoria odzyskiwania obrazu Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

46 Ograniczenia Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce? Ile maksymalnie wzorców P =? może się pomieścić w sieci o N neuronach?

47 Fakt Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Jakie wymagania sieć musi spełniać aby poprawnie odtwarzać wzorce? Ile maksymalnie wzorców może się pomieścić w sieci o N neuronach?

48 Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Fakt W sieci o N wierzchołkach można przechować maksymalnie nieskorelowanych wzorców. N 4 log N

49 Pojemność sieci Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci W poprawnym działaniu ważną rolę odgrywa brak korelacji między wzorcami uczącymi.

50 Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

51 Co to są wzorce skorelowane? Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

52 Korelacja a poprawne odzyskiwanie Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci

53 Konstrukcja Odzyskiwanie obrazu Stabilność wzorca i pojemność sieci Niepoprawne odzyskiwanie za dużo wzorców lub wzorce skorelowane

54 Zapoznaj się z mechanizmem symulowanego wyżarzania. Dlaczego jest on często wprowadzany do dynamiki sieci Hopfielda? Oszacuj wymagania pamięciowe naiwnej implementacji sieci Hopfielda dla obrazów o rozdzielczości Jak można zredukować zapotrzebowanie pamięciowe? (*) Jak można zmusić sieć Hopfielda do uczenia się z rozróżnieniem obrazu od negatywu?

55 Zaimplementuj autoasocjator graficzny Hopfielda. Zaimplementuj autoasocjator lingwistyczny (dla par / trójek liter) bazujący na sieci Hopfielda. Jak sieć będzie działać dla problemy rozpoznawania małych liter na matrycy dużej rozdzielczości?

56 Pojemność sieci Poniższy fragment zawiera szkice oszacowań pojemności sieci, przy której można stabilnie odzyskać obraz, Nie obowiązuje na egzaminie.

57 Stabilność wzorca Pojemność sieci Załóżmy, że wzorce I µ są niezależne, tj. P(ξ µ i = +1) = P(ξ µ i = 1) = 1 2 Pytamy: kiedy I µ jest punktem stałym dynamiki sieci?

58 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i =

59 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j N µ σ j

60 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i

61 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0.

62 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i

63 Stabilność wzorca Pojemność sieci Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i }{{} } {{ } sygnał szum

64 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2

65 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j

66 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1:

67 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) =

68 Stabilność wzorca Pojemność sieci Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ j = N j

69 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 N N N 1 j

70 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N N N 1 N j

71 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j

72 Stabilność wzorca Pojemność sieci Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twierdzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j I dalej: M µ (I µ0 )ξ µ i N(0, P 1 N ) µ µ 0

73 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1

74 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1

75 Stabilność wzorca Pojemność sieci Aby nie zepsuć wzorca musi zachodzić µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1 czyli P N

76 Pojemność sieci Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ). Sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz.

77 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) =

78 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) = Φ(1 2R/N α ) =

79 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α

80 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N α )) N

81 Pojemność sieci Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N 1 2R/N ) = Φ(1 ) = 1 Φ( ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N ) N ) 1 N Φ( 1 2R/N ) α α

82 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ).

83 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α

84 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α

85 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α N α exp( (1 2R/N)2 2α ) 2π

86 Pojemność sieci Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α Po zlogarytmowaniu: N α exp( (1 2R/N)2 2α ) 2π (1 2R N )2 2α ( ln δ + ln N + ln α ) 2

87 Pojemność sieci Wniosek α (1 2R N )2 2 ln N 1 2 ln N W sieci o N wierzchołkach można przechować maksymalnie wzorców. N 4 log N