Wstęp do sieci neuronowych, wykład 9 Sieci rekurencyjne. Autoasocjator Hopfielda

Transkrypt

1 Wstęp do sieci neuronowych, wykład 9. M. Czoków, J. Piersa

2 1 Sieci skierowane 2 Modele sieci rekurencyjnej Energia sieci 3

3 Sieci skierowane Sieci skierowane Sieci skierowane graf połączeń synaptycznych nie zawiera cykli wierzchołki dają się posortować topologicznie, dynamika odbywa się synchronicznie zgodnie z kolejnością zadaną przez otrzymaną kolejność,

4 Modele sieci rekurencyjnej Energia sieci Graf sieci dopuszcza istnienie cykli skierowanych, sortowanie topologicznie nie jest możliwe, dynamika nabiera aspektu temporalnego: sieć rozijamy w szereg podsieci powiązanych ze sobą zależnościami czasowymi.

5 Model sieci rekurencyjnej Modele sieci rekurencyjnej Energia sieci

6 Model sieci rekurencyjnej Modele sieci rekurencyjnej Energia sieci każda jednostka ma przypisany swój spin σ i { 1, +1} jest to aktualna aktywacja neuronu i może się zmieniać podczas dynamiki, połączenia synaptyczne mają przypisane wagi w ij = w ji R, przyjmujemy w ii = 0, jeżeli krawędzi nie ma w grafie, to przyjmujemy w = 0, ponadto neurony otrzymują swoje pole zewnętrzne h i R podobnie jak wagi są to wartości ustalone w trakcie procesu uczenia.

7 Model sieci rekurencyjnej Modele sieci rekurencyjnej Energia sieci neuron zmienia swój spin i wysyła informację do sąsiadów, jednakże po zmianie jest nieaktywny przez pewien okres czasu τ r (czas refrakcji), ponadto przesył impulsu po krawędzi zajmuje pewien okres czasu τ p (czas przesyłu, może zależeć od rodzau lub długości krawędzi!)

8 Dynamika Glaubera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę:

9 Dynamika Glaubera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę: wylosuj neuron σ i, przypisz σ i = sign( j w ij σ j + h i ) powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.

10 Dynamika Glaubera Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to sieć jest niewielka i można stosować następującą dynamikę: wylosuj neuron σ i, przypisz σ i = sign( j w ij σ j + h i ) powtarzaj 1 i 2 aż do ustabilizowania się sytuacji. Oznaczmy M i = j w ijσ j + h i lokalne pole wypadkowe dla jednostki i.

11 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to działanie przybliżamy dynamiką synchroniczną:

12 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to działanie przybliżamy dynamiką synchroniczną: wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnym polem wypadkowym, tj, przypisujemy: σ i = sign(m i ) przy wykorzystaniu zestawu spinów z porzedniej iteracji.

13 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Alternatywne sformułowanie:

14 Dynamika Little a Modele sieci rekurencyjnej Energia sieci Alternatywne sformułowanie: Rozpocznij z losowego σ 0 Powtarzaj wielokrotnie: Przypisz σ t+1 := sign(w σ t ) gdzie W = [w ij ] i,j=1..n jest macierzą wag, σ t wektorem spinów w t-tym kroku.

15 Dynamika Hybrydowa Modele sieci rekurencyjnej Energia sieci Jeżeli τ p τ r, to dynamika staje się skomplikowana ze względu na znaczne opóźnienia w przesyle. można przybliżać lokalne małe fragmenty sieci (tj. bliskie jednoskti) dynamiką asynchroniczną (Glaubera), w dużej skali należy stosować dynamikę synchroniczną uwzględniającą różnice czasowe.

16 Energia sieci Modele sieci rekurencyjnej Energia sieci Określmy energię sieci (Hammiltonian) zależny od bieżącej konfiguracji spinów neuronów: E( σ) = 1 w ij σ i σ j 2 i i j h i σ i Wagi w ij oraz pola zewnętrzne h i są ustalone, więc energia zależy tylko od spinów.

17 Twierdzenie Modele sieci rekurencyjnej Energia sieci Twierdzenie W trakcie dynamiki Glaubera energia sieci nie ulega wzrostowi.

18 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ).

19 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i

20 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii.

21 Dowód Modele sieci rekurencyjnej Energia sieci Załóżmy, że z konfiguracji σ przeszliśmy do σ. Niech σ i będzie neuronem, który zmieniliśmy, tj σ i = σ i = sign(m i ). Zauważmy, że E( σ) = 1 2 j i,k i w jk σ j σ k w ij σ i σ j h j σ j h i σ i j j i Zmieniliśmy tylko spin σ i więc j i,k i w jkσ j σ k oraz j i h jσ j nie wpływają na zmianę energii. Obliczmy E( σ ) E( σ) = = j w ij σ iσ j h i σ i j w ij σ i σ j h i σ i =

22 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i =

23 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) =

24 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i )

25 Dowód cd. Modele sieci rekurencyjnej Energia sieci E( σ ) E( σ) = j w ij σ iσ j h i σ i + j w ij σ i σ j + h i σ i = j w ij (σ i σ i )σ j h i (σ i σ i ) = (σ i σ i ) j w ij σ j h i = (σ i σ i )( M i ) Przypomnijmy, że podstawialiśmy σ i := sign(m i ). E( σ ) E( σ) = (sign(m i ) ( sign(m i ))M i = 2 M i 0

26 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również i podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie.

27 Wniosek Modele sieci rekurencyjnej Energia sieci Jeżeli ilość neuronów w sieci n jest skończona, to ilość możliwych konfiguracji σ również i podczas dynamiki osiągane jest minimum (być może lokalne!) funkcji energetycznej w skończonym czasie. Wykorzystamy dynamikę asynchroniczną sieci do znajdowania rozwiązania problemów optymalizacyjnych. Wystarczy do tego sprecyzować wagi i pola lokalne.

28 Cel Chcemy stwirzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będzie w stanie go odtworzyć.

29 Cel Chcemy stwirzyć pamięć adresowaną zawartością, tj mając dany fragment obrazu będzie w stanie go odtworzyć. Oznaczmy: I µ = {ξ µ i } obraz wzorcowy, i = 1..N ilość pikseli, µ = 1..P ilość wzorców σ i neurony sieci, po jednym neuronie na każdy piksel obrazu, w ij wagi między neuronami, h i pola zewnętrzne,

30 Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1

31 Oznaczmy stopień zgodności stanu sieci σ ze wzorcem I µ M µ ( σ) = 1 N N σ i ξ µ i = 1 N σ, I µ i=1 M µ ( σ) = 1 oznacza pełną zgodność, M µ ( σ) = 1 całkowitą niezgodność, ale przy naszych oznaczeniach należy pamiętać, że jest to idealny negatyw.

32 Energia Zdefiniujmy energię E( σ) = N 2 P (M µ ( σ)) 2 = µ=1

33 Energia Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1

34 Energia Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

35 Energia Zdefiniujmy energię E( σ) = N 2 = N 2 µ=1 P (M µ ( σ)) 2 = µ=1 ( ) 2 P 1 N σ i ξ µ i = N i=1 N 2 P 1 N N 2 µ=1 N i=1 j=1,j i σ i σ j ξ µ i ξ µ j + 1 N 2 N σi 2 ξ µ i i=1 2

36 Energia E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j

37 Energia E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N N i j µ=1 P σ i σ j ξ µ i ξ µ j

38 Energia E( σ) = 1 2N P i j µ=1 σ i σ j ξ µ i ξ µ j = 1 2N = 1 2 N i j µ=1 N σ i σ j 1 N i j P σ i σ j ξ µ i ξ µ j P ξ µ i ξ µ j µ=1

39 Wagi Otzymujemy zależności na wagi: w ij = 1 N P ξ µ i ξ µ j µ=1

40 Wagi Otzymujemy zależności na wagi: w ij = 1 N P ξ µ i ξ µ j µ=1 oraz na pola zewnętrzne h i = 0

41 Wagi Otzymujemy zależności na wagi: w ij = 1 N P ξ µ i ξ µ j µ=1 oraz na pola zewnętrzne h i = 0 Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośnie kolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.

42 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ,

43 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ, 2 poddajemy bieżącą konfigurację ewolucji Glaudera:

44 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ, 2 poddajemy bieżącą konfigurację ewolucji Glaudera: 1 losujemy jednostkę i,

45 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ, 2 poddajemy bieżącą konfigurację ewolucji Glaudera: 1 losujemy jednostkę i, 2 ustawiamy spin σ i := sign( j w ijσ j ),

46 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ, 2 poddajemy bieżącą konfigurację ewolucji Glaudera: 1 losujemy jednostkę i, 2 ustawiamy spin σ i := sign( j w ijσ j ), 3 powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,

47 Rekonstrukcja obrazu dynamika Glaudera Gdy sieć jest już nauczona możemy odsyskać wejściowy zaszumiony obraz: 1 obraz wejściowy konwertujemy na konfigurację spinów σ, 2 poddajemy bieżącą konfigurację ewolucji Glaudera: 1 losujemy jednostkę i, 2 ustawiamy spin σ i := sign( j w ijσ j ), 3 powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje, 3 wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację sponów σ.

48 Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0,

49 Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 poddajemy konfigurację ewolucji:

50 Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign(σ t+1 i )

51 Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign(σ t+1 i ) 2 powtarzamy 2.1 aż stan sieci się ustabilizuje,

52 Rekonstrukcja obrazu dynamika Little a Ustaloną mamy macierz wag W = (w ij ) N i,j=1 1 obraz wejściowy konwertujemy na konfigurację początkową (t = 0) spinów σ 0, 2 poddajemy konfigurację ewolucji: 1 Przypisujemy σ t+1 := W σ t σ t+1 i := sign(σ t+1 i ) 2 powtarzamy 2.1 aż stan sieci się ustabilizuje, 3 wyjściowy obraz odzyskujemy dekodując wyjściową konfigurację spinów σ T.

53 Trajektoria odzyskiwania obrazu

54 Stabilność wzorca Załóżmy, że wzorce I µ są niezależne, tj. prawdopodobieństwo, że losowy piksel jest włączony jest to samo P(ξ µ i = +1) = P(ξ µ i = 1) = 1 2

55 Stabilność wzorca Załóżmy, że wzorce I µ są niezależne, tj. prawdopodobieństwo, że losowy piksel jest włączony jest to samo Pytamy: P(ξ µ i = +1) = P(ξ µ i = 1) = 1 2 kiedy I µ jest punktem stałym dynamiki sieci?

56 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i =

57 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j N µ σ j

58 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i

59 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0.

60 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i

61 Stabilność wzorca Policzmy: M i ( σ) = j w ij σ i = j ( ) 1 ξ µ i ξ µ j σ j = N µ µ M µ ( σ)ξ µ i Podstawmy za konfigurację wzorzec σ := I µ 0. M i (I µ 0 ) = ξ µ 0 i + µ µ 0 M µ (I µ 0 )ξ µ i }{{} } {{ } sygnał szum

62 Stabilność wzorca Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2

63 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j

64 Stabilność wzorca Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1:

65 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) =

66 Stabilność wzorca Założyliśmy, że: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Zdefiniujmy zmienną losową Ξ: Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ j = N j

67 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 N N N 1 j

68 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N N N 1 N j

69 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j

70 Stabilność wzorca Założyliśmy, że: Zdefiniujmy zmienną losową Ξ: P(ξ µ i ξ µ j = +1) = P(ξ µ i ξ µ j = 1) = 1 2 Ξ = ξ µ i ξ µ j Wartość oczekiwana wynosi EΞ = 0, wariancja D 2 Ξ = 1: Z centralnego twiedzenia granicznego. M µ (I µ 0 ) = 1 ξ µ i ξ µ i j = Ξ i N 0 1 D N(0, 1) N(0, 1 N N N 1 N N ) j I dalej: M µ (I µ0 )ξ µ i N(0, P 1 N ) µ µ 0

71 Stabilność wzorca Aby nie zepsuć wzorca musi być µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1

72 Stabilność wzorca Aby nie zepsuć wzorca musi być µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała P 1 N 1

73 Stabilność wzorca Aby nie zepsuć wzorca musi być µ µ 0 M µ (I µ 0 )ξ µ i N(0, P 1 N ) < 1 Wariancja musi być bardzo mała czyli P 1 N 1 P N

74 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz.

75 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz. Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) =

76 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz. Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N ) = Φ(1 2R/N α ) =

77 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz. Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N ) = Φ(1 ) = 1 Φ( 1 2R/N ) α α

78 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz. Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N ) = Φ(1 ) = 1 Φ( 1 2R/N ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N α )) N

79 Wzorzec I µ 0 zaburzamy w R punktach. Szum nadal wynosi N(0, P N ), natomiast sygnał (1 R N )ξµ 0 i. Szukamy bezpiecznego α = P N, aby wciąż dało się odzyskać obraz. Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi: P(N(0, α) < 1 2R N 2R/N ) = Φ(1 ) = 1 Φ( 1 2R/N ) α α Chcemy odtworzyć wszystkie piksele (a nie jeden), więc prawdopodobieństwo wyniesie ( 1 Φ( 1 2R/N ) N ) 1 N Φ( 1 2R/N ) α α

80 Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ).

81 Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α

82 Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π 2R/N)2 exp( (1 ) 2α

83 Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α N α (1 2R/N) 2π N α exp( (1 2R/N)2 2α ) 2π 2R/N)2 exp( (1 ) 2α

84 Skorzystamy z przybliżenia Φ 1 x x2 exp( 2π 2 ). Jeżeli ograniczymy dopuszczalny błąd przez δ, to δ > N 1 2R/N Φ( ) α Po zlogarytmowaniu: N α (1 2R/N) 2π N α exp( (1 2R/N)2 2α ) 2π (1 2R N )2 2α ( ln δ + ln N + ln α ) 2 2R/N)2 exp( (1 ) 2α

85 α (1 2R N )2 2 ln N 1 2 ln N

86 Wniosek α (1 2R N )2 2 ln N 1 2 ln N W sieci o N wierzchołkach można przechować maksymalnie wzorców. N 4 log N

87

88 Niepoprawne odzyskiwanie za dużo wzorców