Prawa potęgowe w grafach przepływu informacji dla geometrycznych sieci neuronowych

Transkrypt

1 w grafach przepływu informacji dla geometrycznych sieci neuronowych

2 1 2 3 symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji

3 X (p) p α Rozkłady prawdopodobieństwa Statystyka Fizyka

4 Sieci bezskalowe deg(v) stopień wierzchołka v w grafie P(deg(v) = p) p α Przykłady sieci bezskalowych: Internet WWW sieci lingwistyczne sieci współpracy naukowej sieci znajomości złożone sieci neuronowe (naturalne)

5 Dany podzbiór V R 3. N neuronów należących do V N Poiss(c V ) Każdy neuron n i jest opisany poprzez: współrzędne w R 3 (x, y, z) iid U V ładunek k i połączenia synaptyczne do innych neuronów P((n i, n j ) E) wagi połączeń w ij iid N(0, σ 2 ) 1 d(n i, n j ) α

6 Funkcja energetyczna E = i,j k i k j w i,j E min

7 Algorytm symulowanego wyżarzania Wylosuj parę neuronów n i, n j połączonych krawędzią. Jeżeli k i = 0 powtórz losowanie. Jeżeli przeniesienie jednej jednostki ładunku z n i do n j zmniejsza energię o E to zaakceptuj tę zmianę (k i = k i 1; k j = k j + 1). W przeciwnym wypadku zaakceptuj zmianę z prawdopodobieństwem równym P = exp ( β E) gdzie β > 0 jest zwiększane w trakcie symulacji, E jest zmianą energii. Powtarzaj kroki 1..4 do uzyskania zbieżności.

8 Algorytm symulowanego wyżarzania Dla każdego węzła określamy deg in (n) ilość ładunku, który wpłynął trakcie symulacji. Definiujemy funkcję f : N N f (x) = n V 1 degin (n)=x Hipoteza: f (x) x 2

9 Wykresy przepływu Połóżmy: Teraz Po zlogarytmowaniu: g(x) = i x g(x) x 1 f (i) h(ln(x)) = ln(g(x)) Podstawiając y = ln x oraz g(x) = cx α h(y) = ln(cx α ) = ln(c) + α ln(x) = αy + c 1

10 Wykresy przepływu

11 Przybliżenie parametru nachylenia y = x s x = i x i s xx = i x 2 i s y = i y i s xy = i x i â = s xyn s x s y s xx N s 2 x

12 Przybliżenie parametru nachylenia y = x Po odcięciu skrajnych wartości. x[0.015 : 0.5]y[0.015 : 0.5]

13 Przybliżenie parametru nachylenia

14 Uproszczenie modelu Określamy wsparcie neuronu: W i = j w ij Niech n 1, n 2, takie że W 1 > W 2. Policzymy różnicę energii E 2 E 1 po przesłaniu jednostki ładunku z n 2 do n 1. Przy β 0 zmiana prowadząca do zwiększenia się energii zawsze jest odrzucana.

15 Uproszczenie modelu E 1 = C + k 1 k i w 1i + k 2 k j w 2j + w 12 k 1 k 2 i S 1 \{n 2 } j S 2 \{n 1 } E 2 = C + k k i w 1i + k 2 1 k j w 2j + j S 2 \{n 1 } i S 1 \{n 2 } j S 2 \{n 1 } w 12 k (k 2 1) E 2 E 1 = ( k k i k 1 k i )w 1i + i S 1 \{n 2 } ( k 2 1 k j k 2 k j )w 2j + w 12 ( k 1 k k 1 k 2 )

16 Uproszczenie modelu k 1 > k i dla n i S 1 (w szczególności k 1 > k 2 ) E 2 E 1 = j S 1 w 1i + j S 2 w 2j + N(0, 4σ 2 ) = W 1 + W 2 + N(0, 4σ 2 ) 0 zazwyczaj Preferowany będzie przepływ ładunku do jednostki o większym wsparciu. k 1 < k i dla n i S 1 E 2 E 1 = j S 1 w 1i + j S 2 w 2j + N(0, 4σ 2 ) = W 1 W 2 + N(0, 4σ 2 ) 0 zazwyczaj Po zamianie znaków preferowany będzie przepływ ładunku do jednostki o mniejszym wsparciu (ale większym ładunku).

17 Uproszczenie modelu Oznaczmy S 1 = n ilość sąsiadów n 1. Powstają dwie możliwe sytuacje lokalnie minimalizujące energię: Gdy ładunek płynie do jednostek o małym wsparciu: k 1 = 0, k i = c dla i S 1. Wówczas energia wyniesie E = i (c 0)w 1i = ncw 1 Gdy ładunek płynie do jednostek o dużym wsparciu: k 1 = nc, k i = 0 dla i S 1. Wówczas energia wyniesie E = i (nc 0)w 1i = n 2 cw 1

18 Uproszczenie modelu Pierwsza sytuacja jest metastabilna, z postępem symulacji zanika. Przepływ ładunku z n i do n j odbywa się jeżeli W i W j Dynamika sieci przechodzi na tryb zwycięzca bierze wszystko (winner take all). Uproszczenie: losowane są tylko krawędzie e = (n i, n j ), takie że max(w i, W j ) min(w l : k l > 0).

19 Porównanie symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji przed po wszystkich 59M 215M 1.3G 314M 250M 700M 550M ważnych 10M 20M 50M 50M 50M 100M 100M przyjętych 220k 435k 654k 570k 850k 817k 1.5M czas 1h+ 3h+ 10h h 3.5h 8h geometria sfera sfera kostka sfera kostka sfera kostka

20 symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji węzłów krawędzi kroków mnk geometria zbieżność k 50M x sfera 0.65% k 20M -1.3x sfera 1.2% k 30M x sfera 1.5% k 50M x sfera 0.9% k 100M x sfera 0.8% k 25M x sfera 5%(!!) k 50M -1.1x sfera 0.9% M 50M x sfera 2.5% (!!) k 100M x kostka 0.6% k 50M -1.3x kostka 1% k 50M x kostka 0.8% M 100M -1.17x kostka 0.8% M 100M x kostka 1%

21 Rozmieszczenie elity symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji

22 Graf przepływu ładunku symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji DFS bez ograniczeń Graf złożony z krawędzi, którymi płynie największa ilość ładunku do neuronów o największym wsparciu.

23 Graf przepływu ładunku symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji Kolejka priorytetowa + ograniczenie 100 krawędzi na graf

24 Współczynnik klasteryzacji symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji C i = 2E i k i (k i 1) k i ilość krawędzi incydentnych z i E i ilość krawędzi w podgrafie obciętym do {u : (u, i) E} C = 1 N i C i Wykres współczynnika klasteryzacji w zależności od progu d. (uv) E i p uv > d

25 Wykres zaakceprowanych zmian symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji

26 Co dalej? symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji Optymalizacja Zaawansowana analiza grafu Symulacje większych instancji

27 Wykorzystane narzędzia symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji Eclipse CDT R-project (analiza i wykresy) OpenGL (biblioteki) SDL, SDL ttf (biblioteki) KILE, GIMP (prezentacja)

28 symulacji Graf przepływu ładunku Wspóczynnik klasteryzacji Praca współfinansowana ze środków Europejskiego Funduszu Społecznego i Budżetu Państwa w ramach Zintegrowanego Programu Operacyjnego Rozwoju Regionalnego, Działania 2.6 Regionalne Strategie Innowacyjne i transfer wiedzy projektu własnego Województwa Kujawsko-Pomorskiego Stypendia dla doktorantów 2008/2009 ZPORR