Spontaniczna struktura bezskalowa w grafach przepływu impulsów dla rekurencyjnych sieci neuronowych

Transkrypt

1 Spontaniczna struktura bezskalowa w grafach przepływu impulsów dla rekurencyjnych sieci neuronowych Filip Piękniewski Wydział Matematyki i Informatyki Uniwersytetu Mikołaja Kopernika w Toruniu Praca doktorska zrealizowana na Wydziale Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego 1 kwietnia 2009 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 1/31

2 Szkic dziedziny Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Teoria Grafów Sieci neuronowe Sieci bezskalowe Model Przepływu Impulsów Modelowanie układów neuronów Dane empiryczne fmri Sieci impulsujące Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 2/31

3 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, ] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31

4 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, ] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31

5 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, ] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31

6 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, ] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31

7 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

8 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

9 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

10 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

11 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

12 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

13 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

14 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

15 Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31

16 Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31

17 Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31

18 Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31

19 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

20 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

21 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

22 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

23 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

24 Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31

25 Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31

26 Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31

27 Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31

28 Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31

29 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

30 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

31 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

32 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

33 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

34 (spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31

35 Graf przepływu impulsów (spike flow graph) Definicja Mając model przepływu impulsów oraz pewną jego realizację a (wynik symulacji), grafem przepływu impulsów nazwiemy graf skierowany: o zbiorze wierzchołków identycznym ze zbiorem {σ i } i=1...n jeśli w realizacji modelu przepływowego pomiędzy wierzchołkami i oraz j nastąpił przepływ ładunku c razy, to w grafie przepływu impulsów istnieje krawędź (i, j) o wadze c a Zakładamy, że stanem początkowym dla realizacji modelu przepływowego jest stan w którym wszystkie jednostki posiadają początkową, ustaloną ilość potencjału. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 9/31

36 Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31

37 Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31

38 Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31

39 Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31

40 Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31

41 Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31

42 Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31

43 Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31

44 Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31

45 Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31

46 Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31

47 Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31

48 Teoria wartości ekstremalnych implikuje, iż S :k może być aproksymowane następująco (patrz sekcja 1.2 w [Talagrand, 2003]): S :k ( 2N log N 1 + ξ ) k log N (3) gdzie ξ 1 > ξ 2 >... jest ciągiem wylosowanym z procesu 1 punktowego Poissona o intensywności π exp( 2t log 2), t R oraz p-ty ξ k powyżej zera jest rzędu log p. W związku z tym S :k jest rzędu N log N natomiast przeciętne S i jest rzędu N Wybierzmy niewielki ułamek o(n) wszystkich jednostek zawierających najwięcej ładunku. Nazwijmy jest elitą a resztę jednostek tłumem. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 13/31

49 Teoria wartości ekstremalnych implikuje, iż S :k może być aproksymowane następująco (patrz sekcja 1.2 w [Talagrand, 2003]): S :k ( 2N log N 1 + ξ ) k log N (3) gdzie ξ 1 > ξ 2 >... jest ciągiem wylosowanym z procesu 1 punktowego Poissona o intensywności π exp( 2t log 2), t R oraz p-ty ξ k powyżej zera jest rzędu log p. W związku z tym S :k jest rzędu N log N natomiast przeciętne S i jest rzędu N Wybierzmy niewielki ułamek o(n) wszystkich jednostek zawierających najwięcej ładunku. Nazwijmy jest elitą a resztę jednostek tłumem. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 13/31

50 Ponieważ elita jest bardzo niewielka (jej udział zbiega do zera wraz z N ), Hamiltonian przyjmuje prostszą formę: E(σ) i elita σ i S i j,l tłum w j,l σ j σ l (4) Powyższe implikuje, że gdy w toku dynamiki proponowany jest przepływ z jednostki tłumu σ j do jednostki elitarnej σ i, spodziewana zmiana energii wynosi w przybliżeniu S i plus czynnik związany z interakcją tłum-tłum. Generalnie nie mamy kontroli nad tym dodatkowym czynnikiem, ale jeśli σ i okaże się elementem o wysokim wsparciu (rzędu N log N), wtedy prawie na pewno pozostały czynnik (co najwyżej rzędu N) będzie zaniedbywalny w porównaniu z Si. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 14/31

51 Ponieważ elita jest bardzo niewielka (jej udział zbiega do zera wraz z N ), Hamiltonian przyjmuje prostszą formę: E(σ) i elita σ i S i j,l tłum w j,l σ j σ l (4) Powyższe implikuje, że gdy w toku dynamiki proponowany jest przepływ z jednostki tłumu σ j do jednostki elitarnej σ i, spodziewana zmiana energii wynosi w przybliżeniu S i plus czynnik związany z interakcją tłum-tłum. Generalnie nie mamy kontroli nad tym dodatkowym czynnikiem, ale jeśli σ i okaże się elementem o wysokim wsparciu (rzędu N log N), wtedy prawie na pewno pozostały czynnik (co najwyżej rzędu N) będzie zaniedbywalny w porównaniu z Si. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 14/31

52 Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31

53 Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31

54 Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31

55 Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31

56 Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31

57 Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31

58 Elite Rysunek: Schematyczny wygląd grafu przepływu impulsów. W obrębie elity ładunek płynie prawie na pewno w kierunku rosnącego wsparcia. W obrębie tłumu przepływy są mniej zorganizowane. support Bulk Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 17/31

59 Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31

60 Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31

61 Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31

62 Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31

63 Rozważmy ciąg zmiennych losowych X 0, X 1, X 2,... takich, że X 0 jest jednostajne na (0, 1), X l+1 jest jednostajne na (0, X l ) dla l > 0. Zauważmy, że k l = KX l (6) Zdefiniujmy π i, i = 1...K jako prawdopodobieństwo, że jednostka ładunku odwiedzi u i. Wtedy π i = P( l k l = i) oraz dla odpowiednio dużych K mamy: { [ π i = E i 1 l, X l K, i ]}, i > 1 (7) K Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 19/31

64 W takim razie D i są wybrane losowo z rozkładu dwumianowego b(π i, n) gdzie n jest całkowitą liczbą jednostek ładunku. Zauważmy, że T l = log X l jest procesem punktowym Poissona o intensywności 1 na R +. Można zatem wnioskować, iż: { [ ( ) ( )]} π i = E i i 1 l, T l log, log 1 (8) K K i Zatem dla dużych n z prawa wielkich liczb mamy: D i n i (9) Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 20/31

65 Z tego wynika, że dla odpowiednio dużych k mamy: {i, D i > k} n k (10) a więc: {i, D i k} n k 2 (11) co dowodzi, że rozkład stopni wierzchołków spełnia prawo potęgowe z wykładnikiem γ = 2. Q.E.D. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 21/31

66 Potwierdzenie numeryczne powyższych stwierdzeń 5000 Amount of charge in 7 best units 10 4 Out degree distributions vertices 1000 vertices vertices 3000 vertices 3500 Element of support Element of support vertices 5000 vertices 500 vertices Element of support Charge Element of support Element of support Element of support Element of support Number of nodes Time (steps) x Degree Rysunek: Po lewej: ilość ładunku w kilku jednostkach o największym wsparciu. Po prawej log-logarytmiczny wykres komplementarnej dystrybuanty (CCDF) stopni wierzchołków dla różnych rozmiarów modelu. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 22/31

67 Model przepływowy a sieci neuronowe Dynamika modelu przepływowego jest odmienna od dynamiki impulsującej sieci neuronowej Pojedyncze jednostki symbolizują raczej grupy neuronów, ze względu na nietrywialną pamięć stanu Wagi krawędzi w grafie przepływowym są powiązane z korelacjami aktywności między grupami W pracy zostało zbadanych numerycznie kilka modeli opartych o grupy dynamicznych neuronów (model E. Izhikevicha [Izhikevich, 2003]) Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 23/31

68 Rysunek: Schemat modelu [Piȩkniewski, 2007] opartego o dynamiczne neurony Izhikevicha. Zestaw grup (w każdej po kilkanaście neuronów w proporcjach 1:4 tłumiących/wzmacniających), połączonych poprzez jednostki przekazujące aktywacje. Zewnętrzny graf połączeń między grupami ma wagi gaussowskie. Graph being a subject of analysis Group leader Group Neuron Small amount of random noise Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 24/31

69 Wprowadzenie W ramach symulacji udało się przebadać graf korelacji aktywności między grupami. 2 Counts (k) Degree K rc = 0.6 rc = 0.7 rc = rc= 0.5 rc= 0.6 rc= Number of nodes Counts (k) Degree histogram 4 10 Counts (k) Degree K Degree FIG. 2: (Color online) Degree distribution for three values of the 0 Degree K 10 correlation threshold. The inset depicts the degree distribution for an equivalent randomly connected network. Prob. (!)k Rysunek: Po lewej wyniki symulacji numerycznych dla układu 3000 grup neuronów (wykres log-log histogramu stopni wierzchołków) the correlation thresholds used to construct the random -2 [Pie kniewski, 2007]. prawej wyniki empiryczne uzyskane według podobnej networks are usually extremely low (rc Po 0.1) compared 10 to that used to define the functional networks (rc 0.7). metodologii w pracy [Egu i luz et al., 2005] (za zgodą autorów). Our data was also compared with values from a randomly re-wired network, where nodes keep their degree by permuting links (i.e., the link connecting nodes i, j is permuted with that connecting nodes k, l) [6] (see below). InVersion of MATLAB 10-4 Student Filip Piękniewski Spontaniczna struktura1 bezskalowa w2grafach... 25/31 0

70 W ramach dalszych badań podjęta została próba powtórzenia dużej neurosymulacji ( neuronów dynamicznych na sferze) opisanej w pracy [Izhikevich et al., 2004]. W powyższej neurosymulacji wagi między neuronami są kontrolowane przez STDP (Spike Timing Dependent Plasticity) [Izhikevich & Desai, 2003] oraz powolne zmiany niezależne od aktywności Po pobudzeniu układu losowym szumem o niewielkiej intensywności, w przeciągu niedługiego czasu w układzie następuje samoorganizacja i wykształcają się grupy synchronizowanych neuronów. W ramach pracy, planowane było przebadanie korelacji między aktywnościami grup Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 26/31

71 Wprowadzenie Rysunek: W ramach pracy udało się także odtworzyć wyniki z pracy [Izhikevich et al., 2004]. Na sferze 100 tys neuronów ze wagami kontrolowanymi przez STDP samoistnie wykształcają się grupy polichroniczne. Nie udało się jednak znaleźć prawa potęgowego w grafie korelacji dla aktywności grup. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 27/31

72 Rysunek: Przykładowe histogramy grafu korelacji (przepływów) między grupami. Wykres logarytmiczno-logarytmiczny. Dane te nie demonstrują prawa potęgowego. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 28/31

73 Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31

74 Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31

75 Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31

76 Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31

77 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31

78 Abello James, Buchsbaum Adam, & Westbrook Jeffery A functional approach to external graph algorithms. Esa 98: Proceedings of the 6th annual european symposium on algorithms, Dostȩpne na: Aiello William, Chung Fan, & Lu Linyuan A random graph model for massive graphs. Pages of: Stoc 00: Proceedings of the thirty-second annual acm symposium on theory of computing. New York, NY, USA: ACM. doi: Albert Réka, & Barabási Albert-László Statistical mechanics of complex networks. Reviews of modern physics, January, Dostȩpne na: Albert Réka, Jeong Hawoong, & Barabási Albert-László Diameter of the world-wide web. Science, 401(Septmeber), Amaral Luis A. Nunes, Scala Antonio, Barthelemy Marc, & Stanley H. Eugene Classes of small-world networks. Proc natl acad sci u s a, 97(21), Dostȩpne na: doi: /pnas Barabási Albert-László, & Albert Réka Emergence of scaling in random networks. Science, October, Dostȩpne na: Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31

79 Barabási Albert-László, Jeong Hawoong, Néda Zoltan, Ravasz Erzsebet, Schubert A., & Vicsek Tamas Evolution of the social network of scientific collaborations. Physica a, 311(4), Bhalla Upinder S., & Iyengar Ravi Emergent properties of networks of biological signaling pathways. Science, 283(5400), Dostȩpne na: doi: /science Eguíluz Victor M., Chialvo Dante R., Cecchi Guillermo A., Baliki Marwan, & Apkarian A. Vania Scale-free brain functional networks. Phys rev lett, 94(1). Dostȩpne na: i Cancho Ramon Ferrer, & Solé Ricard V The small-world of human language. Proceedings of the royal society of london b, 268(1482), Izhikevich Eugene M Simple model of spiking neurons. Ieee transactions on neural networks, Dostȩpne na: Izhikevich Eugene M., & Desai Niraj S Relating STDP to BCM. Neural comp., 15(7), Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31

80 Dostȩpne na: arxiv: Izhikevich Eugene M., Gally Joe A., & Edelman Gerald M Spike-timing dynamics of neuronal groups. Cerebral cortex, Dostȩpne na: Jeong Hawoong, Tombor B., Albert Réka, Oltvai Zoltan N., & Barabási Albert-László The large-scale organization of metabolic networks. Nature, 407(6804), Koch Christof, & Laurent Gilles Complexity and the Nervous System. Science, 284(5411), Dostȩpne na: arxiv: doi: /science Lotka Alfred J The frequency distribution of scientific productivity. Journal of the washington academy of sciences, 16(12), Montoya Jose M., & V. Ricard V. Solé Small world patterns in food webs. Journal of theoretical biology, 214(3), Pareto Vilfredo Cours d économie politique. Rouge, Lausanne. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31