Spontaniczna struktura bezskalowa w grafach przepływu impulsów dla rekurencyjnych sieci neuronowych Filip Piękniewski Wydział Matematyki i Informatyki Uniwersytetu Mikołaja Kopernika w Toruniu Praca doktorska zrealizowana na Wydziale Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego 1 kwietnia 2009 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 1/31
Szkic dziedziny Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Teoria Grafów Sieci neuronowe Sieci bezskalowe Model Przepływu Impulsów Modelowanie układów neuronów Dane empiryczne fmri Sieci impulsujące Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 2/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, 1896-1897] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, 1896-1897] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, 1896-1897] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Koncepcja sieci bezskalowych związana jest z prawami potęgowymi, które były badane już pod koniec XIX przez Vilfredo Pareto [Pareto, 1896-1897] Alfred Lotka [Lotka, 1926] zaobserwował prawo potęgowe w liczbie opublikowanych abstraktów w indeksie dekady. Herbert A. Simon [Simon, 1955] znalazł prawa potęgowe w dystrybucji naukowców względem ilości opublikowanych prac, miast względem liczby mieszkańców, rodzin taksonomicznych względem liczby gatunków i wielu innych... W latach 90 kilka grup badawczych zaczęło badać rozmaite grafy empiryczne. Szybko okazało się, że wiele z nich spełnia prawo potęgowe w rozkładzie stopni wierzchołków. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 3/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Sieci bezskalowe Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Przebadano wiele grafów i znaleziono prawa potęgowe w: WWW (World Wide Web) [Albert et al., 1999], Sieć współpracy naukowej [Barabási et al., 2002], Graf aktorów w Hollywood [Barabási & Albert, 1999], Sieci cytowań [Redner, 1998], Sieci ekologiczne [Montoya & V., 2002], Sieci lingwistyczne [i Cancho & Solé, 2001], Sieci połączeń telefonicznych [Abello et al., 1998, Aiello et al., 2000] Sieci metabolizmu komórkowego [Bhalla & Iyengar, 1999, Jeong et al., 2000], Wiele, wiele innych [Albert & Barabási, 2002]. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 4/31
Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31
Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31
Obserwacje empiryczne Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Poszukiwano także praw potęgowych w grafach połączeń neuronowych Jednym z niewielu organizmów dla których graf połączeń jest znany to robak C.elegans. Ma on jednak tylko około 300 neuronów. W tym grafie nie stwierdzono prawa potęgowego [Amaral et al., 2000, Koch & Laurent, 1999]. Niespodziewanie jednak odkryto prawo potęgowe z wykładnikiem γ 2 w grafie funkcjonalnych korelacji aktywności fmri w ludzkim mózgu [Eguíluz et al., 2005], [Sporns et al., 2004]. W tym przypadku niewątpliwie chodzi o grupy neuronów (rozdzieczość fmri to około 1mm). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 5/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Modele neuronów Wprowadzenie Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Od lat 50 modele neuronów znacząco ewoluowały Początkowo aktywność była znacząco uśredniana w dziedzinie czasu co doprowadziło do prostych modeli typu perceptronu Wraz ze wzrostem mocy obliczeniowej struktura temporalna aktywności zyskiwała zainteresowanie badaczy Obecnie popularne są modele impulsujące oparte o dwuwymiarowe układy dynamiczne, które stanowią dosyć wygodną abstrakcję dla aktywności neuronowej Dynamika pojedynczego neuronu jest co do zasad dosyć prosta, skomplikowane rzeczy zaczynają się dziać na poziomie interakcji kilku lub kilkudziesięciu neuronów Dynamika grup neuronów znacząco odbiega od dynamiki pojedynczych neuronów Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 6/31
Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31
Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31
Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31
Szkic dziedziny Sieci bezskalowe Obserwacje empiryczne Modele neuronów Zaprezentowany za chwilę model stanowi próbę opisu aktywności grup neuronów na poziomie mezoskalowym Istotną cechą grup jest fakt, iż potrafią one pozostawać aktywne przez dłuższy czas, oraz akumulować aktywność na zasadzie sprzężenia zwrotnego Graf korelacji aktywności dla grup jest bezskalowy z wykładnikiem 2, na co wskazują dane empiryczne [Eguíluz et al., 2005, Sporns et al., 2004] jak i symulacje [Piȩkniewski, 2007] Zasadniczym wynikiem pracy jest wskazanie prostego modelu [Piȩkniewski & Schreiber, 2008] który by stanowił abstrakcję dla powyższych cech oraz był wygodny do bezpośredniego badania matematycznego Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 7/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
(spike flow model) Definicja Model składa się z n jednostek σ i N, i = 1...n połączony każdy z każdym z symetrycznymi wagami gaussowskimi w ij Funkcja energetyczna ma postać: E(σ) := 1 w ij σ i σ j (1) 2 i j Dynamika przebiega następująco: Losujemy jednostki σ i,σ j i sprawdzamy czy σ i > 0 Sprawdzamy czy przesłanie jednostki ładunku z σ i do σ j (σ i := σ i 1, σ j := σ j + 1) zmniejsza energię Jeśli tak, akceptujemy zmianę. W innym wypadku akceptujemy z prawdopodobieństwem e β E (dynamika typu Kawasaki). Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 8/31
Graf przepływu impulsów (spike flow graph) Definicja Mając model przepływu impulsów oraz pewną jego realizację a (wynik symulacji), grafem przepływu impulsów nazwiemy graf skierowany: o zbiorze wierzchołków identycznym ze zbiorem {σ i } i=1...n jeśli w realizacji modelu przepływowego pomiędzy wierzchołkami i oraz j nastąpił przepływ ładunku c razy, to w grafie przepływu impulsów istnieje krawędź (i, j) o wadze c a Zakładamy, że stanem początkowym dla realizacji modelu przepływowego jest stan w którym wszystkie jednostki posiadają początkową, ustaloną ilość potencjału. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 9/31
Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31
Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31
Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31
Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31
Rysunek: Schemat działania modelu przepływu impulsów poszczególne przepływy zależą od konkretnych zmian energii. Każdy przepływ jest odnotowywany na odpowiedniej krawędzi. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 10/31
Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31
Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31
Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31
Zauważmy, że w modelu przepływu impulsów dodatnie wagi wspomagają zgodne stany jednostek, a negatywne wagi niezgodne stany jednostek Mogłoby się wydawać, że struktura minimów energetycznych w tym modelu będzie skomplikowana. Zaskakująco jednak stany bazowe mają bardzo prostą naturę i są łatwe do wyznaczenia W pracy dowiedziono, że z wielkim prawdopodobieństwem unikatowym stanem bazowym jest sytuacja w której jedna, specyficzna jednostka przechowuje cały ładunek Poniżej zaprezentujemy szkic dowodu Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 11/31
Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31
Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31
Twierdzenie Unikatowym stanem bazowym modelu przepływu impulsów jest z wielkim prawdopodobieństwem stan w którym jeden wierzchołek przechowuje cały ładunek. Dla każdej jednostki σ i definiujemy wsparcie: S i := j i w i,j (2) w i,j są niezależnymi, gaussowskimi zmiennymi losowymi o wartości oczekiwanej 0 i wariancji 1, zatem S i są również zmiennymi gaussowskimi o wariancji N 1. Ponadto, są prawie parami niezależne, każdy S i współdzieli z innymi tylko jeden składnik sumy. Oznaczmy k-tą największą wartość wśród S i przez S :k. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 12/31
Teoria wartości ekstremalnych implikuje, iż S :k może być aproksymowane następująco (patrz sekcja 1.2 w [Talagrand, 2003]): S :k ( 2N log N 1 + ξ ) k log N (3) gdzie ξ 1 > ξ 2 >... jest ciągiem wylosowanym z procesu 1 punktowego Poissona o intensywności π exp( 2t log 2), t R oraz p-ty ξ k powyżej zera jest rzędu log p. W związku z tym S :k jest rzędu N log N natomiast przeciętne S i jest rzędu N Wybierzmy niewielki ułamek o(n) wszystkich jednostek zawierających najwięcej ładunku. Nazwijmy jest elitą a resztę jednostek tłumem. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 13/31
Teoria wartości ekstremalnych implikuje, iż S :k może być aproksymowane następująco (patrz sekcja 1.2 w [Talagrand, 2003]): S :k ( 2N log N 1 + ξ ) k log N (3) gdzie ξ 1 > ξ 2 >... jest ciągiem wylosowanym z procesu 1 punktowego Poissona o intensywności π exp( 2t log 2), t R oraz p-ty ξ k powyżej zera jest rzędu log p. W związku z tym S :k jest rzędu N log N natomiast przeciętne S i jest rzędu N Wybierzmy niewielki ułamek o(n) wszystkich jednostek zawierających najwięcej ładunku. Nazwijmy jest elitą a resztę jednostek tłumem. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 13/31
Ponieważ elita jest bardzo niewielka (jej udział zbiega do zera wraz z N ), Hamiltonian przyjmuje prostszą formę: E(σ) i elita σ i S i + 1 2 j,l tłum w j,l σ j σ l (4) Powyższe implikuje, że gdy w toku dynamiki proponowany jest przepływ z jednostki tłumu σ j do jednostki elitarnej σ i, spodziewana zmiana energii wynosi w przybliżeniu S i plus czynnik związany z interakcją tłum-tłum. Generalnie nie mamy kontroli nad tym dodatkowym czynnikiem, ale jeśli σ i okaże się elementem o wysokim wsparciu (rzędu N log N), wtedy prawie na pewno pozostały czynnik (co najwyżej rzędu N) będzie zaniedbywalny w porównaniu z Si. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 14/31
Ponieważ elita jest bardzo niewielka (jej udział zbiega do zera wraz z N ), Hamiltonian przyjmuje prostszą formę: E(σ) i elita σ i S i + 1 2 j,l tłum w j,l σ j σ l (4) Powyższe implikuje, że gdy w toku dynamiki proponowany jest przepływ z jednostki tłumu σ j do jednostki elitarnej σ i, spodziewana zmiana energii wynosi w przybliżeniu S i plus czynnik związany z interakcją tłum-tłum. Generalnie nie mamy kontroli nad tym dodatkowym czynnikiem, ale jeśli σ i okaże się elementem o wysokim wsparciu (rzędu N log N), wtedy prawie na pewno pozostały czynnik (co najwyżej rzędu N) będzie zaniedbywalny w porównaniu z Si. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 14/31
Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31
Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31
Gdy do elity dostanie się element o wysokim wsparciu, wtedy przepływy w jego kierunku stają się bardzo prawdopodobne, zaś w przeciwną stronę praktycznie niemożliwe. Konsekwentnie taka jednostka ma wielką szansę pozostania w elicie. Jeśli jednostka od małym wsparciu dostanie się do elity, szybko zostanie oskubana z ładunku na rzecz członków o większym wsparciu Gdy elita jest już stabilna i posiada praktycznie cały ładunek, Hamiltonian przyjmuje prostą formę: E(σ) i elita σ i S i (5) i praktycznie wszystkie pozostałe przepływy następują w obrębie elity. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 15/31
Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31
Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31
Ponieważ naddatek energii związany z interakcjami elita elita jest zaniedbywalny w porównaniu w czynnikiem związanym z wsparciem, ostateczna dynamika przyjmuję prostą formę zwycięzca bierze wszystko W każdym wybierane są dwie jednostki z elity. Następnie (prawie na pewno) ładunek jest przesyłany z jednostki o mniejszym wsparciu do jednostki o większym wsparciu. Jedyną konfiguracją stabilną dla takiej dynamiki jest stan w którym element o największym wsparciu przechowuje cały ładunek, co należało pokazać. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 16/31
Elite Rysunek: Schematyczny wygląd grafu przepływu impulsów. W obrębie elity ładunek płynie prawie na pewno w kierunku rosnącego wsparcia. W obrębie tłumu przepływy są mniej zorganizowane. support Bulk Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 17/31
Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31
Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31
Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31
Twierdzenie Rozkład stopni wierzchołków ważonego grafu przepływu impulsów dla modelu przepływu impulsów spełnia prawo potęgowe z wykładnikiem γ = 2. Ustalmy K << N (rozmiar elity). Niech K gdy N Niech u i, i = 1...K będą jednostkami elity w kolejności malejącego wsparcia Załóżmy, że śledzimy jednostkę ładunku która weszła do elity w u k0 następnie przechodzi u kl, k l+1 < k l (losowo) aż osiągnie u 1 Stopnie wierzchołków elity są przybliżane przez D i oznaczające liczbę jednostek ładunku która odwiedziła u i w drodze do u 1 Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 18/31
Rozważmy ciąg zmiennych losowych X 0, X 1, X 2,... takich, że X 0 jest jednostajne na (0, 1), X l+1 jest jednostajne na (0, X l ) dla l > 0. Zauważmy, że k l = KX l (6) Zdefiniujmy π i, i = 1...K jako prawdopodobieństwo, że jednostka ładunku odwiedzi u i. Wtedy π i = P( l k l = i) oraz dla odpowiednio dużych K mamy: { [ π i = E i 1 l, X l K, i ]}, i > 1 (7) K Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 19/31
W takim razie D i są wybrane losowo z rozkładu dwumianowego b(π i, n) gdzie n jest całkowitą liczbą jednostek ładunku. Zauważmy, że T l = log X l jest procesem punktowym Poissona o intensywności 1 na R +. Można zatem wnioskować, iż: { [ ( ) ( )]} π i = E i i 1 l, T l log, log 1 (8) K K i Zatem dla dużych n z prawa wielkich liczb mamy: D i n i (9) Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 20/31
Z tego wynika, że dla odpowiednio dużych k mamy: {i, D i > k} n k (10) a więc: {i, D i k} n k 2 (11) co dowodzi, że rozkład stopni wierzchołków spełnia prawo potęgowe z wykładnikiem γ = 2. Q.E.D. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 21/31
Potwierdzenie numeryczne powyższych stwierdzeń 5000 Amount of charge in 7 best units 10 4 Out degree distributions 4500 200 vertices 1000 vertices 4000 2000 vertices 3000 vertices 3500 Element of support 142.12 Element of support 100.16 10 3 4000 vertices 5000 vertices 500 vertices Element of support 84.59 Charge 3000 2500 2000 Element of support 83.02 Element of support 81.78 Element of support 81.13 Element of support 76.68 Number of nodes 10 2 1500 10 1 1000 500 0 0 1 2 3 4 5 6 7 8 Time (steps) x 10 6 10 0 10 0 10 1 10 2 10 3 10 4 Degree Rysunek: Po lewej: ilość ładunku w kilku jednostkach o największym wsparciu. Po prawej log-logarytmiczny wykres komplementarnej dystrybuanty (CCDF) stopni wierzchołków dla różnych rozmiarów modelu. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 22/31
Model przepływowy a sieci neuronowe Dynamika modelu przepływowego jest odmienna od dynamiki impulsującej sieci neuronowej Pojedyncze jednostki symbolizują raczej grupy neuronów, ze względu na nietrywialną pamięć stanu Wagi krawędzi w grafie przepływowym są powiązane z korelacjami aktywności między grupami W pracy zostało zbadanych numerycznie kilka modeli opartych o grupy dynamicznych neuronów (model E. Izhikevicha [Izhikevich, 2003]) Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 23/31
Rysunek: Schemat modelu [Piȩkniewski, 2007] opartego o dynamiczne neurony Izhikevicha. Zestaw grup (w każdej po kilkanaście neuronów w proporcjach 1:4 tłumiących/wzmacniających), połączonych poprzez jednostki przekazujące aktywacje. Zewnętrzny graf połączeń między grupami ma wagi gaussowskie. Graph being a subject of analysis Group leader Group Neuron Small amount of random noise Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 24/31
Wprowadzenie W ramach symulacji udało się przebadać graf korelacji aktywności między grupami. 2 Counts (k) 3 10 2 10 2 10 700 800 Degree K 0 2 10 0 10 0 10 3 10 2 10 1 1 10 10 10 1 0 10 rc = 0.6 rc = 0.7 rc = 0.8 4 0 rc= 0.5 rc= 0.6 rc=100.7 1 10 5 10 500 3 10 Number of nodes Counts (k) Degree histogram 4 10 Counts (k) 4 10 0 3 10 10 10 Degree K 1 10 2 10 Degree 3 10 0 10 1 10 2 10 3 10 4 10 FIG. 2: (Color online) Degree distribution for three values of the 0 Degree K 10 correlation threshold. The inset depicts the degree distribution for an equivalent randomly connected network. Prob. (!)k Rysunek: Po lewej wyniki symulacji numerycznych dla układu 3000 grup -1 10 neuronów (wykres log-log histogramu stopni wierzchołków) the correlation thresholds used to construct the random -2 [Pie kniewski, 2007]. prawej wyniki empiryczne uzyskane według podobnej networks are usually extremely low (rc Po 0.1) compared 10 to that used to define the functional networks (rc 0.7). metodologii w pracy [Egu i luz et al., 2005] (za zgodą autorów). Our data was also compared with values from a randomly -3 10 re-wired network, where nodes keep their degree by permuting links (i.e., the link connecting nodes i, j is permuted with that connecting nodes k, l) [6] (see below). InVersion of MATLAB 10-4 Student Filip Piękniewski Spontaniczna struktura1 bezskalowa w2grafach... 25/31 0
W ramach dalszych badań podjęta została próba powtórzenia dużej neurosymulacji (100000 neuronów dynamicznych na sferze) opisanej w pracy [Izhikevich et al., 2004]. W powyższej neurosymulacji wagi między neuronami są kontrolowane przez STDP (Spike Timing Dependent Plasticity) [Izhikevich & Desai, 2003] oraz powolne zmiany niezależne od aktywności Po pobudzeniu układu losowym szumem o niewielkiej intensywności, w przeciągu niedługiego czasu w układzie następuje samoorganizacja i wykształcają się grupy synchronizowanych neuronów. W ramach pracy, planowane było przebadanie korelacji między aktywnościami grup Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 26/31
Wprowadzenie Rysunek: W ramach pracy udało się także odtworzyć wyniki z pracy [Izhikevich et al., 2004]. Na sferze 100 tys neuronów ze wagami kontrolowanymi przez STDP samoistnie wykształcają się grupy polichroniczne. Nie udało się jednak znaleźć prawa potęgowego w grafie korelacji dla aktywności grup. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 27/31
Rysunek: Przykładowe histogramy grafu korelacji (przepływów) między grupami. Wykres logarytmiczno-logarytmiczny. Dane te nie demonstrują prawa potęgowego. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 28/31
Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31
Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31
Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31
Dlaczego w modelu sfery neuronowej nie udało się zaobserwować prawa potęgowego? Koncepcja polichronicznej grupy jest dosyć świeża (proof of concept) i nie do końca sprecyzowana (zbiory grup bardzo zależą od tego, jaki algorytm zastosuje się do ich wyszukiwania) W trakcie symulacji grupy nie są statyczne - niektóre znikają, inne pojawiają się, a prawie wszystkie zmieniają dosyć trudno ustalić graf przepływów (korelacji) gdy jego wierzchołki znikają i pojawiają się Grupy są słabo odizolowane (istnieje duża ilość dalekich połączeń), co zakłóca pomiar korelacji Reasumując, badania te warto kontynuować, doprecyzowując pojęcie grupy i metodologię pomiaru korelacji Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 29/31
Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31
Abello James, Buchsbaum Adam, & Westbrook Jeffery. 1998. A functional approach to external graph algorithms. Esa 98: Proceedings of the 6th annual european symposium on algorithms, 332 343. Dostȩpne na: http://dx.doi.org/10.1007/3-540-68530-8_28. Aiello William, Chung Fan, & Lu Linyuan. 2000. A random graph model for massive graphs. Pages 171 180 of: Stoc 00: Proceedings of the thirty-second annual acm symposium on theory of computing. New York, NY, USA: ACM. doi:http://doi.acm.org/10.1145/335305.335326. Albert Réka, & Barabási Albert-László. 2002. Statistical mechanics of complex networks. Reviews of modern physics, January, 47 97. Dostȩpne na: http://arxiv.org/abs/cond-mat/0106096. Albert Réka, Jeong Hawoong, & Barabási Albert-László. 1999. Diameter of the world-wide web. Science, 401(Septmeber), 130 131. Amaral Luis A. Nunes, Scala Antonio, Barthelemy Marc, & Stanley H. Eugene. 2000. Classes of small-world networks. Proc natl acad sci u s a, 97(21), 11149 11152. Dostȩpne na: http://dx.doi.org/10.1073/pnas.200327197, doi:10.1073/pnas.200327197. Barabási Albert-László, & Albert Réka. 1999. Emergence of scaling in random networks. Science, October, 509 512. Dostȩpne na: http://www.sciencemag.org/cgi/content/abstract/286/5439/509. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31
Barabási Albert-László, Jeong Hawoong, Néda Zoltan, Ravasz Erzsebet, Schubert A., & Vicsek Tamas. 2002. Evolution of the social network of scientific collaborations. Physica a, 311(4), 590 614. Bhalla Upinder S., & Iyengar Ravi. 1999. Emergent properties of networks of biological signaling pathways. Science, 283(5400), 381 387. Dostȩpne na: http://dx.doi.org/10.1126/science.283.5400.381, doi:10.1126/science.283.5400.381. Eguíluz Victor M., Chialvo Dante R., Cecchi Guillermo A., Baliki Marwan, & Apkarian A. Vania. 2005. Scale-free brain functional networks. Phys rev lett, 94(1). Dostȩpne na: http://view.ncbi.nlm.nih.gov/pubmed/15698136. i Cancho Ramon Ferrer, & Solé Ricard V. 2001. The small-world of human language. Proceedings of the royal society of london b, 268(1482), 2261 2265. Izhikevich Eugene M. 2003. Simple model of spiking neurons. Ieee transactions on neural networks, 1569 1572. Dostȩpne na: http://www.nsi.edu/users/izhikevich/publications/spikes.pdf. Izhikevich Eugene M., & Desai Niraj S. 2003. Relating STDP to BCM. Neural comp., 15(7), 1511 1523. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31
Dostȩpne na: http://neco.mitpress.org/cgi/content/abstract/15/7/1511, arxiv:http://neco.mitpress.org/cgi/reprint/15/7/1511.pdf. Izhikevich Eugene M., Gally Joe A., & Edelman Gerald M. 2004. Spike-timing dynamics of neuronal groups. Cerebral cortex, 933 944. Dostȩpne na: http://vesicle.nsi.edu/users/izhikevich/publications/reentry.pdf. Jeong Hawoong, Tombor B., Albert Réka, Oltvai Zoltan N., & Barabási Albert-László. 2000. The large-scale organization of metabolic networks. Nature, 407(6804), 651 653. Koch Christof, & Laurent Gilles. 1999. Complexity and the Nervous System. Science, 284(5411), 96 98. Dostȩpne na: http://www.sciencemag.org/cgi/content/abstract/284/5411/96, arxiv:http://www.sciencemag.org/cgi/reprint/284/5411/96.pdf, doi:10.1126/science.284.5411.96. Lotka Alfred J. 1926. The frequency distribution of scientific productivity. Journal of the washington academy of sciences, 16(12), 317 323. Montoya Jose M., & V. Ricard V. Solé. 2002. Small world patterns in food webs. Journal of theoretical biology, 214(3), 405 412. Pareto Vilfredo. 1896-1897. Cours d économie politique. Rouge, Lausanne. Filip Piękniewski Spontaniczna struktura bezskalowa w grafach... 30/31