Do czego przydaje się matematyka? Od układów dynamicznych, przez optymalizację, do algorytmów genetycznych

Transkrypt

1 Do czego przydaje się matematyk(a)? Od układów dynamicznych, przez optymalizację, do algorytmów genetycznych Interdyscyplinarne Centrum Modelowania UW 26 października 2012

2 Spis treści wykładu 1 Wstęp 2 Własności statystyczne funkcji wymiernych Dyskretne układy dynamiczne Teoria ergodyczna Wyniki uzyskane w rozprawie 3 Siatki obliczeniowe dopasowane do sygnału; optymalizacja 4 Plany na przyszłość Obszary zainteresowań Zastosowanie łańcuchów Markowa i teorii układów dynamicznych do badania algorytmów genetycznych

3 Matematyk : praca w ICM UW 2012: stopień doktora matematyki, praca: Własności stanów równowagi dla przekształceń przestrzeni rzutowych, IM PAN; dwie publikacje w tym temacie razem z prof. Anną Zdunik i prof. Mariuszem Urbańskim 2008: stopień magistra informatyki, praca: Kompresja fraktalna i jej modyfikacje (ze szczególnym uwzględnieniem kompresji fraktalno-falkowej), MIM UW 2006: stopień magistra matematyki, praca: O wymiarach pewnych konstrukcji fraktalnych, MIM UW 2000: drugi etap olimpiady informatycznej 1996: laureat olimpiady matematycznej szkół podstawowych W międzyczasie : pomoc przy rozwijaniu oprogramowania graficznego.

4 Matematyka "I m not a religious man, but it s almost like being in touch with God when you re thinking about mathematics." Paul Halmos ( ) fragment wywiadu z 1990 (tłum. Romana Murawskiego) Nie jestem człowiekiem religijnym, ale rozmyślanie nad matematyką, to jest prawie tak, jakby się miało kontakt z Bogiem.

5 Dyskretne układy dynamiczne Niech X będzie przestrzenią, a T : X X przekształceniem tej przestrzeni w siebie (endomorfizmem).

6 Dyskretne układy dynamiczne Niech X będzie przestrzenią, a T : X X przekształceniem tej przestrzeni w siebie (endomorfizmem). Obiektem naszych badań są iteracje: T n, to znaczy n-krotne złożenia T.

7 Dyskretne układy dynamiczne Niech X będzie przestrzenią, a T : X X przekształceniem tej przestrzeni w siebie (endomorfizmem). Obiektem naszych badań są iteracje: T n, to znaczy n-krotne złożenia T. Szczególnie interesują nas trajektorie(inaczej: orbity): x, T (x), T 2 (x),...

8 Dyskretne układy dynamiczne Niech X będzie przestrzenią, a T : X X przekształceniem tej przestrzeni w siebie (endomorfizmem). Obiektem naszych badań są iteracje: T n, to znaczy n-krotne złożenia T. Szczególnie interesują nas trajektorie(inaczej: orbity): x, T (x), T 2 (x),... Dyskretne układy dynamiczne pojawiają się naturalnie w badaniu wielu zjawisk przyrodniczych, ale również w analizie numerycznej (algorytmy iteracyjne: metoda Newtona, optymalizacje, itd.).

9 Metoda Newtona i dynamika holomorficzna Szukamy miejsc zerowych funkcji f (x). T (x) = x f (x) f (x)

10 Metoda Newtona i dynamika holomorficzna Szukamy miejsc zerowych funkcji f (x). T (x) = x f (x) f (x) Fakt x 0 jest miejscem zerowym f (x) x 0 jest punktem stałym T (x)

11 Metoda Newtona i dynamika holomorficzna Szukamy miejsc zerowych funkcji f (x). T (x) = x f (x) f (x) Fakt x 0 jest miejscem zerowym f (x) x 0 jest punktem stałym T (x) Ponadto, jeśli x jest odpowiednio blisko x 0, to trajektoria x zbiega do x 0.

12 Metoda Newtona i dynamika holomorficzna Szukamy miejsc zerowych funkcji f (x). T (x) = x f (x) f (x) Fakt x 0 jest miejscem zerowym f (x) x 0 jest punktem stałym T (x) Ponadto, jeśli x jest odpowiednio blisko x 0, to trajektoria x zbiega do x 0. Ale co się dzieje globalnie?

13 Metoda Newtona i dynamika holomorficzna Szukamy miejsc zerowych funkcji f (x). T (x) = x f (x) f (x) Fakt x 0 jest miejscem zerowym f (x) x 0 jest punktem stałym T (x) Ponadto, jeśli x jest odpowiednio blisko x 0, to trajektoria x zbiega do x 0. Ale co się dzieje globalnie? Twierdzenie (E. Schröder 1871, A. Cayley 1879) Jeśli f : Ĉ Ĉ jest wielomianem kwadratowym to metoda Newtona jest zbieżna dla każdego x spoza pewnej prostej. Cayleyowi mimo prób nie udało się przenieść tego wyniku na wielomiany wyższego stopnia...

14 Przyczyna niepowodzenia Cayleya Metoda Newtona dla f (z) = z 3 1: Zbiór Fatou: punkty, których trajektorie zbiegają do zer f (z). Zbiór Julii: pozostałe punkty; zbiór chaotyczny.

15 Przestrzenie rzutowe i ich przekształcenia 1 Przypadek jednowymiarowy T : Ĉ Ĉ to dowolna funkcja wymierna (szczególny przypadek to metoda Newtona dla wielomianu/funkcji wymiernej). 2 Przypadek wielowymiarowy Przestrzeń: zespolona przestrzeń rzutowa P k Przekształcenie: dowolny holomorficzny endomorfizm P k

16 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré.

17 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré. Definicja Mówimy, że punkt x B powraca do B (przy T ), jeżeli istnieje n > 0 takie, że T n x B.

18 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré. Definicja Mówimy, że punkt x B powraca do B (przy T ), jeżeli istnieje n > 0 takie, że T n x B. Niech (X, B, µ) - dowolna przestrzeń X z miarą skończoną (np. miarą objętości na pewnym ograniczonym zbiorze),

19 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré. Definicja Mówimy, że punkt x B powraca do B (przy T ), jeżeli istnieje n > 0 takie, że T n x B. Niech (X, B, µ) - dowolna przestrzeń X z miarą skończoną (np. miarą objętości na pewnym ograniczonym zbiorze), zaś T : X X - dowolne przekształcenie odwracalne zachowujące miarę µ.

20 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré. Definicja Mówimy, że punkt x B powraca do B (przy T ), jeżeli istnieje n > 0 takie, że T n x B. Niech (X, B, µ) - dowolna przestrzeń X z miarą skończoną (np. miarą objętości na pewnym ograniczonym zbiorze), zaś T : X X - dowolne przekształcenie odwracalne zachowujące miarę µ. T zachowuje µ T µ = µ n B µ(t n B) = µ(b)

21 Jak zapanować nad chaosem? Przełom nastąpił w roku 1889, kiedy król Oskar II świętował swoje 60. urodziny i z tej okazji ogłosił konkurs, w którym wystartował H. Poincaré. Definicja Mówimy, że punkt x B powraca do B (przy T ), jeżeli istnieje n > 0 takie, że T n x B. Niech (X, B, µ) - dowolna przestrzeń X z miarą skończoną (np. miarą objętości na pewnym ograniczonym zbiorze), zaś T : X X - dowolne przekształcenie odwracalne zachowujące miarę µ. T zachowuje µ T µ = µ n B µ(t n B) = µ(b) Twierdzenie (Poincarégo o powracaniu) Niech (T, µ) będzie układem jak wyżej. Wtedy dla dowolnego B B µ-prawie każdy punkt x B wraca do B.

22 Twierdzenie Poincarégo a fizyka statystyczna Problem:

23 Twierdzenie Poincarégo a fizyka statystyczna Problem:

24 Twierdzenie Poincarégo a fizyka statystyczna Problem:

25 Twierdzenie Poincarégo a fizyka statystyczna Problem:

26 Twierdzenie Poincarégo a fizyka statystyczna Problem:

27 Twierdzenie Poincarégo a fizyka statystyczna Problem: Nadzieja: miara zbioru konfiguracji takich, że wszystkie cząsteczki są w jednej połowie pudełka jest bardzo mała (wynosi 1 2 n ).

28 Twierdzenie Poincarégo a fizyka statystyczna Twierdzenie (Lemat Kaca, 1947) (T, µ) - ergodyczny układ zachowujący skończoną miarę Dla dowolnego B X, zbioru o dodatniej mierze zachodzi: r B (x) dµ(x) = 1 µ(b) gdzie r B to pierwszy czas powrotu do B B Jeśli w pudełku mamy n cząsteczek, to miara zdarzenia takiego, że 1 wszystkie są w jednej połowie pudełka wynosi 2. n Zatem oczekiwany czas pierwszego powrotu wynosi 2 n.

29 Twierdzenie Poincarégo a fizyka statystyczna Twierdzenie (Lemat Kaca, 1947) (T, µ) - ergodyczny układ zachowujący skończoną miarę Dla dowolnego B X, zbioru o dodatniej mierze zachodzi: r B (x) dµ(x) = 1 µ(b) gdzie r B to pierwszy czas powrotu do B B Jeśli w pudełku mamy n cząsteczek, to miara zdarzenia takiego, że 1 wszystkie są w jednej połowie pudełka wynosi 2. n Zatem oczekiwany czas pierwszego powrotu wynosi 2 n. Ergodyczność oznacza, że przestrzeni X nie da się podzielić na nietrywialne podzbiory niezmiennicze. To oznacza, że jeśli zbiór A jest niezmienniczy (A = T 1 A), to jest miary 0 lub pełnej.

30 Ergodyczność Twierdzenie (Ergodyczne Birkhoffa, 1931) Niech (T, µ) to ergodyczny układ zachowujący miarę probabilistyczną, zaś f : X R jest funkcją µ-całkowalną (obserwablą). Wtedy dla µ-prawie każdego x X zachodzi: 1 n 1 lim f (T j x) = s dla s = n n j=0 X f (x) dµ

31 Ergodyczność Twierdzenie (Ergodyczne Birkhoffa, 1931) Niech (T, µ) to ergodyczny układ zachowujący miarę probabilistyczną, zaś f : X R jest funkcją µ-całkowalną (obserwablą). Wtedy dla µ-prawie każdego x X zachodzi: 1 n 1 lim f (T j x) = s dla s = n n j=0 X f (x) dµ Twierdzenie (Ergodyczne Birkhoffa w wersji probabilistycznej) Niech (X, µ) będzie przestrzenią probabilistyczną, zaś T : X X przekształceniem ergodycznym, zachowującym µ. Niech X 0 = f będzie dowolną całkowalną zmienną losową. Określmy ciąg zmiennych: X 1 = X 0 T,..., X n = X 0 T n,.... Ciąg ten spełnia Mocne Prawo Wielkich Liczb, to znaczy X 0+ +X n 1 n zbiega prawie na pewno do zmiennej stałej EX 0. CTG: rozkład X 0+ +X n n 1 nex 0 zbiega do rozkładu normalnego

32 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary

33 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły

34 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły def zbiór probabilistycznych miar f -niezmienniczych M f 1

35 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły M1 f def zbiór probabilistycznych miar f -niezmienniczych h µ (f ) entropia miary µ

36 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły M1 f def zbiór probabilistycznych miar f -niezmienniczych h µ (f ) entropia miary µ stan równowagi def µ M1, f która maksymalizuje h µ (f ) + φ dµ

37 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły M1 f def zbiór probabilistycznych miar f -niezmienniczych h µ (f ) entropia miary µ stan równowagi def µ M1, f która maksymalizuje h µ (f ) + φ dµ (Zasada Wariacyjna: sup µ M f 1 h µ (f ) + φ dµ = P(f, φ))

38 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły M1 f def zbiór probabilistycznych miar f -niezmienniczych h µ (f ) entropia miary µ stan równowagi def µ M1, f która maksymalizuje h µ (f ) + φ dµ (Zasada Wariacyjna: sup µ M f 1 h µ (f ) + φ dµ = P(f, φ)) Urbański i Zdunik( 09) udowodnili, że przy pewnych założeniach na przekształcenie oraz dla pewnej klasy potencjałów hölderowskich φ stan równowagi µ φ istnieje i jest jedyny.

39 Formalizm termodynamiczny Mamy przekształcenie T : X X, brakuje nam miary potencjał def φ : X R, co najmniej ciągły M1 f def zbiór probabilistycznych miar f -niezmienniczych h µ (f ) entropia miary µ stan równowagi def µ M1, f która maksymalizuje h µ (f ) + φ dµ (Zasada Wariacyjna: sup µ M f 1 h µ (f ) + φ dµ = P(f, φ)) Urbański i Zdunik( 09) udowodnili, że przy pewnych założeniach na przekształcenie oraz dla pewnej klasy potencjałów hölderowskich φ stan równowagi µ φ istnieje i jest jedyny. Jest on mieszający, a więc również ergodyczny.

40 Wyniki uzyskane w rozprawie Niech φ będzie potencjałem hölderowskim, spełniającym sup φ inf φ < log d, takim że stan równowagi µ φ istnieje.

41 Wyniki uzyskane w rozprawie Niech φ będzie potencjałem hölderowskim, spełniającym sup φ inf φ < log d, takim że stan równowagi µ φ istnieje. Twierdzenie (asymptotyczne rozszerzanie) Wykładniki Lapunowa stanu równowagi µ φ są dodatnie.

42 Wyniki uzyskane w rozprawie Niech φ będzie potencjałem hölderowskim, spełniającym sup φ inf φ < log d, takim że stan równowagi µ φ istnieje. Twierdzenie (asymptotyczne rozszerzanie) Wykładniki Lapunowa stanu równowagi µ φ są dodatnie. Twierdzenie (własności statystyczne) Miary µ φ spełniają Centralne Twierdzenie Graniczne oraz wykładnicze ubywanie korelacji dla klasy funkcji próbnych hölderowskich.

43 Wyniki uzyskane w rozprawie Niech φ będzie potencjałem hölderowskim, spełniającym sup φ inf φ < log d, takim że stan równowagi µ φ istnieje. Twierdzenie (asymptotyczne rozszerzanie) Wykładniki Lapunowa stanu równowagi µ φ są dodatnie. Twierdzenie (własności statystyczne) Miary µ φ spełniają Centralne Twierdzenie Graniczne oraz wykładnicze ubywanie korelacji dla klasy funkcji próbnych hölderowskich. Twierdzenie (jednoznaczność stanów równowagi) Istnieje dokładnie jeden stan równowagi dla potencjału φ.

44 Twierdzenie Makarowa Przykład zastosowania właności statystycznych: Twierdzenie Miara harmoniczna ω na spójnym zbiorze D R 2 ma wymiar 1.

45 Twierdzenie Makarowa Przykład zastosowania właności statystycznych: Twierdzenie Miara harmoniczna ω na spójnym zbiorze D R 2 ma wymiar 1. Przykład Niech D to obszar ograniczony przez krzywą Kocha. Wymiar miary harmonicznej jest mniejszy niż wymiar brzegu D, więc mówiąc obrazowo miara harmoniczna widzi tylko bardzo mały fragment brzegu. Ponadto istnieje E D, zbiór ω-pełnej miary, który ma długość 0 (tzn. H 1 (E) = 0), bo H 1 i ω są wzajemnie singularne.

46 Siatki obliczeniowe Siatki obliczeniowe mają fundamentalne znaczenie w wielu problemach i zadaniach numerycznych (np. symulacjach).

47 Siatki obliczeniowe Siatki obliczeniowe mają fundamentalne znaczenie w wielu problemach i zadaniach numerycznych (np. symulacjach). Problem: skąd je brać?

48 Siatki dopasowane do sygnału

49 Siatki dopasowane do sygnału

50 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki.

51 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki. Problemy przy praktycznej realizacji (prosty) siatka początkowa

52 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki. Problemy przy praktycznej realizacji (prosty) siatka początkowa (techniczny) obliczanie wartości funkcji energii

53 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki. Problemy przy praktycznej realizacji (prosty) siatka początkowa (techniczny) obliczanie wartości funkcji energii niejednoznaczność siatki optymalnej + złe własności geometryczne minimów potrzeba geometrycznego składnika energii

54 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki. Problemy przy praktycznej realizacji (prosty) siatka początkowa (techniczny) obliczanie wartości funkcji energii niejednoznaczność siatki optymalnej + złe własności geometryczne minimów potrzeba geometrycznego składnika energii wybór metody optymalizacji: metody bisekcyjne (np. Powella): kosztowne, słabo dostosowane do wielowymiarowych problemów

55 Optymalizacja Z matematycznego punktu widzenia sprawa jest dosyć prosta: szukamy siatki, która będzie minimalizowała energię, zdefiniowaną jako suma wariancji na każdym elemencie siatki. Problemy przy praktycznej realizacji (prosty) siatka początkowa (techniczny) obliczanie wartości funkcji energii niejednoznaczność siatki optymalnej + złe własności geometryczne minimów potrzeba geometrycznego składnika energii wybór metody optymalizacji: metody bisekcyjne (np. Powella): kosztowne, słabo dostosowane do wielowymiarowych problemów metody gradientowe: wrażliwe na gładkość minimalizowanej funkcji, konieczność analitycznego wyliczenia pochodnej (gradient numeryczny w praktyce nie wystarcza)

56 Pochodna wariancji Jak policzyć (i czym jest) pochodna wariancji?

57 Pochodna wariancji Jak policzyć (i czym jest) pochodna wariancji? Przestrzeń: jeśli ustalimy topologię (połączenia) siatki to każdą siatkę możemy opisać przez podanie współrzędnych jej wierzchołków.

58 Pochodna wariancji Jak policzyć (i czym jest) pochodna wariancji? Przestrzeń: jeśli ustalimy topologię (połączenia) siatki to każdą siatkę możemy opisać przez podanie współrzędnych jej wierzchołków. Nasz problem sprowadza się do policzenia pochodnej funkcji F ( ) = f, gdzie jest pewnym elementem siatki, zaś f pewną (niekoniecznie ciągłą) funkcją.

59 Pochodna wariancji Jak policzyć (i czym jest) pochodna wariancji? Przestrzeń: jeśli ustalimy topologię (połączenia) siatki to każdą siatkę możemy opisać przez podanie współrzędnych jej wierzchołków. Nasz problem sprowadza się do policzenia pochodnej funkcji F ( ) = f, gdzie jest pewnym elementem siatki, zaś f pewną (niekoniecznie ciągłą) funkcją. Fakt Niech będzie dowolnym trójkątem. Wtedy: ( ) F ( ) = f (u) du = f (x) p(x)dx de E I e gdzie E to dowolny bok trójkąta, I e to odcinek łączący punkt e E z przeciwległym wierzchołkiem trójkąta v, zaś p(x) = d(x,v) d(e,v) sin α, gdzie α to kąt między bokiem E i odcinkiem I α. Stąd pochodna F w punkcie e i kierunku równoległym do boku E wynosi I e f (x) p(x)dx.

60 Zrobione Udało się zaimplementować: obliczanie wartości funkcji energii w 2D gradient numeryczny i próby wykorzystania go do optymalizacji (wynik: nie spełnia swojej roli) optymalizację metodą Powella (wynik: działa) działający prototyp w oparciu o oprogramowanie VisNow

61 Do zrobienia Plany na przyszłość: zaimplementowanie całkowania w 3D po czworościanach analityczne obliczanie gradientu i wykorzystanie go do optymalizacji zastosowanie do budowy siatek obliczeniowych

62 Co dalej? Co jeszcze ostatnio zajmuje moją głowę: Matematyka dla Ciekawych Świata

63 Co dalej? Co jeszcze ostatnio zajmuje moją głowę: Matematyka dla Ciekawych Świata Uśrednianie w przestrzeni argumentu

64 Co dalej? Co jeszcze ostatnio zajmuje moją głowę: Matematyka dla Ciekawych Świata Uśrednianie w przestrzeni argumentu (Nie)sztuczna inteligencja, uczenie maszynowe Dynamika nierównowagowa

65 Co dalej? Co jeszcze ostatnio zajmuje moją głowę: Matematyka dla Ciekawych Świata Uśrednianie w przestrzeni argumentu (Nie)sztuczna inteligencja, uczenie maszynowe Dynamika nierównowagowa Samo-organizacja Gry (strategiczne, czasu rzeczywistego) Wiele, wiele innych...

66 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników )

67 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z)

68 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z) wektor z przestrzeni Λ = {p R s : p k 0, p k = 1}

69 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z) wektor z przestrzeni Λ = {p R s : p k 0, p k = 1} 2 Selekcja: p k p k = f (z k )p k, gdzie f (p) = f (z f (p) k )p k

70 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z) wektor z przestrzeni Λ = {p R s : p k 0, p k = 1} 2 Selekcja: p k p k = f (z k )p k, gdzie f (p) = f (z f (p) k )p k 3 Mutacja: p Up, gdzie U (stochastyczna) macierz mutacji, U ij to prawdopodobieństwo mutacji z z j do z i (U ii to prawdopobieństwo braku mutacji)

71 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z) wektor z przestrzeni Λ = {p R s : p k 0, p k = 1} 2 Selekcja: p k p k = f (z k )p k, gdzie f (p) = f (z f (p) k )p k 3 Mutacja: p Up, gdzie U (stochastyczna) macierz mutacji, U ij to prawdopodobieństwo mutacji z z j do z i (U ii to prawdopobieństwo braku mutacji) Cały proces możemy zapisać skrótowo jako p G(p) := 1 f (p) US(p), gdzie S to macierz diagonalna taka, że S kk = f (z k )

72 Algorytmy genetyczne (tak jak je rozumiem) Cel: maksymalizacja funkcji f : Z R (funkcji oceny) Z = {z 1,..., z s } zbiór chromosomów (możliwych osobników ) Metoda: algorytmy genetyczne 1 Populacja: r-elementowy multi-zbiór chromosomów wektor probabilistyczny z przestrzeni Λ = {p R s : p k = n k r, p k 0, p k = 1} (s = #Z) wektor z przestrzeni Λ = {p R s : p k 0, p k = 1} 2 Selekcja: p k p k = f (z k )p k, gdzie f (p) = f (z f (p) k )p k 3 Mutacja: p Up, gdzie U (stochastyczna) macierz mutacji, U ij to prawdopodobieństwo mutacji z z j do z i (U ii to prawdopobieństwo braku mutacji) Cały proces możemy zapisać skrótowo jako p G(p) := 1 f (p) US(p), gdzie S to macierz diagonalna taka, że S kk = f (z k ) Metoda analizy: łańcuchy Markowa (na podstawie: On stability and Classification Tools for Genetic Algorithms, S. Kotowski, W. Kosiński, Z. Michalewicz et al.)

73 Łancuchy Markowa Aby wykorzystać teorię łancuchów Markowa, musimy zmienić przestrzeń.

74 Łancuchy Markowa Aby wykorzystać teorię łancuchów Markowa, musimy zmienić przestrzeń. Niech W = W (r) wszystkich możliwych populacji r-elementowych. Zbiór W będzie zbiorem stanów naszego łańcucha Markowa.

75 Łancuchy Markowa Aby wykorzystać teorię łancuchów Markowa, musimy zmienić przestrzeń. Niech W = W (r) wszystkich możliwych populacji r-elementowych. Zbiór W będzie zbiorem stanów naszego łańcucha Markowa. Przypomnijmy, że każdy element w W zadany jest przez wektor (w 1,..., w s ) Λ. Prawdopodobieństwo przejścia ze stanu w do w wynosi: s (G(w) j ) rw j r! (rw j )! gdzie G(p) = 1 f (p) USp j=1

76 Wnioski Twierdzenie Jeśli każda mutacja ma dodatnie prawdopodobieństwo, to nasz model jest asymptotycznie stabilny. Znaczy to, że istnieje stacjonarny rozkład prawdopodobieństwa na przestrzeni W do którego zbiega nasz łańcuch Markowa.

77 Wnioski Twierdzenie Jeśli każda mutacja ma dodatnie prawdopodobieństwo, to nasz model jest asymptotycznie stabilny. Znaczy to, że istnieje stacjonarny rozkład prawdopodobieństwa na przestrzeni W do którego zbiega nasz łańcuch Markowa. Stabilność nazywamy punktową, jeśli stan stacjonarny jest skupiony w (tylko) jednej populacji w W. Stabilność punktowa zachodzi wtedy i tylko wtedy, gdy zbiór osiągalnych chromosomów jest jednoelementowy.

78 A gdzie układy dynamiczne? Łańcuch Markowa możemy zamodelować za pomocą specjalnego układy dynamicznego zwanego przesunięciem Bernoulliego.

79 A gdzie układy dynamiczne? Łańcuch Markowa możemy zamodelować za pomocą specjalnego układy dynamicznego zwanego przesunięciem Bernoulliego. Z kolei takiemu układowi możemy przypisać kilka ważnych niezmienników o których wspominaliśmy wcześniej, np. entropię topologiczną (w klasie przesunięć Bernoulliego jest to pełny niezmiennik, tzn. dwa przesunięcia o tej samej entropii są izomorficzne).

80 A gdzie układy dynamiczne? Łańcuch Markowa możemy zamodelować za pomocą specjalnego układy dynamicznego zwanego przesunięciem Bernoulliego. Z kolei takiemu układowi możemy przypisać kilka ważnych niezmienników o których wspominaliśmy wcześniej, np. entropię topologiczną (w klasie przesunięć Bernoulliego jest to pełny niezmiennik, tzn. dwa przesunięcia o tej samej entropii są izomorficzne). Zastosowania: klasyfikacja algorytmów genetycznych

81 A gdzie układy dynamiczne? Łańcuch Markowa możemy zamodelować za pomocą specjalnego układy dynamicznego zwanego przesunięciem Bernoulliego. Z kolei takiemu układowi możemy przypisać kilka ważnych niezmienników o których wspominaliśmy wcześniej, np. entropię topologiczną (w klasie przesunięć Bernoulliego jest to pełny niezmiennik, tzn. dwa przesunięcia o tej samej entropii są izomorficzne). Zastosowania: klasyfikacja algorytmów genetycznych porównywanie algorytmów genetycznych

82 A gdzie układy dynamiczne? Łańcuch Markowa możemy zamodelować za pomocą specjalnego układy dynamicznego zwanego przesunięciem Bernoulliego. Z kolei takiemu układowi możemy przypisać kilka ważnych niezmienników o których wspominaliśmy wcześniej, np. entropię topologiczną (w klasie przesunięć Bernoulliego jest to pełny niezmiennik, tzn. dwa przesunięcia o tej samej entropii są izomorficzne). Zastosowania: klasyfikacja algorytmów genetycznych porównywanie algorytmów genetycznych (potencjalnie) rozkład algorytmów genetycznych na części składowe stworzenie metodologii konstrukcji algorytmów genetycznych

83 Koniec Dziękuję za uwagę!