Układy stochastyczne

Transkrypt

1 Instytut Informatyki Uniwersytetu Śląskiego 21 stycznia 2009

2 Definicja

3 Definicja Proces stochastyczny to funkcja losowa, czyli funkcja matematyczna, której wartości leżą w przestrzeni zdarzeń losowych. Innymi słowy pewnej wielkości (jakiemuś człowiekowi, liczbie, chwili czasu, punktowi płaszczyzny) przypisane jest zdarzenie losowe (wzrost, losowo wybrana liczba, wartość waluty wg. notowań giełdowych, liczba rzeczywista).

4 Definicja Proces stochastyczny to funkcja losowa, czyli funkcja matematyczna, której wartości leżą w przestrzeni zdarzeń losowych. Innymi słowy pewnej wielkości (jakiemuś człowiekowi, liczbie, chwili czasu, punktowi płaszczyzny) przypisane jest zdarzenie losowe (wzrost, losowo wybrana liczba, wartość waluty wg. notowań giełdowych, liczba rzeczywista). stochastyczny znaczy nic innego jak przypadkowy (losowy), lecz jest jest to termin jakościowy i heurystyczny, króty opisuje szeroką klasę własności i zachowania się układów. Nie ma też żadnego uniwersalnego testu lub miary przypadkowości, dlatego bezpieczniej jest używać właśnie określenia stochastyczny.

5 Definicja

6 Definicja Matematycznie, proces stochastyczny jest zazwyczaj definiowany jako rodzina zmiennych losowych:

7 Definicja Matematycznie, proces stochastyczny jest zazwyczaj definiowany jako rodzina zmiennych losowych: (X t, t T) gdzie: X t - zmienna losowa, zaś T to zbiór indeksów procesu stochastycznego.

8 Definicja Matematycznie, proces stochastyczny jest zazwyczaj definiowany jako rodzina zmiennych losowych: (X t, t T) gdzie: X t - zmienna losowa, zaś T to zbiór indeksów procesu stochastycznego. Zmienne muszą być określone na tej samej przestrzeni probabilistycznej. Zbiór wartości zmiennych losowych X t nazywamy przestrzenią stanów procesu stochastycznego, zaś pojedyncza wartość zmiennej losowej to stan procesu stochastycznego. Procesy stochastyczne zdefiniowane na dyskretnej przestrzeni stanów nazywane są łańcuchami.

9 Definicja

10 Definicja Definicja obejmuje ideę funkcji losowej w następujący sposób. Aby z funkcji f : D > R z dziedziną funkcji D i obrazem R zrobić funkcję losową, należy wszystkie wartości funkcji f(x) we wszystkich punktach D zamienić na zmienne losowe z wartościami w R. Dziedzina D staje się zbiorem indeksów procesu stochastycznego, zaś proces stochastyczny jest zdeterminowany przez połączone dystrybuanty różnych zmiennych losowych f(x).

11 Definicja Definicja obejmuje ideę funkcji losowej w następujący sposób. Aby z funkcji f : D > R z dziedziną funkcji D i obrazem R zrobić funkcję losową, należy wszystkie wartości funkcji f(x) we wszystkich punktach D zamienić na zmienne losowe z wartościami w R. Dziedzina D staje się zbiorem indeksów procesu stochastycznego, zaś proces stochastyczny jest zdeterminowany przez połączone dystrybuanty różnych zmiennych losowych f(x). Należy jednak zauważyć, że definicja procesu stochastycznego jako rodziny zmiennych losowych jest o wiele bardziej ogólna niż przypadek, kiedy indeksami są punkty dziedziny funkcji losowej.

12 Przykład

13 Przykład Losowość oznacza nieprzewidywalność w mniejszym lub większym stopniu. Prosty przykład:

14 Przykład Losowość oznacza nieprzewidywalność w mniejszym lub większym stopniu. Prosty przykład: Ciąg przypadkowy może być zdefiniowany jako taki ciąg x i, i N, w którym dla danych x 1, x 2,..., x n, wartość x n+1 ciągu może być z jednakowym prawdopodobieństwem dowolną liczbą z przedziału - do +.

15 ...

16 ... Przypadki specjalne procesów stochastycznych:

17 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego

18 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera

19 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości.

20 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona

21 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne

22 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne

23 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych

24 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa

25 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S

26 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S procesy gaussowskie: procesy, gdzie wszystkie liniowe kombinacje współrzędnych są zmiennymi losowymi z rozkładem normalnym

27 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S procesy gaussowskie: procesy, gdzie wszystkie liniowe kombinacje współrzędnych są zmiennymi losowymi z rozkładem normalnym martyngały

28 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S procesy gaussowskie: procesy, gdzie wszystkie liniowe kombinacje współrzędnych są zmiennymi losowymi z rozkładem normalnym martyngały procesy Galtona-Watsona

29 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S procesy gaussowskie: procesy, gdzie wszystkie liniowe kombinacje współrzędnych są zmiennymi losowymi z rozkładem normalnym martyngały procesy Galtona-Watsona proces gałązkowy

30 ... Przypadki specjalne procesów stochastycznych: procesy Bernoulliego proces Wienera procesy Markowa to takie, w których przyszłość jest warunkowo niezależna od przeszłości przy danej teraźniejszości. procesy Poissona procesy stacjonarne procesy homogeniczne procesy o przyrostach niezależnych łańcuchy Markowa procesy punktowe: losowe ustawienia punktów w przestrzeni S procesy gaussowskie: procesy, gdzie wszystkie liniowe kombinacje współrzędnych są zmiennymi losowymi z rozkładem normalnym martyngały procesy Galtona-Watsona proces gałązkowy ruchy Browna

31 ... Proces Markowa ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego.

32 ... Proces Markowa ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

33 ... Proces Markowa ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów. Łańcuch Markowa jest ciągiem X 1, X 2, X 3,... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje X n to stany w czasie n. Jeśli rozkład warunkowy X n+1 jest funkcją wyłącznie zmiennej X n :

34 ... Proces Markowa ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów. Łańcuch Markowa jest ciągiem X 1, X 2, X 3,... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje X n to stany w czasie n. Jeśli rozkład warunkowy X n+1 jest funkcją wyłącznie zmiennej X n : P(X n+1 y X 0,X 1,X 2,...,X n ) = P(X n+1 y X n )

35 ... Proces Markowa ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów. Łańcuch Markowa jest ciągiem X 1, X 2, X 3,... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje X n to stany w czasie n. Jeśli rozkład warunkowy X n+1 jest funkcją wyłącznie zmiennej X n : P(X n+1 y X 0,X 1,X 2,...,X n ) = P(X n+1 y X n ) to mówimy, że proces stochastyczny posiada własność Markowa.

36 Przykład procesu Markowa

37 Proces Markowa Własności łańcuchów Markowa

38 Proces Markowa Własności łańcuchów Markowa Macierz przejścia

39 Proces Markowa Własności łańcuchów Markowa Macierz przejścia Rozkład stacjonarny

40 macierz przejścia Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe:

41 macierz przejścia Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe: P ij = P(X n+1 = j X n = i)

42 macierz przejścia Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe: P ij = P(X n+1 = j X n = i) czyli np. element p 13 oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego.

43 macierz przejścia Jeśli przestrzeń stanów jest zbiorem skończonym, rozkład prawdopodobieństw przejść między poszczególnymi stanami może być przedstawiony jako macierz, zwaną macierzą przejścia oznaczoną literą P, gdzie elementy (i, j) są równe: P ij = P(X n+1 = j X n = i) czyli np. element p 13 oznacza prawdopodobieństwo przejścia ze stanu pierwszego do stanu trzeciego. Na przestrzeni dyskretnej całkowanie k-tego stopnia macierzy przejścia jest zwykłym sumowaniem i może być obliczane jako k-ta potęga macierzy przejścia. Czyli jeśli P jest macierzą przejścia w jednym kroku, wówczas P k jest macierzą przejścia w k krokach.

44 rozkład stacjonarny Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek: P j = π i p ij i S

45 rozkład stacjonarny Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek: P j = π i p ij czyli: i S π T P=π T gdzie π T jest transponowanym wektorem wierszowym π, a π i = 1 π i 0 i

46 rozkład stacjonarny Rozkład prawdopodobieństw na przestrzeni stanów S nazywamy stacjonarnym wtedy i tylko wtedy, gdy spełniony jest warunek: P j = π i p ij czyli: i S π T P=π T gdzie π T jest transponowanym wektorem wierszowym π, a π i = 1 π i 0 i Jeśli rozkład początkowy X 0 jest stacjonarny, to każdy kolejny rozkład X n również jest stacjonarny. Może nie istnieć żaden, istnieć jeden lub więcej niż jeden rozkład stacjonarny dla danego procesu.

47 Trochę o generatorach...

48 Trochę o generatorach... W przypadku komputerowego generatora liczb losowych matematyk może wyznaczyć taką liczbę całkowitą i R, po której ciąg będzie się powtarzał. Zawsze będzie istniała taka liczba, dla której x i = x i+nir, n N ponieważ niewspółmierne liczby nie mają swojej reprezentacji w komputerze, niezależnie od wielkości jego pamięci.

49 Trochę o generatorach... W przypadku komputerowego generatora liczb losowych matematyk może wyznaczyć taką liczbę całkowitą i R, po której ciąg będzie się powtarzał. Zawsze będzie istniała taka liczba, dla której x i = x i+nir, n N ponieważ niewspółmierne liczby nie mają swojej reprezentacji w komputerze, niezależnie od wielkości jego pamięci. Od liczby i R wymagamy jedynie, aby była dostatecznie duża dla naszych doraźnych celów. Komputerowe algorytmy generujące ciągi przypadkowe są często nazywane generatorami liczb pseudolosowych. Oznacza to, że są one rzeczywistymi generatorami liczb losowych gdzieś na Ziemi lub w ciemnych otchłaniach wszechświata. Czy precyzyjny woltomierz jest prawdziwym generatorem liczb losowych, jeżeli weźmiemy pod uwagę błędy odczytu jego wskazań? Czy takie błędy jako proces losowy są lepsze niż liczby pseudolosowe generowane przez pewien algorytm komputerowy?

51 Trochę o generatorach... Odpowiedź brzmi nie - jeżeli algorytm jest dobrze skonstruowany. Liczbę i R można uczynić tak dużą, aby odpowiadający jej okres przekraczał czas życia dowolnego urządzenia mechanicznego lub elektronicznego. Co więcej, fizyczne urządzenia mają tę wadę, że wymagają okresowej kalibracji w celu skompensowania odchylenia spowodowanego ich zużyciem i starzeniem się. A czy słyszał ktoś kiedykolwiek, aby program komputerowy się zużył? :-)

52 Trochę o generatorach... Odpowiedź brzmi nie - jeżeli algorytm jest dobrze skonstruowany. Liczbę i R można uczynić tak dużą, aby odpowiadający jej okres przekraczał czas życia dowolnego urządzenia mechanicznego lub elektronicznego. Co więcej, fizyczne urządzenia mają tę wadę, że wymagają okresowej kalibracji w celu skompensowania odchylenia spowodowanego ich zużyciem i starzeniem się. A czy słyszał ktoś kiedykolwiek, aby program komputerowy się zużył? :-) Najlepiej jeśli proces przypadkowy ma zerową wartość średnią. Staje się to najbardziej oczywiste przy tworzeniu metod analizy, bazujących w duzym stopniu na skończonej transformacji Fouriera. Średnia dokładnie równa zeru jest mało prawdopodobna. Najważniejszym jest, aby średnia procesu była przynajmniej bliska zeru.

54 Trochę o generatorach... Dlatego pierwszą rzeczą jaką musimy wiedzieć o ciągu losowym jest jego skala wielkości. Określa się ją za pomocą tzw średniej kwadratowej

55 Trochę o generatorach... Dlatego pierwszą rzeczą jaką musimy wiedzieć o ciągu losowym jest jego skala wielkości. Określa się ją za pomocą tzw średniej kwadratowej [ σ({x i }; i 1, i 2 ) = 1 i 2 i 1 1 i 2 i=i 1 (x i x M ) 2 ] 1/2

56 Trochę o generatorach... Dlatego pierwszą rzeczą jaką musimy wiedzieć o ciągu losowym jest jego skala wielkości. Określa się ją za pomocą tzw średniej kwadratowej [ σ({x i }; i 1, i 2 ) = gdzie x M = 1 i 2 i 1+1 i 2 i=i 1 x i 1 i 2 i 1 1 i 2 i=i 1 (x i x M ) 2 ] 1/2

58 Trochę o generatorach... Każdy ciąg zazwyczaj ma pewien rozkład. Konkretnie musi to być rozkład liczb x i w pewnych przedziałach. Rozkład dyskretny zwykle przybliża jakiś standardowy rozkład ciągły, typu rozkładu równomiernego lub rozkładu normalnego. Większość stosowanych w programach generatorów liczb losowych zapewnia rozkład jednostajny (boxcar), którego gęstość jest równa 1 w przedziale [0,1], tak że jego średnia x M = 1/2.

59 Trochę o generatorach... Każdy ciąg zazwyczaj ma pewien rozkład. Konkretnie musi to być rozkład liczb x i w pewnych przedziałach. Rozkład dyskretny zwykle przybliża jakiś standardowy rozkład ciągły, typu rozkładu równomiernego lub rozkładu normalnego. Większość stosowanych w programach generatorów liczb losowych zapewnia rozkład jednostajny (boxcar), którego gęstość jest równa 1 w przedziale [0,1], tak że jego średnia x M = 1/2. W wielu zastosowaniach konieczne jest odliczenie tej wartości gdzieś w obliczeniach. Rozkład jednostajny generatora może być bez trudu odwzorowany w inny rozkład. Dobrze jest znać stosowany przez nas generator liczb losowych.

60 Transformacje Fouriera

61 Transformacje Fouriera Transformacja Fouriera jest transformacją całkową z dziedziny czasu w dziedzinę częstotliwości. Została nazwana na cześć Jean Baptiste Joseph Fouriera. Transformata jest wynikiem transformacji Fouriera (transformata jest funkcją, a transformacja operacją na funkcji, dającą w wyniku transformatę).

62 Transformacje Fouriera Transformacja Fouriera jest transformacją całkową z dziedziny czasu w dziedzinę częstotliwości. Została nazwana na cześć Jean Baptiste Joseph Fouriera. Transformata jest wynikiem transformacji Fouriera (transformata jest funkcją, a transformacja operacją na funkcji, dającą w wyniku transformatę). Transformata Fouriera opisana jest wzorem: ˆf (ξ) := f (x)e 2πxiξ dx

63 Transformacje Fouriera Transformacja Fouriera jest transformacją całkową z dziedziny czasu w dziedzinę częstotliwości. Została nazwana na cześć Jean Baptiste Joseph Fouriera. Transformata jest wynikiem transformacji Fouriera (transformata jest funkcją, a transformacja operacją na funkcji, dającą w wyniku transformatę). Transformata Fouriera opisana jest wzorem: ˆf (ξ) := f (x)e 2πxiξ dx gdzie i - jednostka urojona (i 2 = -1) W praktyce x oznacza czas (w sekundach), a argument transformaty ξ częstotliwość (w Hz).

64 Szeregi Fouriera

65 Szeregi Fouriera

66 Szeregi Fouriera

67 Szeregi Fouriera

68 Dziękuje za uwagę =)