Sygnały stochastyczne

Podobne dokumenty
σ-ciało zdarzeń Niech Ω będzie niepustym zbiorem zdarzeń elementarnych, a zbiór F rodziną podzbiorów zbioru Ω spełniającą warunki: jeśli A F, to A F;

2. P (E) = 1. β B. TSIM W3: Sygnały stochastyczne 1/27

Podstawy rachunku prawdopodobieństwa (przypomnienie)

Prawdopodobieństwo i statystyka

Wybrane rozkłady zmiennych losowych i ich charakterystyki

Materiały dydaktyczne. Matematyka. Semestr III. Wykłady

(u) y(i) f 1. (u) H(z -1 )

Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory

Restauracja a poprawa jakości obrazów

Wykład 1 Próba i populacja. Estymacja parametrów z wykorzystaniem metody bootstrap

Zmienne losowe i ich rozkłady. Momenty zmiennych losowych. Wrocław, 10 października 2014

Biostatystyka, # 3 /Weterynaria I/

TEORIA OBWODÓW I SYGNAŁÓW LABORATORIUM

Badanie stacjonarności szeregów czasowych w programie GRETL

Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Elektroniki

Literatura. Leitner R., Zacharski J., Zarys matematyki wyŝszej dla studentów, cz. III.

Ważne rozkłady i twierdzenia c.d.

Prawa wielkich liczb, centralne twierdzenia graniczne

Wykład Centralne twierdzenie graniczne. Statystyka matematyczna: Estymacja parametrów rozkładu

Wykład 2 Zmienne losowe i ich rozkłady

Jeśli wszystkie wartości, jakie może przyjmować zmienna można wypisać w postaci ciągu {x 1, x 2,...}, to mówimy, że jest to zmienna dyskretna.

Metody probabilistyczne

ZAJĘCIA II. Zmienne losowe, sygnały stochastyczne, zakłócenia pomiarowe

Matematyka dyskretna. Wykład 2: Kombinatoryka. Gniewomir Sarbicki

Metody probabilistyczne Rozwiązania zadań

Ważne rozkłady i twierdzenia

Statystyka i eksploracja danych

ZMIENNE LOSOWE. Zmienna losowa (ZL) X( ) jest funkcją przekształcającą przestrzeń zdarzeń elementarnych w zbiór liczb rzeczywistych R 1 tzn. X: R 1.

Rozkłady statystyk z próby

166 Wstęp do statystyki matematycznej

Matematyka z el. statystyki, # 6 /Geodezja i kartografia II/

W rachunku prawdopodobieństwa wyróżniamy dwie zasadnicze grupy rozkładów zmiennych losowych:

Metody probabilistyczne opracowane notatki 1. Zdefiniuj zmienną losową, rozkład prawdopodobieństwa. Przy jakich założeniach funkcje: F(x) = sin(x),

Filtracja pomiarów z głowic laserowych

RACHUNEK PRAWDOPODOBIEŃSTWA WYKŁAD 5.

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Rozkłady i ich dystrybuanty 16 marca F X (t) = P (X < t) 0, gdy t 0, F X (t) = 1, gdy t > c, 0, gdy t x 1, 1, gdy t > x 2,

Algebra liniowa z geometrią analityczną

Prawdopodobieństwo i statystyka

Zaliczenie wykładu Technika Analogowa Przykładowe pytania (czas zaliczenia minut, liczba pytań 6 8)

Uwaga 1.1 Jeśli R jest relacją w zbiorze X X, to mówimy, że R jest relacją w zbiorze X. Rozważmy relację R X X. Relację R nazywamy zwrotną, gdy:

Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.

( ) + ( ) T ( ) + E IE E E. Obliczanie gradientu błędu metodą układu dołączonego

WYKŁAD 2. Zdarzenia losowe i prawdopodobieństwo Zmienna losowa i jej rozkłady

Przykład 1 W przypadku jednokrotnego rzutu kostką przestrzeń zdarzeń elementarnych

Zadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =

STATYSTYKA

Zmienne losowe ciągłe i ich rozkłady

2. Założenie niezależności zakłóceń modelu - autokorelacja składnika losowego - test Durbina - Watsona

Układy stochastyczne

A. Cel ćwiczenia. B. Część teoretyczna

STATYSTYKA MATEMATYCZNA WYKŁAD 4. WERYFIKACJA HIPOTEZ PARAMETRYCZNYCH X - cecha populacji, θ parametr rozkładu cechy X.

W2 Podstawy rachunku prawdopodobieństwa (przypomnienie)

Rachunek Prawdopodobieństwa i Statystyka

O ŚREDNIEJ STATYSTYCZNEJ

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności

Wykład 1 Zmienne losowe, statystyki próbkowe - powtórzenie materiału

2. Empiryczna wersja klasyfikatora bayesowskiego

PODSTAWOWE ROZKŁADY PRAWDOPODOBIEŃSTWA. Piotr Wiącek

(U.3) Podstawy formalizmu mechaniki kwantowej

Statystyka matematyczna. Wykład III. Estymacja przedziałowa

Komputerowa Analiza Danych Doświadczalnych

Weryfikacja hipotez statystycznych

Wnioskowanie statystyczne. Statystyka w 5

Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn

PEWNE FAKTY Z RACHUNKU PRAWDOPODOBIEŃSTWA

Zmienne losowe, statystyki próbkowe. Wrocław, 2 marca 2015

Metoda najmniejszych kwadratów

Twierdzenie o splocie

Zmienne losowe ciągłe i ich rozkłady

Prawdopodobieństwo i statystyka

Statystyka. Rozkład prawdopodobieństwa Testowanie hipotez. Wykład III ( )

Na A (n) rozważamy rozkład P (n) , który na zbiorach postaci A 1... A n określa się jako P (n) (X n, A (n), P (n)

Estymacja parametrów w modelu normalnym

Pomiary napięć przemiennych

Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014

Wykład 3 Jednowymiarowe zmienne losowe

Rozdział 1. Wektory losowe. 1.1 Wektor losowy i jego rozkład

4. Weryfikacja modelu

Rachunek prawdopodobieństwa i statystyka

Modelowanie zależności. Matematyczne podstawy teorii ryzyka i ich zastosowanie R. Łochowski

Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów

Prawdopodobieństwo i statystyka

P (A B) = P (A), P (B) = P (A), skąd P (A B) = P (A) P (B). P (A)

Rozdział 1. Zmienne losowe, ich rozkłady i charakterystyki. 1.1 Definicja zmiennej losowej

Matematyka z el. statystyki, # 3 /Geodezja i kartografia II/

Metody probabilistyczne

Metody numeryczne. Instytut Sterowania i Systemów Informatycznych Wydział Elektrotechniki, Informatyki i Telekomunikacji Uniwersytet Zielonogórski

Błędy przy testowaniu hipotez statystycznych. Decyzja H 0 jest prawdziwa H 0 jest faszywa

STATYSTYKA MATEMATYCZNA

Wykład 21: Studnie i bariery cz.1.

Wykład 3 Momenty zmiennych losowych.

Wykład 3 Momenty zmiennych losowych.

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów

Wykład 4. Zmienne losowe i ich rozkłady

7. Estymacja parametrów w modelu normalnym( ) Pojęcie losowej próby prostej

6.4 Podstawowe metody statystyczne

Szeregi czasowe, analiza zależności krótkoi długozasięgowych

Wybrane rozkłady zmiennych losowych. Statystyka

Statystyka w przykładach

Transkrypt:

Sygnały stochastyczne

Zmienne losowe E zbiór zdarzeń elementarnych (zbiór możliwych wyniów esperymentu) e E zdarzenie elementarne (wyni esperymentu) B zbiór wybranych podzbiorów zbioru E β B zdarzenie losowe Pr funcja odwzorowująca zbiór B na domnięty przedział [, ] [ ] Pr : B, Jeżeli eli odwzorowanie to spełnia asjomaty: B { } { β} Pr β Pr E = ( B E ) { } { } { } β, β B oraz β β = Pr β β = Pr β + Pr β { } i j i j i j i j to Pr β, β B nazywa się prawdopodobieństwem zdarzenia β Uporządowaną tróję (E, B, Pr) nazywa się przestrzenią probabilistyczną

Jeżeli zbiórejest zbiorem liczbowym ( E R), lub elementom tego zbioru można w sposób wzajemnie jednoznaczny przyporządować liczby rzeczywiste, to w zbiorze E oreślona jest zmienna losowa rzeczywista. Definicja. Zmienną losową rzeczywistą, oreśloną w przestrzeni probabilistycznej (E, B, Pr) nazywamy funcję ( e), taą, że : E R R { e : ( e) } < B, (zbiór zdarzeń elementarnych, taich, że e < jest zdarzeniem, czyli elementem zbioru B) ( ) Pr ± = Zmienne losowe Realizacje zmiennych losowych η ζ y z

Definicja. zmienna losowa rzeczywista w przestrzeni probabilistycznej (E, B, Pr), E R przyjmująca wartości w zbiorze Dystrybuantą zmiennej losowej nazywamy funcję F [ ] : R, taą, że = Pr { < } F Własności: lim F =, lim F = > F F (dystrybuanta jest funcją niemalejącą)

Zmienne losowe dysretne Jeżeli zbiór zdarzeń elementarnych E jest zbiorem sończonym lub przeliczalnym to E = { e }, =,,..., M lub N ( E ) { },,,..., lub = = M N Każdemu zdarzeniu elementarnemu można przyporządować prawdopodobieństwo Pr { } =Pr{ } p = e = Zbiór { p } nazywa się rozładem dysretnej zmiennej losowej p = Dystrybuantą zmiennej losowej dysretnej jest funcja schodowa (przedziałami stała)

Przyład E B = E Rzut ostą do gry: = { e, e, e, e, e, e } e e oczo ocza 3 4 5 6 Zdarzenia elementarne Zmienna losowa itd. p = P { = } =, =,...,6 6 e e = = = = itd. F 6 6 5 6 P 6 4 6 3 6 6 6 3 4 5 6 3 4 5 6 7

Zmienne losowe ciągłe E nieprzeliczalny zbiór zdarzeń elementarnych ( E ) nieprzeliczalny zbiór realizacji zmiennej losowej ( E ) R Najczęściej ( E ) [ a, b], ( E ) [, ), ( E ) (, ) Dystrybuanta jest funcją ciągłą, różniczowalną prawie wszędzie Definicja 3. { < + } = F ( + ) F Pr Funcją gęstości prawdopodobieństwa zmiennej losowej nazywa się funcję ( E ) f : R f lim ( + ) d F F F = d

f = df d d = F f λ λ Własności: E f (bo F jest funcją niemalejącą) f d = ( bo F = ) F F ( ) ( ) F f { < } = F ( ) F ( ) Pr{ } Pr < = f d

Parametry zmiennych losowych zmienna losowa ciągła, przyjmująca wartości ( E ) f funcja gęstości prawdopodobieństwa Definicja Momentem zwyłym rzędu r zmiennej losowej nazywa się liczbę = d r r f d Momentem centralnym rzędu r zmiennej losowej nazywa się liczbę r r ( ) = ( ) d f gdzie jest momentem zwyłym rzędu pierwszego

zmienna losowa dysretna, przyjmująca wartości p ( E ) { },,,..., = = M = Pr{ = } prawdopodobieństwo zdarzenia Definicja Momentem zwyłym rzędu r zmiennej losowej nazywa się liczbę r M = = p r Momentem centralnym rzędu r zmiennej losowej nazywa się liczbę r M ( ) = ( ) p = gdzie jest momentem zwyłym rzędu pierwszego r

moment zwyły rzędu pierwszego nazywa się wartością oczeiwaną zmiennej losowej ( nadzieja matematyczna ) Często oznacza się = E[ ] moment zwyły rzędu drugiego nazywa się wartością średniowadratową zmiennej losowej = E ( ) moment centralny rzędu drugiego nazywa się wariancją zmiennej losowej Najczęściej oznacza się = σ σ ( ) = odchylenie standardowe zmiennej losowej

Interpretacja fizyczna ɶ = ɶ = E ɶ = zmienna losowa scentrowana sładowa stała zmiennej losowej ɶ sładowa zmienna zmiennej losowej = + ɶ = E moc oczeiwana zmiennej losowej = E oczeiwana wartość suteczna zmiennej losowej σ = ɶ moc oczeiwana sładowej zmiennej = + σ [ ] σ = E E

Dwuwymiarowe zmienne losowe Rozważmy przestrzenie probabilistyczne (E,B, Pr ) i (E,B, Pr ) i zmienne losowe i η, oreślone na zbiorach zdarzeń elementarnych tych przestrzeni (może być E =E i B =B ) Utwórzmy łączną przestrzeń probabilistyczną (E, B, Pr), taą, że E = E E B B = B Związi probabilistyczne między zmiennymi losowymi i η można opisać za pomocą łącznej funcji gęstości prawdopodobieństwa f ( gdzie i y η, y ), są realizacjami zmiennych losowych i η. Jeżeli zmienne losowe i η są zmiennymi dysretnymi, o sończonej liczbie realizacji, odpowiednio M i N, to wprowadza się pojęcie zbioru prawdopodobieństw Pr, y : =,..., M, l =,..., N { η l } łącznych M N = l = f, y ddy = η { y } Pr, = η l

Momenty łączne i η zmienne losowe o realizacjach i y Definicja Momenty łączne zmiennych losowych i η = r s r s η y f, y ddy Momenty centralne zmiennych losowych i η η gdzie r s r s ( ) ( ) = ( ) ( ) η η η y η f, y ddy = η, η = η r s r s r= r= s= s= Rzędem momentu nazywa się liczbę (r + s)

Momenty rzędu : r s r s r= r= η s= s= η η = σ η η = σ η współczynni orelacji zmiennych losowych i η ( )( η η ) cov (, η) = współczynni owariancji zmiennych losowych i η Własności: a = a, a R + η = + η uśrednianie jest operacją liniową =, ση = η η σ cov (, η) = η η

Definicja Zmienne losowe i η nazywa się niezależnymi jeżeli dla ażdej pary ( E ) i ( ) (, ) y η η η E zachodzi: f y = f f y zmienne losowe ciągłe ( y ) = ( ) ( y ) Pr, Pr Pr η l η l =,..., M, l =,..., N zmienne losowe dysretne Własności: Jeżeli i η są zmiennymi losowymi niezależnymi oraz ζ = + η, to σ = σ + σ ζ η Jeżeli i η są zmiennymi losowymi niezależnymi, to η = η (współczynni orelacji jest równy iloczynowi wartości oczeiwanych) Ponieważ cov, η = η η, więc jeżeli i η są zmiennymi losowymi niezależnymi, to cov (, η ) =

Procesy stochastyczne Niech (E,B, Pr) będzie przestrzenią probabilistyczną, zaś T pewnym podzbiorem liczb rzeczywistych T R Definicja Procesem stochastycznym nazywamy funcję : E T R taą, że dla ażdego ustalonego t funcja jest zmienną T : t E R losową oreśloną na zbiorze zdarzeń elementarnych E przestrzeni probabilistycznej (E,B, Pr) Zbiór T najczęściej utożsamia się ze zbiorem puntów na osi czasu. Może to być czas ciągły lub czas dysretny, czylit = t najczęściej t = nt. t T { } Proces stochastyczny, jao model losowego sygnału fizycznego, nazywa się sygnałem stochastycznym (z czasem ciągłym lub czasem dysretnym) n n

Będziemy oznaczać: ( t), η( t), ζ ( t ) sygnały stochastyczne z czasem ciągłym [ ] i odpowiednio [ ], [ ] nt = n η n ζ n sygnały stochastyczne z czasem dysretnym Realizacje procesów (sygnałów) stochastycznych oznacza się ( t), y( t), z( t) i odpowiednio [ n], y[ n], z[ n] Dla ustalonego t = t ( n = n ) i [ ] t n zmienne losowe mogą być ciągłe lub dysretne Sygnały stochastyczne można slasyfiować jao: ciągłe z czasem ciągłym, ciągłe z czasem dysretnym, dysretne z czasem ciągłym, dysretne z czasem dysretnym

.5 Ciągły z czasem ciągłym.5 Ciągły z czasem dysretnym.5 t.5 n -.5 -.5 - - -.5 5 5 5 3 Dysretny z czasem ciągłym -.5 5 5 5 3 Dysretny z czasem dysretnym.5.5.5 t.5 n -.5 -.5 - - -.5 5 5 5 3 -.5 5 5 5 3

.5 t.5 ( t).5.5 ( t).5 3 4 5 5 5 3 35 4 5 5 5 3 35 4.5.5 ( t ).5 3 5 5 5 3 35 4 5 t 5 t 5 3 t 35 4 3 t t t t zmienna losowa o realizacjach : t, t, t, t, 3 4 Funcja gęstości prawdopodobieństwa Podobnie 3 4 ( ; ) f t ( ) : f ; t ( ( 3) ) : f ; t 3 3 ( ( 4) ) : f ; t 4 4 Procesy i można scharateryzować dwuwymiarową funcją gęstości prawdopodobieństwa l l ( ( ) ( l), ;, ) f t t l

Ogólnie proces stochastyczny można opisać wielowymiarową funcją gęstości prawdopodobieństwa Opis tai jest mało użyteczny n ( ( n),,, ; ),,, n f t t t Jeżeli zmienne losowe mają sończone wartości średniowadratowe = t dla ażdego t T można procesy stochastyczne scharateryzować pewnymi parametrami, podobnie ja zmienne losowe Definicja. Wartością oczeiwaną sygnału stochastycznego t nazywa się deterministyczną funcję czasu E[ ] t = t f ; t d = wartość oczeiwana zmiennej losowej

Definicja. Wartością średniowadratową sygnału stochastycznego t nazywa się deterministyczną funcję czasu Definicja 3. t f ; t d = Wariancją sygnału stochastycznego t nazywa się deterministyczną funcję czasu = σ t t f ; t d ( t) σ = t

Rozważmy dwie zmienne losowe = t i t, t, t T Związi probabilistyczne między tymi zmiennymi opisuję łączna dwuwymiarowa funcja gęstości prawdopodobieństwa (, ; ), f t t na podstawie tórej można wyznaczyć momenty łączne zmiennych losowych i Definicja 4. Funcją autoorelacji procesu stochastycznego t nazywamy funcję dwóch zmiennych t i Definicja 5. zmiennych t i t, = =, ;, d d R t t t t f t t Funcją autoowariancji procesu stochastycznego t nazywamy funcję dwóch t (, ) = = (, ) C t t t t t t R t t t t

Procesy stochastyczne ciągłe z czasem dysretnym [ ] n.5 3 n zmienna losowa o realizacjach [ ] [ ] [ ] [ ] : n, n, n, n, 3 4 -.5 5 5 [ n.5 ] -.5 5 5 3[.5 ] n -.5 5 5.5 4 [ n] -.5 5 5 n n n3 n n n Funcja gęstości prawdopodobieństwa Podobnie 3 4 ( ; ) f n ( ) : f ; n ( ( 3) ) : f ; n 3 3 ( ( 4) ) : f ; n 4 4 Wielowymiarowa łączna funcja gęstości prawdopodobieństwa ( ( ),,, ; ),,, f n n n

Analogicznie ja dla procesów z czasem ciągłym definiuje się: n f ; n d Wartość oczeiwana: [ ] E[ ] n = = wartość oczeiwana zmiennej losowej n f ; n d Wartość średniowadratowa: [ ] = Wariancja: [ ] = [ ] Funcja autoorelacji: [ ] [ ] [ ] σ n n n f ; n d, = =, ;, d d R n n n n f n n Funcja autoowariancji: [, ] = [ ] [ ] [ ] [ ] = [, ] [ ] [ ] C n n n n n n R n n n n

Sygnały stacjonarne Rozważmy proces stochastyczny, opisany n-wymiarową funcją gęstości prawdopodobieństwa Definicja. ( ( n) ) f,,, ; t, t,, tn, t, t,, tn T n Sygnał stochastyczny t nazywamy sygnałem stacjonarnym rzędu n jeżeli dla ażdego ciągu t, t,, t n T i dla ażdego ε zachodzi ( ( n) ) ( n) n f,,, ; t, t,, t = f,,, ; t + ε, t + ε,, t + ε n n Dla n = ( ; ) ( ; ) f t = f t + ε nie zależy od t (jest tylo funcją ) Dla n = ( ) f, ; t, t = f, ; τ, τ = t t n

Definicja. Sygnał stochastyczny t nazywamy sygnałem stacjonarnym w szerszym sensie (słabo stacjonarnym) jeżeli t = = const R t, t = R τ, τ = t t W onsewencji: = = = σ = t σ t const const C t, t = C τ, τ = t t

Funcje autoorelacji i autoowariancji: = ( ) = ( + ) R τ t t τ t τ t C τ = t t τ = t + τ t Własności: R = ( τ ) = ( τ ) C τ = R τ R τ R C τ C R C ( ) = ( ) = σ ( ) R τ R ( ) C τ C

Definicja 3. Sygnały stochastyczne t i η t nazywa się łącznie stacjonarnymi jeżeli są one sygnałami stacjonarnymi, a ich funcja orelacji wzajemnej jest funcją jednej zmiennej τ = t t, czyli Własności: η (, ) = = ( ) = ( + ) R t t R τ t η t τ t τ η t η η η C t, t = C τ, τ = t t η η η η η R τ = R τ C τ = C τ C τ = R τ η η

Sygnały losowe z czasem dysretnym Definicja [ ] Sygnał stochastyczny n nazywamy sygnałem stacjonarnym w szerszym sensie jeżeli [ ] const [ ] [ ] n = = R n, n = R m, m = n n W onsewencji: [ ] = = [ ] = σ = [ ] [ ] n σ n const const C n, n = C m, m = n n

Sygnały transmisji cyfrowej Sygnały o postaci: = [ ] ( ) t a n g t nt a[ n ] g ( t ) n= ciąg o długości T, przenoszący informację ono ształtujące widmo Załóżmy stacjonarność ciągów informacyjnych { [ ]} a [ ] [ ] E a n = m, E{ a n a n + } = R [ ] a Jeżeli E { } a ( ) m t = t = m g t nt ( τ ) ( τ ) R t + T, t + + T = R t, t +, Z n= to proces ( t ) nazywa się cylostacjonarnym

( t ) Sygnały ergodyczne Sygnały stochastyczne z czasem ciągłym proces stacjonarny o sończonej wartości oczeiwanej ( t ) wybrana realizacja procesu losowego ( t ) m t t T T T = lim d wartość średnia ( t) T ψ τ t t τ t T T T = lim ( ) d funcja autoorelacji ( t) T Sygnały stochastyczne z czasem dysretnym [ n ] proces stacjonarny o sończonej wartości oczeiwanej [ n ] wybrana realizacja procesu losowego [ n] m = lim N N [ ] wartość średnia [ n] + N = N N ψ m m N [ ] = lim [ ] [ ] funcja autoorelacji N [ n] + = N

Definicja. Sygnał stochastyczny z czasem ciągłym nazywa się ergodycznym, jeżeli równości m = ψ ( τ ) = R ( τ ) zachodzą z prawdopodobieństwem równym, tzn. zachodzą dla prawie wszystich realizacji procesu stochastycznego ( t ) Definicja. Sygnał stochastyczny z czasem dysretnym nazywa się ergodycznym, jeżeli równości m = ψ [ m] = R [ m] zachodzą z prawdopodobieństwem równym, tzn. zachodzą dla prawie wszystich realizacji procesu stochastycznego [ n] O własnościach probabilistycznych ergodycznego sygnału losowego można wniosować na podstawie jednej jego realizacji, obserwowanej w dostatecznie długim przedziale czasu. W pratyce ergodyczność załada się a priori, tzn. przyjmuje się, że prawdopodobieństwo napotania sygnału nieergodycznego jest równe.

Estymatory parametrów i funcji Przy esperymentalnym wyznaczaniu parametrów statystycznych sygnału losowego nie dysponujemy wszystimi realizacjami ani też jedną realizacją z niesończenie długim zapisem sygnału. Parametry sygnału szacujemy, czyli estymujemy na podstawie sończonej liczby próbe jednej realizacji tego sygnału. Wyorzystuje się więc założenie o ergodyczności procesu, a więc również załada się jego stacjonarność. Funcja (algorytm), według tórej jest przeprowadzana estymacja, nazywa się estymatorem, natomiast wyni działania estymatora, czyli uzysane oszacowanie estymatą danego parametru. Przyład [ n ] m realizacja dysretnego procesu stochastycznego = lim N N + [ n] wartość średnia N n= N mˆ + N = [ n] estymator wartości średniej N n= W zależności od wyboru N i otrzymamy różniące się wartości estymat.

Ze względu na sończoną długość sygnału (ciągu) estymata jest zmienną losową Oznaczmy: b wybrany parametr statystyczny ( wartość średnia, wariancja itp. ) bˆ estymata tego parametru Estymata jest realizacją pewnej zmiennej losowej ˆβ. Przeprowadzając wielorotnie estymację danego parametru otrzymamy zbiór realizacji zmiennej losowej, dla tórego można wyznaczyć parametry statystyczne, taie ja wartość średnia, wariancja czy rozład gęstości prawdopodobieństwa f b ˆ wartość średnia, wariancja czy rozład gęstości prawdopodobieństwa ˆ Do oceny jaości estymacji (błędu estymacji) często wyorzystuje się ryterium błędu średniowadratowego ε = b b ˆ β + ˆ β = b b ˆ β + ˆ β ε ( b β ) = ˆ ˆ ˆ ˆ b bβ β β ˆ = + + β = b ˆ β + ˆ β ˆ β β

b ε = ˆ β + ˆ β ˆ β b ˆ β = B ( β ) ˆ obciążenie estymatora β β = σ ˆ ˆ ˆ wariancja estymatora β ( ˆ ) ε = B β + σ ˆ β Estymator nazywa się nieobciążonym, gdy B ( ˆ β ) =. W przeciwnym wypadu estymator nazywa się obciążonym (przy obliczaniu estymaty pojawia się błąd systematyczny) Estymator nazywa się zgodnym, gdy ze wzrostem N błąd ε w sensie statystycznym, tzn. gdy lim Pr N { ˆ } b b > δ = dla dowolnego δ

Przyłady f ˆ β ( bˆ ) Estymator obciążony B ˆb βˆβ b f ˆ β ( bˆ ) Estymator Estymator ˆb Estymatory nieobciążone Estymator ma mniejszą wariancję, a więc mniejszy błąd średniowadratowy (estymaty są bardziej supione w otoczeniu wartości średniej) ˆ β = b

Estymator wartości średniej m N = lim n N N n= [ ] Po pominięciu przejścia granicznego (losowym wybraniu sończonego fragmentu ciągu o długości N próbe) mˆ mˆ = N N + N n = [ ] n jest zmienną losową o wartości oczeiwanej N + N + N + mˆ = [ n] = [ n] = m = m N N N n= n= n= Estymator jest estymatorem nieobciążonym

Estymator funcji gęstości prawdopodobieństwa histogram Pr{ < + } prawdopodobieństwo, że realizacja zmiennej losowej przyjmuje wartości z przedziału (, + ) f lim Pr { < + } funcja gęstości prawdopodobieństwa Dysponujemy N próbami realizacji zmiennej losowej Estymatą funcji gęstości prawdopodobieństwa jest histogram, czyli funcja schodowa otrzymana następująco:. Obserwowany zares zmienności zmiennej [n] dzielimy na przedziały o szeroości,. Zliczamy liczby próbe występujących w poszczególnych przedziałach N Wówczas: fˆ ˆPr { } < + = N N ˆPr{ < + } N = = N

Przyład [ n ] ciąg N liczb losowych z przedziału (, ) o rozładzie równomiernym N =, =, N =, =,.5 ˆf ˆf.5.5..4.6.8..4.6.8 N =, =, 5 N =, =, 5 ˆf ˆf.5.5..4.6.8.5..4.6.8

[ ] n ciąg N liczb losowych o rozładzie normalnym, m =, σ = N =, =,5 N =, =,5.5.4.3.. ˆf -4-3 - - 3 4.4.3.. ˆf -4-3 - - 3 4 N =, =, N =, =,.6 ˆf.4 ˆf.4.3. -4-3 - - 3 4.. -4-3 - - 3 4

Stosuje się estymatory: Estymatory funcji autoorelacji N m ˆ [ ] ˆ R m = R [ m] = [ n] [ n + m], m =,, N N m n= n= N ˆ [ ] ˆ R m = R [ m] = [ n] [ n + m], m =,, N N Trzeba znać wartości próbe dla n N + m N m N m N m ˆ R m n n m n n m R m R m [ ] = [ ] [ + ] = [ ] [ + ] = [ ] = [ ] N m n= N m n= N m n= Inny estymator: Estymatory są nieobciążone N m ˆ [ ] ˆ R m = R [ m] = [ n] [ n + m], m =,, N N n= Estymator obciążony, ale o mniejszej wariancji

Estymatory widmowej gęstości mocy [ n ] N-elementowy fragment realizacja stacjonarnego procesu losowego N N jω ( e ) = F { [ ]} = [ ] X n n S N n= jω ( Ω ) = lim X ( e ) N jω ( e ) N ( Ω ) F [ ] N e periodogram jω n j = { } = [ ] e S R m R m X N [ ] m= widmowa gęstość mocy (uśrednianie po zbiorze realizacji) Ω m R m funcja autoorelacji procesu [n]

Naturalne estymatory: periodogram ˆ S X N N jω ( Ω ) = ( e ) Tai estymator charateryzuje się dużą wariancją, tóra nie zania do zera przy wydłużaniu segmentu danych, czyli nie jest estymatorem zgodnym. Wylucza to w pratyce możliwości jego zastosowania. transformata Fouriera estymatora funcji autoorelacji N { } [ ] Sˆ ( Ω ) = F Rˆ [ m] = Rˆ m e [ m] ( N ) m= jω m gdzie jest estymatorem funcji autoorelacji R ˆ Wariancja taiego estymatora nie maleje do zera przy wzroście długości segmentu danych N, a więc estymator nie jest zgodny.

W pratyce opracowano wiele różnych metod estymacji widma gęstości mocy. Można je podzielić na dwie grupy: metody nieparametryczne, w tórych nie doonuje się żadnych założeń dotyczących sygnału, metody parametryczne, w tórych załada się oreślony model sygnału, a następnie doonuje się estymacji parametrów modelu Metody nieparametryczne Metoda Cooleya [ ] [ ], Oblicza się periodogram ciągu n w n czyli N Sˆ ( Ω ) F [ n] w [ n], gdzie E w n E = { N } w = N [ ] w N Jao w N [n] przyjmuje się funcje ona taie ja przy projetowaniu filtrów FIR. Reduuje to wariancję estymatora. Metoda jest efetywna obliczeniowo i w związu z czym często stosowana. n=

Metoda Welcha ( i. Analizowany ciąg o długości N dzieli się na L podciągów ) [ n] o długości M. Podciągi te mogą na siebie zachodzić lub nie, czyli i =,, L, n =,, M, L M N. Oblicza się periodogram ażdego z podciągów ˆ S X e n e M i i jω ( i ) jω n = M = [ ] M M n= ( Ω ) 3. Uśrednia się wyznaczone periodogramy Sˆ ( Ω ) L = Sˆ L i= ˆ i ( i ) ( Ω ) Przy obliczaniu S Ω można zastosować metodę Cooleya, tzn. przyjąć M M i i n = M w = M Ew n= n= Sˆ n w n e, gdzie E w n M ( Ω ) [ ] jω [ ] [ ] [ ] w n jest dowolnym onem o długości M

Metoda Blacmana-Tueya Jest to modyfiacja estymatora zdefiniowanego jao wyni transformacji Fouriera estymatora funcji autoorelacji. Poddaje się transformacji Fouriera iloczyn estymatora funcji autoorelacji i funcji wagowej w m czyli N Sˆ ( Ω ) = F { w [ ] ˆ [ ]} [ ] ˆ N m R m = w N m R [ m] e ( N ) m= N [ ] jω m Jao funcję wagową przyjmuje się ona stosowane przy projetowaniu filtrów FIR (Blacmana, Hamminga, Kaisera i in.) o długości nieparzystej i z zerem pośrodu [ ] [ ] czyli w m = w m, N m N N N Metoda rzado stosowana ze względu na małą efetywność algorytmów obliczeniowych

Metody parametryczne Gdy ciąg N próbe ma niewielą długość, to metody nieparametryczne, oparte na przeształceniu Fouriera, charateryzują się niewielą rozdzielczością. W metodach tych załada się, że wartości próbe poza obserwowanym onem są albo zerowe albo stanowią oresowe przedłużenie obserwowanego ciągu. Obliczone estymaty są estymatami nie tylo N obserwowanych próbe, ale również tych nieznanych, spoza przedziału obserwacji, co, w przypadu małych N, może prowadzić do znaczącego znieształcenia otrzymanych wyniów. Alternatywnymi metodami estymacji są metody parametryczne, w tórych załada się, że analizowany sygnał jest reacją (sygnałem wyjściowym) pewnego filtru o transmitancji operatorowej H ( z), na pobudzenie białym szumem o stałej widmowej gęstości mocy, czyli = H ( z) P( z) X z Z [ ] { } Z{ [ ]} gdzie X z = n, P( z) = p n [ ] jest białym szumem o wartości średniej = i wariancji (mocy średniej) p n m σ p p

z Ω = e, P e = σ p j Ω j jω jω ( e ) = ( Ω ) = σ p ( e ) X S H W celu wyznaczenia widmowej gęstości mocy należy więc wybrać model filtru i jego parametry. Algorytm postępowania będzie więc następujący: wybór odpowiedniego modelu i rzędu filtru; estymacja współczynniów (parametrów) filtru na podstawie danych, czyli ciągu [ n], n =,, N ; wyznaczenie widmowej gęstości mocy, zgodnie z powyższym wzorem. Często stosowanym modelem filtru jest filtr IIR o transmitancji p rząd filtru, q p H z B z = = A z q = p = b z a z

H z B z = = A z + q = p = b z a z Współczynnii filtru a i b wyznacza się na podstawie znanego ciągu [ n], n =,, N. W więszości metod wymagane jest p < N. Przedstawiony model jest w literaturze nazywany modelem ARMA (autoregressive moving average autoregresyjny z ruchomą średnią) Model tai jest stosowany w metodach Yule a-walera, Prony ego i Kumaresana-Prony ego Problemem jest ustalenie rzędu filtru p, a w przypadu dużych jego wartości problemy z numerycznym wyznaczeniem współczynniów filtru.

Prostszą wersją modelu ARMA jest model AR (autoregressive). Powstanie on po przyjęciu q =. Wówczas B(z) = z p i funcja transmitancji ma na płaszczyźnie z p-rotne zero w początu uładu współrzędnych. H z = p + = a z Model tai jest wyorzystywany w metodach Yule a-walera, Burga i metodach owariancyjnych. Metody te różnią się sposobem wyznaczania (estymacji) współczynniów filtru. Ostatecznie S jω ( Ω ) σ p H ( e ) = = p + = σ p a e jω