ZAJĘCIA II. Zmienne losowe, sygnały stochastyczne, zakłócenia pomiarowe

ZAJĘCIA II Zmienne losowe, sygnały stochastyczne, zakłócenia pomiarowe Po co statystyka w identyfikacji? Zmienne losowe i ich parametry Korelacja zmiennych losowych Rozkłady wielowymiarowe i sygnały stochastyczne Propagacja sygnałów stochastycznych

WPROWADZENIE Komputerowa identyfikacja obiektów Identyfikacja obiektu to proces wyznaczania opisu obiektu w postaci modelu na podstawie zakłóconych pomiarów sygnałów obiektu. Częścią tego procesu, w przypadku identyfikacji parametrycznej, jest oszacowanie wartości parametrów obiektu, czyli ich estymacja. Termin ten jest zaczerpnięty ze statystyki - dziedziny nauki zajmującej się opisem zjawisk przypadkowych. Rozwinięta na gruncie statystyki teoria estymatorów została z powodzeniem zastosowana i rozwinięta w dziedzinie identyfikacji. Matematyczne pojęcie zmiennej losowej służy do opisywania wielkości zmieniających się w sposób przypadkowy. Mimo tego, że żyjemy w świecie zdeterminowanym, każde zjawisko ma w nim swoją przyczynę i nic nie dzieje się przypadkowo, to często nie jesteśmy w stanie analizować wszystkich przyczyn zjawiska (jest ich zbyt dużo lub nie wiemy gdzie leżą przyczyny). Nie jesteśmy więc w stanie określić dokładnie jak zjawisko będzie przebiegać w przyszłości, nawet jeśli znamy stan bieżący i historię tego zjawiska. Aby objąć taki rodzaj zjawisk aparatem matematycznym i umożliwić ich analizę, stworzono teorię zjawisk losowych. Dzięki niej można analizować zachowanie się układów elementów zależnych, gdy niektóre elementy nie są dokładnie znane lub kontrolowane. Przykład: Mierniki mają określoną klasę dokładności definiującą możliwą różnicę między wynikiem pomiaru a wartością mierzoną rzeczywiście występującą. Ta różnica przy pomiarze niezmiennej wielkości zazwyczaj nie zmienia się dynamicznie jeśli wykonamy serię pomiarów jeden po drugim to odczytamy taką samą wartość. Co jest tutaj wielkością zaburzającą pomiar? W jakim stopniu jest to wielkość przypadkowa?

WPROWADZENIE (C.D.) Komputerowa identyfikacja obiektów Z użyciem pojęcia zmiennej losowej opisuje się zakłócenia pomiarowe, których wartość zmienia się dynamicznie z każdym nowym pomiarem (realizacja zmiennej losowej). Trudno byłoby jednak prowadzić analizę na wartościach zmieniających się w sposób przypadkowy od eksperymentu do eksperymentu. Konieczne jest zastosowanie deterministycznego opisu ilościowego, niezależnego od konkretnej realizacji zmiennej losowej. Takim opisem jest funkcja rozkładu i jej parametry określające cechy charakterystyczne zmiennej losowej, takie jak rozrzut wartości czy wartość średnia. Przetwarzanie statyczne i dynamiczne zmiennych losowych zmienia ich parametry losowe i dzięki temu możliwa jest analiza matematyczna zachowania się wielkości zaszumionych w sprzęcie pomiarowym i w algorytmach identyfikacji. Ponieważ wyniki procesu estymacji, tj. estymaty parametrów obiektu, są wyznaczane na podstawie skończonego zbioru próbek zakłóconych sygnałów (składowa deterministyczna i składowa losowa), to również i estymaty są zmiennymi losowymi. Wartość estymat parametrów będzie inna przy powtórzeniu procesu estymacji na innym zbiorze próbek (nawet przy identycznej składowej deterministycznej), ponieważ inne będą wartości przypadkowo zmieniających się zakłóceń. Metody statystyki pozwalają analizować proces estymacji i określać przedziały wartości każdego z parametrów, w których z określonym prawdopodobieństwem leżeć będą wartości estymat. Zajęcia są poświęcone podstawowym pojęciom statystyki używanym w teorii identyfikacji oraz opisowi sygnałów zmieniających się w sposób losowy (sygnałów stochastycznych). Stanowią wprowadzenie do analizy statystycznej procesu estymacji i do specyficznych metod identyfikacji z użyciem sygnałów stochastycznych.

SKĄD SIĘ BIORĄ ZAKŁÓCENIA POMIAROWE? Powszechnie przy pomiarach występują zakłócenia. Skąd one się biorą? Podstawową przyczyną losowych zmian wyników pomiarów przy stałości wielkości mierzonej są szumy termiczne - napięcia powstające na rezystancjach w wyniku chaotycznego ruchu elektronów pod wpływem temperatury. Ponieważ składa się na nie bardzo duża ilość oddziaływań bez elementów dominujących to wypadkowy rozkład szumu termicznego ma charakter normalny. Często jednak opisuje się zmiennymi losowymi takie źródła błędów pomiarowych, które nie zmieniają swojego wpływu na wynik pomiaru w warunkach powtarzalności warunków pomiaru. Np. często błąd kwantowania przetworników A/C modeluje się jako zmienną losową, choć w istocie jest on wynikiem operacji nieliniowej na sygnale. Możemy go ograniczyć znając zakres U i ilość bitów N przetwornika do wartości = U N. Jednak na z k z podstawie przebiegu skwantowanego nie możemy odtworzyć wielkości mierzonej. Możemy jedynie podać przedział wartości, w którym znajdowała się wielkość przed kwantowaniem. Rozkład błędu kwantowania ma charakter równomierny w przedziale [, ] k k. Innym przykładem może być miernik z zadanym błędem klasy m. Chociaż dla konkretnego przyrządu wartość błędu jest zdeterminowana warunkami pomiaru (i może być wyznaczona dokładniejszym przyrządem), to w przypadku grupy przyrządów o tych samych parametrach możemy przyjąć, że błąd dla poszczególnych przyrządów przyjmuje wartości losowe. Możemy narysować rozkład błędu pomiarowego, gdzie m określa przedział ufności. Przyjmujemy zazwyczaj rozkład normalny i odpowiadający mu przedział wysokiej ufności 3σ. Do przedziału ±3σ należy 99,3% wyników. Losowe parametry błędu pomiarowego są w tym przypadku miarą braku pełnej wiedzy o tym błędzie, umożliwiają jednak analizę dokładności wyniku pomiaru, przez co ten wynik jest użyteczny.

ZMIENNE LOSOWE I ICH PARAMETRY STATYSTYCZNE Zmienna losowa, funkcja rozkładu gęstości prawdopodobieństwa Ciągła zmienna losowa, bo przede wszystkim takie są obiektem zainteresowania w teorii pomiarów i estymacji (inny rodzaj to dyskretne z. l., czyli przyjmujące wartości ze zbioru skończonego i przeliczalnego), to zmienna, która może przyjmować wartości przypadkowe z nieprzeliczalnego podzbioru osi liczbowej. Ta przypadkowość jest jednak rządzona przez regułę opisaną przez funkcję gęstości prawdopodobieństwa. Funkcja gęstości prawdopodobieństwa f(x) zmiennej losowej X w punkcie x jest zdefiniowana jako o własnościach: f(x), f( x) dx =. ( ) f x = lim x ( + ) P x X x x Jak wynika z definicji, prawdopodobieństwo przyjęcia przez zmienną losową wartości z wybranego przedziału można wyznaczyć z funkcji gęstości prawdopodobieństwa wg zależności: x P( x X x ) = Funkcji gęstości prawdopodobieństwa nie należy interpretować wprost jako prawdopodobieństwa przyjęcia konkretnej wartości, ponieważ to prawdopodobieństwo jest zerowe (jest nieskończenie wiele możliwych wartości x x ftdt () ciągłej zmiennej losowej, więc każde musi być nieskończenie mało prawdopodobne).

Parametry rozkładu Ponieważ posługiwanie się funkcjami zmiennej niezależnej jest niewygodne w obliczeniach, to wykorzystuje się w tym celu tzw. momenty zmiennej losowej, które są parametrami funkcji gęstości. Dwa podstawowe z nich to wartość oczekiwana i wariancja. W szczególnie ważnym przypadku rozkładu normalnego określają one w pełni rozkład. Wartość oczekiwana m zmiennej losowej X (czyli moment zwykły pierwszego rzędu) jest definiowana jako [ ] µ = E X = x f( x) dx, czyli jest średnią zmiennej losowej ważoną funkcją gęstości. Wariancja służy do opisania rozproszenia wartości zmiennej losowej wokół wartości oczekiwanej i jest to wartość oczekiwana kwadratu odchylenia wartości tej zmiennej od jej wartości oczekiwanej (formalnie to moment centralny drugiego rzędu): ( [ ]) σ = E X E X Odchylenie standardowe σ to pierwiastek kwadratowy z wariancji i ma taki sam wymiar jak zmienna losowa. Oczywiście można liczyć momenty wyższych rzędów, które są miarą np. niesymetrii rozkładu. Dla rozkładu normalnego (o nim za chwilę) te momenty nie dostarczają żadnej nowej informacji, bo rozkład ten jest jednoznacznie zdefiniowany przez wartość oczekiwaną i wariancję. Momenty wyższych rzędów są funkcjami tylko tych parametrów.

DWA PODSTAWOWE ROZKŁADY Komputerowa identyfikacja obiektów Dwa rozkłady są szczególnie ważne w teorii estymacji - rozkład równomierny i rozkład normalny. Rozkład równomierny (jednostajny, prostokątny) Funkcja gęstości prawdopodobieństwa: f(x) = b a dla a x b, f(x) = dla x<a, x>b, gdzie a i b są granicami rozkładu (a<b), a podstawowe parametry mają wartości: µ = ( a+ b ), ( ) Np. R(,):.8.6.4. -4-4 Model np. szumów kwantowania σ = b a 3. Rozkład normalny (gaussowski) Funkcja gęstości prawdopodobieństwa: f ( x ) = exp µ σ π ( ) σ x gdzie µ określa położenie osi symetrii rozkładu, od σ zależy zwartość funkcji gęstości. Skrótowo rozkład ten oznacza się N(µ,σ). Np. N(,):.8.6.4. -4-4 Model np. szumów termicznych W razie potrzeby zmiany parametrów rozkładu próbki, należy wykonać na niej operację skalowania i przesuwania. Np. przejście od wartości zmiennej losowej X o rozkładzie N(,) do wartości Y o rozkładzie N(µ,σ) wykonuje się operacją Y=X σ +µ. Zmiana charakteru zmiennej losowej (czyli funkcji gęstości) wykracza poza temat ćwiczenia.

KORELACJA I KOWARIANCJA ZMIENNYCH LOSOWYCH, MACIERZ KOWARIANCYJNA Korelacja zmiennych losowych jest pojęciem opisującym zależność dwóch zmiennych w sensie losowym. Pełna zależność zmiennych losowych objawia się identycznością ich kolejnych realizacji. Liczbową miarą korelacji jest wartość oczekiwana iloczynu tych zmiennych E[ x y ]. Korelacja scentrowanych (z odjętą wartością oczekiwaną) zmiennych losowych E ( x E [ x ])( y E [ y ]) jest nazywana kowariancją (oznaczenie cov ( x, y ) ) a stosunek σ σ cov( x, y) jest nazywany współczynnikiem korelacji o wartościach z przedziału [-,]. x y W przypadku wektora β zawierającego n zmiennych losowych (rozmiar n ) stosuje się jedną wielkość macierzową do opisu wariancji poszczególnych elementów wektora i kowariancji pomiędzy tymi elementami. Jest to macierz kowariancji Σ (rozmiar n n) i zgodnie z powyższymi definicjami jej wartość oblicza się wg wzoru ( ) ( [ ])( [ ]) T Σ β = E β E β β E β. Ćwiczenie: Załóżmy, że macierz kowariancyjna Σ ma zawartość. Ilu zmiennych losowych dotyczy ta macierz? Jaka jest wariancja poszczególnych zmiennych losowych? Jaka jest kowariancja i współczynnik korelacji pomiędzy tymi zmiennymi?

WIELOWYMIAROWY ROZKŁAD NORMALNY Funkcje gęstości prawdopodobieństwa wielu zmiennych losowych można połączyć w jedną funkcję gęstości zdefiniowaną w przestrzeni wielu zmiennych. W przypadku zmiennych losowych niezależnych wynikowa funkcja gęstości jest prostym iloczynem poszczególnych funkcji gęstości. Np. dla dwuwymiarowego rozkładu normalnego, tj. łącznego rozkładu dwu zmiennych losowych o rozkładzie normalnym, łączna funkcja gęstości ma postać: µ µ ( x ) ( y ) µ ( µ ) x y ( x ) y x y f ( x, y ) = exp exp = exp + σ π σ σ π σ πσ σ σ σ x y x y x y x y W przypadku wektora β, zawierającego n skorelowanych zmiennych losowych o rozkładzie normalnym, łączna funkcja gęstości w postaci macierzowej, z macierzą kowariancyjną Σ o rozmiarze n n, i wektorem wartości oczekiwanych µ o rozmiarze n, jest określona wzorem: T f ( β) = exp ( β µ ) Σ ( β µ ) n ( π) det ( Σ)

Przykład: Dla dwuwymiarowej zmiennej losowej możemy przedstawić powierzchnię funkcji gęstości w postaci wykresu 3D. Poniżej pokazano takie powierzchnie dla przypadku nieskorelowanego i silnie skorelowanego dwuwymiarowego rozkładu normalnego razem z programem do generowania tych powierzchni. S=[, ;, ]; % brak korelacji % S=[.8;.8 ]; % silna korelacja x=-3:.3:3;. x=-3:.3:3; for i=:length(x); for j=:length(x); X=[x(i); x(j)];. - - f(i,j)=/(*pi*det(s))*exp(-/*x'*inv(s)*x); end end mesh(x,x,f) axis([-3 3-3 3.4]).4. - -

Estymacja i estymatory parametrów rozkładów losowych Estymacja wartości oczekiwanej: na podstawie zbioru N próbek zmiennej losowej szacujemy parametr µ, czyli obliczamy oszacowanie parametru statystycznego na podstawie informacji zawartej w N próbkach, wg wzoru ˆ µ = x = xi. N i = N i N Estymator wariancji (nieobciążony) ma postać σˆ = s = ( x x) i = N N Estymator macierzy kowariancji wektora β ma postać Σ= ˆ ( β β)( β β) i = T Ćwiczenie: Dla trzech kolejnych pomiarów napięcia wejściowego i wyjściowego dzielnika napięcia uzyskano wyniki: V=[6, 4, ], V=[5,, 5] Podaj oszacowanie wartości oczekiwanej, wariancji, kowariancji i skorelowania tych pomiarów.

Ćwiczenie jak generować skorelowane zmienne losowe? Zbiory próbek skorelowanych zmiennych losowych można uzyskać na podstawie dwóch zbiorów x, y nieskorelowanych próbek zmiennych losowych X, Y. Załóżmy, że wartość oczekiwana zmiennych losowych X i Y jest równa zero, a ich wariancje są równe. E X = E Y = [ ] [ ] [ X] = E X = var[ Y] = E Y = σ var Wtedy zmienna losowa Z, będąca kombinacją liniową X i Y, również będzie miała wartość oczekiwaną zero. Obliczmy jej wariancję i kowariancję ze zmienną X : [ Z] = [ ax + by] = a [ X] + b [ Y] = ( a + b )σ var var var var [ Z X ] = [ ax + by X ] = E ( ax + by ) X = a [ X ] = a σ cov, cov, var Jeśli zmienna Z ma mieć identyczną wariancję jak X i Y, i ma mieć wartość współczynnika korelacji definiowanego jako [ ZX] [ Z] var[ X] cov, var a = c o wartości c, to warunki na wartości współczynników a i b mają postać: b = a Np. dla wektorów x i y próbek nieskorelowanych zmiennych losowych o rozkładzie N(,), wektor z o pożądanych parametrach N(,) i o współczynniku korelacji z wektorem x równym.5 może być utworzony przez kombinację z =.5x+.75 y.

SYGNAŁY STOCHASTYCZNE Komputerowa identyfikacja obiektów Sygnał stochastyczny to sygnał, którego wartości w każdej chwili są zmiennymi losowymi. Na podstawie ważnego dla obliczeń praktycznych twierdzenia o sygnałach ergodycznych, uśrednianie po nieskończonym zbiorze wartości zmiennej losowej w danej chwili czasowej, można zastąpić uśrednianiem po nieskończonym zbiorze realizacji zmiennych losowych w kolejnych chwilach czasowych. Występujące w praktyce stochastyczne sygnały stacjonarne (o niezmiennych w czasie parametrach losowych) to sygnały ergodyczne. Dla takich sygnałów wszystkie momenty, w tym wartość oczekiwana i wariancja, mogą być liczone na podstawie ciągów czasowych. W interesującym nas przypadku pomiarów w dyskretnych chwilach czasu wzór na wartość oczekiwaną ma postać: + N µ = lim x( i) N N W praktycznych obliczeniach powyższa suma ma granice skończone, a wynikający z tego wzór określa estymator wartości oczekiwanej przez uśrednianie po czasie: i= N N µ = x() i N i = Tę zależność, jak widzieliśmy w zadaniu z poprzednich zajęć, możemy widzieć jako szczególny algorytm filtracji FIR o dolnopasmowej charakterystyce częstotliwościowej. Taki jest też sens uśredniania usunięcie szybkozmiennych elementów sygnału o dużej zawartości wysokich częstotliwości.

Korelacja i autokorelacja sygnałów stochastycznych Podobnie jak zmienne losowe, również sygnały stochastyczne mogą być skorelowane. Funkcję korelacji wzajemnej definiuje zależność: + T Rxy ( τ) = x() t y( t + τ) dt T T lim T Ważnym przypadkiem szczególnym jest skorelowanie sygnału stochastycznego z tym samym sygnałem, ale przesuniętym. Taka korelacja w funkcji przesunięcia nosi nazwę autokorelacji sygnału stochastycznego. Jej definicja w przypadku sygnałów ciągłych ma postać: + T Rxx ( τ) = x() t x( t + τ) dt T T lim T Praktyczne obliczenia dla próbek sygnałów są prowadzone wg zależności na estymator funkcji autokorelacji z N próbek sygnału: ( ) = N xx i i + k N i = R k x x Ćwiczenie: Na jakiej zasadzie w przyrodzie powstają skorelowane wielkości przypadkowe? Na jakiej zasadzie sygnał wejściowy i wyjściowy dzielnika są skorelowane między sobą? Na jakiej zasadzie sygnał może być skorelowany ze swoimi wcześniejszymi wartościami? Czy wyznaczana na bieżąco przez filtrację FIR wartość średniej sygnału nieskorelowanego jest w ten sposób skorelowana?

Szum biały, odpowiedź obiektu na sygnał stochastyczny Sygnał stochastyczny, którego funkcja autokorelacji jest równa zero poza początkiem układu, jest nazywany szumem białym. Sygnał ten jest chętnie wykorzystywany w identyfikacji, ponieważ ma szerokie spektrum częstotliwościowe. Pasmo częstotliwościowe sygnału stochastycznego możemy zbadać poprzez transformatę Fouriera funkcji autokorelacji sygnału. Jest ona nazywana funkcją gęstości widmowej mocy i odpowiada kwadratowi modułu widma sygnału deterministycznego. Przykład: Dynamika sygnałów stochastycznych sygnał realizacja autokorelacja gęstość widmowa mocy szybko--zmienny 4 3.9.8.7.8.6.6.5 -.4.4 - -3.3... -4..4.6.8 5 5 5 -. 3 4 5 6 wolno--zmienny 5 5.9.8 5.7.6.5-5.4 -.3 5. -5. -..4.6.8 5 5 5 3 35 4 3 4 5 6 7 8 Pytanie: Czy można stosować opis stochastyczny (korelacyjny) do sygnałów deterministycznych?

PROPAGACJA SYGNAŁÓW, BŁĘDÓW I ZAKŁÓCEŃ W MODELACH LINIOWYCH - PODSUMOWANIE Przenoszenie sygnałów stochastycznych przez obiekty liniowe z modelem w postaci odpowiedzi impulsowej jest opisane identyczną operacją splotową jak w przypadku sygnałów deterministycznych, ale oczywiście zasada ta dotyczy poszczególnych realizacji sygnałów, co nie pozwala na uogólnienia. Deterministyczny opis przenoszenia sygnałów stochastycznych można oprzeć na funkcjach korelacji. W tym przypadku związek ma analogiczną postać splotową: yx ( τ ) = ( τ) ( τ) R R h, xx gdzie h ( τ ) jest odpowiedzią impulsową obiektu. Równoważna zależność bazująca na autokorelacji sygnału wyjściowego ma postać: R ( τ ) = R ( τ) h ( τ) yy Łącząc obydwie zależności dostajemy: R ( τ ) = R ( τ) h( τ) h ( τ) yx yy xx W dziedzinie częstotliwości równoważny opis operuje gęstościami widmowymi mocy sygnału wejściowego i wyjściowego (czyli transformatami ich funkcji autokorelacji), które w wyniku przejścia przez obiekt dynamiczny są skalowane kwadratem jego transmitancji ( ω ) = ( ω) ( ω) S G j S yy xx Ćwiczenie (trochę trudniejsze wyprzedzamy materiał): Odszumiamy sygnał przez wyznaczanie średniej z ostatnich dwóch pomiarów sygnału. Jeśli przetwarzany sygnał jest szumem białym, to jak wygląda korelacja i gęstość widmowa sygnału odszumionego?

ZADANIA - ANALIZA SYGNAŁÓW LOSOWYCH Komputerowa identyfikacja obiektów Zadanie Przedstaw na jednym rysunku funkcję gęstości rozkładu normalnego o wybranych parametrach i odpowiednio przeskalowany dla osiągnięcia porównywalności histogram (hist) z kilku tysięcy próbek z tego rozkładu. Policz ze zbioru próbek estymaty wartości oczekiwanej (mean) i wariancji (cov). Zadanie Na płaszczyźnie XY przedstaw zbiór kilku tysięcy punktów wylosowanych z dwuwymiarowego rozkładu normalnego o wybranym stopniu skorelowania. Na podstawie zbioru punktów wyznacz estymatę macierzy kowariancyjnej (cov). Zadanie 3 Dla zarejestrowanych szumów karty dźwiękowej przy rozwartych wejściach lub szumów dźwiękowych otoczenia zarejestrowanych mikrofonem wyznacz dla szumu z jednego kanału jego wartość oczekiwaną, odchylenie standardowe i histogram. Czy histogram odpowiada rozkładowi normalnemu? Na podstawie minimalnej zmiany (kwantu) zarejestrowanych wartości i zakresu [-,] wyznacz ilość bitów przetwornika A/C tej karty. Sprawdź autokorelację (xcorr) i korelację wzajemną szumów z obydwu kanałów. Na podstawie funkcji gęstości widmowej mocy (psd) stwierdź czy są to szumy wąsko- czy szerokopasmowe.

Zadanie 4 Dla zarejestrowanych szumów karty pomiarowej PCL88 przy zwartych wejściach wyznacz ich wartość oczekiwaną i odchylenie standardowe. Na podstawie przebiegu czasowego określ czy dominuje w nim błąd kwantowania czy szum termiczny? Znając zakres pomiarowy wyznacz ilość bitów przetwornika A/C tej karty. Sprawdź autokorelację, korelację wzajemną i gęstość widmową szumu. LITERATURA DODATKOWA Sydenham P.H., Podręcznik Metrologii, WKiŁ Warszawa 988 (rozdział 4) dowolny podręcznik do teorii prawdopodobieństwa i statystyki, np.: Hellwig Z., Elementy rachunku prawdopodobieństwa i statystyki matematycznej, PWN, Warszawa 987