ZAJĘCIA IX. Granice dokładności identyfikacji

Transkrypt

1 ZAJĘCIA IX Granice dokładności identyfikacji Macierz informacyjna Fishera Ograniczenie Rao-Craméra Dokładność funkcją parametrów Elipsoida niepewności estymatora (ufności estymat) Katedra Metrologii AGH Kraków 006

2 WPROWADZEIE Komputerowa identyfikacja obiektów Decydujące o użyteczności dowolnego estymatora są jego parametry statystyczne obciążenie i macierz kowariancyjna. Obciążenie jest systematyczną odchyłką estymat od prawdziwej wartości parametrów, a macierz kowariancyjna określa rozrzut estymat w poszczególnych eksperymentach identyfikacyjnych. To, który z parametrów statystycznych ma większe znaczenie zależy od zastosowania wyników identyfikacji. W dziedzinie automatyki przyjęło się uznawać za dobry taki estymator, który jest nieobciążony i ma możliwie małą wariancję. Testowanie eksperymentalne własności statystycznych estymatorów jest niepraktyczne, ponieważ nie daje pewności, że nie istnieje estymator o lepszych własnościach. Stąd wielkie znaczenie mają oszacowania teoretyczne precyzji estymatorów. Jedno z takich oszacowań, które określa minimalną wariancję (ang. minimum variance bound, w skrócie MVB) dowolnego estymatora nieobciążonego operującego na określonym zestawie danych, stanowi nierówność Rao-Craméra. ie umożliwia ona co prawda oszacowania macierzy kowariancyjnej estymatora danego w postaci konkretnego algorytmu obliczeniowego, daje jednak informację o własnościach statystycznych możliwych do uzyskania przy estymacji na posiadanym zbiorze danych. Podstawą określenia MVB jest znajomość funkcji gęstości prawdopodobieństwa mierzonych próbek sygnałów obiektu identyfikacji. Sens wyprowadzonych poniżej zależności sprowadza się do określania wrażliwości funkcji gęstości na zmiany estymowanych parametrów. Estymator, którego macierz kowariancyjna jest równa MVB (tzn. osiąga najmniejszą możliwą wartość dla posiadanych danych) jest nazywany efektywnym. Katedra Metrologii AGH Kraków 006

3 PRZYKŁAD: Co to znaczy dobry estymator i jak zależy od przyjętego kryterium dobroci? Zadaniem projektowym jest skonstruowanie optymalnego estymatora wartości oczekiwanej zmiennej losowej x w postaci średniej z wartości zmiennej losowej x. Współczynnik a jest parametrem projektowym, który ma być dobrany dla zapewnienia minimalnej wartości wybranego wskaźnika jakości. Założono, że zmienna losowa x ma rozkład o parametrach µ i σ i niesprecyzowanej postaci. x i i = 1 a ˆ µ = - postać estymatora [ ˆ ] µ = (a ) b = E µ µ 1 - obciążenie 1 σ var[ ˆ µ ] = a var xi = a - wariancja i = 1 Obliczając względem parametru a minimum błędu średniokwadratowego estymacji średniej, otrzymujemy: σ J = E ( ˆ µ µ ) = var [ ˆ µ ] + b = a ( + µ ) aµ + µ J a σ = a + µ µ = 0 a 0 = σ µ + Optymalna wartość a jest zależna od wartości oczekiwanej µ (ta ma być dopiero wyznaczona przez estymację) i wariancji σ zmiennej x. To duża wada tego rozwiązania. Oczywiście wartość zaprojektowana według wskaźnika jakości zakładającego brak obciążenia (to już wymusza wartość a 0 ) i zależnego tylko od wariancji estymat wynosi a 0 =1. Jest to wartość niezależna od µ i σ. Katedra Metrologii AGH Kraków 006

4 MIIMALA WARIACJA ESTYMATORA IEOBCIĄŻOEGO I MACIERZ IFORMACYJA FISHERA Okazuje się, że po narzuceniu braku obciążenia estymatora jego wariancja nie może być dowolnie mała dla określonego zbioru danych pomiarowych. Jest ograniczona od dołu wielkością zależną od macierzy informacyjnej Fishera i obowiązującą dla każdego estymatora nieobciążonego (o czym później). Macierz informacyjna M jest zdefiniowana dla funkcji gęstości prawdopodobieństwa L p( ; ) = y θ, gdzie y jest wektorem zmiennych losowych próbek sygnałów (danych identyfikacyjnych), a θ jest wektorem estymowanych parametrów, od których zależy funkcja gęstości. Funkcja L określa więc zależność losową między obserwowanymi wartościami sygnałów a poszukiwanymi parametrami. Przykład: Przy stałym napięciu na wejściu wzmacniacza wartość obserwowana na jego wyjściu (zakłócona addytywnym szumem pomiarowym) będzie miała wartość oczekiwaną zależną od wzmocnienia, ale rozrzut stały, zależny tylko od wariancji zakłóceń. Funkcja gęstości L będzie więc miała stały kształt i położenie zależne od wzmocnienia. Macierz informacyjna M występująca w ograniczeniu wariancji jest obliczana z zależności: T lnl lnl E M = θ θ lub z postaci równoważnej czasem łatwiejszej do obliczeń: M lnl E θ = Katedra Metrologii AGH Kraków 006

5 IERÓWOŚĆ RAO-CRAMÉRA Komputerowa identyfikacja obiektów ierówność Rao-Craméra określa dolne ograniczenie MVB macierzy kowariancji dowolnego nieobciążonego estymatora parametrów θ (wyprowadzenie można znaleźć na przykład w [Kay 1993], lub w [Brandt 1999]): 1 cov ( θ) M ierówność Rao-Craméra w przypadku więcej niż jednego estymowanego parametru ma charakter macierzowy. ależy ją wtedy interpretować w sensie nieujemnej określoności różnicy macierzy występujących w nierówności. MACIERZ IFORMACYJA - OBLICZEIA Definicja macierzy informacyjnej jest ogólna. Obowiązuje dla dowolnego rozkładu losowego danych pomiarowych. Jednak konkretne wnioski o dokładności estymacji można wyciągnąć dopiero po założeniu klasy tego rozkładu. Dlatego teraz zajmiemy się przypadkami szczególnymi. Katedra Metrologii AGH Kraków 006

6 Przypadek szczególny - zakłócenia o rozkładzie normalnym (gaussowskim) Załóżmy ogólny model nieliniowy zależności wyjścia obiektu od wejścia, parametrów i zakłóceń: ( u, θ ) y = g + ε Przyjmijmy model zakłóceń ε w postaci szumu addytywnego o rozkładzie normalnym (0, V), gdzie V jest macierzą kowariancji zakłóceń o wymiarach x ( jest ilością zakłóconych pomiarów). Łączna (-wymiarowa) gęstość prawdopodobieństwa danych pomiarowych jest dla zakłóceń gaussowskich opisana wzorem: 1 1 T 1 L = p( y; θ) = exp ( u, ) ( u, ) y g θ V y g θ V ( π ) gdzie g jest wektorem wartości odpowiedzi modelu g w punktach obserwacji. Logarytmujemy, zgodnie z definicją macierzy informacyjnej: 1 1 T 1 lnl = ln( π ) ln ( V ) ( u, ) ( u, ) y g θ V y g θ Po podwójnym zróżniczkowaniu powyższej zależności względem wektora estymowanych parametrów i wyznaczeniu wartości oczekiwanej uzyskujemy (szczegóły np. w [Kay 1993]): M T g 1 g = V θ θ Odwrotność tej wielkości macierzowej jest, zgodnie z nierównością Rao-Craméra najmniejszą możliwą macierzą kowariancji estymat parametrów. Katedra Metrologii AGH Kraków 006

7 Przypadek szczególny zakłócenia gaussowskie i model liniowy Do wyprowadzonej w poprzednim punkcie zależności podstawmy model obiektu statycznego wielowejściowego i zakłóceń wyjściowych ε nieskorelowanych (o diagonalnej macierzy kowariancyjnej) o rozkładzie normalnym (0,σ ) ( u, θ) g = uθ Zatem, wprowadzone zmiany to uszczegółowienie modelu i przyjęcie diagonalnej macierzy V. Po zróżniczkowaniu otrzymujemy macierz informacyjną o postaci: M= σ U T U Zgodnie z nierównością Rao-Cramera dolne ograniczenie macierzy kowariancyjnej wynosi: ( ) 1 T Σ σ UU Identyczne wyrażenie na macierz kowariancji estymat (ale z równością) uzyskaliśmy dla estymacji klasycznym algorytmem najmniejszej sumy kwadratów. Wnioskujemy, że przy podanych założeniach estymator LS jest efektywny (wiemy że jest nieobciążony), tzn. osiąga największą możliwą w zadanych warunkach precyzję. Przykład: Algorytm średniej ruchomej Jak to już kiedyś liczyliśmy, algorytm średniej ruchomej można przedstawić w sformułowaniu LS przyjmując jako wejście jedynkę (czyli macierz U będzie wektorem jedynek) i średnią traktując jako parametr skalujący. Wtedy: 1 1 σ ˆ µ = xi var[ ˆ µ ] = var xi i = 1 = i = 1 Wniosek: klasyczny estymator średniej ruchomej jest bardzo dobry (po kątem wariancji), bo osiąga MVB. Katedra Metrologii AGH Kraków 006

8 JESZCZE O MACIERZY IFORMACYJEJ FISHERA Komputerowa identyfikacja obiektów Macierz Fishera stanowiąca podstawę MVB jest macierzą kwadratową nieujemnie określoną. Wykażemy teraz, że dla zakłóceń nieskorelowanych macierze informacyjne dla poszczególnych próbek sygnału y(t) sumują się, co wynika z własności mnożenia rozkładów niezależnych zmiennych losowych. asze danych pomiarowych tworzy wektor = [ y y y ] równy y,,,. Ponieważ łączny rozkład danych pomiarowych jest 1 p ; = p y ; p y ; p y ; p y ; = p y ; ( y θ) ( θ) ( θ) ( θ) ( θ) ( θ) 1 1 i i = 1 to po zlogarytmowaniu uzyskujemy zależność ( y θ) p( y θ ) ln p ; = ln i; i = 1 Różniczkowanie powyższego wyrażenia zachowuje postać sumacyjną, więc ( y θ) p( y θ) ln p ; ln i; θ i= 1 θ i= 1 M = E = E = Mi Pewne kłopoty w obliczeniach może sprawiać konieczność liczenia wartości oczekiwanej z wyrażenia pozostałego po zróżniczkowaniu logarytmicznej funkcji gęstości. Po policzeniu wartości oczekiwanej macierz informacyjna nie jest już zależna od wektora losowego y, jak pokazano wcześniej dla często używanego rozkładu normalnego danych pomiarowych. Katedra Metrologii AGH Kraków 006

9 Przykład: Inercja z jednym parametrem τ Przeprowadźmy przykładowe obliczenia tej macierzy dla prostego przypadku obiektu dynamicznego. Obiektem identyfikacji jest układ inercyjny pierwszego rzędu o transmitancji G( s) = τs, z estymowanym parametrem τ. Sygnał pobudzający jest skokiem jednostkowym u(t)=1(t). Addytywne zakłócenia pomiarowe na wyjściu obiektu mają rozkład normalny (0,σ ), a więc mają charakter i.i.d. Próbki pomiarowe odpowiedzi tego obiektu są zmiennymi losowymi wyrażonymi wzorem t i y = 1 e τ, i = 1,, i Macierz informacyjna zgodnie ze wzorem dla zakłóceń o rozkładzie normalnym i zasadą sumowania macierzy informacyjnych dla poszczególnych próbek ma w tym przypadku postać skalarną (jeden estymowany parametr) 4 i i = 1 M = σ τ t e τ t i Przy założeniu, że próbkowanie jest prowadzone ze stałym okresem próbkowania T p, tj. po podstawieniu za i-ty moment próbkowania t i = i T p, i=1,...,, macierz informacyjna ma postać: T p τ i = 1 it p τ M = σ ie. a wykresie widać (zobacz na następnej stronie), że macierz informacyjna (w tym przypadku skalar) w funkcji T p ma maksimum. To oznacza, że dokładność estymacji zależy od doboru częstotliwości próbkowania względem stałej czasowej. Mieliśmy okazję stwierdzić to eksperymentalnie metodą Monte Carlo na poprzednich zajęciach. Katedra Metrologii AGH Kraków 006

10 Sprawdźmy zgodność wyniku eksperymentalnego z teoretycznym: Tu policzyć przebieg dokładności estymacji τ w funkcji T p metodą Monte Carlo. A tu mamy obliczenia analityczne: % obliczenia macierzy informacyjnej dla inercji % z jednym parametrem estymowanym s=0.01; tau=1; TpV=0.01:0.01:1; for k=1:length(tpv) Tp=TpV(k); i=(1:10); M(k)=s^-*(Tp/tau^)^*sum(i.^.*exp(-*i*Tp/tau)); end plot(tpv,1./m) 3.5 x Katedra Metrologii AGH Kraków 006

11 Przykład: Inercja z dwoma parametrami K i τ Komputerowa identyfikacja obiektów Wprowadzenie dodatkowego identyfikowanego parametru K do transmitancji G( s) parametrów estymowanych do postaci θ = [ τ, K ], zmienia macierz informacyjną do postaci K =, tj. rozszerzenie wektora 1 + τs it * p it * p KiT p KiT T τ p τ yi ( * T) ( * ) p yi T e e p M = σ σ τ τ i= 1 = θ θ i= 1 it * p it * p τ τ 1 e 1 e T. Zauważmy znowu, że macierz informacyjna jest funkcją okresu próbkowania T p, który może być dobrany tak, aby maksymalizować M (w sensie np. wyznacznika tej macierzy). a ćwiczeniach wykreślimy tę zależność graficznie. Jest to przykład możliwości planowania eksperymentu identyfikacyjnego dla osiągnięcia wyników identyfikacji o najmniejszym rozrzucie. W zadaniu planowania celem jest określenie takich warunków prowadzenia eksperymentu, dzięki którym dane pomiarowe będą zawierały największą ilość informacji o wartościach estymowanych parametrów. Więcej informacji na ten temat, tutaj tylko zasygnalizowany, można znaleźć w książkach [Sydenham 1988], [Goodwin, Payne 1979], [Bard 1974]. Katedra Metrologii AGH Kraków 006

12 ELIPSOIDA UFOŚCI ESTYMAT PARAMETRÓW (ALBO IEPEWOŚCI ESTYMATORA) Popularną metodą graficznego przedstawiania niepewności wyników procesu estymacji (nieobciążonej) jest rysowanie obrazu figury geometrycznej zdefiniowanej przez formę kwadratową na macierzy kowariancyjnej Σ przy ˆ = 0 θ θ θ. T 1 θσ θ = 1 Metoda wywodzi się ze stosowanego w statystyce sposobu przedstawiania obszaru ufności wielowymiarowych zmiennych losowych o rozkładzie normalnym. Zdefiniowana w ten sposób elipsoida w n - wymiarowej przestrzeni zmiennych losowych jest obszarem, w którym całka z wielowymiarowej funkcji gęstości prawdopodobieństwa osiąga wartość odpowiadającą pewnemu poziomowi ufności (zależną od charakteru rozkładu). Ze względu na trudności prezentacji graficznej niepewności w przestrzeni więcej niż dwóch parametrów, prezentuje się ją dla dwóch wybranych parametrów na płaszczyźnie, a powstająca figura to elipsa. Przykładową elipsę niepewności z zaznaczonymi podstawowymi wymiarami przedstawiono na poniższym rysunku. ^ θ σ 1 θ θ 0 ( 0 1, ) λ λ 1 σ ^ θ1 Rys. 1 Elipsa niepewności estymacji Katedra Metrologii AGH Kraków 006

13 Poszczególne elementy macierzy kowariancyjnej określają wybrane wymiary elipsy niepewności. Szerokość elipsy wzdłuż poszczególnych osi współrzędnych jest określona przez wariancję σ i estymat odpowiednich parametrów, czyli przez elementy diagonalne macierzy Σ. Spłaszczenie elipsy zależy od współczynnika korelacji estymat, tj. stosunku odpowiednich elementów pozadiagonalnych do diagonalnych macierzy kowariancyjnej Σ. Wartości własne λ i macierzy Σ określają długości poszczególnych osi elipsy. Kwadrat pola powierzchni elipsy jest proporcjonalny do wyznacznika macierzy kowariancyjnej, który jest również iloczynem wartości własnych tej macierzy. θ 0 θ 0 θ 1 Rys. Obszar ufności estymat (elipsa niepewności) i zbiór wyników estymacji (punkty). Znaczenie obszaru ufności jest wyjaśnione na powyższym rysunku, który przedstawia obszar ufności estymat pewnego estymatora w postaci elipsy i zbiór estymat uzyskanych z użyciem tego estymatora. Widoczne jest obciążenie estymatora, ponieważ środek elipsy (wartość oczekiwana estymat) jest przesunięty względem wartości prawdziwych θ 0. Określony procent estymat leży wewnątrz elipsy niepewności. θ 1 Katedra Metrologii AGH Kraków 006

14 ZADAIA Zadanie 1 Zmodyfikuj poniższą funkcję Matlaba generującą punkty elipsy do postaci funkcji rysującej obszar ufności (elipsę niepewności) dla zadanej wartości oczekiwanej i macierzy kowariancji estymat. function [x,y] = elipsa(p,r,n) % Zwraca n punktow elipsy wg równania v'*inv(p)*v = r. % v jest wektorem [x y], P jest macierzą X symetryczną i dod.określ., % r określa rozmiar elipsy. Elipsę narysujesz przez plot(x,y) [v,e] = eig(p); v = v*sqrt(r*e); ray = linspace(0,*pi,n); x = v(1,1)*cos(ray)+v(1,)*sin(ray); y = v(,1)*cos(ray)+v(,)*sin(ray); astępnie użyj tej funkcji do przedstawienia obszaru ufności estymatora o wybranej macierzy kowariancji i wektorze obciążenia Zadanie Wyznacz macierz informacyjną i MVB dla identyfikacji obiektu inercyjnego pierwszego rzędu z dwoma parametrami ( = [ τ, K ] θ, wybierz wartości parametrów) na podstawie odpowiedzi na skok jednostkowy zarejestrowanej w 10 punktach z okresem próbkowania T p =0.. astępnie uzmiennij okres próbkowania T p w zakresie i wyrysuj przebieg MVB w funkcji T p. Z użyciem funkcji opracowanej w poprzednim punkcie narysuj obszar ufności estymat dla najgorszej i najlepszej wartości T p. Katedra Metrologii AGH Kraków 006

15 Zadanie 3 Metodą symulacyjnej analizy Monte Carlo (wielokrotne powtarzanie identyfikacji dla różnej realizacji zakłóceń) wyznacz zbiór 1000 wyników estymacji parametrów obiektu identyfikowanego jak w poprzednim zadaniu. Wyrysuj poszczególne estymaty (znana nam chmurka punktów) we wspólnym układzie współrzędnych z elipsą z poprzedniego zadania. Czy teoretyczny obszar rozrzutu zgadza się z wyznaczonym eksperymentalnie? LITERATURA Bard Y., onlinear Parameter Estimation, Academic Press 1974 Brandt, Analiza danych, PW 1999 Kay S.M., Fundamentals of statistical signal processing - estimation theory, Prentice Hall 1993 Sydenham P.H., Podręcznik Metrologii, WKiŁ Warszawa 1988 (rozdział 8 pt. Estymacja parametru, paragraf 8.) Katedra Metrologii AGH Kraków 006