ZAJĘCIA X Zasada najwększej warygodnośc Funkcja warygodnośc Estymacja wg zasady maksymalzacj warygodnośc Rodzna estymatorów ML Przypadk szczególne
WPROWADZEIE Komputerowa dentyfkacja obektów Przyjęce na początku XIX weku zasady mnmalzacj odległośc mędzy odpowedzą obektu modelu merzonej jako suma kwadratów odchyłek mało charakter arbtralny. Sperano sę wówczas czy lepsza jest zasada mnmalzacj sumy kwadratów czy też sumy modułów odchyłek, ale spory ne były poparte teorą. Gauss zauważył jednak, że estymator najmnejszej sumy kwadratów maksymalzuje funkcję gęstośc prawdopodobeństwa rozkładu normalnego pomarów odpowedz, tj. dla wartośc estymat uzyskanych z użycem estymatora LS zmerzone wartośc odpowedz są najbardzej warygodne. Fakt ten znalazł swoje odbce w teor estymacj najwększej warygodnośc dopero w początkach dwudzestego weku za sprawą rozwoju statystyk. Zasadę wyboru takch wartośc estymowanych parametrów, które maksymalzują prawdopodobeństwo uzyskwanych pomarów a posteror można stosować w różnych sytuacjach pomarowych. Konkretny algorytm zależy od postac modelu dentyfkowanego obektu, modelu zakłóceń, stopna znajomośc parametrów zakłóceń. Stąd nazwa estymator najwększej warygodnośc mów nam tylko o klase algorytmu a ne o jego konkretnej postac. Przykład: Jaka jest najbardzej prawdopodobna rzeczywsta wartość merzona? Merzymy stałe napęce zakłócone szumem. Po perwszym pomarze chcemy określć wartość tego napęca. aturalny wybór to przyjęce wprost wartośc zmerzonej za estymatę napęca. Czy take postępowane może prowadzć do systematycznego błędu estymacj (czyl błędu obcążena) dla specyfcznego rozkładu szumu? astępne wykonalśmy bardzo dużo pomarów? Czy średna z pomarów jest dobrą estymatą napęca.
FUKCJA WIARYGODOŚCI Komputerowa dentyfkacja obektów Przy maksymalzacj prawdopodobeństwa wystąpena zaobserwowanych wartośc odpowedz (tzn. ch warygodnośc) postępować będzemy analogczne jak przy dopasowanu odpowedz modelu do pomarów, tyle że teraz model odpowedz będze mał charakter statystyczny, podany w postac funkcj gęstośc prawdopodobeństwa wystąpena określonych wartośc odpowedz. ajczęścej wartość oczekwana odpowedz będze równa nezakłóconej odpowedz modelu dynamcznego a rozrzut będze wynkał z zakłóceń addytywnych (np. szumy ceplne, szum kwantowana). Dopasowane będzemy prowadzć przez dobór takch wartośc parametrów modelu, żeby funkcja gęstośc prawdopodobeństwa osągała w punktach pomarowych wartość maksymalną. Zapszmy formalne zadane takego wyboru wartośc estymat neznanych parametrów, żeby zmerzone wartośc y p odpowedz obektu były najbardzej prawdopodobne. Funkcja gęstośc prawdopodobeństwa cągu próbek y, sygnału odpowedz na znane pobudzene ma postać welowymarową. Każda z próbek jest zmenną losową a funkcja gęstośc opsuje cały wektor próbek = [ y y ], y y,, w sposób łączny. Dodatkowo zakładamy, że wartośc próbek zależą od poszukwanych parametrów modelu (zależnośc od sygnału wejścowego ne notujemy dla utrzymana jasnośc zapsu). Tak węc funkcja gęstośc będze meć oznaczene ( ; ) L = p y θ gdze y jest wektorem próbek (zmennych losowych), a θ wektorem estymowanych parametrów. Zaps ze średnkem oznacza, że θ ne jest wektorem losowym tylko wektorem parametrów funkcj gęstośc. Funkcja ta nos nazwę funkcj warygodnośc (ang. lkelhood functon). Oczywśce jest to ta sama funkcja gęstośc prawdopodobeństwa pomarów, której używalśmy na poprzednch zajęcach do wylczena macerzy nformacyjnej.
ZASADA MAKSYMALIZACJI WIARYGODOŚCI Komputerowa dentyfkacja obektów Estymator maksymalzujący funkcję warygodnośc w punkce y p (zaobserwowana realzacja wektora próbek): ( yp θ ) θ ˆ = arg max p ; θ jest nazywany estymatorem najwększej warygodnośc (ang. maxmum lkelhood, w skróce ML) oznaczany θ ˆ ML. Oczywśce maksymalzacja może być przeprowadzona tylko przy znajomośc postac funkcj warygodnośc. Zatem żeby określć estymator najwększej warygodnośc należy znać, lub założyć na podstawe posadanej wedzy, ogólną postać funkcj warygodnośc zależnej od neznanych (a estymowanych) parametrów θ. Maksymalzację można prowadzć metodam teracyjnego poszukwana ekstremów funkcj nelnowych bezpośredno na funkcj gęstośc, jednak w przypadku pewnych rozkładów zadane upraszcza sę do estymatorów jednokrokowych (wyrażeń algebracznych). Zostane to pokazane w dalszej częśc wykładu. Przykład: Bezpośredna maksymalzacja funkcj warygodnośc dla zakłóceń gaussowskch dwóch pomarów clf m=5; % rzeczywsta wartość współczynnka (stałej) S=[ 0; 0 ]; % macerz kowarancyjna szumu 8 y=m+randn(,); % pomar zakłócony szumem gaussowskm % funkcja warygodnośc (ze znakem mnus: max->mn) L=@(x,y,S) -/(*p*sqrt(det(s)))*exp(-/*(y-x)'*nv(s)*(y-x)); mest=fmnunc(l, 5,[],y,S) % estymowana wartość współczynnka plot(m, m, 'bo', y(), y(),'r*'); axs([0 0 0 0]) 6 4 yv=0:0.:0; yv=0:0.:0; for k=:length(yv), for k=:length(yv) V(k,k)=-L(mest,[yv(k);yv(k)],S); end, end hold on, contour(yv,yv,v,0), grd on 0 0 4 6 8 0 Jak to wygląda na os czasowej? Co sę zmen przy pomarze nercyjnej odpowedz dynamcznej? 0
ESTYMATORY AJWIĘKSZEJ WIARYGODOŚCI I ICH WŁASOŚCI Popularność estymatorów wynkających z zasady najwększej warygodnośc wynka z ch korzystnych własnośc statystycznych. Jak dowedzono estymatory te są asymptotyczne (tzn. z rosnącą loścą danych pomarowych): zgodne, neobcążone, efektywne. Dla przypomnena, ostatna cecha oznacza, że mają one najmnejszą macerz kowarancyjną ze wszystkch estymatorów neobcążonych, równą ogranczenu Rao-Cramera w postac odwrotnośc macerzy nformacyjnej. Z jednej strony zasada najwększej warygodnośc jest metodą generowana optymalnych estymatorów przy przyjętych założenach co do funkcj gęstośc prawdopodobeństwa. Z drugej strony przyjęło sę używać nazwy estymator najwększej warygodnośc na każdy estymator, które ma wymenone optymalne własnośc. W tym przypadku mamy węc do czynena z odwrotną sytuacją, najperw określa sę estymator, a późnej wykazuje jego korzystne własnośc. Tak węc pojęce estymator najwększej warygodnośc jest bardzo ogólne obejmuje całą klasę estymatorów o szczególnych własnoścach. Jak zobaczymy w następnym punkce, przyjęce określonych założeń co do postac funkcj warygodnośc skutkuje szczególną postacą estymatora ML.
PRZYPADKI SZCZEGÓLE Komputerowa dentyfkacja obektów PRZYPADEK : Od zasady najwększej warygodnośc do zasady najmnejszej sumy kwadratów. Model pomaru Zastosujmy zasadę najwększej warygodnośc do przypadku najczęścej stosowanego w praktyce, tj. opsu zakłóceń pomaru rozkładem normalnym. Załóżmy, że nezakłócone wyjśce dentyfkowanego obektu y o (t) jest zwązane ze znanym wejścem obektu u(t) parametram obektu θ pewną zależnoścą (dowolną, być może dynamczną lub nelnową ze względu na parametry), co zapszemy w postac modelu obektu dentyfkacj: yo (, ) = g u θ Zakładamy równeż, że zakłócena pomarowe ε mają charakter addytywny rozkład normalny o zerowej wartośc oczekwanej (błąd pomaru bez składowej systematycznej). Dostępne pomarowo wyjśce obektu y(t) jest węc opsane zależnoścą (, θ ) y = g u + ε Jeśl dokonujemy pomaru wyjśca obektu w różnych chwlach czasowych t, t ( ) =,,,, to wynkowy zbór pomarów y t, który zapszemy jako kolumnowy wektor pomarów y, możemy opsać -wymarowym rozkładem normalnym o wartośc oczekwanej o y (tzn. y ( t ) =,, o macerzy kowarancj zakłóceń w momentach pomaru. ). Macerz kowarancj wektora pomarów jest równa
Od zasady najwększej warygodnośc do zasady najmnejszej sumy kwadratów. Funkcja warygodnośc Dotychczas ne czynlśmy założeń co do warancj zakłóceń przy poszczególnych pomarach an o zależnośc losowej mędzy pomaram. Przyjmjmy najbardzej ogólne założene, że te parametry statystyczne zakłóceń są opsane macerzą kowarancyjną V o znanej wartośc. Welowymarowy rozkład normalny o wymenonych parametrach ma funkcję gęstośc (funkcję warygodnośc) o postac: L = p( y; θ) = exp y yo V y y V ( π ) ( π ) T [ ] [ ] T = exp ( u, ) ( u, ) y g θ V y g θ V Przeprowadźmy maksymalzację funkcj warygodnośc w dzedzne wektora parametrów θ, dla uzyskanych w wynku pomaru wartośc y p (pojedynczej realzacj) wektora losowego y. Skorzystamy z faktu, że poszukwane maksmum funkcj o dodatnch wartoścach jest równoważne poszukwanu maksmum logarytmu naturalnego funkcj (logarytm jest funkcją monotonczną), dzęk czemu oblczena staną sę łatwejsze. T lnl = ln( π ) ln ( V ) p ( u, ) p ( u, ) y g θ V y g θ o
Od zasady najwększej warygodnośc do zasady najmnejszej sumy kwadratów 3. Maksymalzacja warygodnośc Poneważ perwsze dwa składnk maksymalzowanego wyrażena ne zależą od estymowanych parametrów, to ostateczne maksymalzacja funkcj warygodnośc prowadz do mnmalzacj (zmana znaku) funkcjonału: T ( θ) = y g(, θ) V y g(, θ ) J u u p p Funkcjonał J w szczególnym przypadku dagonalnej macerzy V (zakłócena neskorelowane o różnych warancjach) jest sumą ważonych odwrotnoścam warancj kwadratów różnc mędzy wartoścam zmerzonym a wynkającym z modelu dla danej wartośc wektora estymowanych parametrów θ. Jeśl macerz V jest macerzą jednostkową z mnożnkem σ (zakłócena w poszczególnych pomarach wzajemne nezależne o dentycznej warancj), to funkcjonał J przybera postać znanej nam sumy kwadratów odchyłek pomarów wyjśca obektu od wyjśca modelu. T J( θ) = yp g( u, θ) ( σ I) yp g( u, θ) = y p( t) g ( u, ) σ θ = Tak węc, sformułowane najwększej warygodnośc prowadz w szczególnym przypadku do klasycznego sformułowana najmnejszej sumy kwadratów. Inaczej mówąc, estymator LS przy szczególnym modelu zakłóceń jest estymatorem najwększej warygodnośc. Otrzymalśmy równeż ogólnejsze sformułowane zadana najmnejszej sumy kwadratów w postac ważonej macerzą kowarancj zakłóceń V dla przypadku kedy zakłócena ne mają dentycznego rozkładu /lub są skorelowane.
PRZYPADEK : Obekt lnowy z zakłócenam pomaru wyjśca o znanych parametrach statystycznych Wyprowadźmy z zasady najwększej warygodnośc estymator najmnejszej sumy kwadratów dla obektu lnowego w przypadku ogólnym, tj. zakłóceń pomarowych o rozkładze normalnym opsanych macerzą kowarancj V. W rozważanym przypadku równane modelu ma postać: a mnmalzowany funkcjonał: J ( ) yo = g u, θ = Uθ T ( ) θ = y Uθ V y Uθ p p Różnczkowane macerzowe względem θ przyrównane do zera (szczegóły w [Soderstrom, Stoca 997]) prowadz do wzoru na estymator: ( ) ˆ T T M = θ UV U UV y Ten ogólnejszy od LS estymator jest nazywany w teor estymacj estymatorem Markowa lub uogólnonym estymatorem LS. Jego macerz kowarancj wynos Σ = cov = M ( ˆ T θ ) ( ) M UV U podczas gdy klasyczny estymator LS zastosowany w rozważanym przypadku jest co prawda nadal neobcążony, ale ma wększą warancję, równą Σ = cov = LS ( ˆ T T T θls ) ( UU) UVUUU ( ) Poneważ estymator θ ˆ M został wyprowadzony z zasady najwększej warygodnośc, to jego macerz kowarancyjna jest najmnejsza możlwa (asymptotyczne) dla estymatora neobcążonego. Porównane tej macerzy z ogranczenem dolnym Cramera-Rao rzeczywśce przekonuje nas o tym, że w przypadku zakłóceń o rozkładze normalnym dowolnej macerzy kowarancyjnej estymator Markowa jest efektywny.
Przykład: Średna na podstawe welu pomarów tej samej welkośc o różnej dokładnośc Załóżmy, że chcemy sę dowedzeć, która jest godzna, ale ne mamy zegarka. Pytamy napotkanych ludz o godznę wnoskujemy z odpowedz o poszukwanej welkośc. Inaczej mówąc, zberamy dane pomarowe na ch podstawe estymujemy pewną welkość. Załóżmy, że odpowedz udzelło nam dzecko z tandetnym plastkowym zegarkem, zanedbany człowek bez zegarka (popatrzył na słońce) profesor AGH z Omegą na ręce. Uzyskalśmy następującą nformację z przypsaną przez nas warygodnoścą nformacj merzoną odchylenem standardowym: :30 ±5mnut (dzecko) :00 ±godzna (zanedbany) :8 ±mnuta (profesor) Zakładając, że odpowedz ne są skorelowane, jaka będze macerz kowarancj zakłóceń pomaru? Jaka będze postać estymatora wynk estymacj? Oblczena przeprowadzmy wspólne na tablcy. Przykład: Klka pomarów o zakłócenach skorelowanych różnej warancj nterpretacja wybelana szumu Interpretacja sposobu oblczeń powyższego estymatora, gdze każdy pomar mał skojarzoną wagę reprezentującą stotność nformacyjną pomaru, może być uogólnona dla przypadku zakłóceń skorelowanych. Wtedy mnożene przez odwrotność macerzy kowarancj daje ne tylko efekt wyrównana pozomu szumu, ale równeż efekt dekorelacj zakłóceń pomarów. Efekt jest znany jako wybelane szumu (ang. nose whtenng) ma swoje odbce w T p p ważonej postac kryterum sumy kwadratów reszt dopasowana: ( ) J θ = y Uθ V y Uθ.
PRZYPADEK 3: Zakłócena pomaru wyjśca o neznanych parametrach statystycznych W praktyce rzadko znamy parametry statystyczne zakłóceń przed wykonanem eksperymentu pomarowego. ajczęścej szacujemy warancję zakłóceń na podstawe danych pomarowych. Parametry zakłócena są węc dodatkowym elementem wektora parametrów estymowanych jeśl są potrzebne np. do oszacowana warancj estymat. Dla wyprowadzena estymatora warancj najwększej warygodnośc załóżmy normalny rozkład neskorelowanych zakłóceń o dentycznej neznanej warancj, tzn. zakłócena mają charakter..d. W takm przypadku funkcja warygodnośc po logarytmowanu ma postać: lnl = ln( π) ln ( σ ) ( ) (, ) y t g u σ θ = Przyrównane różnczk względem warancj do zera doprowadz nas do poszukwanego estymatora tej welkośc: skąd lnl = + y( t ) (, ) g u θ = 0 4 σ σ σ = σ y t g u e ( ) ( ) =, θ = = = Estymator warancj jest węc równy wartośc średnokwadratowej reszt dopasowana modelu do pomarów. Dodatkowo estymator warancj jest nezależny od estymatora parametrów obektu.
PRZYPADEK 4: Zakłócena pomaru wejśca wyjśca obektu lnowego Równe częstym praktycznym problemem jak neznajomość warancj zakłóceń jest nedostępność dokładnych wartośc sygnału wejścowego, który dotąd zawsze przyjmowalśmy jako znany dokładne. Znane są jedyne jego zakłócone wartośc zmerzone. Jedno wyjśce z tej sytuacj to uznane wartośc zmerzonych za dokładne stosowane estymatora klasycznego. Przeanalzujmy problem na przykładze obektu lnowego z jednym parametrem opsanego modelem: yo = k uo Przyjmjmy, że wartośc u o y o są stałe w czase trwana pomarów. Dostępne pomarowo sygnały y u są zakłócone, tj. u = u o + µ, y = yo + ϕ. Załóżmy, że zakłócena µ, ϕ są wzajemne neskorelowane mają warancje odpowedno σ µ, σ ϕ. Estymator LS parametru k ma w tym prostym skalarnym przypadku postać k Rozpsując ten wzór z uwzględnenem zakłóceń otrzymujemy k LS = = = y u ( y + )( u + ) y u + y + u + o o o o o o = = = = = LS = = ( uo + µ ) uo + uoµ + µ = = = = u ϕ µ µ ϕ µϕ Wraz z rosnącą loścą danych pomarowych poszczególne sumy loczynów dążą w grancy do korelacj mnożonych czynnków.
Korzystając z braku korelacj mędzy zakłócenam z zerowej wartośc oczekwanej zakłóceń, uzyskujemy granczną wartość estymatora równą lm k yu yu k = = = + + + o o = o o LS uo µ uo µ = = = Powyższy wynk dowodz, że w przypadku zakłóconych pomarów wejśca estymator LS daje wynk obcążone. σ µ uo Spróbujmy w takm raze wyprowadzć z zasady najwększej warygodnośc estymator neobcążony dla rozważanej sytuacj pomarowej. Przy przyjętych założenach funkcja warygodnośc ma postać L = p( y; θ ) = exp + πσ σ ϕ µ ( ϕ µ ) ϕ µ σ = σ = Maksymalzacja powyższej funkcj gęstośc jest równoważna mnmalzacj wyrażena J = + + y ku σ ϕ µ λ o o ϕ = σµ = ( ) gdze λ jest mnożnkem Lagrange a (metoda mnożnków Lagrange a służy rozwązywanu zadań mnmalzacj z ogranczenam równoścowym). Przyrównane różnczek względem y o, u o λ do zera prowadz do wyrażena na estymator najwększej warygodnośc o zmodyfkowanej w stosunku do LS postac k ML = = = y u Porównane własnośc statystycznych obydwu analzowanych tu estymatorów jest tematem jednego z zadań.
ZADAIA Komputerowa dentyfkacja obektów Zadane Zmodyfkuj program bezpośrednej maksymalzacj funkcj warygodnośc do przypadku dwóch pomarów nercyjnej odpowedz dynamcznej z neznaną estymowaną stałą czasową? Przeanalzuj jak przyjęty model odpowedz przekłada sę na lokalzację zmaksymalzowanej funkcję warygodnośc. Zadane Porównaj teoretyczną macerz kowarancj estymat parametrów obektu lnowego (y=au+b) z estymatora klasycznego LS estymatora Markowa dla 0 zakłóceń pomaru wyjśca o znanej macerzy kowarancj (np. połowa pomarów z wększą warancją). Wyrysuj przebeg odchylena standardowego estymat parametrów w funkcj dysproporcj odchylena standardowego pomarów. Zadane 3 Porównaj obcążene warancję estymatora LS estymatora najwększej warygodnośc w funkcj warancj zakłóceń dla zakłóconych pomarów wejśca wyjśca modelu lnowego z jednym parametrem. Tym razem analzę przeprowadź metodą eksperymentalną. Przedstaw wynk w postac grafcznej.
LITERATURA Komputerowa dentyfkacja obektów Sydenham P.H., Podręcznk Metrolog, WKŁ Warszawa 988 (rozdzał 8 pt. Estymacja parametru, paragraf 8.3.) Soderstrom T., Stoca P., Identyfkacja systemów, PW Warszawa 997