KADD Metoda najmniejszych kwadratów funkcje nieliniowe

Transkrypt

1 Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych kwadratów Funkcje nieliniowe Procedura z redukcją kroku iteracji Przykłady zastosowań Dopasowanie funkcji wykładniczej Dopasowanie funkcji Gaussa Własności metody Test χ2 Obszary ufności i błędy niesymetryczne Pomiary zależne Metoda elementów Metoda mnożników Lagrange'a 1

2 Przypadek nieliniowy W ogólności gdy zależności nie są liniowe, piszemy f j x,= j h j x=0, czyli f x,=0 Sprowadzamy go do przypadku liniowego poprzez rozwinięcie w szereg Taylora i wzięcie tylko wyrazów liniowych. Punkt x 0 =(x 10, x 20,..., x r0 ) wokół którego dokonujemy rozwinięcia musi być w praktyce zbliżony do oczekiwanego minimum. =x x 0 = x1 x10 x 2 x 20 f j x,= f j x 0, f j x 1 x 0 x 1 x 10 f j x r x 0 x r x r0 x r x r0 a jl= f j x l x 0 c j = f j x 0, y=y j h j x 0 2

3 Przypadek nieliniowy iteracje Dalej postępujemy analogicznie do p. liniowego: f j x 0, = f j x 0, y = f j x 0, y, i mamy warunek minimalizacyjny: M=cA T G y ca=min Rozwiązujac go otrzymujemy wynik: = A' c' Jest to jednak tylko kolejne przybliżenie. Bierzemy x 1 =x 0 jako kolejny punkt, wokół którego dokonujemy rozwinięcia i procedurę powtarzamy. Procedura ta jest usprawiedliwiona tylko, gdy zależność jest dobrze przybliżana przez pierwsze pochodne w okolicy punktu x i ±Δx i. Δx i wyznaczamy z macierzy: f =Ac =0, =Ac G x = A T G y A = A' T A' 3

4 Omówienie przypadku nieliniowego Procedura wymaga możliwości podania pochodnej po każdym z parametrów Różniczkowanie można w ogólności wykonać numerycznie, jednak wiąże się to z komplikacjami programistycznymi i wydłużeniem obliczeń. Funkcja M nie jest nie jest prostą formą kwadratową nieznanych parametrów, stąd minimalizacja musi następować iteracyjnie. Zbieżność procedury jest także zależna od wyboru wielkości początkowej. Procedurę kończymy, gdy wielkość M nie zmniejsza się w kolejnych krokach. 4

5 Procedura z redukcją kroku iteracji Często po i-tym kroku nie jest spełnione: M x i =M x i M x i Wtedy rozważamy wyrażenie: M x i s, gdzie 0 s 1 Otrzymujemy zmodyfikowany wzór: M=cs A T G y cs A =c's A' 2 który różniczkujemy ze względu na s: M '=2 c's A' T A' =2s T A' T A' I otrzymujemy, że M'(s=0)<0 dla dodatnio określonej macierzy A' T A', czyli krzywizny funkcji M. W okolicy minimum to powinno być zawsze prawdziwe. M jest f. ciągłą, więc istnieje λ które: M ' s0, 0 s 5

6 Implementacja redukcji kroku Czyli w przypadku, gdy nie jest spełniona nierówność: M x i =M x i M x i wybieramy dowolną liczbę s taką, że 0<s<1 i sprawdzamy, czy zachodzi: M x i s M x i Jeśli tak, to przyjmujemy, że x i =x i s Jeżeli nie, to ponownie przeprowadzamy całą procedurę, tzn. tym razem czynnik przez który mnożymy wynosi s 2, potem ewentualnie s 3 itd. 6

7 Dopasowanie eksponenty Próbujemy dopasować do danych funkcję wykładniczą z ujemnym wykładnikiem: h j x=x 1 exp x 2 t j czyli poszukiwane parametry to x 1 i x 2. Dalej: f j = j h j x Elementy macierzy A liczymy analitycznie: a j1 = f = exp x 02 t j x 1 x 0 a j2 = f = x 01 exp x 02 t j t j =x 01 t j exp x 02 t j x 2 x 0 Zamiast wektora x używamy =x x 0 a Dalej procedura jest analogiczna do przypadku funkcji liniowej c j =y j h j x 0 7

8 Eksponenta rysunek 8

9 Analiza dopasowania Korzystając z macierzy (A' T A') -1 rysujemy elipsę kowariancji na tle mapy χ 2 Podobnie możemy graficznie przedstawić kolejny kroki procedury dopasowania 9

10 Dopasowanie Gaussa W podobny sposób możemy dopasować krzywą Gaussa. Formuła ma trzy parametry: 1 h j x=x 1 2 x 3 exp t j x x 3 Pochodne znów liczymy analitycznie: a j1 = a j2 = a j3 = f = 1 x 1 x 0 2 x 3 exp t j x x = h x j 0/ x f 1 = x 01 x 2 x 0 2 x 03 exp t j x t x x 03 2 x = h x t x02 2 j x 03 f = x 01 x exp t x j x 0 2 x 03 2 x 03 x 01 exp t x j x 03 2 x 03 t x 02 2 = h x j 0 h 3 j x 0 t x x 03 x 03 x 03 10

11 Dopasowanie Gaussa kroki 11

12 Dopasowanie Gaussa kowariancja Rysujemy rzut elipsoidy kowariancji na płaszczyznę (x 2, x 3 ). Elipsoida ma 3 wymiary. Widizmy poszczególne kroki dopasowania na tle mapy χ 2. 12

13 Test χ 2 a m. najmniejszych kwadratów Wyniki uzyskane metodą największej wiarygodności, z której wynika metoda najmniejszych kwadratów, mają następujące własności: Rozwiązanie x jest asymptotycznie nieobciążone E x i =x i, i=1, 2,,r Jest ono estymatorem o minimalnej wariancji 2 x i =E { x i x i 2 }=min Wielkość M ma rozkład χ2 o n-r st. swobody Jednak jeżeli rozkład błędów nie jest znany (a więc nie jest Gaussem) to rozwiązanie uzyskane metodą najmniejszych kwadratów mają mniej silne własności 13

14 Nieznany rozkład błędów Gdy nie znamy rozkładu błędów ε j, to x : Jest nieobciążone Ze wszystkich estymatorów x będących liniowymi kombinacjami y, x ma najmniejszą wariancję Wartość oczekiwana wielkości M wynosi E {M }=E { T G y }=n r czyli odpowiada wielkości oczekiwanej rozkładu χ 2 o liczbie stopni swobody n-r. Wielkość M jest często nazywana χ 2 i służy do oceny jakości dopasowania, choć w ogólności nie musi pochodzić z rozkładu χ 2. Liczba f=n-r jest liczbą stopni swobody dopasowania. 14

15 Analiza wielkości M Gdy błędy mają rozkład normalny, wielkość M utożsamiamy z χ 2 i stosujemy testy wiarygodności Zbyt duże M może oznaczać, że: Założenie, że dane są opisane przez f(x,η) jest błędne (postać funkcyjna lub niektóre parametry) M= T 2 G y 1 n r Ograniczenie rozwinięcia w szereg Taylora f(x,η) do pierwszego wyrazu nie wystarcza Źle dobrano punkt początkowy dopasowania x0 Macierz kowariancji wielkości mierzalnych Cy jest nieprawdziwa Gdy liczymy M dla wielu różnych zestawów danych, możemy sprawdzić jego zgodność z rozkładem χ 2 15

16 Obszar ufności Przypomnienie elipsoida ufności, to krzywa spełniająca równanie: g x= x x T C x x x=const Liczymy różnicę między wartością funkcji M w punkcie x i w minimum dopasowania x : M x M x= x x T A T G y A x x= x x T C x x x czyli elipsoida ufności odpowiada hiperpowierzchni na której M ma stałą wartość. W szczególności elipsoida kowariancji odpowiada krzywej: M x M x=1 M x=m x1 Elipsoida ufności odpowiadająca prawdopodobieństwu W jest hiperpowierzchnią: M x=m xg, gdzie g= W 2 f, gdzie f =n r 16

17 Obszar ufności równania nieliniowe Rozważania o obszarze ufności są ściśle prawdziwe dla równań liniowych i przybliżeniu dla równań nieliniowych. To przybliżenie jest dobre gdy funkcja jest prawie liniowa, lub gdy zmiany parametrów (czyli ich błędy) są małe. Gdy błędy są duże elipsoida kowariancji ma tę samą interpretację jako granica obszaru ufności, jednak błędy przestają być symetryczne. Zwróćmy jeszcze uwagę na różnicę w definicjach: M= T G y = y h x 0 A T 2 G y y h x 0 A 1 n r M x M x= x x T A T G y A x x= x x T C 2 x x x 1 n r Obie wartości porównujemy z tymi samymi kwantylami, jednak są to zupełnie różne zmienne! 17

18 Wyznaczenie błędów niesymetrycznych Gdy elipsoida kowariancji ma skomplikowany kształt, mamy błędy niesymetryczne: x i = x i x i x i = x i x i czyli wartości dla których pionowe i poziome linie są styczne do tej elipsoidy. Formalnie zapisujemy to: min {M x ; xi=x i± }=M xg, lub min {M x ; xi=x i± } M xg=0 3,8cm 2,15cm 2,49cm 3,42cm 18

19 Pomiary zależne Pomiary nie muszą być całkowicie niezależne. Np. mierząc 3 kąty w trójkącie musimy uzyskać sumę równą 180. Szukamy estymatorów wielkości η j : y j = j j, j=1, 2,, n E { j }=0 E { j 2 }= j 2 Oprócz tego mamy też równania więzów: f k =0, k=1, 2,,q Najprostszy przypadek to równania liniowe: lub w notacji macierzowej b 10 b 11 1 b 12 2 b 1 n n =0 b q0 b q1 1 b q2 2 b qn n =0 B b 0 =0 19

20 Metoda elementów Rozwiązujemy q równań więzów aby wyeliminować z równań q z n wielkości η. Pozostałe n-q wielkości α i (i=1,2,...,n-q) nazywamy elementami. Mogą to być pierwotne pomiary n lub ich kombinacje liniowe: j = f j0 f j1 1 f j2 2 f j, n q n q, j=1, 2,, n lub =F f 0 Rozwiązanie znajdujemy podobnie jak wcześniej: =F T G y F F T G y y f 0 Macierz kowariancji wynosi wtedy: G =F T G y F zaś poprawione wyniki pomiarów i ich macierz kowariancji wynoszą: =F f 0 =F F T G y F F T G y y f 0 f 0 G =F G F T 20

21 Metoda mnożników Lagrange'a Metoda elementów wymaga wyboru zmiennych α. Metoda mnożników Lagrange'a podchodzi inaczej do problemu. Przepiszmy równanie więzów: B y B b 0 =0 Wprowadzamy wektor c i otrzymujemy równanie: c=b yb 0 c B =0 Wprowadzamy wektor mnożników Lagrange'a: T = 1 2 q i z jego pomocą rozszerzamy funkcję M do L: L=M2 T c B = T G y 2 T c B Jest to funkcja Lagrange'a. Teraz rozwiązujemy problem minimalizacji M przy jednoczesnym spełnieniu równań więzów. 21

22 Mnożniki Lagrange'a rozwiązanie Pochodna zupełna funkcji L musi znikać: dl=2 T G y d 2 T B d =0 T G y T B=0 Przekształcając otrzymujemy rozwiązanie na μ: T G y = T B =G y B T c B G y B T =0 =B G y B T c I możemy wyliczyć estymatory błędów pomiarowych =G y B T B G y B T c oraz najlepszy estymator dla wektora η: = y = y G y B T B G y B T c I ostatecznie piszemy macierze kowariancji: G =B G y B T G B G =G y G y B T G B B G y 22