KADD Metoda najmniejszych kwadratów

Transkrypt

1 Metoda ajmiejszych kwadratów Pomiary bezpośredie o rówej dokładości o różej dokładości średia ważoa Pomiary pośredie Zapis macierzowy Dopasowaie prostej Dopasowaie wielomiau dowolego stopia Dopasowaie fukcji ieliiowych 1

2 Metoda ajmiejszych kwadratów Metodę tę moża przedstawić w skrócie: Wyik kolejego pomiary y j moża uważać za sumę wielkości x (iezaej) oraz błedu pomiarowego ε j : Y j =x j Dobieramy wielkości ε j tak, aby suma kwadratów błędów ε j była ajmiejsza: j j = j x Y j =mi Jest to ajczęściej stosowaa metoda statystycza. Moża wykazać, że wyika oa ze zaczie bardziej skomplikowaej metody ajwiększej wiarygodości.

3 Pomiary bezpośredie Wykoujemy pomiarów iezaej wielkości x, obarczoych błędem ε j o rozkładzie ormalym: Y j =x j E { j }=0 E { j Prawdopodobieństwo uzyskaia wyiku Y j w jedym pomiarze wyosi }= f j dy= 1 exp Y j x dy Tworzymy logarytmiczą fukcję wiarygodości: l= 1 j =1 Y j Zatem waruek maksymalej wiarygodości to: M = j =1 x cost Y j x = j =1 j =mi 3

4 Estymator wielkości i błędu Najlepszym estymatorem dla x jest wtedy: x=y= 1 j =1 Y j A jego wariacja i błąd to: W bardziej ogólym przypadku mamy pomiary bezpośredie o różej dokładości: Metoda ajwiększej wiarygodości daje wtedy: M= j=1 y= / Y j =x j E { j }=0 E { j Y j x j = j=1 x= y/ }= j =1/ g j g j Y j x = j=1 Składiki sumy są ważoe przez odwrotość ich wariacji g j j =mi 4

5 Pomiary o różej dokładości Najlepszy estymator dla x wyosi wtedy x= j=1 g j Y j j=1 Czyli jest średią ważoą pomiarów. Wariacja tego estymatora jest daa przez: Obliczmy ajlepszy estymator błędu pomiarowego: Wielkości j / pochodzą z rozkładu ormalego, więc suma kwadratów ma rozkład χ o -1 stopiach swobody M= j=1 1 x= j=1 j j j g j 1 = j=1 j =Y j x = Y j x j=1 g j 1 = j=1 g j Y j x KADD Metoda j ajmiejszych kwadratów 5

6 Średia ważoa - przykład r pomiaru Yj sigma_j sigma_j^ g_j g_j x_j Y_j tilde x e^ e^*g_j ,7,89 0,35 34,6 0,19 0,04 0,01 10,3, 4,84 0,1 1,14 3,49 1,19,5 3 89,8 1,9 3,61 0,8 4,88-9,01 81,15, ,4,6 6,76 0,15 15,59 6,59 43,45 6, , 3,5 1,5 0,08 8,6,39 5,7 0, ,4,5 6,5 0,16 17,18 8,59 73,81 11, ,6 3,3 10,89 0,09 8,78-3,1 10,9 0, ,4,7 7,9 0,14 13,64 0,59 0,35 0, ,,7 7,9 0,14 13,88,39 5,7 0, , 1,3 1,69 0,59 57,51-1,61,59 1,53 sum(g_j),18 Ilość pomiarów 10 sum(x_j g_j) 15,1 M 47,0 tilde x 98,81 tilde epsilo 0,46 Przeprowadzając test χ a M widzimy, że hipotezę ależy odrzucić: t 0,9 9=14,7 t 0,95 9=16,9 t 0,99 9=1,7 6

7 Przykład odrzuceie pomiarów r pomiaru Yj sigma_j sigma_j^ g_j g_j x_j Y_j tilde x e^ e^*g_j ,7,89 0,35 34,6 0,19 0,04 0,01 10,3, 4,84 0,1 1,14 3,49 1,19, ,4,6 6,76 0,15 15,59 6,59 43,45 6, , 3,5 1,5 0,08 8,6,39 5,7 0, ,6 3,3 10,89 0,09 8,78-3,1 10,9 0, ,4,7 7,9 0,14 13,64 0,59 0,35 0, ,,7 7,9 0,14 13,88,39 5,7 0, , 1,3 1,69 0,59 57,51-1,61,59 1,53 sum(g_j) 1,74 Ilość pomiarów 10 sum(x_j g_j) 173,06 M 1,73 tilde x 99,45 tilde epsilo 0,57 x x Odrzucając pomiary ajbardziej odbiegające od średiej mamy wyik spełiający test χ : t 0,9 7=1,0 t 0,95 7=14,07 t 0,99 7=18,47 7

8 Pomiary pośredie Mamy wiele iezaych wielkości x i (i=1,,...,r). Mierzymy ie x ale wielkości od ich liiowo zależe j = p j0 p j1 x 1 p j x p jr x r co moża przepisać jako: f j = j a j0 a j1 x 1 a j x a jr x r =0 Defiiujemy wektory a j i x: a j =a j1 a j a jr i przepisujemy rówaie: x= x1 x x r f j = j a j0 a j x=0, j=1,,, 8

9 Ostateczie defiiujemy: = 1 Zapis macierzowy i układ rówań piszemy w postaci macierzowej: Poowie zakładamy, że pomiary są obarczoe błędami ε j o rozkładzie ormalym: Zmiee y są iezależe, więc macierze kowariacji i wag są diagoale a11 a1 a1r a a 0 =a10 0 a a 0 A= 1 a a r a 1 a a r f =a 0 A x=0 y j =x j E { j }=0 E { j 1 C = }= j =1/ g j 1 C 1 g =g g 9

10 Fukcja wiarygodości Wprowadzamy wektory pomiarów i błędów: y=, y a 0 A x=0 Rozwiązujemy te układ rówań ze względu a x: 1 f y j = j exp y j j j dla pomiarów mamy fukcję wiarygodości: L= j =1 f y j = 1/ j =1 = 1 j exp j j j 1exp 1 j =1 j l=l L= 1 ll j =1 1 1 j j =1 która osiąga wartość miimalą gdy: j M = j =1 j = y j a T j od xa j0 j =1 =mi j j 10 j

11 Zależość tę piszemy skrótowo: Przypadek liiowy M = T G y =mi, lub M =ca x T G y ca x=mi, gdzie c= ya 0 Macierz G y jest symetrycza i dodatio określoa, stąd moża dokoać rozkładu Cholesky'ego: G y =H T a w przypadku pomiarów ieskorelowaych: i ostateczie możemy apisać: Rozwiązaie zapisujemy w postaci: H 1 H =H =1/ T 1/ 1/ M = A' xc ' =mi, gdzie c '=H c, A'=H A x= A' c ' 11

12 Poszukiwaie rozwiązaia Zwykle posługujemy się rówoważą formą: x= A' T Związek między y i x jest liiowy, stąd ma zastosowaie prawo propagacji błędów: Mamy symetrycze macierze G y, G y -1 i (A T G y A) więc możemy uprościć: A' 1 A' T c ', lub x= A T G y A 1 A T G y c C x =G x 1 =[ A T G y A 1 ]G y 1 [ A T G y A 1 A T G y ] T G x 1 = A T G y A 1 = A' T A' 1 czyli mamy prostą macierz kowariacji x. Pierwiastki kwadratowe z elemetów diagoalych iterpretujemy jako błędy pomiarowe. Estymator i poprawioe pomiary to: =A xc= A A T G y A 1 A T G y cc = y =A A T G y A 1 A T 1 1 G y c a 0, oraz G =AG x A T 1

13 Dopasowaie prostej Dopasowujemy prostą do zbioru pomiarów y j dla różych wartości zmieej kotrolowaej t. Czyli: j = y j j =x 1 x t j x 1 x t=0 x T = x 1 x Dae wejściowe: j t_j y_j S_j 0 0 1,4 0, ,5 0, 3, ,1 0,5 Wyik: x 1 =0.636±0.30 x =1.066±0. 13

14 Dopasowaie wielomiau Rozważmy bardziej ogóly problem: j =h x,t j czyli dopasowaiu krzywej a płaszczyźie (t,ε). W praktyce pomiary y j są zwykle ieskorelowae. Wtedy macierz G jest diagoala i moża zastosować rozkład Cholesky'ego. Wtedy: A' jk =A jk / j c ' j =c/ j Uogóliając mamy wielomia stopia : r 1 j =h j =x 1 x t j x 3 t j x r t j a 0 j =0 l 1 a A jl = t 0 =0 r t1 t1 r 0 1 t A= 1 t j r 0 1 t t 1 14

15 Dopasowaie wielomiau przykład Dopasowujemy wielomia dowolego stopia do pomiarów: j t_j -0,9-0,7-0,5-0,3-0,1 0,1 0,3 0,5 0,7 0,9 y_j Otrzymujemy wyik: r ~x_1 ~x_ ~x_3 ~x_4 ~x_5 ~x_6 f M 1 57, ,55 8,66 99, , ,7 185,96 73, , ,95 16,55 31,0 137,59 6, ,6 119,1 76,49 151,91 5,6 5 1, ,88 11,38 73,19 136,57 56,9 16,73 4 1,66 15

16 Iterpretacja dopasowaia W wyiku dopasowaia daych wielomiaami różego stopia dostaliśmy wiele różych wyików Które z dopasowań jest dobre? Jaki jest ajmiejszy stopień wielomiau, który daje dobre dopasowaie? Odpowiedź 833,55 daje test χ 0,99 9=1, ,99999 Najlepsze dopasowaie 0,99 8=0,09 daje wielomia stopia 4 0,99 7=18,47 36,41 7 Najmiejszy stopień, 0,99 6=16,81 0 =0,99993,85 którego ie możemy 0,99 5=15, =0,173 1,69 odrzucić to 3 0,99 4=13,7 5 0 =0,110 1, , , =0,0 16

17 Przypadek ieliiowy W ogólości gdy zależości ie są liiowe, piszemy f j x,= j h j x=0, czyli f x,=0 Sprowadzamy go do przypadku liiowego poprzez rozwiięcie w szereg Taylora i wzięcie tylko wyrazów liiowych. Pukt x 0 =(x 10, x 0,..., x r0 ) wokół którego dokoujemy rozwiięcia musi być w praktyce zbliżoy do oczekiwaego miimum. =x x 0 = x1 x10 x x 0 f j x,= f j x 0, f j x 1 x 0 x 1 x 10 f j x r x 0 x r x r0 x r x r0 a jl= f j x l x 0 c j = f j x 0, y=y j h j x 0 17

18 Przypadek ieliiowy iteracje Dalej postępujemy aalogiczie do p. liiowego: f j x 0, = f j x 0, y = f j x 0, y, i mamy waruek miimalizacyjy: M=cA T G y ca=mi Rozwiązujac go otrzymujemy wyik: = A' c' Jest to jedak tylko koleje przybliżeie. Bierzemy x 1 =x 0 jako kolejy pukt, wokół którego dokoujemy rozwiięcia i procedurę powtarzamy. Procedura ta jest usprawiedliwioa tylko, gdy zależość jest dobrze przybliżaa przez pierwsze pochode w okolicy puktu x i ±Δx i. Δx i wyzaczamy z macierzy: f =Ac =0, =Ac G x 1 = A T G y A 1 = A' T A' 1 18