Komputerowa analiza danych doświadczalnych

Transkrypt

1 Komputerowa analiza danych doświadczalnych Wykład dr inż. Łukasz Graczykowski lukasz.graczykowski@pw.edu.pl Semestr letni 2017/2018

2 Metoda największej wiarygodności ierównosć informacyjna

3 Metoda największej wiarygodności

4 Magiczna funkcja ft Do tej pory zajmowaliśmy się estymacją parametrów rozkładów, wprowadziliśmy estymatory i warunki, jakie powinny spełniać. ie zajmowaliśmy się natomiast sposobem ich konstruowania (oprócz estymatora wartości oczekiwanej i wariancji) W praktyce mamy pewien zestaw danych (punkty pomiarowe) i chcemy do niego dopasować jakiś model teoretyczny, który pozwoli nam określić jego parametry / 25

5 Magiczna funkcja ft 5 / 25

6 Magiczna funkcja ft 6 / 25

7 Funkcja wiarygodności Do tej pory zajmowaliśmy się estymacją parametrów rozkładów, wprowadziliśmy estymatory i warunki, jakie powinny spełniać. ie zajmowaliśmy się natomiast sposobem ich konstruowania (oprócz estymatora wartości oczekiwanej i wariancji) Problem ogólny: mamy zbiór p parametrów: określony gęstością prawdopodobieństwa: dla n zmiennych losowych: Jeden pomiar wielkości X, czyli pobranie próby o liczności 1, prowadzi do uzyskania wyniku Takiemu doświadczeniu przypisujemy liczbę: dp ( j) =f ( x ( j) ; λ ) dx λ =(λ 1, λ 2,...,λ p ) X=( X 1, X 2,..., X n ) f =f (x ; λ) X ( j) =( X 1 =x 1 ( j), X 2 =x 2 ( j),..., X n =x n ( j) ) Która jest tzw. prawdopodobieństwem a posteriori. Mówi ona po uzyskaniu wyniku, jakie było prawdopodobieństwo jego uzyskania 7 / 25

8 Funkcja wiarygodności Prawdopodobieństwem a posteriori. Mówi ona po uzyskaniu wyniku, jakie było prawdopodobieństwo jego uzyskania, czyli wartości takiej, że: X ( j) Dla próby o niezależnych elementach omawiane prawdopodobieńśtwo uzyskania wyniku iloczynem: dane jest Gdy populacja jest charakteryzowana przez dwa różne zbiory parametrów,, wtedy możemy określić iloraz wiarygodności: Q= dp= λ 1, λ 2 f (x ( j) ; λ 1 )d x f ( x ( j) ; λ 2 )d x x i ( j) < x ( j) x i ( j) +dx i ( j), (i=1,2,...,n) f ( x ( j) ; λ)d x X ( j), X (1),..., X ( ) Możemy go określić: zbiór parametrów λ 1jest Q razy bardziej prawdopodobny niż zbiór parametrów λ 2 8 / 25

9 Funkcja wiarygodności Funkcją wiarygodności nazywamy iloczyn postaci: L= f ( x ( j) ; λ ) Funkcja wiarygodności jest zmienną losową (jest funkcją próby) Przykład: iloraz wiarygodności rzut asymetryczną monetą na podstawie rzutu asymetryczną monetąii wyników tych rzutów chcemy ustalić, czy moneta należy do klasy A lub klasy B załóżmy, że próba to 5 rzutów: A B 1 orzeł i 4 reszki orzeł 1/3 2/3 stąd funkcja wiarygodności: L A = 1 3 ( 2 3 ) 4 L B = 2 3 ( 1 3 ) 4 Q= L A L B =8 reszka 2/3 1/3 z duzą dozą prawdopodobieństwa moneta należy do klasy A 9 / 25

10 Metoda największej wiarygodności ajwiększą ufnością obdarzamy zbiór parametrów, dla którego funkcja wiarygodności osiąga maksymalną wartość Jak wyznaczyć maksimum? warunek konieczny: przyrównać pierwszą pochodną L do zera Różniczkowanie iloczynu jest jednak niewygodne, wprowadzamy więc logarytm funkcji wiarygodności L: Funkcją wiarygodności jest odpowiednikiem gęstości prawdopodobieństwa, tylko określona dla parametrów. Ponieważ jest funkcją próby losowej, jest również zmienną losową l=ln L= ln f ( x ( j ) ;λ) L(λ) L(λ) λ max λ λ 3 max λ 1 max λ 2 max λ 10 / 25

11 Metoda największej wiarygodności W najprostszym przypadku wektor parametrów λ ma tylko jedną składową λ Musimy wtedy rozwiązać równanie wiarygodności: l '= dl d λ =0 Czyli: l '= d d λ ln f ( x( j ) ;λ)= f ' f = φ( x ( j) ;λ) gdzie: φ( x ( j) ; λ )= ( d d λ f (x( j) ;λ) ) /( f (x ( j) ;λ)) jest pochodną logarytmiczną f względem λ W przypadku gdy wektor λ ma p składowych, mamy układ p równań: l λ i =0, i=1,2,, p 11 / 25

12 Metoda największej wiarygodności pods. Funkcją wiarygodności nazywamy iloczyn postaci: L= f ( X ( j) ; λ) Funkcja wiarygodności jest zmienną losową (jest funkcją próby) ajwiększą ufnością obdarzamy zbiór parametrów, dla którego funkcja wiarygodności osiąga maksymalną wartość Jak wyznaczyć maksimum? warunek konieczny: przyrównać pierwszą pochodną L do zera Różniczkowanie iloczynu jest jednak niewygodne, wprowadzamy więc logarytm funkcji wiarygodności L: Funkcją wiarygodności jest odpowiednikiem gęstości prawdopodobieństwa, tylko określona dla parametrów. Ponieważ jest funkcją próby losowej, jest również zmienną losową Równania wiarygodności: l λ i =0, i=1,2,, p l=ln L= ln f ( X ( j) ; λ )= f '(X ( j) ;λ) f (X ( j) ;λ) 12 / 25

13 Metoda największej wiarygodności Przykład: powtarzanie pomiarów o różnej dokładności pomiar danej wielkości różnymi przyrządami pomiarowymi: pomiary X ( j) będą się układały wokół wartości rzeczywistej λ niepewności bedą miały rozkład normalny mamy 1 wielkość, więc z wektora robi się jedna zmienna Wniosek: pojedynczy pomiar to pobranie próby o liczebności 1 z rozkładu Gaussa o wartości średniej λ i wariancji σ j Prawdopodobieństwo a posteriori możemy zatem wyrazić jako: dp ( j) =f ( X ( j) ;λ)dx= 1 2π σ j exp( ( X( j) λ) 2 ) dx X ( j) X ( j) 2σ j 2 Zatem dla pomiarów funkcja wiarygodności wynosi: L= 1 2 π σ j exp( ( X( j) λ) 2 ) 2 2 σ j 13 / 25

14 ajbardziej wiarygodny wynik Logarytmiczna funkcja wiarygodności wynosi: l= 1 2 ( X ( j) λ) 2 +const 2 σ j Równanie wiarygodności przybiera postać: dl d λ = A jego rozwiązanie to: ~ X ( j) λ= X ( j) λ σ j 2 =0 σ j 2 / Wniosek: wynik najbardziej wiarygodny jest średnią ważoną pomiarów tej samej cechy, gdzie waga każdego pomiaru jest odwrotnością jego wariancji 1 σ j 2

15 Uśrednianie wielu pomiarów przykład S. Eidelman et al., Phys. Lett. B 592, 1 (2004) Pomiar stałej sprzężenia oddziaływań silnych szukanie najbardziej wiarygodnego wyniku uśredniamy wszystkie wyniki z różnych pomiarów ważąc je odwrotnością wariancji

16 Przykład estymacja rozkładu norm. Przykład: badamy rozkład wagi studentek amerykańskich college'ów rozkład wagi studentek w populacji jest opisany rozkładem normalnym o wartości średniej μ i wariancji σ 2 załóżmy, że wybraliśmy =10 reprezentantów, których wagi (w kg) X ( j) układają się następująco: 52,2 55,3 59,0 57,6 67,6 72,6 68,9 62,6 67,6 81,6 Zadanie: na podstawie wyniku pomiaru znajdż najbardziej wiarygodną estymację parametrów rozkładu oczywiście funkcja rozkładu prawdopodobieństwa każdego wyniku (wagi studentek) dana jest wzorem: konstruujemy funkcję wiarygodności: f ( x ( j) ;μ,σ )= 1 L( ^μ, ^σ)=σ n (2 π) exp[ n /2 1 2 ^σ 2 ( ( j x ) ^μ ) 2 ] σ 2π exp ( ( x( j) μ ) 2 2σ 2 ) 16 / 25

17 Przykład estymacja rozkładu norm. oraz logarytmiczną funkcję wiarygodności: l ( ^μ, ^σ)=ln L( ^μ, ^σ)=ln( n/2[ ^σ (2π) 1 2 ^σ 2 równania wiarygodności: dl( ^μ, ^σ) =0 d ^μ dl( ^μ, ^σ) = d ^μ 2 ( x ( j) ^μ )( 1) 2σ dl( ^μ, ^σ) d ^σ =0 dl( ^μ, ^σ) d ^σ = n ( x ( j) ^μ ) 2 ^σ + =0 ^σ 2 = 2 ^σ 2 ( x ( j) ^μ ) 2]) 1 = 2 ^σ 2 =0 ( x ( j) ) ^μ=0 ^μ= n ( x ( j) ^μ ) 2 n ( x ( j) ^μ ) 2 +const dla formalności powinniśmy jeszcze sprawdzić drugie pochodne... x ( j) 17 / 25

18 Przykład estymacja rozkładu norm. liczymy estymatory: ^μ= n n x ( j ) =645/10=64,5 ^σ 2 = otrzymaliśmy (poprzez metodę największej wiarygodności) estymację parametrów rozkładu normalnego całej populacji na podstawie pomiaru próby Koniec n ( x ( j) ^μ ) n =714/10= / 25

19 Przykłady funkcji wiarygodności

20 Przykłady funkcji wiarygodności Rozkład Poissona Rozkład dwumianowy f k = k k! e Funkcja wiarygodności ( l= {k j) ln λ ln(k ( j)!) λ } oraz jej pochodna dl d λ =l '= { k( j) λ 1 }= 1 λ {k ( j) λ }= λ ( K λ) Średnia arytmetyczna z k jest nieobciążonym estymatorem o minimalnej wariancji równej λ L(k ;λ)= ( n k) λk (1 λ) n k Stąd: l=ln L=k ln n k ln 1 ln n k l ' = k n k 1 = n k 1 n czyli średnia arytmetyczna k/n jest estymatorem o minimalnej wariancji równej λ(1-λ)/n 20 / 25

21 ierówność informacyjna

22 ierówność informacyjna Pytanie: jak skonstruować estymator o optymalnych własnościach? estymator jest nieobciążony, jeżeli wartość obciążenia dla każdej próby: B(λ)=E(S) λ=0 oraz (estymator zgodny) wariancja estymatora jest jak najmniejsza (dąży do 0 dla liczebności próby losowej dążacej do nieskończoności): σ 2 (S) - minimalna bardzo często istnieje jednak związek pomiędzy obciążeniem a wiarancją i musimy szukać kompromisu taki związek nazywamy nierównością informacyjną Po dłuższych przekształceniach (Brandt) otrzymujemy nierówność informacyjną związek między obciążeniem, wariancją i informacją zawartą w próbie: (B' (λ)+1) 2 σ 2 (S) I (λ) I (λ)=e(l ' 2 )= E(l ' ') I (λ)=e(l ' 2 )=E(( f ' (x( j) ; λ) f (x ( j) ;λ) l '= f ' (x ( j) ; λ) f ( x ( j) ; λ) )2) 22 / 25

23 ierówność informacyjna ierówność informacyjna: (B' (λ)+1) 2 σ 2 (S) I (λ) ierówność informacyjna to związek pomiędzy obciążeniem, wariancją i informacją zawartą w próbie Jest to definicja ogólna. Prawa strona jest dolnym ograniczeniem dla wariancji danego (dowolnego) estymatora ograniczenie to nazywamy ograniczeniem minimalnej wariancji albo ograniczeniem Cramea-Rao Kiedy obciążenie nie zależy od λ, a w szczególności gdy znika (równa się zero), nierówność redukuje się do: σ 2 (S) 1 I (λ) l '= f ' (x ( j) ; λ) f ( x ( j) ; λ) 23 / 25

24 ierówność informacyjna Możemy teraz zadać pytanie: jaki jest warunek osiągnięcia minimalnej wariancji? Innymi słowy, kiedy we wzorze Cramea-Rao zachodzi równość? E(S)=B(λ)+λ Można pokazać (Brandt), że zajdzie tak, gdy: l '=A (λ)(s E(S)) l=b(λ) S+C (λ)+d L=d exp ( B(λ)S+C (λ)) Wtedy w przypadku estymatora nieobciażonego o minimalnej wariancji otrzymujemy: σ 2 (S)= 1 I (λ) = 1 E(l ' 2 ) σ 2 (S)= 1 A (λ) Estymatory spełniające powyższe warunki nazywamy estymatorami o najniższej wariancji Jeżeli zamiast: L=d exp ( B(λ)S+C (λ)) spełniony jest słabszy warunek: L=g(S ;λ)c(x (1), X (2),..., X ( ) ) Wtedy S nazywamy estymatorem wystarczającym dla λ 24 / 25

25 KOIEC