Komputerowa analiza danych doświadczalnych

Transkrypt

1 Komputerowa analiza danych doświadczalnych Wykład dr inż. Łukasz Graczykowski lgraczyk@if.pw.edu.pl Semestr letni 2015/2016

2 Próby z odliczaniem. Próbki Metoda największej wiarygodności ierównosć informacyjna

3 Próba z odliczaniem. Próbki

4 Pobieranie próby z odliczaniem Często w praktyce pomiarowej mamy do czynienia z sytuacją, gdzie dokonujemy n obserwacji, z których tylko k ma pewną interesującą nas cechę. Resztę obserwacji, czyli n-k, odrzucamy Wybieramy (odliczamy) k z n elementów jest to zatem rozkład dwumianowy (liczby sukcesów k) z prawdopodobieństwem p wystąpienia badanej cechy q jej nie wystąpienia (nie znamy ich jednak jest to przedmiot badań) Pytanie: jakie jest prawdopodobieństwo wystąpienia badanej cechy p? można udowodnić, że estymatorem p jest: KADD 2016, Wykład 9 S( p)= k n Dlaczego? rozkład dwumianowy to rozkład całkowitej liczby sukcesów, natomiast rozkład wielkości p jest rozkładem średniej liczby sukcesów Rozważmy przykład: odbywają się wybory na Prezydenta RP, mamy dwóch kandydatów: BK i AD. Załóżmy, że p (60%) wszystkich wyborców preferuje AD. Jeśli jednak wybierzemy losowo 10 wyborców, mało prawdopodobne jest, że akurat 6 z nich wskaże AD (zależy to od tego na kogo się trafi ) - próbka to realizacja próby los. 4 / 26

5 Pobieranie próby z odliczaniem Rozważmy przykład: odbywają się wybory na Prezydenta RP, mamy dwóch kandydatów: BK i AD. Załóżmy, że p (60%) wszystkich wyborców preferuje AD. Jeśli jednak wybierzemy losowo 10 wyborców, mało prawdopodobne jest, że 6 z nich wskaże AD (zależy to od tego na kogo się trafi ) liczba wyborców AD w próbie losowej może wynieść trochę więcej lub trochę mniej niż 60%. Jeśli wielokrotnie powtórzymy tę czynnośc, otrzymamy rozkład (próbkowania) wielkości p (ang. sampling distribution) widzimy, że rozkład p jest związany z rozkładem dwumianowym rozkład dwumianowy to jednak rozkład całkowitej liczby sukcesów k (wyboru kandydata AD) a rozkład p to rozkład średniej liczby sukcesów średnia to oczywiście całość podzielona przez ilość, czyli rozmiar wybranej próby Podsumowując: rozkład dwumianowy całkowita ilość (np. 6 z 10), rozkład p średnia (0,6) operują na innych argumentach KADD 2016, Wykład 9 5 / 26

6 KADD 2016, Wykład 9 Pobieranie próby z odliczaniem 6 / 26 Rozkład dwumianowy ma wartość oczekiwaną: np Wartość oczekiwana rozkładu p to zaś wartość oczekiwana rozkładu dwumianowego podzielona przez wielkość próby n: p Rozkład dwumianowy ma wariancję: σ 2 =npq=np(1 p) Czyli odchylenie standardowe (ma wymiar średniej): σ= np(1 p) Dla rozkładu p musimy podzielić przez n, i wtedy otrzymamy odchylenie standardowe rozkładu p: Czyli wariancja rozkładu p: σ p 2 = p(1 p) n σ p = np(1 p) n Jak już wspomnieliśmy, najlepszym estymatorem parametru p jest: = p(1 p) n Jaki jest zaś estymator wariancji? S( p)= k n wstawiamy do wzoru na wariancję estymator wartości oczekiwanej, wtedy dostajemy: s(s( p))= 1 n k ( 1 k n ) s 2 (S( p))= 1 n k n ( 1 k n )

7 KADD 2016, Wykład 9 iepewność statystyczna 7 / 26 Zdefiniujmy teraz niepewność: Δ k= s 2 (S(np)) S(np)=n k n =k Wtedy otrzymamy: iepewność ta zależy tylko od odliczonych elementów k oraz liczebności próby I nazywana jest niepewnością (w starej nomenklaturze błędem) statystyczną Jeżeli k jest małe, czyli k n, wtedy możemy wprowadzić parametr λ=np Δ k= k ( 1 k n ) W takim przypadku możemy (patrz Wykład 5) możemy uważać, że k jest pojedynczym elementem próby opisywanej rozkładem Poissona, wówczas otrzymujemy: S(λ)=S(np)=k Δ λ= k W k n = ( n k) pk q n k Czyli w przybliżeniu niepewność statystyczna liczby odliczeń k można zapisać jako łatwy do zapamiętania wzór: Δ k k Przykład: niepewność zliczeń binu histogramu σ 2 np =np (1 p) s 2 (S(np))=k ( 1 k n ) lim n W n k=f (k)= λk k! e λ

8 Dokładniejsza interpretacja niep. statyst. KADD 2016, Wykład 9 8 / 26 Jak pamiętamy, dla dużych k rozkład Poissona można przybliżyć rozkładem Gaussa o parametrach: μ=λ, σ 2 =λ Dopóki liczba k nie jest zbyt mała (np. większa od 20, ale dużo mniejsza od n!) rozkład Poissona liczby k z parametrem λ możemy uważać za rozkład normalny zmiennej losowej X o powyższych parametrach czyli zmienna skokowa zastąpiona jest zmienną ciągłą. Gęstość prawdopodobieństwa wynosi wtedy: f (x; λ)= 1 λ 2 π exp ( ) (x λ)2 2 λ Za pomocą tej gęstości możemy zdefiniować granice przedziału ufności przy zadanym poziomie ufności 1 α P(λ m λ λ p )=1 α Prawdopodobieństwo wystąpienia prawdziwej wartości λ wewnątrz przedziału ograniczonego liczbami (λ m,λ p ) jest równe poziomowi ufności 1 α Odpowiada to warunkom: P(x>k λ=λ p )=1 α 2 P(x<k λ=λ m )=1 α 2

9 Dokładniejsza interpretacja niep. statyst. Odpowiada to warunkom: P(x>k λ=λ p )=1 α 2 P(x<k λ=λ m )=1 α 2 Można pokazać, że: Po dłuższych przekształceniach (Brandt) zakładająć σ 2 =k można pokazać, że na poziomie ufności 1 α=68,3 % (czyli na poziomie 1σ), prawdziwa wartość k znajduje się w przedziale: Gdy nie jest spełniony warunek o dużym k (tj. nie przybliżamy Poissona rozkładem Gaussa), badamy rozkład: f (n ;λ)= λn n! e λ Można dowieść, że: α 2 =F (k+1; λ p) 1 α 2 =F (k ;λ m) Aby wyznaczyć λ p,λ m należy rozwiązać powyższe równania (numerycznie) - obliczyć funkcję odwrotną do rozkładu Poissona przy α ustalonym k i zadanym prawdopodobieństwie (u nas i ) KADD 2016, Wykład 9 α 2 =ψ 0( k λ p σ ) 1 α 2 =ψ 0( k λ m σ ) ψ 0 F - dystrybuanta rozkładu normalnego (k k, k+ k ) - dystrybuanta rozkładu Poissona k 1 F (k ; λ)= n=0 f (n ;λ)=p(k<k) 2 1 α 2 9 / 26

10 Pobieranie próbki w obecności tła W wielu doświadczeniach spotykamy się też z sytuacją, kiedy nie możemy okreslić, czy zaobserwowane zdarzenia są tego rodzaju jakie badamy (sygnał) lub innego typu (tło) np. Badamy rozpad promieniotwórczy danego izotopu, ale mamy domieszkę innego typu, która rozpada się analogicznie Mamy więc wartość oczekiwaną liczby zdarzeń daną rozkładem Poissona w postaci sumy: λ=λ S +λ T Celem doświadczenia jest wyznaczenie ie możemy skorzystać z poprzednich rozważań w celu wyznaczenia granic przedziału ufności Prawdopodobieństwo zaobserwowania n zdarzeń: λ S n=n S +n T f (n ;λ S +λ T )= 1 n! e (λ S+λ T ) (λ S +λ T ) n Prawdopodobieństwa sygnału i tła: KADD 2016, Wykład 9 f (n S ; λ S )= 1 n S! e (λ S) (λ S ) n S f (n T ;λ T )= 1 n T! e (λ T) (λ T ) n T 10 / 26

11 KADD 2016, Wykład 9 Pobieranie próbki w obecności tła 11 / 26 Wiemy, że przy liczbie k zanotowanych przypadków, tło nie może tej liczby przewyższać. Wtedy wzór na tło zastępujemy wzorem: f ' (n T ;λ T )= f (n T ; λ T ) k n T =0 f (n T ; λ T ) W analogiczny sposób zastępujemy wzór zaobserwowania n zdarzeń: f '(n ;λ S +λ T )= f (n; λ S+λ T ) k n T =0 Możemy teraz obliczyć granice przedziału λ ms, λ psufności poszukiwanego parametru λ S na poziomie ufności 1 α: α 2 =F '(k+1; λ ps+λ T ) 1 α 2 =F ' (k ;λ ms+λ T ) f (n T ; λ T ), n T k, n T k k 1 F '(k ; λ s +λ t )= f ' (n; λ s +λ t )=P(k<k) n=0 F ' - dystrybuanta rozkładu f'

12 Metoda największej wiarygodności

13 KADD 2016, Wykład 9 Funkcja wiarygodności 13 / 26 Do tej pory zajmowaliśmy się estymacją parametrów rozkładów, wprowadziliśmy estymatory i warunki, jakie powinny spełniać. ie zajmowaliśmy się natomiast sposobem ich konstruowania (oprócz estymatora wartości oczekiwanej i wariancji) Problem ogólny: mamy zbiór p parametrów: określony gęstością prawdopodobieństwa: dla n zmiennych losowych: λ =(λ 1, λ 2,...,λ p ) Jeden pomiar wielkości X, czyli pobranie próby o liczności 1, prowadzi do uzyskania wyniku X ( j) ( =( X 1 =x j) ( 1, X 2 =x j) ( 2,..., X n =x j) n ) Takiemu doświadczeniu przypisujemy liczbę: dp ( j) =f ( X ( j) ; λ )dx X=( X 1, X 2,..., X n ) f =f (x ; λ) Która jest tzw. prawdopodobieństwem a posteriori. Mówi ona po uzyskaniu wyniku, jakie było prawdopodobieństwo jego uzyskania

14 KADD 2016, Wykład 9 Funkcja wiarygodności 14 / 26 Takiemu doświadczeniu przypisujemy liczbę: dp ( j) =f ( X ( j) ; λ )dx Która jest tzw. prawdopodobieństwem a posteriori. Mówi ona po uzyskaniu wyniku, jakie było prawdopodobieństwo jego uzyskania, czyli wartości X ( j) ( takiej, że: x j) i < x ( j) ( x j) ( i +dx j) i, (i=1,2,...,n) Dla próby o niezależnych elementach omawiane prawdopodobieńśtwo uzyskania wyniku iloczynem: dp= f (x ( j) ; λ )d x x ( j), x (1),..., x ( ) dane jest Gdy populacja jest charakteryzowana przez dwa różne zbiory parametrów,, wtedy możemy określić iloraz wiarygodności: Q= λ 1, λ 2 f (x ( j) ;λ 1 )d x f (x ( j) ;λ 2 )d x Możemy go określić: zbiór parametrów λ 1jest Q razy bardziej prawdopodobny niż zbiór parametrów λ 2

15 Funkcja wiarygodności Takiemu doświadczeniu przypisujemy liczbę: dp ( j) = f ( X ( j) ; λ ) dx Funkcją wiarygodności nazywamy iloczyn postaci: L= f ( x ( j) ; λ) Funkcja wiarygodności jest zmienną losową (jest funkcją próby) Przykład: iloraz wiarygodności rzut asymetryczną monetą na podstawie rzutu asymetryczną monetąii wyników tych rzutów chcemy ustalić, czy moneta należy do klasy A lub klasy B załóżmy, że próba to 5 rzutów: 1 orzeł i 4 reszki stąd funkcja wiarygodności: L A = 1 3 ( 2 3 ) 4 L B = 2 3 ( 1 3 ) 4 Q= L A z duzą dozą prawdopodobieństwa moneta należy do klasy A KADD 2016, Wykład 9 L B =8 A orzeł 1/3 2/3 reszka 2/3 1/3 B 15 / 26

16 KADD 2016, Wykład 9 Metoda największej wiarygodności 16 / 26 ajwiększą ufnością obdarzamy zbiór parametrów, dla którego funkcja wiarygodności osiąga maksymalną wartość Jak wyznaczyć maksimum? warunek konieczny: przyrównać pierwszą pochodną L do zera Różniczkowanie iloczynu jest jednak niewygodne, wprowadzamy więc logarytm funkcji wiarygodności L: l=ln L= ln f ( x ( j ) ;λ) Funkcją wiarygodności jest odpowiednikiem gęstości prawdopodobieństwa, tylko określona dla parametrów. Ponieważ jest funkcją próby losowej, jest również zmienną losową L(λ) L(λ) λ max λ λ 3 max λ 1 max λ 2 max λ

17 KADD 2016, Wykład 9 Metoda największej wiarygodności 17 / 26 W najprostszym przypadku wektor parametrów λ ma tylko jedną składową λ Musimy wtedy rozwiązać równanie wiarygodności: Czyli: gdzie: l '= d d λ ln f (X( j ) ;λ)= jest pochodną logarytmiczną f względem λ f ' f = φ ( x ( j) ; λ )= ( d d λ f (x( j) ;λ) ) /( f (x ( j) ;λ)) φ(x ( j) ; λ) l '= dl d λ =0 W przypadku gdy wektor λ ma p składowych, mamy układ p równań: l λ i =0, i=1,2,, p Przykład: powtarzanie pomiarów o różnej dokładności pomiar danej jednej wielkości różnymi przyrządami pomiarowymi: pomiary X ( j) będą się układały wokół wartości rzeczywistej λ niepewności bedą miały rozkład normalny X ( j) X ( j) mamy 1 wielkość, więc z wektora robi się jedna zmienna

18 Metoda największej wiarygodności Przykład: powtarzanie pomiarów o różnej dokładności pomiar danej wielkości różnymi przyrządami pomiarowymi: pomiary X ( j) będą się układały wokół wartości rzeczywistej λ niepewności bedą miały rozkład normalny Wniosek: pojedynczy pomiar to pobranie próby o liczebności 1 z rozkładu Gaussa o wartości średniej λ i wariancji σ j Prawdopodobieństwo a posteriori możemy zatem wyrazić jako: dp ( j) =f ( X ( j) ; λ)dx= 1 2 π σ j exp( ( X( j) λ) 2 ) 2 2σ dx j Zatem dla pomiarów funkcja wiarygodności wynosi: L= 1 2 π σ j exp( ( X( j) λ) 2 2 σ j 2 ) KADD 2016, Wykład 9 18 / 26

19 KADD 2016, Wykład 9 Metoda największej wiarygodności 19 / 26 Logarytmiczna funkcja wiarygodności: l= 1 2 ( X ( j) λ ) 2 σ j 2 Konstruujemy równanie wiarygodności: dl d λ = Którego rozwiązanie to: X ( j) λ σ j 2 =0 +const ~ λ= x ( j) 2 σ / j 1 σ j 2 Wniosek: wynik najbardziej wiarygodny jest średnią ważoną pomiarów, gdzie wagi są odwrotnościami wariancji poszczególnych pomiarów

20 KADD 2016, Wykład 9 ajbardziej wiarygodny wynik Logarytmiczna funkcja wiarygodności wynosi: l= 1 2 ( X ( j) λ) 2 +const 2 σ j Równanie wiarygodności przybiera postać: dl d λ = A jego rozwiązanie to: x ( j) λ σ j 2 =0 ~ λ= x ( j) 2 σ / j Czyli wynik najbardziej wiarygodny jest średnią ważoną pomiarów tej samej cechy, gdzie waga każdego pomiaru jest odwrotnością jego wariancji 1 σ j 2

21 Uśrednianie wielu pomiarów przykład S. Eidelman et al., Phys. Lett. B 592, 1 (2004) Pomiar stałej sprzężenia oddziaływań silnych szukanie najbardziej wiarygodnego wyniku uśredniamy wszystkie wyniki z różnych pomiarów ważąc je odwrotnością wariancji KADD 2016, Wykład 9

22 KADD 2016, Wykład 9 Przykład z rozkładem dyskretnym 22 / 26 Czasami nasze zjawisko opisywane jest rozkładem dyskretnym estymowany parametr może przyjać tylko dyskretne wartości Przykład: ze stawu, w którym pływa ryb wyłowiono wpierw K ryb i po ich zaznaczeniu wpuszczono je z powrotem. W krótkim odstępie czasu wyłowiono n ryb, z których k było znaczonych. Prawdopodobieństwo wynosi: W n,k =L(k ;n, K, )= ( )( K ) k n k Znaleźć musimy taką wartość, dla której funkcja L osiąga maksimum. Zbadajmy iloraz: L(k ;n, K, ) ( n)( k) = L(k ;n, k, 1) ( n K +k) ( n ) Jest on mniejszy od 1, gdy k>nk i większy od 1, gdy Czyli maksimum L osiagnie dla wart. całk. najbliższej k<nk nk /k

23 ierówność informacyjna

24 ierówność informacyjna Pytanie: jak skonstruować estymator o optymalnych własnościach? estymator jest nieobciążony, jeżeli wartość obciążenia dla każdej próby: B(λ)=E(S) λ=0 oraz (estymator zgodny) wariancja estymatora jest jak najmniejsza (dąży do 0 dla liczebności próby losowej dążacej do nieskończoności): σ 2 (S) - minimalna bardzo często istnieje jednak związek pomiędzy obciążeniem a wiarancją i musimy szukać kompromisu taki związek nazywamy nierównością informacyjną Oczywiste jest, że wariancja przybiera minimalną wartość, kiedy estymator jest stałą (wtedy wariancja wynosi po prostu 0) Rozpatrzmy estymator: Który jest funkcją próby: Łączna gęstość prawdopodobieństwa próby: f (x (1), x (2),..., x ( ) ; λ)=f (x (1) ; λ) f (x (2) ;λ)...f (x ( ) ; λ) KADD 2016, Wykład 9 S( X (1), X (2),..., X ( ) ) X=( X (1), X (2),..., X ( ) ) 24 / 26

25 KADD 2016, Wykład 9 ierówność informacyjna 25 / 26 Wartość oczekiwana estymatora S wynosi więc: E(S)= S( X (1), X (2),..., X ( ) ) f (x (1) ; λ) f ( x (2) ; λ)... f (x ( ) ;λ)dx (1) dx (2)... dx ( ) Wyrażenie E(S)=B(λ)+λ można zróżniczkować, po przekształceniu dostaniemy: 1+B ' (λ)= S( f ' ( x ( j) ; λ) ) f ( x ( j) ; λ) f (x(1) ; λ) f ( x ( ) ; λ)dx (1) dx (2) dx ( ) { =E S f ' ( x ( j) ; λ) f ( x ( j) ; λ) } =E { S astępnie po dłuższych przekształceniach nierówność: (B' (λ)+1) 2 σ 2 (S) I (λ) l '= φ(x ;λ)} ( j) =E (S l ' ) d d λ ln f (X( j ) ;λ)= f ' f = φ ( x ( j) ; λ )= ( d d λ f (x( j) ;λ) ) /( f (x ( j) ;λ)) φ(x ( j) ; λ) Gdzie informacja próby ze względu na λ: I (λ)=e(l ' 2 )=E(( f ' (x ; λ) f (x ; λ) )2)

26 KADD 2016, Wykład 9 ierówność informacyjna 26 / 26 ierówność informacyjna: (B' (λ)+1) 2 σ 2 (S) I (λ)=e(l ' 2 I (λ) )=E(( f ' (x ; λ) f (x ; λ) )2) ierówność informacyjna to związek pomiędzy obciążeniem, wariancją i informacją zawartą w próbie Jest to definicja ogólna nie wybraliśmy żadnego szczególnego estymatytora. Prawa strona jest zatem dolnym ograniczeniem dla wariancji danego (dowolnego) estymatora ograniczenie to nazywamy ograniczeniem minimalnej wariancji albo ograniczeniem Cramea-Rao Kiedy obciążenie nie zależy od λ, a w szczególności gdy znika (równa się zero), nierówność redukuje się do: σ 2 (S) 1 I (λ)

27 KOIEC