GRANICE I PRZEDZIAŁY UFNOŚCI Roman Nowak

Transkrypt

1 GRANICE I PRZEDZIAŁY UFNOŚCI Roman Nowak Klasyczne przedziały ufności konstrukcja neymanowska i inne podejścia klasyczne ich blaski i cienie Bayesowskie przedziały wiarogodności (credible intervals) Limit na masę cząstki Higgsa RJN Granice... 1

2 Przedział ufności wprowadzenie Pomiar przekroju czynnego σ = µ/lε, µ oczekiwana liczba zdarzeń, ε efektywność detekcji, L świetlność. Poissonowski model z parametrem µ dla liczby k zliczeń. Eksperyment k = 3. Jakie wartości µ zgodzimy się zaakceptować? P P P ( k 3 µ ) ( k µ ) ( k µ ) = 5 0,265 3 = 10 0,010 3 = 13 0,001 P P P ( k µ = ) ( k 3 µ 0,50) ( k µ ) 3 1,00 0,082 = 0,014 3 = 0,20 0, 001 Konkluzja: przedział ufności µ [0,5; 10,0] na poziomie ufności 1 α = 1 0,010 0,014 = 0,976 Jaką wartość α mam wybrać? RJN Granice... 2

3 Przedział ufności (Neyman, 1937) Recepta: zmienna losowa x o rozkładzie f x (x θ), trzy zadane liczby: 0 < α < 1 oraz 0 < β < γ < 1, takie Ŝe: γ β = 1 α, przy ustalonej wartości θ, wynik x 0 pomiaru ustanawiamy kwantylami x β i x γ rzędu β i rzędu γ rozkładu f(x θ): ( x ), ( x ) P x θ = β P x θ = γ 0 0 (kwantyl x p rzędu p to taka wartość x p zmiennej x, Ŝe P(x x p ) = p) rozwiązania obu równań względem θ, wyznaczaja przedział ufności [θ min, θ max ] na poziomie ufności 1 α ( β x γ ) ( min max 0 ) (?? ) 1 α = P x x θ = P θ θ θ x? RJN Granice... 3

4 Konstrukcja Neymana Przy ustalonej wartości θ, wyznaczamy kwantyle x β i x γ : P( x xβ θ ) = β, P( x xγ θ ) = γ Przykład rozkład wykładniczy: P P ( x β τ ) x β x β 1 x x = exp d x = β τ τ ( x γ τ ) 0 ( β ) = τ ln 1 x γ 1 x x = exp d x = γ τ τ x γ 0 ( γ ) = τ ln 1 τ max τ τ min Wykres konstruujemy w poziomie, przedziały ufności odczytujemy w pionie. x β x 0 x γ RJN Granice... 4

5 Dolna i górna granica Dolna granica obszaru ufności, gdy: x β = (rząd β = 0) ( x ) = [ ] P x θ γ θ θ, 0 min jednostronny przedział ufności na poziomie ufności γ ( = 1 α) Górna granica obszaru ufności, gdy: x γ = (rząd γ = 1) ( x ) = [, ] P x θ β θ θ 0 max jednostronny przedział ufności na poziomie ufności 1 β ( = 1 α) τ τ min τ max τ x 0 x β x 0 x γ RJN Granice... 5

6 Dolna i górna granica przykład Wyznaczanie efektywności detektora Model dwumianowy: prawdopodobieństwo k sukcesów w n próbach. PoŜądamy oceny parametru p: k p ± s = ± ( 1 p) pˆ ˆ, ˆ pˆ n n 1 ale: pˆ 0, k = 0, ± sp ˆ = 1, k = n, ± 0!!! RozwaŜny student: n n β = 0 P( k = 0 p) = ( 1 p) = 1 α p 0;1 1 α n n γ = 1 P( k < 100 p) = p = 1 α p 1 α;1 Dla n = 100 oraz 1 α = 0,95: p max 0,03, p min 0,97 Jeszcze bardziej rozwaŝny student: a moŝe naleŝałoby wyznaczyć granice takŝe wtedy, gdy k = 1, 2, 3,...? RJN Granice... 6

7 Przedział ufności interpretacja Zapis konwencjonalny: P x β γ = θ θ θ = 1 α τ max τ ( x x θ ) P( min max x0 ) czas Ŝycia τ min 0 x β x 0 x γ numer "pomiaru" Liczba 1 α określa prawdopodobieństwo: Ŝe przedział [θ min, θ max ], zawiera (pokrywa) parametr θ, a nie prawdopodobieństwo znalezienia parametru w tym przedziale!!! RJN Granice... 7

8 Odkrycie (przez prasę) cząstki Higgsa Dwie hipotezy: H 0 istnieje cząstka Higgs z masą około 115 GeV H 1 cząstka ta jest znacznie bardziej masywna lub nie istniej Wynik doświadczalny: P(dane jak są lub obserwacja bardziej ekstremalna H 1 ) = 1% Prasa: P(H 1 dane) = 1%, ergo: P(H 0 dane) = 99% ( ) P ( B A) P A B RJN Granice... 8

9 Przedział ufności wariant I Skoro γ β = 1 α, mamy jeden parametr swobodny Konwencja centralnego przedziału α α β =, γ = zalecana (obok konwencji uporządkowanego stosunku λ max wiarogodności) przez PDG zastosowania ograniczone do λ jednego parametru i jednej λ min zmiennej x β x 0 x γ przedziały niezmiennicze przy zamianie zmiennej i współzmiennicze przy reparametryzacji, np. dla rozkładu wykładniczego, 1 α = 0,9, τ = 1, x 0 = 1: przedział centralny: τ [0,33; 19,50], λ [0,05; 3,0] RJN Granice... 9

10 Przedział ufności wariant II Konwencja najkrótszego przedziału P P 1 ( x x0 θ ) = γ θmax = P ( x0,1 α + β ) 1 ( x x θ ) = β θ = P ( x, β ), 0 min 0 moŝemy więc poszukiwać przedziału o najkrótszej długości θmax θmin = min( β ) definiowalny w przypadku wielu parametrów trudne obliczenia granice zaleŝą od parametryzacji np. dla rozkładu wykładniczego, 1 α = 0,9, τ = 1, x 0 = 1: przedział centralny: τ [0,33; 19,50], λ [0,05; 3,0] przedział najkrótszy: τ [0; 9,5], λ [0; 2,3] RJN Granice... 10,

11 Przedział ufności wariant III Konwencja równej gęstości ( β θ ) = L( xγ θ ) L x γ β = 1 α ( β θ ) = L( x1 α + β θ ) L x zazwyczaj krótszy niŝ przedziały centralne L(x θ) 1 α definiowalny w przypadku wielowymiarowym trudne obliczenia x β x γ x granice zaleŝą od zmiennej losowej RJN Granice... 11

12 Przedział ufności wariant IV Konwencja symetrycznego przedziału: ˆ θ θ = θ ˆ θ ˆ θ ocena parametru θ min max Atrakcyjny koncept, bo opisuje rodzaj symetrycznej niepewności ograniczenie do jednego parametru trudne obliczenia granice nie są współzmiennicze przy reparametryzacji RJN Granice... 12

13 Przedział ufności pokrycie Absolutnie niezbywalna własność w podejściu klasycznym Nie jest to problem dla zmiennej ciągłej: P(x β x x γ ) = 1 α Zmienna dyskretna: P k (p) = p(1 p) k 1, przedział centralny, α = 0,05, p = 0,5: k k α 2 1 α 2 ( α ) ( p) ( α ) ( p) ln 1 2 = = 0,036 ln 1 ( k ) 1 k ( ) α α 2 2 ln 2 = = 5,322 ln 1 P k k = P p = 6 k = 1 0,984 pokrycie 1,0 0,9 1 α = 0,95 0,0 0,5 1,0 parametr p Zgoda na pokrycie nadmierne (konserwatywny przedział) RJN Granice... 13

14 Parametr zakłócający (nuisance) Statystyka x o rozkładzie f(x θ,ϕ): θ przedmiot zainteresowania ϕ parametr uprzykrzający Ŝycie Formalne: wprowadzamy statystykę ϕ swobodną u dla parametru ϕ, a wtedy f(x θ,ϕ) g(u θ): mało realistyczne (zazwyczaj utrata informacji) Faktoryzacja: f(x θ,ϕ) = f y (y θ) f z (z ϕ) Zamiana parametru prowadząca do faktoryzacji Globalny przedział: dobry dla kaŝdej wartości ϕ trudne, nadmierne pokrycie projekcja Metoda często spotykana, ale błędna: ocenić ϕ z danych i podstawić gwałci pokrycie! θ RJN Granice... 14

15 Niefizyczne (puste) przedziały ufności Pomiar masy antyneutrino elektronowego z rozpadu trytu: ( ) m = 1,1 ± 2,4 ev 2 2 Centralny, gaussowski przedział ufności na poziomie 95%: θ, θ = x 1,96 σ ; x + 1,96σ [ ] [ ] min max 0 0 Gdyby 2,4 ev 2 0,6 ev 2, to m 2 [ 2,76; 0,08] ev 2. RJN Granice... 15

16 Eksperymenty zliczające s liczba przypadków sygnału, o rozkładzie Poissona P(s µ) N α = 0,1 P( s N µ ) = P ( s µ ) = α µ max = 2,30 s= 0 N = 0 b liczba przypadków tła, o rozkładzie Poissona P(b λ) n = s + b suma, podlega rozkładowi Poissona P(n µ + λ) N P ( n N µ + λ ) = P ( n µ + λ ) = α n= 0 N = 0, α = 0,1 λ = µ max = 2,3 1,3 0,3 0,7 RJN Granice... 16

17 Krótki kurs teorii testów Własności testów: moc prawdopodobieństwo odrzucenia falszywej hipotezy zgodność moc testu dąŝy do jedności ze wzrostem próbki brak obciąŝenia szansa zaakceptowania fałszywej hipotezy H 0 jest mniejsza niŝ szansa jej odrzucenia gdy jest prawdziwa Doskonałe narzędzie do produkcji przedziałów ufności!!! Stosunek wiarogodności R(x θ 0 ) ( θ ) R x L ( x θ ) 0 0 = 1 L ( x ˆ θ ) MW statystyka jednostajnie najmocniejszego, zgodnego i nieobciąŝonego testu hipotezy H 0 (θ = θ 0 ) przeciw H 1 (θ θ 0 ). RJN Granice... 17

18 Przedział ufności wariant V Konwencja selektywnego przedziału Minimalizuje ryzyko błędu drugiego rodzaju z minimalnym prawdopodobieństwem (na pewno mniejszym niŝ 1 α) zawiera nieprawdziwą wartości parametru θ potęŝny i atrakcyjny koncept, ale niełatwy do wprowadzenia w Ŝycie, jeśli nie istnieje statystyka dostateczna przedział niezmienniczy względem zmiennej i współzmienniczy przy reparametryzacji Konwencja uporzadkowanego stosunku funkcji wiarogodności (likelihood ratio ordering), zwana podejściem zunifikowanym, daje przedziały selektywne RJN Granice... 18

19 Podejście zunifikowane I Feldman i Cousins: konstrukcja Neymana w poziomie Przykład: rozkład Poissona P(n µ + λ) z tłem dla µ = 0,5 oraz λ = 3, 1 α = 0,9 i µ MW = max(0; n λ) o włączeniu wartości n decyduje statystyka R(n θ, λ) n P (n µ + λ ) µ MW P (n µ MW + λ ) R ranga 0 0, ,050 0, , ,149 0, , ,224 0, , ,224 0, , ,195 0, , ,175 0, , ,161 0,480 7 RJN Granice... 19

20 Podejście zunifikowane II RJN Granice... 20

21 Podejście zunifikowane III Granice dla wartości oczekiwanej w rozkładzie Gaussa % µ min i µ max % 95% 68% wartość zmierzona x RJN Granice... 21

22 Podejście zunifikowane IV Własności: eliminuje decyzję przerzutnikową (gwałcącą pokrycie) eliminuje niefizyczne przedziały N = 0, α = 0,1 metoda λ = pre FC µ max = 2,3 1,3 0,3 0,70 zunifikowana µ max = 2,44 1,61 1,26 1,08 Ale: jest niekonsystentne: im mniejsze tło, tym szerszy przedział niekiedy ( tłuste ogony) produkuje rozłączne przedziały nie uwzględnia niepewności tła (ocena λ z pomiaru) nie podaje recepty na parametry zakłócające RJN Granice... 22

23 Prawdopodobieństwo wg. Bayesa Definicja prawdopodobieństwa warunkowego P(A B) ( ) ( x θ ) zθ ( θ ) z ( x) L f θ x, z x x θ z θ dθ θ ( ) ( ) = ( ) = ( ) ( ) P A B P B P A B P B A P A Twierdzenie Bayesa dla zdarzeń losowych: ( ) P A B i dla zmiennych losowych: ( ) ( ) P( B) P B A P A = = x x f θ (θ x) rozkład a posteriori, z θ (θ), z x (x) rozkłady a priori = ( ) L( ) ( ) θ RJN Granice... 23

24 Przedział wiarogodności Konwencjonalny wybór równa gęstość, ale teŝ moŝe być centralny, symetryczny Efekty systematyczne: f (θ x 0 ) 1 α ( x ) ( θ x, ϕ ) ( ) = f θ f z ϕ dϕ θ 0 θ 0 ϕ Pokrycie? W tym podejściu bez znaczenia Niefizyczny przedział? Uwzględnijmy to w gęstości a priori θ β θ γ θ Jeden problem ile wynosi gęstość a priori? RJN Granice... 24

25 Gęstość a priori Laplace zasada niedostatecznej racji, np. dla rozkładu dwumianowego z p (p) = const, ale co z z η (η), jeśli η = p 2? Jeffreys niezmienniczość gęstości a priori względem reparametryzacji modelu z(µ) = const oraz z(σ) = 1/σ dla rozkładu Gaussa, z(µ) = µ 1/2 (rozkład Poissona) Jaynes zasada maksymalnej entropii problem wariacyjny ( θ ) ( θ ) ( θ ) θ ( θ ) S = zθ zθ d = zθ Bernardo gęstość referencyjna przyrost informacji (odległość Kullbacka-Leiblera) problem wariacyjny ( ) ( ) ln f θ θ x fθ θ x dθ zθ ( θ ) Typowy fizyk to, na co pozwala mu jego wiedza i jego doświadczenie Ŝyciowe (czyli najczęściej: z θ (θ ) = const) ln max ( ) RJN Granice... 25

26 Metoda Bayesa przy pracy Rozkład Poissona: P(n µ + λ) = L(n µ,λ) z tłem, z µ (µ) = const µ 0 f µ ( µ n, λ ) = P N k= 0 ( n µ + λ ) P ( k λ ) ( ) ( ) 1 α f µ n, λ dµ α f µ n, λ = = µ µ n= 0 N = 0, α = 0,1 metoda λ = pre FC µ max = 2,30 1,30 0,30 0,70 zunifikowana µ max = 2,44 1,61 1,26 1,08 bayesowska µ max = 2,30 2,30 2,30 2,30 N RJN Granice... 26

27 Która metoda? Podejście klasyczne stosuje Ŝelazną logikę i metody nie do zakwestionowania w rozwiązaniu problemu, w którym nikt nie jest zainteresowany Podejście bayesowskie uŝywa szemranych metod, aby uzyskać odpowiedzieć na pytanie, w którym wszyscy są zainteresowani RJN Granice... 27

28 Która metoda? RóŜnice natury psychologiczne dwa róŝne światy Zalecenie generalne: konsument/producent musi być świadom swego wyboru, a więc: analiza bayesowska czy klasyczna jeśli bayesowska postać rozkładów a priori który z wariantów, jak zmodernizowany klarowna procedura ze wszystkimi szczegółami apel o postać funkcji wiarogodności poparcie dla dwóch klas analiz RJN Granice... 28

29 Ograniczenia na masę cząstki Higgsa I Funkcja wiarogodności: N c liczba procesów fizycznych N i,bin liczba przedziałów histogramu w i-tym procesie n N N c i, bin ij η L θ ij ij θ ij θ n! ij ηij ( n R, θ ) = e, η = Rµ ( θ ) + λ ( θ ) i= 1 j= 1 ij R snsitivity factor = σ /σ SM Rozkłady a priori: f θ (θ θ 0,Σ ) gaussowski kształt z korelacjami z R (R) rozkład jednostajny 1 fr ( R n) ( n R, ) f (, ) zr ( R) d n L θ θ θ θ = θ 0 Σ zn ( ) RJN Granice... 29

30 Ograniczenia na masę cząstki Higgsa II RJN Granice... 30

31 Podsumowanie If your experiment needs statistics, you ought to have done a better experiment." Ernest Rutherford RJN Granice... 31