Komputerowa aaliza daych doświadczalych Wykład 7 8.04.06 dr iż. Łukasz Graczykowski lgraczyk@if.pw.edu.pl Semestr leti 05/06
Cetrale twierdzeie graicze - przypomieie Sploty Pobieraie próby, estymatory
Cetrale twierdzeie graicze
Cetrale twierdzeie graicze Dlaczego rozkład ormaly jest tak waży w rachuku prawdopodobieństwa i statystyce? Mówi o tym cetrale twierdzeie graicze (ag. cetral limit theorem) jedo z ajważiejszych twierdzeń rachuku prawdopodobieństwa: jeżeli zmiee losowe Xi są zmieymi iezależymi o jedakowych wartościach średich a i odchyleiach stadardowych b, to rozkład ormaly ma zmiea: X =lim X i E ( X )=a, σ ( X )=b i= poadto, zmiea ξ= X =lim X i i= ma rozkład ormaly z: E ( ξ)=a, σ (ξ)=b / Iymi słowy mając iezależych zmieych o jedakowym (dowolym!) rozkładzie, to ich suma dla dużych zbiega do rozkładu ormalego KADD 06, Wykład 7 4 / 6
Cetrale twierdzeie graicze przykład Wyobraźmy sobie eksperymet polegający a rzucie kostką (kostkami) i obserwowaiu całkowitej liczby oczek: koleje rzuty kostką (kostkami) są iezależe jeśli rzucamy kostką jedokrotie (albo kostką), to prawdopodobieństwo uzyskaia daej wartości jest jedakowe jeśli rzucamy kostką dwukrotie (albo kostkami), to prawdopodobieństwo uzyskaia sumy oczek ie jest już jedakowe jeśli rzucimy kostką -krotie (-kostkami) rozkład ormaly KADD 06, Wykład 7 5 / 6
Sploty
Suma zmieych losowych jako splot W doświadczeiach eksperymetalych bardzo często mamy do czyieia z sumą dwóch zmieych losowych Na przykład rozpad cząstek ietrwałych opisay jest pewym kątem rozpadu, wyikającym ze statystyczego charakteru zjawiska fizyczego, zaś iepewość jego pomiaru z iedokładośi przyrządu. Obserwoway rozkład jest splotem dwóch rozkładów Rozważmy zmieą losową: U = X +Y Zakładamy iezależość zmieych: f ( x, y)=f x ( x) f y ( y) Wtedy dystrybuata zmieej U: może być wyzaczoa jako pole powierzchi: y F (u)=p (U u)=p ( X +Y u)= = f x ( x) f y ( y) dx dy A = f x ( x )dx = f y ( y )dy KADD 06, Wykład 7 A u x f y ( y )dy u= x+ y x u y f x ( x) dx 7 / 6
Suma zmieych losowych jako splot Z dystrybuaty wyzaczamy fukcję gęstości zmieej U: df (u) f (u)= = f x ( x) f y (u x) dx= f y ( y ) f x (u y )dy (f x f y )(u) du Fukcja f(u) tak zdefiiowaa jest splotem fukcji fx(x) i fy(y) Powyższy wzór będzie prawdziwy rówież wówczas, jeżeli zmiee X i Y są zdefiiowae tylko w pewym zwartym obszarze (wtedy ustalamy odpowiedie węższe i skończoe, graice całkowaia) Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie } { 0 y < f y ( y)=, 0, w przeciwym razie } f (u)= f x ( x) f y (u x) dx= 0 = f y (u x) 0 KADD 06, Wykład 7 8 / 6
Suma zmieych losowych jako splot Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie { } 0 y < f y ( y)=, 0, w przeciwym razie f (u)= f x ( x) f y (u x) dx= f y (u x ) 0 0 v=u x dv = dx u } u f (u)= f y ( v) dv= f y ( v)dv u u Zmiea u zmieia się od 0 do, zatem rozważmy przypadki: u u (a) 0 u < : f (u)= f y ( v)dv = dv=u 0 0 (b) u < : f (u)= f y (v) dv= dv= u u KADD 06, Wykład 7 u 9 / 6
Suma zmieych losowych jako splot Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie { } 0 y < f y ( y)=, 0, w przeciwym razie f (u)= f x ( x) f y (u x) dx= f y (u x ) 0 0 v=u x dv = dx u } u f (u)= f y ( v) dv= f y ( v)dv u u Zmiea u zmieia się od 0 do, zatem rozważmy przypadki: u u (a) 0 u < : f (u)= f y ( v)dv = dv=u 0 0 (b) u < : f (u)= f y (v) dv= dv= u u KADD 06, Wykład 7 u 0 / 6
Suma zmieych losowych jako splot Aalogiczie będzie z sumą trzech zmieych losowych: { / u, 0 u< f (u)= / ( u +6 u 3 ), u< / ( u 3 ), u<3 } Zgodie z CTG im więcej rozkładów w splocie, tym bardziej rozkład sumy przypomia rozkład Gaussa: u=x u=x+x u=x+x+x3 u=x+x+x3+x4 KADD 06, Wykład 7 / 6
Sploty z rozkładem ormalym Przykład: Mierzymy zmieą X opisaą gęstością prawdopodobieństwa fx(x). Pomiar obarczoy jest iepewością Y mającą rozkład ormaly. Wyik jest zatem sumą zmieych losowych: U = X +Y Gęstość prawdopodobieństwa zmieej U wyosi wtedy: (u x) f (u)= f x ( x) f y (u x) dx= f x ( x)exp dx π σ σ ( ) Problem: eksperymetalie otrzymujemy fukcję f(u), ale tak aprawdę iteresuje as fx(x). Jak ją wyzaczyć? w ogólym przypadku jest to iemożliwe moża tego dokoać dla pewej ograiczoej klasy fukcji f(u) ajczęściej posługujemy się tutaj metodami Mote Carlo KADD 06, Wykład 7 / 6
Sploty z rozkładem ormalym przykład Przykład: Splot rozkładu jedostajego z rozkładem ormalym (o średiej rówej 0) W tym przypadku możliwe jest rozwiązaie aalitycze. Korzystamy ze wzorów: f ( x)= ; x a, b b a g ( y)= e y / σ π σ h (u)= f ( x) g (u x) dx f ( x)=0 ; x ℝ a, b Wtedy, wprowadzając zmieą v=( x u)/ σ otrzymujemy: (b u)/ σ b h (u)= exp ( (u x) / σ ) dx= exp v dv b a π σ a b a π (a u) /σ ( Zaś uwzględiając dystrybuatę rozkładu ormalego: h (u)= ( ( b u a u Φ0 σ Φ0 σ b a ) ( ) f(x) )) h(u) KADD 06, Wykład 7 3 / 6
Sploty z rozkładem ormalym przykład Przykład: Splot dwóch rozkładów ormalych dodawaie iepewości w kwadracie Splot dwóch rozkładów ormalych o wartościach średich rówych 0 i wariacjach σ x, σ y ma postać rozkładu ormalego: f (u)= exp ( u / σ ), σ =σ x +σ y π σ Widzimy, że wariacje się dodają (odchyleia std. dodają się w kwadracie) Jeśli średie rozkładów róże od 0 wartości oczekiwae rówież się dodają KADD 06, Wykład 7 4 / 6
Zastosowaie splotów Cyfrowe przetwarzaie obrazów Akustyka Muzyka elektroicza W fizyce gdzie się pojawia superpozycja W plaowaiu radioterapii (rozkłady dawki) KADD 06, Wykład 7 5 / 6
Pobieraie próby
Pobieraie próby W przypadku pomiarów eksperymetalych ajczęściej ie zamy rozkładu prawdopodobieństwa opisującego day pomiar (p. parametru rozkładu Poissoa w rozpadach promieiotwórczych, czy parametrów rozkładu Gaussa opisującego jakąś populację) Te parametry chcemy wyzaczyć doświadczalie, ie jesteśmy jedak w staie zebrać ieskończeie wiele pomiarów W kosekwecji jesteśmy zmuszei przybliżać rozkład gęstości za pomocą rozkładu częstości (histogramu o skończoej liczbie wejść) Próbą (ag. sample) azywamy zespół doświadczeń wykoywaych w celu określeia kształtu (parametrów) poszukiwaego rozkładu: próba otrzymywaa jest poprzez wybór elemetów z (często ieskończoego) zbioru wszystkich możliwych doświadczeń (wszystkich możliwych pomiarów), zwaego populacją geeralą próbę o składikach azywamy próbą -wymiarową KADD 06, Wykład 7 7 / 6
Pobieraie próby Cała sztuka polega a odpowiedim wybraiu próby z populacji, by aproksymacja rozkładu gęstości była jemu jak ajwieriejsza Załóżmy, że rozkład zmieej losowej X opisyway jest fukcją f(x) iteresują as wartości zmieej X uzyskae przez poszczególe elemety próby Pobieramy l prób, każda o wymiarze, i zaobserwowaliśmy astępujące wartości zmieej X: () ( ). próba : X (), X,, X j -ta próba : X (j ), X (j ),, X (j) ( l) l -ta próba : X (l ), X (l),, X Każdą próbę możemy przedstawić jako wtektor (-wymiarową zmieą losową): X ( j)=( X ( j), X (j),, X (j)) Wektor ma rozkład gęstości prawdopodobieństwa: g ( x)=g ( x, x,, x ) KADD 06, Wykład 7 8 / 6
Pobieraie próby Aby moża było mówić o losowym pobieraiu próby: zmiee Xi muszą być iezależe, czyli: g ( x)=g ( x ) g ( x ) g ( x ) poszczególe rozkłady muszą być jedakowe i idetycze z rozkładem gęstości populacji: g ( x )=g ( x )= =g ( x )=f ( x) Należy podkreslić, że w rzeczywistym procesie pobieraia próby często bardzo trudo jest zapewić pełą losowość ie ma tutaj jedej recepty jak to zrobić (ależy starać się spełić powyższe waruki) Teraz zdefiiujemy pojęcia, które charakteryzują próbę losową: załóżmy, że mamy -elemetową próbę i odkładamy wyiki a osi liczb. Przez x ozaczmy taką liczbę wartości, które są miejsze iż pewa stała x, czyli mamy spełioą defiicję dystrybuaty:x x wielkość W ( x)= x / azywamy dystrybuatą empiryczą jest to fukcja schodkowa zwiększająca się o / dla każdej kolejej wartości z próby; dla dużych dąży do dystrybuaty KADD 06, Wykład 7 9 / 6
Pobieraie próby Teraz zdefiiujemy pojęcia, które charakteryzują próbę losową: załóżmy, że mamy -elemetową próbę i odkładamy wyiki a osi liczb. Przez x ozaczmy taką liczbę wartości, które są miejsze iż pewa stała x, czyli mamy spełioą defiicję dystrybuaty:x x wielkość W ( x)= x / azywamy dystrybuatą empiryczą jest to fukcja schodkowa zwiększająca się o / dla każdej kolejej wartości z próby; dla dużych dąży do dystrybuaty fukcję elemetów próby (czyli zmieej losowej X) azywamy statystyką ajważiejszym przykładem statystyki jest średia z próby (ag. sample mea) zdefiiowaa jako średia z elemetów próby: X = ( X + X + + X ) KADD 06, Wykład 7 0 / 6
Pobieraie próby - przykład Przykład wzrost Polaków Niewątpliwie wzrost Polaków (zmiea losowa X) podlega pewemu rozkładowi f(x) z dysteybuatą F(x) Pomiar wzrostu pojedyczego Polaka daje wartość x Jeżeli stworzymy -wymiarową próbę losową, tz. wybierzemy Polaków, to rozkład prawdopodobieństwa dla każdej z osób (od g(x) do g(x)) jest taki sam jak dla całej populacji i rówy f(x) Dla każdej tak skostruowaej próby możemy teraz policzyć jej W(x). Oczywiście im większe będzie, im więcej ludzi weźmiemy do aszej próby, tym rozkład wyliczoy z próby będzie bliższy rozkładowi rzeczywiście istiejącemu w populacji Zadaiem estymacji jest zalezieie takiej statystyki (a więc fukcji określoej a wektorze X), aby ajlepiej przybliżała oa rzeczywistą wartość parametru opisującego rzeczywisty rozkład zmieej losowej X KADD 06, Wykład 7 / 6
Estymatory Typowy problem aalizy daych: zamy (p. z prawa fizyczego) ogólą postać gęstości prawdopodobieństwa w daej populacji, ależy jedyie wyzaczyć parametry tego rozkładu. Przykład: mierzymy rozpad radioaktywy w czasie: N (t )= N 0 ( exp ( λ t )) parametr λ wyzaczamy a podstawie próby mierząc skończoą ilość razy ilość rozpadów w czasie wyik igdy ie będzie dokłady, bo próba jest skończoa, mamy problem estymacji parametrów poszukiwaa wielkość uzyskiwaa jest fukcją elemetów próby (statystyką) i jest azywaa estymatorem: S=S ( X, X,, X ) estymator jest ieobciążoy, jeżeli iezależie od liczebości próby jego wartość oczekiwaa jest rówa wartości estymowaego parametru: E ( S ( X, X,, X ) ) =λ, dla każdego estymator jest zgody, jeżeli jego wariacja zika: lim σ ( S ( X, X,, X ) )=0 KADD 06, Wykład 7 / 6
Estymatory wartość oczekiwaa Wartość średia ze wszystkich elemetów próby jest zmieą losową (jest fukcją zmieych losowych). Jej wartość oczekiwaa: E ( X )= ( E ( X )+ E ( X )+ + E ( X ))=E ( X )= x^, dla każdego Wiosek: wartość średia (arytmetycza) z próby to estymator ieobciążoy wartości oczekiwaej zmieej X w populacji Możemy obliczyć wariację wartości średiej: σ ( X )=E { X E ( X ) } = E = {( x + x + + x x^ )} ^ ^ ^ E [( X x )+( X x )+ +( X x )] { } Z uwagi a iezależość zmieych kowariacje między zmieymi Xi zikają, czyli ostateczie: σ ( X )= σ ( X ) Wiosek: wartość średia (arytmetycza) z próby jest rówież estymatorem zgodym wartości oczekiwaej KADD 06, Wykład 7 3 / 6
Estymatory - wariacja Jak pamiętamy z defiicji wariacji, ie jest oa zmieą losową Możemy wariację przybliżyć przez średią arytmetyczą odchyleń kwadratowych od wartości średiej: S ' ( X )= ( X X ) +( X X ) + +( X X ) ) ( Wartość oczekiwaa tej wielkości: E ( S ' ( X ) )= E = E { { i= } { ( X i X ) = E i= ( X i ^x + x^ X ) i= } ( X i ^x ) + ( ^x X ) + i= ( X i ^x )( x^ X ) i= { } = { E ( ( X i ^x ) ) E (( X ^x ) ) }= σ ( X ) σ ( X ) i= = σ (X) ( )} Widać więc, że S' jest estymatorem obciążoym dla wariacji populacji mającym wartość oczekiwaą miejszą iż σ(x) KADD 06, Wykład 7 4 / 6
Estymatory - wariacja Możemy jedak iezaczie zmodyfikować defiicję wariacji z próby i wprowadzić estymator: S ( X )= ( X X ) +( X X ) + +( X X ) ) ( Otrzymyjemy estymator ieobciążoy wariacji populacji Jeśli podstawimy te wzór do wzoru: σ ( X )= σ ( X ) To otrzymamy estymator wariacji wartości średiej: S ( X )= S ( X )= ( X i X ) ( ) i= Zaś odpowiadające odchyleie stadardowe (iepewość średiej z próby): Δ X = S ( X )=S ( X )= Jaka jest zaś iepewość wariacji z próby (bez wyprowadzeia)? Odchyleie stadardowe próby: Δ S =S S( X) KADD 06, Wykład 7 S= S = ( X i X^ ) i = 5 / 6
Estymatory - wariacja Podsumowując zatem estymatory ieobciążoe: wartości oczekiwaej populacji średia z próby (wyik doświadczeia): X = ( X + X + + X ) wariacji populacji wariacja z próby (aproksymowaa): S ( X )= ( X X ) +( X X ) + +( X X ) ) ( wariacji wartości średiej z próby (patrz iepewość typu A): S ( X )= S ( X )= ( X i X ) ( ) i= wariacji (aproksymowaej) wariacji z próby 4 Var ( S ) =S ( ) odchyleia stadardowego próby: S= S ( X )= ( X X ) +( X X ) + +( X X ) dalej możemy wyzaczać p. wariację odchyleia std. próby... KADD 06, Wykład 7 6 / 6
KONIEC