Komputerowa aaliza daych doświadczalych Wykład 7 7.04.07 dr iż. Łukasz Graczykowski lgraczyk@if.pw.edu.pl Semestr leti 06/07
Cetrale twierdzeie graicze - przypomieie Sploty Pobieraie próby, estymatory
Cetrale twierdzeie graicze
Cetrale twierdzeie graicze Dlaczego rozkład ormaly jest tak waży w rachuku prawdopodobieństwa i statystyce? Mówi o tym cetrale twierdzeie graicze (ag. cetral limit theorem) jedo z ajważiejszych twierdzeń rachuku prawdopodobieństwa: jeżeli zmiee losowe Xi są zmieymi iezależymi o jedakowych wartościach średich a i odchyleiach stadardowych b, to rozkład ormaly ma zmiea: X =lim X i E ( X )=a, σ ( X )=b i= poadto, zmiea ξ= X =lim X i i= ma rozkład ormaly z: E ( ξ)=a, σ (ξ)=b / Iymi słowy mając iezależych zmieych o jedakowym (dowolym!) rozkładzie, to ich suma dla dużych zbiega do rozkładu ormalego KADD 07, Wykład 7 4 / 7
Cetrale twierdzeie graicze przykład Wyobraźmy sobie eksperymet polegający a rzucie kostką (kostkami) i obserwowaiu całkowitej liczby oczek: koleje rzuty kostką (kostkami) są iezależe jeśli rzucamy kostką jedokrotie (albo kostką), to prawdopodobieństwo uzyskaia daej wartości jest jedakowe jeśli rzucamy kostką dwukrotie (albo kostkami), to prawdopodobieństwo uzyskaia sumy oczek ie jest już jedakowe jeśli rzucimy kostką -krotie (-kostkami) rozkład ormaly KADD 07, Wykład 7 http://www.johgoodpasture.com/00/05/all-thigs-bell-shaped.html 5 / 7
Sploty
Suma zmieych losowych jako splot W doświadczeiach eksperymetalych bardzo często mamy do czyieia z sumą dwóch zmieych losowych Na przykład rozpad cząstek ietrwałych opisay jest pewym kątem rozpadu, wyikającym ze statystyczego charakteru zjawiska fizyczego, zaś iepewość jego pomiaru z iedokładośi przyrządu. Obserwoway rozkład jest splotem dwóch rozkładów Rozważmy zmieą losową: U = X +Y Zakładamy iezależość zmieych: f ( x, y)=f x ( x) f y ( y) Wtedy dystrybuata zmieej U: może być wyzaczoa jako pole powierzchi: y F (u)=p (U u)=p ( X +Y u)= = f x ( x) f y ( y) dx dy A = f x ( x )dx = f y ( y )dy KADD 07, Wykład 7 A u x f y ( y )dy u= x+ y x u y f x ( x) dx 7 / 7
Suma zmieych losowych jako splot Z dystrybuaty wyzaczamy fukcję gęstości zmieej U: df (u) f (u)= = f x ( x) f y (u x) dx= f y ( y ) f x (u y )dy (f x f y )(u) du Fukcja f(u) tak zdefiiowaa jest splotem fukcji fx(x) i fy(y) Powyższy wzór będzie prawdziwy rówież wówczas, jeżeli zmiee X i Y są zdefiiowae tylko w pewym zwartym obszarze (wtedy ustalamy odpowiedie węższe i skończoe, graice całkowaia) Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie } { 0 y < f y ( y)=, 0, w przeciwym razie } f (u)= f x ( x) f y (u x) dx= 0 = f y (u x) 0 KADD 07, Wykład 7 8 / 7
Suma zmieych losowych jako splot Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie { } 0 y < f y ( y)=, 0, w przeciwym razie f (u)= f x ( x) f y (u x) dx= f y (u x ) 0 0 v=u x dv = dx u } u f (u)= f y ( v) dv= f y ( v)dv u u Zmiea u zmieia się od 0 do, zatem rozważmy przypadki: u u (a) 0 u < : f (u)= f y ( v)dv = dv=u 0 0 (b) u < : f (u)= f y (v) dv= dv= u u KADD 07, Wykład 7 u 9 / 7
Suma zmieych losowych jako splot Rozpatrzmy przypadek splotu dwóch rozkładów jedorodych: { 0 x< f x ( x)=, 0, w przeciwym razie { } 0 y < f y ( y)=, 0, w przeciwym razie f (u)= f x ( x) f y (u x) dx= f y (u x ) 0 0 v=u x dv = dx u } u f (u)= f y ( v) dv= f y ( v)dv u u Zmiea u zmieia się od 0 do, zatem rozważmy przypadki: u u (a) 0 u < : f (u)= f y ( v)dv = dv=u 0 0 (b) u < : f (u)= f y (v) dv= dv= u u u https://e.wikipedia.org/wiki/covolutio#/media/file:covolutio_of_box_sigal_with_itself.gif KADD 07, Wykład 7 0 / 7
Suma zmieych losowych jako splot Aalogiczie będzie z sumą trzech zmieych losowych: { / u, 0 u< f (u)= / ( u +6 u 3 ), u< / ( u 3 ), u<3 } Zgodie z CTG im więcej rozkładów w splocie, tym bardziej rozkład sumy przypomia rozkład Gaussa: u=x u=x+x u=x+x+x3 u=x+x+x3+x4 KADD 07, Wykład 7 / 7
Sploty z rozkładem ormalym Przykład: Mierzymy zmieą X opisaą gęstością prawdopodobieństwa fx(x). Pomiar obarczoy jest iepewością Y mającą rozkład ormaly. Wyik jest zatem sumą zmieych losowych: U = X +Y Gęstość prawdopodobieństwa zmieej U wyosi wtedy: (u x) f (u)= f x ( x) f y (u x) dx= f x ( x)exp dx π σ σ ( ) Problem: eksperymetalie otrzymujemy fukcję f(u), ale tak aprawdę iteresuje as fx(x). Jak ją wyzaczyć? w ogólym przypadku jest to iemożliwe moża tego dokoać dla pewej ograiczoej klasy fukcji f(u) ajczęściej posługujemy się tutaj metodami Mote Carlo KADD 07, Wykład 7 / 7
Sploty z rozkładem ormalym przykład Przykład: Splot rozkładu jedostajego z rozkładem ormalym (o średiej rówej 0) W tym przypadku możliwe jest rozwiązaie aalitycze. Korzystamy ze wzorów: f ( x)= ; x a, b b a g ( y)= e y / σ π σ h (u)= f ( x) g (u x) dx f ( x)=0 ; x ℝ a, b Wtedy, wprowadzając zmieą v=( x u)/ σ otrzymujemy: (b u)/ σ b h (u)= exp ( (u x) / σ ) dx= exp v dv b a π σ a b a π (a u) /σ ( Zaś uwzględiając dystrybuatę rozkładu ormalego: h (u)= ( ( b u a u Φ0 σ Φ0 σ b a ) ( ) f(x) )) h(u) KADD 07, Wykład 7 3 / 7
Sploty z rozkładem ormalym przykład Przykład: Splot dwóch rozkładów ormalych dodawaie iepewości w kwadracie Splot dwóch rozkładów ormalych o wartościach średich rówych 0 i wariacjach σ x, σ y ma postać rozkładu ormalego: f (u)= exp ( u / σ ), σ =σ x +σ y π σ Widzimy, że wariacje się dodają (odchyleia std. dodają się w kwadracie) Jeśli średie rozkładów róże od 0 wartości oczekiwae rówież się dodają KADD 07, Wykład 7 4 / 7
Zastosowaie splotów Cyfrowe przetwarzaie obrazów Akustyka Muzyka elektroicza W fizyce gdzie się pojawia superpozycja W plaowaiu radioterapii (rozkłady dawki) https://upload.wikimedia.org/wikipedia/e//4/lea.pg Playboy 97 stadardowy obrazek w grafice komput. https://developer.apple.com/library/cotet/documetatio/performace/coceptual/vimage/covolutiooperatios/covolutiooperatios.html KADD 07, Wykład 7 5 / 7
Zastosowaie splotów https://www.researchgate.et/publicatio/8 48604_I_Vitro-I_Vivo_Correlatio_IVIVC_a d_determiig_drug_cocetratios_i_blood_f rom_dissolutio_testig-a_simple_ad_practic al_approach Bardzo ważym zastosowaiem splotów są badaia farmakokietycze leków kocetracja leku w osoczu krwi w czasie jest splotem fukcji absorpcji leku oraz jego elimiacji https://www.slideshare.et/jaspreetguraya/i-vitro-i-vivo-correlatio-ivivc https://upload.wikimedia.org/wikipedia/commos/7/7d/bupropio_bio equivalecy_compariso.svg KADD 07, Wykład 7 https://image.slidesharecd.com/pharmacokieticmodels-409300043-p hpapp0/95/pharmacokietic-models-8-638.jpg?cb=4037860 6 / 7
Pobieraie próby
Pobieraie próby W przypadku pomiarów eksperymetalych ajczęściej ie zamy rozkładu prawdopodobieństwa opisującego day pomiar (p. parametru rozkładu Poissoa w rozpadach promieiotwórczych, czy parametrów rozkładu Gaussa opisującego jakąś populację) Te parametry chcemy wyzaczyć doświadczalie, ie jesteśmy jedak w staie zebrać ieskończeie wiele pomiarów W kosekwecji jesteśmy zmuszei przybliżać rozkład gęstości za pomocą rozkładu częstości (histogramu o skończoej liczbie wejść) Próbą (ag. sample) azywamy zespół doświadczeń wykoywaych w celu określeia kształtu (parametrów) poszukiwaego rozkładu: próba otrzymywaa jest poprzez wybór elemetów z (często ieskończoego) zbioru wszystkich możliwych doświadczeń (wszystkich możliwych pomiarów), zwaego populacją geeralą próbę o składikach azywamy próbą -wymiarową https://e.wikipedia.org/wiki/samplig_%8statist KADD 07, Wykład 7 ics%9#/media/file:simple_radom_samplig.png 8 / 7
Pobieraie próby Cała sztuka polega a odpowiedim wybraiu próby z populacji, by aproksymacja rozkładu gęstości była jemu jak ajwieriejsza Załóżmy, że rozkład zmieej losowej X opisyway jest fukcją f(x) iteresują as wartości zmieej X uzyskae przez poszczególe elemety próby Pobieramy l prób, każda o wymiarze, i zaobserwowaliśmy astępujące wartości zmieej X: () ( ). próba : X (), X,, X j -ta próba : X (j ), X (j ),, X (j) ( l) l -ta próba : X (l ), X (l),, X Każdą próbę możemy przedstawić jako wtektor (-wymiarową zmieą losową): X ( j)=( X ( j), X (j),, X (j)) Wektor ma rozkład gęstości prawdopodobieństwa: g ( x)=g ( x, x,, x ) KADD 07, Wykład 7 9 / 7
Pobieraie próby Aby moża było mówić o losowym pobieraiu próby: zmiee Xi muszą być iezależe, czyli: g ( x)=g ( x ) g ( x ) g ( x ) poszczególe rozkłady muszą być jedakowe i idetycze z rozkładem gęstości populacji: g ( x )=g ( x )= =g ( x )=f ( x) Należy podkreslić, że w rzeczywistym procesie pobieraia próby często bardzo trudo jest zapewić pełą losowość ie ma tutaj jedej recepty jak to zrobić (ależy starać się spełić powyższe waruki) Teraz zdefiiujemy pojęcia, które charakteryzują próbę losową KADD 07, Wykład 7 0 / 7
Pobieraie próby Teraz zdefiiujemy pojęcia, które charakteryzują próbę losową: załóżmy, że mamy -elemetową próbę i odkładamy wyiki a osi liczb. Przez x ozaczmy taką liczbę wartości, które są miejsze iż pewa stała x, czyli mamy spełioą defiicję dystrybuaty:x x wielkość W ( x)= x / azywamy dystrybuatą empiryczą jest to fukcja schodkowa zwiększająca się o / dla każdej kolejej wartości z próby; dla dużych dąży do dystrybuaty fukcję elemetów próby (czyli zmieej losowej X) azywamy statystyką ajważiejszym przykładem statystyki jest średia z próby (ag. sample mea) zdefiiowaa jako średia z elemetów próby: X = ( X + X + + X ) https://upload.wikimedia.org/wikipedia/commos//7/empirical_cdf.pg KADD 07, Wykład 7 / 7
Pobieraie próby - przykład Przykład wzrost Polaków Niewątpliwie wzrost Polaków (zmiea losowa X) podlega pewemu rozkładowi f(x) z dystrybuatą F(x) Pomiar wzrostu pojedyczego Polaka daje wartość x Jeżeli stworzymy -wymiarową próbę losową, tz. wybierzemy Polaków, to rozkład prawdopodobieństwa wyboru dla każdej z osób (od g(x) do g(x)) jest taki sam jak dla całej populacji i rówy f(x) Dla każdej tak skostruowaej próby możemy teraz policzyć jej W(x). Oczywiście im większe będzie, im więcej ludzi weźmiemy do aszej próby, tym rozkład wyliczoy z próby będzie bliższy rozkładowi rzeczywiście istiejącemu w populacji Zadaiem estymacji jest zalezieie takiej statystyki (a więc fukcji określoej a wektorze X), aby ajlepiej przybliżała oa rzeczywistą wartość parametru opisującego rzeczywisty rozkład zmieej losowej X KADD 07, Wykład 7 / 7
Estymatory Typowy problem aalizy daych: zamy (p. z prawa fizyczego) ogólą postać gęstości prawdopodobieństwa w daej populacji, ależy jedyie wyzaczyć parametry tego rozkładu. Przykład: mierzymy rozpad radioaktywy w czasie: N (t )= N 0 ( exp ( λ t )) parametr λ wyzaczamy a podstawie próby mierząc skończoą ilość razy ilość rozpadów w czasie wyik igdy ie będzie dokłady, bo próba jest skończoa, mamy problem estymacji parametrów poszukiwaa wielkość uzyskiwaa jest fukcją elemetów próby (statystyką) i jest azywaa estymatorem: S=S ( X, X,, X ) estymator jest ieobciążoy, jeżeli iezależie od liczebości próby jego wartość oczekiwaa jest rówa wartości estymowaego parametru: E ( S ( X, X,, X ) ) =λ, dla każdego estymator jest zgody, jeżeli jego wariacja zika: lim σ ( S ( X, X,, X ) )=0 KADD 07, Wykład 7 3 / 7
Estymatory wartość oczekiwaa Wartość średia ze wszystkich elemetów próby jest zmieą losową (jest fukcją zmieych losowych). Jej wartość oczekiwaa (tej średiej): E ( X )= E ( X )+ E ( X )+ + E ( X ) ) =E ( X )= x^, dla każdego ( Wiosek: wartość średia (arytmetycza) z próby to estymator ieobciążoy wartości oczekiwaej zmieej X w populacji Możemy obliczyć wariację wartości średiej: σ ( X )=E { X E ( X ) } = E = )} ^ ^ ^ E [( X x )+( X x )+ +( X x )] { } Z uwagi a iezależość zmieych kowariacje między zmieymi Xi zikają, czyli ostateczie: σ ( X )= σ ( X ) {( x + x + + x x^ lim σ ( X )=0 Wiosek: wartość średia (arytmetycza) z próby jest rówież estymatorem zgodym wartości oczekiwaej KADD 07, Wykład 7 4 / 7
Estymatory - wariacja Jak pamiętamy z defiicji wariacji, ie jest oa zmieą losową Możemy wariację przybliżyć przez średią arytmetyczą odchyleń kwadratowych od wartości średiej: S ' ( X )= ( X X ) +( X X ) + +( X X ) ) ( Wartość oczekiwaa tej wielkości: E ( S ' ( X ) )= E = E { { i= } { ( X i X ) = E i= ( X i ^x + x^ X ) i= } ( X i ^x ) + ( ^x X ) + i= ( X i ^x )( x^ X ) i= { } = { E ( ( X i ^x ) ) E (( X ^x ) ) }= σ ( X ) σ ( X ) i= = σ (X) ( )} Widać więc, że S' jest estymatorem obciążoym dla wariacji populacji mającym wartość oczekiwaą miejszą iż σ(x) KADD 07, Wykład 7 5 / 7
Estymatory - wariacja Możemy jedak iezaczie zmodyfikować defiicję wariacji z próby i wprowadzić estymator: S ( X )= ( X X ) +( X X ) + +( X X ) ) ( Otrzymyjemy estymator ieobciążoy wariacji populacji Jeśli podstawimy te wzór do wzoru: σ ( X )= σ ( X ) To otrzymamy estymator wariacji wartości średiej: S ( X )= S ( X )= ( X i X ) ( ) i= Zaś odpowiadające odchyleie stadardowe (iepewość średiej z próby): Δ X = S ( X )=S ( X )= Jaka jest zaś iepewość wariacji z próby (bez wyprowadzeia)? Odchyleie stadardowe próby: Δ S =S S( X) KADD 07, Wykład 7 S= S = ( X i X^ ) i = 6 / 7
Estymatory - wariacja Podsumowując zatem estymatory ieobciążoe: wartości oczekiwaej populacji średia z próby (wyik doświadczeia): X = ( X + X + + X ) wariacji populacji wariacja z próby (aproksymowaa): S ( X )= ( X X ) +( X X ) + +( X X ) ) ( wariacji wartości średiej z próby (patrz iepewość typu A): S ( X )= S ( X )= ( X i X ) ( ) i= wariacji (aproksymowaej) wariacji z próby 4 Var ( S ) =S ( ) odchyleia stadardowego wartości średiej z próby: S= S ( X )= ( X X ) +( X X ) + +( X X ) dalej możemy wyzaczać p. wariację odchyleia std. próby i tak dalej (w ieskończoość)... KADD 07, Wykład 7 7 / 7
KONIEC