Komputerowa analiza danych doświadczalnych

Komputerowa analiza danych doświadczalnych Wykład 6 6.04.08 dr inż. Łukasz Graczykowski lgraczyk@if.pw.edu.pl Semestr letni 07/08

Własności rozkładu normalnego Centralne twierdzenie graniczne Funkcja charakterystyczna Rozkłady wielowymiarowe elipsa kowariancji

Rozkład normalny standardowy Gęstość prawdopodobieństwa: x / f x ϕ0 x = e π rozkład o średniej 0 i wariancji Dystrybuanta nie ma postaci analitycznej korzystamy z tabel Rozkład jest unormowany: e x / dx= π Jeśli wprowadzimy zmienną: Y = X a/ b Otrzymamy rozkład Gaussa: f y ϕ y = e y a / b π b średnia przesunięcie: EY = ^y =a odch. std. szerokość: σ Y =b KADD 08, Wykład 6 3 / 34

Rozkład normalny standardowy - własności Punkt przegięcia rozkładu: standardowego x=± Gaussa x=a±b Załóżmy, że znamy dystrybuantę: F 0 x Φ0 x=p X x Ze względu na asymetrię gęstości: P X > x= Φ0 x = Φ0 x Analogicznie, wewnątrz przedziału x: P X x= Φ0 x Dystrybuantę r. norm. można uogólnić na r. Gaussa: Φ y=φ0 x a b KADD 08, Wykład 6 4 / 34

Rozkład normalny standardowy - własności Wtedy szczególnie interesujące jest obliczenie występowania zmiennej los. dla wielokrotności odchylenia standardowego: P Y a n σ = Φ 0 nb = Φ0 n b Otrzymamy wtedy: P Y a σ=68,3 % Wartość stablicowana! P Y a >σ=3,7 % P Y a σ=95,4 % P Y a > σ =4,6 % P Y a 3 σ =99,8 % P Y a >3 σ =0, % Z Wykładu pamiętamy, że współczynnik rozszerzenia niepewność typu A zwykle jest między a 3 tu widać dlaczego W nauce przez odchylenie standardowe określamy również różnice w obserwowanym sygnalne eksperymentalnym w stosunku do sytuacji, gdy efektu fizycznego nie ma KADD 08, Wykład 6 5 / 34

Centralne twierdzenie graniczne

Centralne twierdzenie graniczne Dlaczego rozkład normalny jest tak ważny w rachunku prawdopodobieństwa i statystyce? Mówi o tym centralne twierdzenie graniczne ang. central limit theorem jedno z najważniejszych twierdzeń rachunku prawdopodobieństwa: jeżeli zmienne losowe Xi są zmiennymi niezależnymi o jednakowych wartościach średnich a i odchyleniach standardowych b, to rozkład normalny ma zmienna: n X =lim X i E X =na, σ X =nb n i= n ponadto, zmienna ξ= X =lim X i n n n i= E ξ=a, σ xi=b /n ma rozkład normalny z: Innymi słowy mając n niezależnych zmiennych o jednakowym ale dowolnym! rozkładzie, to ich suma dla dużych n zbiega do rozkładu normalnego KADD 08, Wykład 6 7 / 34

Centralne twierdzenie graniczne przykład Wyobraźmy sobie eksperyment polegający na rzucie kostką kostkami i obserwowaniu całkowitej liczby oczek: kolejne rzuty kostką kostkami są niezależne jeśli rzucamy kostką jednokrotnie albo kostką, to prawdopodobieństwo uzyskania danej wartości jest jednakowe jeśli rzucamy kostką dwukrotnie albo kostkami, to prawdopodobieństwo uzyskania sumy oczek nie jest już jednakowe jeśli rzucimy kostką n-krotnie n-kostkami rozkład normalny KADD 08, Wykład 6 8 / 34

Centralne twierdzenie graniczne przykład Wykonajmy doświadczenie rzutu monetą zmienne losowe Xi przybierają wartości orzeł i 0 reszka z prawdopodobieństwem p i q=-p: rozkład dwumianow n rzutów, k razy wypada wartość : n k n k P k =P X =k =W k = n p q k n U = i= E X i= p, σ X i = pq i= E X =np, σ X =npq X = X i wprowadźmy teraz zmienną unormowaną U: X i p = np p np p n X i np = i= X np np p wtedy rozkład prawdopodobieństwa przybiera postać: n P k =P X =k =W k =P U = n k np np p zmienna losowa Un ma rozkład normalny dla n : P a<u <b =P a< KADD 08, Wykład 6 k np <b np p n ϕ0 b ϕ0 a Twierdzenie de Moivre a-laplace a 9 / 34

Centralne twierdzenie graniczne przykład Przykład : wielokrotny rzut monetą rozkład dwumianowy rzut monetą Przykład : Na linii produkcyjnej procesorów prawdopodobieństwo defektu zmienna losowa X jest p=0.0. System online monitorowania jakości sprawdza n=000 procesorów dziennie i zlicza liczbę defektów. Wiemy, że: E X =np=000 0.0=0 σ X = np p= 00 0.0 0.98=4.47 Z uwagi na tw. de Moivre a - Laplace a zmienna losowa X podlega w przybliżeniu rozkładowi Gaussa o wartości oczekiwanej 0 oraz odchyleniu standardowemu 4.47. Przykładowo, pozwala to nam sprawdzić, czy dana partia nie odbiega zbytnio od 0 mieści się w dopuszczalnym zakresie sigma KADD 08, Wykład 6 0 / 34

Centralne twierdzenie graniczne przykład Ogólniej: CTG mówi, że rozkład średniej z pewnej próby losowej z dowolnego rozkładu będzie dążył do rozkładu normalnego: mamy dowolny rozkład losowy pewnej zmiennej losowej o wart. ocz. μ i odch. std. σ pobieramy próbę losową wybieramy n elementów z rozkładu liczymy średnią X z próby losowej rozkład normalny ma: P a< X μ <b σ / n KADD 08, Wykład 6 n ϕ0 b ϕ0 a Centralne Twierdzenie Graniczne / 34

Centralne twierdzenie graniczne przykład Przykład: wyobraźmy sobie, że szacujemy wzrost w populacji ośmioletnich dzieci w Polsce. Rozkład populacji ma parametry: μ, σ wybieramy losowo 00 8-latków i liczymy średnią wartość z próby losowej X nasz kolega wykonuje analogiczne doświadczenie dostaje inny wynik X zaczynamy więc pracować razem, znowu wybieramy 00 8-latków i dostajemy trzeci wynik X 3 ale przecież jest tylko jeden prawdziwy średni wzrost 8-latek w całej populacji! ponieważ średnia z próby jest również zmienną losową, możemy wykonać wielokrotnie próbę losową i dostać wiele średnich otrzymujemy rozkład wartości średniej z próby jeśli mamy dużo prób losowych rozkład wartości średniej z prób dąży do rozkładu normalnego CTG: N μ, σ / n KADD 08, Wykład 6 / 34

Centralne twierdzenie graniczne przykład https://www.youtube.com/watch?v=3skwerkhbrk KADD 08, Wykład 6 3 / 34

Centralne twierdzenie graniczne przykład https://www.youtube.com/watch?v=3skwerkhbrk KADD 08, Wykład 6 4 / 34

Centralne twierdzenie graniczne przykład Przykład: wyobraźmy sobie, że szacujemy wzrost w populacji ośmioletnich dzieci w Polsce. Rozkład populacji ma parametry: μ, σ wybieramy losowo 00 8-latków i liczymy średnią wartość z próby losowej X nasz kolega wykonuje analogiczne doświadczenie dostaje inny wynik X zaczynamy więc pracować razem, znowu wybieramy 00 8-latków i dostajemy trzeci wynik X 3 ale przecież jest tylko jeden prawdziwy średni wzrost 8-latek w całej populacji! ponieważ średnia z próby jest również zmienną losową, możemy wykonać wielokrotnie próbę losową i dostać wiele średnich otrzymujemy rozkład wartości średniej z próby jeśli mamy dużo prób losowych rozkład wartości średniej z prób dąży do rozkładu normalnego CTG: N μ, σ / n KADD 08, Wykład 6 5 / 34

Model Laplace a niepewności pomiarowych

Model Laplace a niepewności pomiarowych W 783 roku Laplace zaproponował następującą interpretację niepewności pomiarowych: niech m0 będzie wartością prawdziwą rozważanej wielkości mierzonej pomiar jest zakłócany przez dużą liczbę n niezależnych czynników, z których każdy powoduje odchylenie rzędu ε każde zakłócenie powoduje równe prawdopodobieństwo wywołania zmiany mierzonej wartości zarówno o +ε i -ε niepewność pomiaru jest zatem sumą poszczególnych zakłóceń rozkład niepewności opisany jest w takim przypadku rozkładem dwumianowym KADD 08, Wykład 6 7 / 34

Model Laplace a niepewności pomiarowych przy braku zakłóceń prawdopodobieństwo uzyskania m0 będzie oczywiście wynosić przy jednym zakłóceniu prawdopodobieństwo dzieli się po równo na dwie możliwości m0+ε oraz m0-ε tak samo się dzieje przy każdym kolejnym zakłóceniu oczywiście, prawdopodobieństwa prowadzące do tego samego wyniku pomiarowego się sumują jeśli p=q=/, to model zachowuje się identycznie jak tzw. trójkąt Pascala obrazek po prawej analogicznie jak w przykładzie z CTG, wprowadzamy zmienną standardową: ϵ X n ϵ U= i i= n ϵ w granicy n rozkład jest normalny z wartością oczekiwaną 0 i odchyleniem standardowym n ϵ/ Wniosek: niepewności opisane rozkładem Gaussa są wynikiem wielu małych niezależnych zaburzeń KADD 08, Wykład 6 8 / 34

Funkcja charakterystyczna rozkładu

Funkcja charakterystyczna rozkładu Dotychczas zajmowaliśmy się tylko zmiennymi losowymi rzeczywistymi każdej realizacji zdarzenia losowego można przypisać liczbę rzeczywistą zmienną losową Definicję można uogólnić na zmienne losowe zespolone, składające się z dwóch zmiennych losowych rzeczywistych: Z = X +iy Wartość oczekiwana z własności wart. ocz.: E Z= E X +i E Y Analogicznie, zmienne losowe zespolone są niezalezne, jeżeli odpowiednio ich części rzeczywiste i urojone są niezależne Po co nam to wszystko? Do zdefiniowania funkcji charakterystycznej rozkładu: X jest zmienną losową rzeczywistą o rozkładzie fx i dystrybuancie Fx Funkcja charakterystyczna zdefiniowana jest jako wartość oczekiwana: ϕt =E expitx KADD 08, Wykład 6 0 / 34

Funkcja charakterystyczna rozkładu zatem dla ciągłej zmiennej losowej jest to transformata Fouriera: ϕt = expitx f x dx n dla rozkładów dyskretnych: ϕt = expitx i P X = x i i= jeśli zdefiniujemy momenty: λ n= E X = x n f x dx n widać, ze można je otrzymać przez n-krotne różniczkowanie funkcji charakterystycznej w punkcie t=0: n d ϕt n n n n n ϕ t = =i x expitx f x dx ϕ 0=i λn n dt dla zmiennej losowej przesuniętej o wartość oczekiwaną: Y = X x^ funkcja charakterystyczna zmiennej Y dana jest jako: ϕy t = expit x x^ f x dx=ϕt exp it x^ ϕ t = expitx f xdx wówczas n-ta pochodna związana jest z momentem zmiennej X względem wartości oczekiwanej: n n n ϕn 0=i μ =i E X x ^ y n '' w szczególności wariancja: σ X = ϕy 0 KADD 08, Wykład 6 / 34

Funkcja charakterystyczna rozkładu odwracając transformatę Fouriera możemy z funkcji charakterystycznej otrzymać funkcję gęstości: f x= exp itxϕt dt istnieje ścisły jednoznaczny związek między dystrybuantą a funkcją charakterystyczną, nawet wtedy, gdy mamy do czynienia z rozkładem dyskretynym, wtedy: i F b F a= π expitb expita t ϕt dt funkcji charakterystycznej i dystrybuanty można używać zamiennie i przechodzić z jednej do drugiej w miarę potrzeb funkcja charakterystyczna sumy dwóch niezależnych zmiennych: W = X +Y ϕw t =E exp it X +Y =E expitx expity = =E expitx E exp ity =ϕx t ϕ y t KADD 08, Wykład 6 / 34

Funkcja charakterystyczna rozkładu Przykładowe własności funkcji charakterystycznej dla wybranych rozkładów: rozkład Poissona: ϕt =exp λ e it suma rozkładów Poissona jest również rozkładem Poissona: ϕt =exp λ λ e it σ t ϕt =exp it x^ exp rozkład normalny: jeżeli a=0, wówczas funkcja charakterystyczna o średniej równej 0 ma postać z dokładnością do czynnika normalizacyjnego gęstości prawdopodobieństwa rozkładu normalnego. Iloczyn wariancji obu rozkładów jest równy rozkład jednorodny: ϕt = f x=, a x b b a sin b at e ia+ b t / b at suma rozkładów Gaussa: ϕu t =ϕx ϕy =expit x^ exp σ x t / exp it y^ exp σ y t / =exp it x^ + ^y exp σ x +σ y t / KADD 08, Wykład 6 3 / 34

Wielowymiarowy rozkład Gaussa

Wielowymiarowy rozkład Gaussa Rozważmy wektor zmiennych losowych: Gęstość prawdopodobieństwa wielowymiarowego rozkładu normalnego: T ϕ x =k exp x a B x a =k exp g x X = X, X,..., X n gdzie a jest n-wymiarowym wektorem wart. oczekiwanych, natomiast B jest dodatnio określoną macierzą symetryczną o wymiarze n x n Z symetrii rozkładu normalnego: ϕ x=e X a =... x aϕ x dx... dx n=0 T g x = x a B x a E X =a Jeśli zróżczniczkujemy to wyrażenie względem a:... [ I x a x at B ] ϕ x dx... dx n =0 Z def. wartości oczekiwanej zawartość nawiasu kwadratowego wynosi 0: E I X a X at B =0 E X a X at B=I Czyli: C=E X a X at =B Macierz C jest macierzą kowariancji zmiennych losowych X KADD 08, Wykład 6 5 / 34

Wielowymiarowy rozkład Gaussa Przedyskutujmy rozkład dwóch zmiennych: X = X, X Macierz C ma wtedy następującą postać: Odwracając macierz C otrzymamy: σ cov X, X C= B = cov X, X σ σ cov X, X B= σ σ cov X, X cov X, X σ W przypadku zmiennych niezależnych kowariancje wynoszą 0: /σ 0 B 0= 0 /σ Wstawiając B0 do ogólnego wzoru otrzymamy łączną gęstość dwóch niezależnych zmiennych losowych jako iloczyn dwóch rozkładów D: x a x a ϕ x, x =k exp KADD 08, Wykład 6 σ exp σ, k= π σ σ 6 / 34

Wielowymiarowy rozkład Gaussa Współczynnik k w ogólnym przypadku: det B k= πn Wprowadźmy teraz zmienne zredukowane: I współczynnik korelacji: ρ= Wtedy gęstość prawdopodobieństwa: X i ai U i = σ, i=, i cov X, X =cov U, U σ σ ρ ϕu, u =k exp ut B u =k exp g u, B= ρ ρ Szukamy linii stałej gęstości prawdopodobieństwa poprzez przyrównanie wykładnika eksponensa do wartości stałej: ut B u= u +u + u u ρ = g u=const ρ Jeśli na moment przyjmiemy, że g u= i wstawimy pierwotne zmienne x, x Otrzymamy równanie elipsy elipsy kowariancji o środku w a,a, której osie główne tworzą kąt α z osiami głównymi x, x: x a σ x a x a x a ρ σ + = ρ σ σ KADD 08, Wykład 6 tg α= ρ σ σ σ σ 7 / 34

Elipsa kowariancji x y Wzór ogólny na elipsę nieobróconą: + = a b a i b to wielka i mała półoś elipsy W naszym przypadku elipsa jest dodatkowo obrócona o kąt α, zależny od wsp. korelacji Elipsa kowariancji zawsze zdefiniowana jest wewnątrz prostokąta środku w a,a oraz bokach σ, σ Jeżeli współczynnik korelacji wynosi ρ=± to elpisa kowariancji degeneruje się do prostej pokrywającej się z jedną z przekątnych prostokąta Elipsa kowariancji jest linią stałego prawdopod. Rysunek po prawej: punkty i mają takie samo prawdopodobieństwo prawdopodobieństwo punktu 3 jest większe niż 4 KADD 08, Wykład 6 8 / 34

Elipsa kowariancji KADD 08, Wykład 6 Korelacja wydłuża i obraca elipsę Rozmiar elipsy zależy od wariancji Elipsa kowariancji zawiera pełną informację o macierzy kowariancji w przypadku D W 3D elipsoida kowaraniacji W nd hiperelipsoida kowariancji 9 / 34

Elipsa kowariancji covx,x=0.0 a = a = 0.0 σ = σ =.0 covx,x=0.5 a = a = 0.0 σ = σ =.0 KADD 08, Wykład 6 covx,x=0.75 a = a = 0.0 σ = σ =.0 covx,x=-0.5 a = a = 0.0 σ = σ =.0 30 / 34

Elipsa kowariancji Możemy wyznaczać również inne wartości: g u=const Każda elipsa kowariancji określa obszar prawdopodobieństwa analogicznie jak w przypadku D: P X a σ=68,3 % Wartość prawdopodobieństwa wewnątrz elipsy zależy od ilości wymiarów, w D dla elipsy σ: P=39,3 % KADD 08, Wykład 6 Inne linie stałego prawdopodobieństwa elipsy wyznaczają inne wartości prawdopodobieństwa 3 / 34

Elipsa kowariancji wykorzystanie KADD 08, Wykład 6 Elipsy stałego prawdopodobieństwa mają ścisłe powiązanie z przedziałami ufności o nich w przyszłości Np. najczęściej określa się elipsę zawierającą prawdopodobieństwo 95% z wyników danych Przykład korelacja wzrostu stature - wagi weight człowieka Analizy tego typu dwóch lub więcej zmiennych jednocześnie nazywamy analizą statystyką wielowymiarową multivariate analysis, statistics 3 / 34

Elipsa kowariancji wykorzystanie Zależność kąta zgięcia w kostce od kąta zgięcia w biodrze u młodszych i starszych osób KADD 08, Wykład 6 33 / 34

Elipsa kowariancji wykorzystanie KADD 08, Wykład 6 34 / 34

KONIEC