Komputerowa analiza danych doświadczalnych Wykład 4 8.03.06 dr inż. Łukasz Graczykowski lgraczyk@if.pw.edu.pl Semestr letni 05/06
Zamiana zmiennych Transformacje liniowe Propagacja niepewności Metody Monte Carlo
Zamiana zmiennych
Zamiana zmiennych Na poprzednich wykładach zayważyliśmy, że dowolna funkcja zmiennej losowej X jest także zmienną losową: y dy Y =H ( X ) g(y) Pytanie: jaka jest gęstość prawdopodobieństwa g(y), jeżeli znana jest gęstość prawdopodobieństwa f(x) i oczywiście funkcja Y=H(X)? x f(x) dla infinitezymalnie małego przedziału zmienności prawdopodobieństwa są równe: f ( x)dx=g( y) dy z tego wynika: zatem rozkłady są powiązane: g ( y)= KADD 06, Wykład 4 y=h(x),0cm dy = dy dx dx dx,59 x dx= dx dy dy dx f ( x) dy 4 / 33
Zamiana zmiennych Warunki: funkcja y=h(x) musi być wzajemnie jednoznaczna funkcje wieloznaczne (np. y= ( x) ) rozpatrujemy oddzielnie tylko te części, które są dodatnie y=+ ( x) y rozkłady są unormowane: y=h(x),0cm dy g( y )dy= f ( x)dx= x g(y) f(x) dx,59 x KADD 06, Wykład 4 5 / 33
Zamiana zmiennych - przykład Pytanie: mamy zmienną losową X opisaną rozkładem jednorodnym f(x)= na przedziale od 0 do. Jaka będzie postać funkcji Y=H(X), aby otrzymać zadany (znany) rozkład g(y)? metoda odwracania dystrybuanty y f ( x)dx=g ( y)dy gdy f ( x) dx=g ( y )dy=dg ( y ) y=h(x)=?,0cm g( y)=g ' ( y ) dx= dg ( y) x=g( y) dy g(y) x y=g ( x) H ( x ) y min=g (0), y max =G (),59 Czyli: liczymy dystrybuantę x=g(y) a następnie funkcję odwrotną y=g-(x) 0 KADD 06, Wykład 4 musi istnieć x min=g( y min ), x max =G( y max ) dx f(x) dystrybuanta x Zmienna losowa X po transformacji y=g-(x) ma rozkład g(y) 6 / 33
Zamiana zmiennych przypadek wielowym. Mamy dwie zmienne losowe X i Y, dokonujemy zamiany zmiennych na U i V: ( X, Y ) (U,V ) U =U ( X,Y ) V =V ( X,Y ) Szukamy funkcji J (jakobian): ( ) g (u, v )=f ( x, y ) J x, y u,v Rysunek przedstawia płaszczyznę (x,y), z układem krzywych dla u=const i v=const Mamy więc mały element powierzchni o polu da=dxdy w zmiennych x,y zatem jego pole możemy policzyć jako pole równoległoboku o wierzchołkach a,b,c,d: współrzędne pierwszych 3 wierzchołków: x a=x (u, v ) x b= x u, v dv x c =x u du, v KADD 06, Wykład 4 y a=y u, v y b=y u, v dv y c= y u du, v 7 / 33
Zamiana zmiennych przypadek wielowym. Rozwijamy w szereg Taylora: x x b =x (u, v)+ dv v x x c =x (u, v)+ du u Z dokładnością do znaku pole powierzchni: xa da= x b xc y y b = y (u, v)+ dv v y y c = y (u, v)+ du u W ogólnym Y =Y ( X ) Y =Y ( X ) Y n=y n ( X ) x ya u = yb x yc v jakobian przejścia (transformacji) y x, y u du dv J du dv y u,v v ( ) x przypadku, dla n zmiennych: y x x J = y x g ( y)= J f (x) y y... x yn KADD 06, Wykład 4 ( ) () x y x y x yn......... xn y xn y xn yn 8 / 33
Zamiana zmiennych przypadek wielowym. f ( x, y )=/( a ), x + y <a Dokonujemy zamiany zmiennych: u( x, y)= x+ y v( x, y)= x y x (u, v)= (u+ v ) y (u, v)= (u v) Obliczamy jakobian: x y = = u u x y = = v v x,y J = = u,v ( ) g (u, v )=f ( x, y ) J KADD 06, Wykład 4 Otrzymujemy g(u,v): x, y = f ( x, y )=/ ( 4 a ), u < a ; v <a u, v ( ) 9 / 33
Zamiana zmiennych przypadek wielowym. f ( x, y )=, x + y <R πr Dokonujemy zamiany zmiennych (do wsp. bieg.): x (r, f)=r cos f r ( x, y )= x + y x f ( x, y )=arctg y (r, f)=r sin f y Obliczamy jakobian: x =cos f r x = r sin f f y =sin f r y =r cos f f x, y J =r cos f+ r sin f=r r,f ( ) Otrzymujemy g(r,f): ( ) g (r, f)=f ( x, y ) J KADD 06, Wykład 4 x, y r = r,f π R 0 / 33
Transformacje liniowe Propagacja niepewności
Transformacje liniowe Najczęściej, ze względu na prototę, posługujemy się transformacjami liniowymi (inne transformacje najczęściej aproksymujemy liniowymi, rozwijając na szereg Taylora) funkcje Y =(Y, Y,..., Y r ) są liniowymi funkcjami zmiennych Y =a + t X + t X +...+ t n X n Y =a + t X + t X +...+ t n X n Y r =a r + t r X + t r X +...+ t rn X n W zapisie macierzowym: Y =T X + a Wartość oczekiwana Y: E ( Y ) =^y =T ^x + a X=( X, X,..., X n ) T Macierz korawiancji Y: C Y =E ((Y ^y )(Y ^y ) ) T =E ( (T X + a T x^ a)(t X + a T ^x a) ) T T =E ( T ( X ^x )( X x^ ) T ) T T =TE ( ( X ^x )( X x^ ) ) T C Y =T C X T T KADD 06, Wykład 4 / 33
Propagacja niepewności Załóżmy, że znamy pewne wartości oczekiwane (wyniki pomiarów) x^ i oraz ich niepewności σ(xi) i kowariancje cov(xi,xj). Szukamy niepewności funkcji: Y ( X) Jeśli niepewności są małe, to możemy dokonać rozwinięcia na szereg Taylora wokół wartości oczekiwanych: yi Y i =Y i ( x^ )+ x ( ) yi ( X ^x )+...+ xn x= ^x ( ) x= ^x ( X n ^x n )+ wyrazy wyższego rzędu w notacji macierzowej: Y =Y ( x^ )+T ( X x^ )+ wyrazy wyższego rzędu gdzie: y y x x y y y ( ) T= x KADD 06, Wykład 4 x yn yn x x......... xn y xn yn xn X = ^x 3 / 33
Propagacja niepewności Niepewności Y to elementy diagonalne macierzy kowariancji: C Y =T C X T T jak widać, zależą one nie tylko od elementów diagonalnych macierzy CX, ale również od jej elementów pozadiagonalnych tylko i wyłącznie jeżeli wszystkie zmienne X są niezależne, tj. cij=0, dla i j możemy zapisać: n σ (Y i )= j= yi xj ( ) σ ( X j) co daje nam prawo propagacji błędów znane z Wykładu : σ ( y i )= KADD 06, Wykład 4 n j= yi xj ( ) σ ( x j) 4 / 33
Znaczenie macierzy kowariancji - przykład Mierzymy w układzie kartezjańskim współrzędne punktu (x,y). Pomiary x i y są niezależne. Z jakiejś przyczyny (np. inne urządzenie pomiariowe) pomiar daje trzykrotnie większą niepewność współrzędnej y niż x. (0 9 ) Macierz kowariancji: C xy = 0 Dokonujemy tranformacji na współrzędne biegunowe: r ( x, y )= x + y x f ( x, y )=arctg y x (r, f)=r cos f y (r, f)=r sin f Policzmy macierz transformacji (dla prostoty w punkcie (,)) x r y = r f y y r y r = x r ( )( )( ) r T= x f x KADD 06, Wykład 4 T T = ( ) 5 / 33
Znaczenie macierzy kowariancji - przykład Macierz kowariancji dla zmiennych biegunowych: T C r f =T C xy T = 4 ( ) ( )( ) ( ) 0 0 9 5 = 4 5 Widzimy, że nie są one niezależne Licząc w drugą stronę: ( ) Cr f = Pozadiagonalne elementy macierzy kowariancji są T '= BARDZO WAŻNE 5 4 4 5 x r y r x y cos r sin = = sin r cos T KADD 06, Wykład 4 T Cxy=T ' Cr T ' = ŹLE! gdyby uwzględniać tylko diagonalne niepewności są zupełnie inne Cxy=T ' Cr T ' = 5 4 5 4 5 0 5 0 = = 0 0 9 5 0 0 5 6 / 33
Generacja liczb (pseudo)losowych za pomocą komputera
Liczby (pseudo)losowe Do tej pory zajmowaliśmy się jedynie opisem zmiennych losowych (ich właściwości) nie zajmowaliśmy się tym, jak je otrzymać Bardzo często potrzebujemy jednak posłużyć się ciągiem (losowych) wartości jakiejś zmiennej losowej, która opisana jest danym rozkładem prawdopodobieństwa Metoda otrzymywania takich liczb może pochodzić z badania zjawiska fizycznego (np. rozpad promieniotwórczy, szumy fal elektromagnetycznych) Liczby takie możemy wygenerować również w komputerze trzeba jednak pamiętać, że taki ciąg będzie ciągiem pseudolowym, gdyż komputer cechuje się zachowaniem deterministycznym (można więc te liczby przewidzieć ) Metody analizy danych z wykorzystaniem liczb (pseudo)losowych nazywamy metodami Monte Carlo KADD 06, Wykład 4 8 / 33
Zapis liczb w komputerze Najmniejsza jednostka informacji bit (0 lub ), system dwójkowy) Przykład: 3=*8+*64+0*3+*6+0*8+*4+0*+*=>0000 Ogólnie k- bitów wartość bezwzględna kodowanej liczby, bit znak. Wartość bezwzględna: (k ) a=a k (k 3) +a k 3 () (0) +...+a +a 0 W komputerze zapisujemy liczby za pomocą bajtów składających się z 8 bitów (najmniejsza adresowalna jednostka pamięci) Współcześnie komputery pracują na (6), 3 i 64-bitowych liczbach Liczby bez znaku przyjmują wartości od 0 do k-, zaś liczby ze znakiem od -k- do k-- KADD 06, Wykład 4 9 / 33
Zapis liczb w komputerze Liczbę zmiennoprzecinkową zapisujemy jako: s x=( ) m b c Gdzie: m mantysa (część ułamkowa liczby), b podstawa, c wykładnik (albo cecha, część całkowita liczby), s bit znaku Komputery zapisują liczbę z b=, notacja naukowa to b=0 Do zapisu liczby zmiennoprzecinkowej wystarczy zatem znajomość dwóch liczb całkowitych Przykłady: KADD 06, Wykład 4 0 / 33
Zapis liczb w komputerze Zakres zmienności liczb zmiennoprzecinkowych: c min < x < c max Dwie liczby zmiennoprzecinkowe są różne, jeżeli ich mantysy różnią się o minimalną wartość a: 0 Δx a n x =m, x =( m+a ), Δ x=x x =a, = = n = x m e e e Przykład typy danych w języku C++: KADD 06, Wykład 4 / 33
Generatory liniowe kongruentne Komputer, urządzenie determinisityczne, może generować tylko liczby pseudolosowe kolejna generowana liczba jest funkcją liczb wcześniej wygenerowanych Generator liniowy kongruenty (LCG Linear Congruential Generator): x j+ =(a x j +c)mod m LCG generuje okresowy ciąg liczb (po jakimś czasie powtarza się) m maksymalna długość okresu generatora (szczegóły Brandt) Multiplikatywny generator liniowy kongruenty (MLCG multiplicative linear congruential generator), c=0: x j + =(a x j )mod m szybsze od LCG, ale nigdy nie dają wartości 0 i mają krótkie okresy KADD 06, Wykład 4 / 33
Jakość generatorów losowych Najdłuższy okres nie jest jedyną porządaną cechą generatora Ważniejsze jest, aby liczby następujące po sobie występowały w sposób jak najbardziej przypadkowy - w tym celu wykonujemy tzw. test widmowy: wykonujemy dwuwymiarowy wykres (sieć) par: ( x i, x i + ) obsadzamy (maksymalnie) m z m węzłow szukamy prostych łączących obsadzone węzły sieci, a następnie wybieramy największą z odległości dt między nimi jeśli odległości między sąsiednimi prostymi są podobne jednostajny rozkład węzłów sieci (tego oczekujemy!) oczekujemy, że: d t m / jeśli parametry a i m są źle dobrane, to: d t m / KADD 06, Wykład 4 3 / 33
Jakość generatorów losowych Najdłuższy okres nie jest jedyną porządaną cechą generatora Ważniejsze jest, aby liczby następujące po sobie występowały w sposób jak najbardziej przypadkowy - w tym celu wykonujemy tzw. test widmowy: prawy poprawny (dobre parametry), lewy - niepoprawny 0.9" 0.3 9 " 0.35" 3 0.3 " ( x i, x i + ) 0.7" m-/ KADD 06, Wykład 4 0.39" 4 / 33
Jakość generatorów losowych Najlepsze wyniki (długie okresy) można otrzymać łącząc ze sobą kilka (np. l) generatorów liniowych (o różnych parametrach) l (m j ) (l ) Ich maksymalny okres wynosi wtedy: p= j= oddzielnie l naprzemiennie (m j ) (l ) p= j= KADD 06, Wykład 4 5 / 33
Generacja liczb (pseudo)losowych metodą transformay rozkładu jednorodnego
Transformacja rozkładu jednorodnego To już wiemy :) Metoda z odwrotnością dystrybuanty Transformację rozkładu jednostajnego możemy wykorzystać do generowania liczb losowych o skomplikowanych gęstościach prawdopodobieństwa f ( x) dx=g ( y) dy y gdy f ( x) dx=g ( y )dy=dg ( y ) y=h(x)=?,0cm g( y)=g ' ( y ) dx= dg ( y) x=g( y) dy g(y) x y=g ( x) H ( x ) y min=g (0), y max =G (),59 Czyli: liczymy dystrybuantę G(y) a następnie funkcję odwrotną G-(y) 0 KADD 06, Wykład 4 musi istnieć x min=g( y min ), x max =G( y max ) dx f(x) dystrybuanta x Zmienna losowa X po transformacji y=g-(x) ma rozkład g(y) 7 / 33
Przykład rozkład Breita-Wignera Rozkład Breita-Wignera ma następującą postać: Γ g ( y)= π Γ 4( y a) + Γ Liczymy dystrybuantę: y ( y a) Γ x=g ( y)= π Γ dz= π arctg + Γ 4(z a) +Γ Odwrotna dystrybuanta: ( ( )) y ( x)=g ( x)=a+ Γ tg π x KADD 06, Wykład 4 ( ) y (0)= y ()= 8 / 33
Metoda akceptacji-odrzuceń von Neumanna
Metoda (akceptacji) von Neumanna Metoda generacji liczb metodą odwrotnej dystrybuanty ma swoje ograniczenia dystrybuanta musi być znana (I być funkcją wzajemnie jednoznaczną), czyli musi istnieć funkcja odwrotna Metoda (akceptcji-odrzuceń) von Neumanna wymaga znajomości jedynie gęstości prawdopodobieństwa i pozwala na otrzymanie liczb z praktycznie dowolnego rozkładu odrzucamy Jak to działa? generujemy parę liczb z rozkładu jednorodnego: ( y i, ui ) sprawdzamy, czy ui < g( y i ) jeśli warunek jest spełniony, akceptujemy liczbę yi, jeśli nie - odrzucamy KADD 06, Wykład 4 akceptujemy 30 / 33
Metoda von Neumanna - definicje Geometryczny opis metoduy von Neumanna: chcemy wygenerować liczby losowe opisane gęstością g(y) w przedziale: a y b rozważamy krzywą: u=g( y ) oraz funkcję stałą: u=d, d g max losujemy z rozkładu jednorodnego liczby ( y i, ui ), które spełniają warunki: a y i b, 0 ui d jak łatwo zauważyć, nasze punkty układają się w prostokącie na płaszczyźnie ( y,u) odrzucamy wszystkie punkty spełniające nierówność: ui g ( y i ) pozostają jedynie punkty położone pod krzywą: u=g( y ) zaakceptowane wartości yi podlegają rozkładowi g(y) Wada metody: w zależności od kształtu funkcji g(y), znaczna część b liczb yi jest odrzucana Wydajność metody: E= KADD 06, Wykład 4 g( y ) dy a (b a) d 3 / 33
Metoda von Neumanna przypadek wielowym. Metodę von Neumanna można uogólnić na wiele wymiarów: mamy funkjcę gęstości wielu zmiennych: g ( y, y,..., y n ) i i i i generujemy zbiór liczb z rozkładu jednorodnego: ( y, y,..., y n,u ) dla każdego i sprawdzamy warunek akceptacji: ui <g max ( y i, y i,..., y in ) akceptujemy lub odrzucamy cały zestaw wygenerowanych liczb dla danego i Kilka uwag do metody von Neumanna: za jej generować możemy liczby z dowolnego, nawet bardzo skomplikowanego rozkładu rozkład (czy w ogólności funkcja) g(y) nie musi być nawet unormowany b metodę tę można stosować do obliczania całek oznaczonych: g( y ) dy N zaakceptowane E= N wszystkie ( b a ) d a KADD 06, Wykład 4 b N zaakceptowane I = g( y ) dy ( b a ) d N wszystkie a 3 / 33
Metoda von Neumanna z funkcją pomocniczą Wydajność metody von Neumanna można poprawić, jeśli odpowiednio zawęzimy obszar losowania: wprowadzamy funkcję pomocniczą s(y), z ktorej łatwo wygenerować zmienne losowe (np. metodą odwrotnej dystrybuanty), i która spełnia warunek: g ( y ) c s( y ), a< y <b generujemy liczbę losową yi z rozkładu s(y) na przedziale a< y i <b oraz liczbę ui z rozkładu jednorodnego na przedziale 0<ui < g( y i ) odrzucamy liczbę yi, jeżeli: ui c s( y i ) wydajność metody: KADD 06, Wykład 4 b a g( y )dy E= b c a s( y )dy 33 / 33
KONIEC