Komputerowa analiza danych doświadczalnych Wykład 4 6.03.08 dr inż. Łukasz Graczykowski lukasz.graczykowski@pw.edu.pl Semestr letni 07/08
Zamiana zmiennych Transformacje liniowe Propagacja niepewności Metody Monte Carlo
Zamiana zmiennych
Zamiana zmiennych Na poprzednich wykładach zauważyliśmy, że dowolna funkcja zmiennej losowej X jest także zmienną losową: y dy Y =H ( X ) g(y) Pytanie: jaka jest gęstość prawdopodobieństwa g(y), jeżeli znana jest gęstość prawdopodobieństwa f(x) i oczywiście funkcja Y=H(X)? y=h(x),0cm x f(x) dx,59 dla infinitezymalnie małego przedziału zmienności prawdopodobieństwa są równe: f ( x)dx=g( y) dy pochodna funkcji Y =H ( X ) z tego wynika: dy = dy dx dx dx= dx dy dy (Y ) zatem rozkłady są powiązane: g ( y)= pochodna funkcji X=H x dx f ( x) dy 4 / 3
Zamiana zmiennych Warunki: funkcja Y=H(X) musi być wzajemnie jednoznaczna (musi istnieć funkcja odwrotna) funkcje wieloznaczne (np. y= ( x) ) rozpatrujemy oddzielnie tylko te części, które są dodatnie y=+ ( x) y rozkłady są unormowane: y=h(x),0cm dy g( y )dy= f ( x)dx= x g(y) f(x) dx,59 x 5 / 3
Zamiana zmiennych przykład szczególny Pytanie: mamy zmienną losową X opisaną rozkładem jednorodnym f(x)= na przedziale od 0 do. Jaka będzie postać funkcji Y=H(X), aby otrzymać zadany (znany) rozkład g(y)? metoda odwracania dystrybuanty y f ( x)dx=g ( y)dy gdy f ( x) dx=g ( y )dy=dg ( y ) y=h(x)=?,0cm g( y)=g ' ( y ) dx= dg ( y) x=g( y) dy g(y) x y=g ( x) H ( x ) y min=g (0), y max =G (),59 Czyli: liczymy dystrybuantę x=g(y) a następnie funkcję odwrotną y=g-(x) 0 musi istnieć x min=g( y min ), x max =G( y max ) dx f(x) dystrybuanta x Zmienna losowa X po transformacji Y=G-(X) ma rozkład g(y) 6 / 3
Zamiana zmiennych przypadek wielowym. Mamy dwie zmienne losowe X i Y, dokonujemy zamiany zmiennych na U i V: ( X, Y ) (U,V ) U =U ( X,Y ) V =V ( X,Y ) Szukamy funkcji J (jakobian): ( ) g (u, v )=f ( x, y ) J x, y u,v Rysunek przedstawia płaszczyznę (x,y), z układem krzywych dla u=const i v=const Mamy więc mały element powierzchni o polu da=dxdy w zmiennych x,y zatem jego pole możemy policzyć jako pole równoległoboku o wierzchołkach a,b,c,d: współrzędne pierwszych 3 wierzchołków: x a=x (u, v ) x b= x u, v dv x c =x u du, v y a=y u, v y b=y u, v dv y c= y u du, v 7 / 3
Zamiana zmiennych przypadek wielowym. Rozwijamy w szereg Taylora: x x b =x (u, v)+ dv v x x c =x (u, v)+ du u Z dokładnością do znaku pole powierzchni: xa da= x b xc y y b = y (u, v)+ dv v y y c = y (u, v)+ du u W ogólnym Y =Y ( X ) Y =Y ( X ) Y n=y n ( X ) x ya u = yb x yc v jakobian przejścia (transformacji) y x, y u du dv J du dv y u,v v ( ) x przypadku, dla n zmiennych: y x x J = y x g ( y)= J f (x) y y... x yn ( ) () x y x y x yn......... xn y xn y xn yn 8 / 3
Zamiana zmiennych przypadek wielowym. f ( x, y )=/( a ), x + y <a Dokonujemy zamiany zmiennych: u( x, y)= x+ y v( x, y)= x y x (u, v)= (u+ v ) y (u, v)= (u v) Obliczamy jakobian: x y = = u u x y = = v v x,y J = = u,v ( ) g (u, v )=f ( x, y ) J Otrzymujemy g(u,v): x, y = f ( x, y )=/ ( 4 a ), u < a ; v <a u, v ( ) 9 / 3
Zamiana zmiennych przypadek wielowym. f ( x, y )=, x + y <R πr Dokonujemy zamiany zmiennych (do wsp. bieg.): x (r, f)=r cos f r ( x, y )= x + y x f ( x, y )=arctg y (r, f)=r sin f y Obliczamy jakobian: x =cos f r x = r sin f f y =sin f r y =r cos f f x, y J =r cos f+ r sin f=r r,f ( ) Otrzymujemy g(r,f): ( ) g (r, f)=f ( x, y ) J x, y r = r,f π R 0 / 3
Transformacje liniowe Propagacja niepewności
Transformacje liniowe Najczęściej, ze względu na prostotę, posługujemy się transformacjami liniowymi (inne transformacje najczęściej aproksymujemy liniowymi, rozwijając na szereg Taylora) funkcje Y =(Y, Y,..., Y r ) są liniowymi funkcjami zmiennych Y =a + t X + t X +...+ t n X n Y =a + t X + t X +...+ t n X n Y r =a r + t r X + t r X +...+ t rn X n W zapisie macierzowym: Y =T X + a Wartość oczekiwana Y: E ( Y ) =^y =T ^x + a X=( X, X,..., X n ) Jest to przypadek ogólny zmienne X nie są niezależne (istnieją kowariancje) Mierzymy pośrednio wielkość (wielkości) fizyczną Y, która zależy od wielkości fizycznych X mierzonych bezpośrednio, które nie są niezależne od siebie. Macierz korawiancji Y: C Y =E ((Y ^y )(Y ^y )T ) T =E ( (T X + a T x^ a)(t X + a T ^x a) ) T T =E ( T ( X ^x )( X x^ ) T ) T T =TE ( ( X ^x )( X x^ ) ) T C Y =T C X T T / 3
Propagacja niepewności Załóżmy, że znamy pewne wartości oczekiwane (wyniki pomiarów) x^ i oraz ich niepewności σ(xi) i kowariancje cov(xi,xj). Szukamy niepewności funkcji: Y ( X) Jeśli niepewności są małe, to możemy dokonać rozwinięcia na szereg Taylora wokół wartości oczekiwanych: yi Y i =Y i ( x^ )+ x ( ) yi ( X ^x )+...+ xn x= ^x ( ) x= ^x ( X n ^x n )+ wyrazy wyższego rzędu w notacji macierzowej: Y =Y ( x^ )+T ( X x^ )+ wyrazy wyższego rzędu y y y gdzie: ( ) x x y y T= x x yn yn x x......... xn y xn yn xn X = ^x 3 / 3
Propagacja niepewności Niepewności Y to elementy diagonalne macierzy kowariancji: C Y =T C X T T jak widać, zależą one nie tylko od elementów diagonalnych macierzy CX, ale również od jej elementów pozadiagonalnych tylko i wyłącznie jeżeli wszystkie zmienne X są niezależne, tj. cij=0, dla i j możemy zapisać: n σ (Y i )= j= yi xj ( ) σ ( X j) co daje nam prawo propagacji niepewności znane z Wykładu : σ ( y i )= n j= yi xj ( ) σ ( x j) 4 / 3
Znaczenie macierzy kowariancji - przykład Mierzymy w układzie kartezjańskim współrzędne punktu (x,y). Pomiary x i y są niezależne. Z jakiejś przyczyny (np. w celu porównania z przewidywaniami teoretycznymi) potrzebujemy jednak wynik we współrzędnych biegunowych. Z powodu np. innego przyrządu pomiariowego pomiar daje trzykrotnie większą niepewność współrzędnej y niż x. (0 9 ) Wtedy macierz kowariancji może wyglądać np. tak: C xy = 0 Dokonujemy tranformacji na współrzędne biegunowe: r ( x, y )= x + y f ( x, y )=arctg x y x (r, f)=r cos f y (r, f)=r sin f Policzmy macierz transformacji (dla prostoty w punkcie (,)) x r y = r f y y r y r = x r ( )( )( ) r T= x f x T T = ( ) 5 / 3
Znaczenie macierzy kowariancji - przykład Macierz kowariancji dla zmiennych biegunowych: T C r f =T C xy T = 4 ( ) ( )( ) ( ) 0 0 9 5 = 4 5 Widzimy, że nie są one niezależne Licząc w drugą stronę: ( ) Cr f = Pozadiagonalne elementy macierzy kowariancji są T '= BARDZO WAŻNE 5 4 4 5 x r y r x y cos r sin = = sin r cos T T Cxy=T ' Cr T ' = ŹLE! gdyby uwzględniać tylko diagonalne niepewności są zupełnie inne Cxy=T ' Cr T ' = 5 4 5 4 5 0 5 0 = = 0 0 9 5 0 0 5 6 / 3
Generacja liczb (pseudo)losowych za pomocą komputera
Liczby (pseudo)losowe Do tej pory zajmowaliśmy się jedynie opisem zmiennych losowych (ich właściwości) nie zajmowaliśmy się tym, jak je otrzymać Bardzo często potrzebujemy jednak posłużyć się ciągiem (losowych) wartości jakiejś zmiennej losowej, która opisana jest danym rozkładem prawdopodobieństwa Metoda otrzymywania takich liczb może pochodzić z badania zjawiska fizycznego (np. rozpad promieniotwórczy, szumy fal elektromagnetycznych) Liczby takie możemy wygenerować również w komputerze trzeba jednak pamiętać, że taki ciąg będzie ciągiem pseudolowym, gdyż komputer cechuje się zachowaniem deterministycznym (można więc te liczby przewidzieć ) Metody analizy danych z wykorzystaniem liczb (pseudo)losowych nazywamy metodami Monte Carlo 8 / 3
Generatory liniowe kongruentne Komputer, urządzenie determinisityczne, może generować tylko liczby pseudolosowe kolejna generowana liczba jest funkcją liczb wcześniej wygenerowanych Generator liniowy kongruenty (LCG Linear Congruential Generator): x j+ =(a x j +c)mod m LCG generuje okresowy ciąg liczb (po jakimś czasie powtarza się) m maksymalna długość okresu generatora (szczegóły Brandt) Multiplikatywny generator liniowy kongruenty (MLCG multiplicative linear congruential generator), c=0: x j + =(a x j )mod m szybsze od LCG, ale nigdy nie dają wartości 0 i mają krótkie okresy 9 / 3
Jakość generatorów losowych Najdłuższy okres nie jest jedyną porządaną cechą generatora Ważniejsze jest, aby liczby następujące po sobie występowały w sposób jak najbardziej przypadkowy - w tym celu wykonujemy tzw. test widmowy: wykonujemy dwuwymiarowy wykres (sieć) par: ( x i, x i + ) obsadzamy m z m węzłow szukamy prostych łączących obsadzone węzły sieci, a następnie wybieramy największą z odległości dt między nimi jeśli odległości między sąsiednimi prostymi są podobne jednostajny rozkład węzłów sieci (tego oczekujemy!) oczekujemy, że: d t m / jeśli parametry a i m są źle dobrane, to: d t m / 0 / 3
Jakość generatorów losowych Najdłuższy okres nie jest jedyną porządaną cechą generatora Ważniejsze jest, aby liczby następujące po sobie występowały w sposób jak najbardziej przypadkowy - w tym celu wykonujemy tzw. test widmowy: prawy poprawny (dobre parametry), lewy - niepoprawny 0.04 ( x i, x i + ) 0.0.6 7 0.0 9 0.08 m-/ 0.09 / 3
Jakość generatorów losowych Najlepsze wyniki (długie okresy) można otrzymać łącząc ze sobą kilka (np. l) generatorów liniowych (o różnych parametrach) l (m j ) (l ) Ich maksymalny okres wynosi wtedy: p= j= oddzielnie l naprzemiennie (m j ) (l ) p= j= / 3
Generacja liczb (pseudo)losowych metodą transformay rozkładu jednorodnego
Transformacja rozkładu jednorodnego To już wiemy :) Metoda z odwrotnością dystrybuanty Transformację rozkładu jednostajnego możemy wykorzystać do generowania liczb losowych o skomplikowanych gęstościach prawdopodobieństwa f ( x) dx=g ( y) dy y gdy f ( x) dx=g ( y )dy=dg ( y ) y=h(x)=?,0cm g( y)=g ' ( y ) dx= dg ( y) x=g( y) dy g(y) x y=g ( x) H ( x ) y min=g (0), y max =G (),59 Czyli: liczymy dystrybuantę G(y) a następnie funkcję odwrotną G-(y) 0 musi istnieć x min=g( y min ), x max =G( y max ) dx f(x) dystrybuanta x Zmienna losowa X po transformacji y=g-(x) ma rozkład g(y) 4 / 3
Przykład rozkład Breita-Wignera Rozkład Breita-Wignera ma następującą postać: Γ g ( y)= π Γ 4( y a) + Γ Liczymy dystrybuantę: y ( y a) Γ x=g ( y)= π Γ dz= π arctg + Γ 4(z a) +Γ Odwrotna dystrybuanta: ( ( )) y ( x)=g ( x)=a+ Γ tg π x ( ) y (0)= y ()= 5 / 3
Metoda akceptacji-odrzuceń von Neumanna
Metoda (akceptacji) von Neumanna Metoda generacji liczb metodą odwrotnej dystrybuanty ma swoje ograniczenia dystrybuanta musi być znana (I być funkcją wzajemnie jednoznaczną), czyli musi istnieć funkcja odwrotna Metoda (akceptcji-odrzuceń) von Neumanna wymaga znajomości jedynie gęstości prawdopodobieństwa i pozwala na otrzymanie liczb z praktycznie dowolnego rozkładu odrzucamy Jak to działa? generujemy parę liczb z rozkładu jednorodnego: ( y i, ui ) sprawdzamy, czy ui < g( y i ) jeśli warunek jest spełniony, akceptujemy liczbę yi, jeśli nie - odrzucamy akceptujemy 7 / 3
Metoda von Neumanna - definicje Geometryczny opis metody von Neumanna: chcemy wygenerować liczby losowe opisane gęstością g(y) w przedziale: a y b rozważamy krzywą: u=g( y ) oraz funkcję stałą: u=d, d g max losujemy z rozkładu jednorodnego liczby ( y i, ui ), które spełniają warunki: a y i b, 0 ui d jak łatwo zauważyć, nasze punkty układają się w prostokącie na płaszczyźnie ( y,u) odrzucamy wszystkie punkty spełniające nierówność: ui g ( y i ) pozostają jedynie punkty położone pod krzywą: u=g( y ) zaakceptowane wartości yi podlegają rozkładowi g(y) Wada metody: w zależności od kształtu funkcji g(y), znaczna część liczb yi jest odrzucana b Wydajność metody: E= g( y ) dy a (b a) d 8 / 3
Metoda von Neumanna przypadek wielowym. Metodę von Neumanna można uogólnić na wiele wymiarów: mamy funkjcę gęstości wielu zmiennych: g ( y, y,..., y n ) i i i i generujemy zbiór liczb z rozkładu jednorodnego: ( y, y,..., y n,u ) dla każdego i sprawdzamy warunek akceptacji: ui <g max ( y i, y i,..., y in ) akceptujemy lub odrzucamy cały zestaw wygenerowanych liczb dla danego i Kilka uwag do metody von Neumanna: za jej generować możemy liczby z dowolnego, nawet bardzo skomplikowanego rozkładu rozkład (czy w ogólności funkcja) g(y) nie musi być nawet unormowany b metodę tę można stosować do obliczania całek oznaczonych: g( y ) dy N zaakceptowane E= N wszystkie ( b a ) d a b N zaakceptowane I = g( y ) dy ( b a ) d N wszystkie a 9 / 3
Metoda von Neumanna z funkcją pomocniczą Wydajność metody von Neumanna można poprawić, jeśli odpowiednio zawęzimy obszar losowania: wprowadzamy funkcję pomocniczą s(y), z ktorej łatwo wygenerować zmienne losowe (np. metodą odwrotnej dystrybuanty), i która spełnia warunek: g ( y ) c s( y ), a< y <b generujemy liczbę losową yi z rozkładu s(y) na przedziale a< y i <b oraz liczbę ui z rozkładu jednorodnego na przedziale 0<ui < g( y i ) odrzucamy liczbę yi, jeżeli: ui c s( y i ) wydajność metody: b a g( y )dy E= b c a s( y )dy 30 / 3
KONIEC
Zapis liczb w komputerze Najmniejsza jednostka informacji bit (0 lub ), system dwójkowy) Przykład: 3=*8+*64+0*3+*6+0*8+*4+0*+*=>0000 Ogólnie k- bitów wartość bezwzględna kodowanej liczby, bit znak. Wartość bezwzględna: (k ) a=a k (k 3) +a k 3 () (0) +...+a +a 0 W komputerze zapisujemy liczby za pomocą bajtów składających się z 8 bitów (najmniejsza adresowalna jednostka pamięci) Współcześnie komputery pracują na (6), 3 i 64-bitowych liczbach Liczby bez znaku przyjmują wartości od 0 do k-, zaś liczby ze znakiem od -k- do k-- 3 / 3
Zapis liczb w komputerze Liczbę zmiennoprzecinkową zapisujemy jako: s x=( ) m b c Gdzie: m mantysa (część ułamkowa liczby), b podstawa, c wykładnik (albo cecha, część całkowita liczby), s bit znaku Komputery zapisują liczbę z b=, notacja naukowa to b=0 Do zapisu liczby zmiennoprzecinkowej wystarczy zatem znajomość dwóch liczb całkowitych Przykłady: 33 / 3
Zapis liczb w komputerze Zakres zmienności liczb zmiennoprzecinkowych: c min < x < c max Dwie liczby zmiennoprzecinkowe są różne, jeżeli ich mantysy różnią się o minimalną wartość a: 0 Δx a n x =m, x =( m+a ), Δ x=x x =a, = = n = x m e e e Przykład typy danych w języku C++: 34 / 3