Funkcje charakterystyczne zmiennych losowych, linie regresji 1-go i 2-go rodzaju

Transkrypt

1 Funkcje charakterystyczne zmiennych losowych, linie regresji -go i 2-go rodzaju Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki Szczecińskiej

2 6. Funkcje charakterystyczne zmiennych losowych Zespolona zmienna losowa to funkcja Ω ω X ( ω ) + i X 2( ω) Z, gdzie X, X 2 : Ω R są zmiennymi losowymi, określonymi na przestrzeni probabilistycznej (Ω, Z, P) Jeśli istnieją EX i EX 2, to (6.) E( X + i X 2) EX + i EX 2 Funkcja charakterystyczna rzeczywistej zmiennej losowej X określonej na przestrzeni probabilistycznej (Ω, Z, P) to funkcja dana wzorem (6.2) ϕ ( ) itx X t = Ee = E(cos tx ) + i E(sin tx ), t R ib gdyż ze wzoru Eulera e = cosb + isin b, b R (6.3) Stwierdzenie a) X typu skokowego o rozkładzie P( X = xk ) = pk, k =,2,... itx ϕ ( t) = e k p = p costx + i p sin tx, t X k k k k k k k k b) X typu ciągłego o gęstości f ϕ X : R Z R R itx ϕ X ( t) = e f ( x) dx = cos tx f ( x) dx + i sin tx f ( x) dx, t

3 Własności funkcji charakterystycznych (6.4) Uwagi a) Funkcja charakterystyczna istnieje dla każdej zmiennej losowej X itx (zmienna losowa zespolona jest ograniczona, tj. e = ) b) Jeśli nie będzie to prowadzić do nieporozumień, będziemy pisać ϕ zamiast ϕ X a) b) c) d) (6.5) Własności (funkcji charakterystycznej zmiennej losowej X ) ϕ (0) = ϕ( t) dla t R ϕ( t) = ϕ( t) dla t R itb Y = ax + b, a, b R ϕ ( t) = e ϕ ( at) dla t R e) ϕ jest jednostajnie ciągła Y X

4 Własności funkcji charakterystycznych (6.6) Twierdzenie Jeżeli X, X 2,, X n są niezależnymi zmiennymi losowymi, to funkcja charakterystyczna sumy tych zmiennych losowych określona jest wzorem ϕ X + X X ( t) = ϕ X ( t) ϕ X ( t)... ϕ X ( t), dla t R 2 n 2 n (6.7) Przykłady a) Wyznaczyć funkcję charakterystyczną zmiennej losowej S n o rozkładzie dwumianowym z parametrami n N + i p (0,) b) Wyznaczyć funkcję charakterystyczną zmiennej o rozkładzie jednostajnym na przedziale a,b

5 Własności funkcji charakterystycznych (6.8) Twierdzenie Jeżeli istnieje k-ty moment EX k zmiennej losowej X dla k, to istnieje k-ta pochodna funkcji charakterystycznej ϕ oraz (6.9) Wniosek ( k ) k k ϕ (0) = i EX Jeśli dla zmiennej losowej X istnieją EX i EX 2, to ϕ (0) 2 EX = oraz EX = ϕ (0) (6.0) Przykłady i Wyznaczyć wartość oczekiwaną i wariancję zmiennych losowych X ma rozkład geometryczny z parametrem p (0,), tzn. X ma rozkład Poissona z parametrem λ > 0, tzn. X ma rozkład wykładniczy z parametrem λ > 0, tzn. funkcja gęstości jest określona wzorem P X k q p k ( = ) = k, =,2,... k λ λ P( X = k) = e, k = 0,,2,... k! 0 dla x < 0 f ( x) = λx λ e dla x 0

6 7. Linie regresji -go i 2-go rodzaju E( X / Y = y) wartość oczekiwaną zmiennej losowej X pod warunkiem, że zmienna losowa Y przyjmuje wartość y E( Y / X = x) analogicznie (7.) Stwierdzenie Jeśli ( X, Y ) jest wektorem losowym typu skokowego o rozkładzie P( X = x, Y = y ) = p, i, j =,2,..., to i j ij E( X / Y = y ) = x P( X = x / Y = y ) = x p i i P( Y = y ) j i i j i ij j E( Y / X = x ) = y P( Y = y / X = x ) = y p j j P( X = x ) i j j i j ij i

7 Linie regrsji -go rodzaju (7.2) Stwierdzenie Jeśli ( X, Y ) jest wektorem losowym typu ciągłego o gęstości f i gęstościach brzegowych f X i f Y odpowiednio, to E( X / Y = y) = x f ( x / y) dx = x f ( x, y) dx, dla y fy ( y) 0 f ( y) R Y E( Y / X = x) = y f ( y / x) dy = y f ( x, y) dy, dla x f X ( x) 0 f ( x) R X Ze stwierdzeń (7.) i (7.2) wynika, że E( X / Y = y) jest funkcją zmiennej y

8 Wykład 3 Linie regresji -go rodzaju Linia regresji -go rodzaju zmiennej X względem zmiennej Y to zbiór punktów 2 ( x, y) R spełniających równanie (7.3) y x = g( y) gdzie g( y) = E( X / Y = y) Linia regresji -go rodzaju zmiennej Y względem zmiennej X to zbiór punktów 2 ( x, y) R spełniających równanie (7.4) x y = g 2( x) gdzie g 2( x) = E( Y / X = x) (7.5) Własność Jeśli są niezależnymi zmiennymi losowymi, to linie regresji -go rodzaju są stałe oraz g ( y) = EX i g ( x) = EY 2

9 Wykład 3 Linie regresji -go rodzaju (7.6) Własność Średnie odchylenie kwadratowe zmiennej losowej Y od pewnej funkcji g( X ) zmiennej losowej X, tzn. E ( Y g( X )) 2 jest najmniejsze, gdy funkcja ta prawie wszędzie jest równa g 2 ( X ). Oznacza to, że Analogicznie (7.7) Przykłady ( ) = ( ) a) Wyznaczyć linię regresji -go rodzaju zmiennej losowej X względem Y dla wektora losowego o rozkładzie z przykładu (0.9) 2 2 E Y g 2( X ) min E Y g( X ) ( ) = ( ) g 2 2 E X g( Y ) min E X g( Y ) g X Atomy 0 P( X = xi ) P( Y = y ) j Y

10 Linie regresji -go rodzaju (7.7) Przykłady b) Wyznaczyć linię regresji -go rodzaju zmiennej losowej Y względem X dla wektora losowego ( X, Y ) o gęstości określonej wzorem 2 dla ( x, y) K f x y K x y x y 0 dla ( x, y) K 2 (, ) = gdzie = {(, ) R : + } Z przykładu (0.5) wiadomo, że 2( x+ ) dla x (,0 y x, x + f ( y / x) = 2( x) dla x (0,) y x, x 0 dla pozostałych y

11 Linie regresji 2-go rodzaju Linia regresji 2-go rodzaju to funkcja y = g(x), której przewidywaną postać wyznacza się metodą najmniejszych kwadratów, minimalizując wyrażenie E ( Y g( X )) 2 Prosta regresji 2-go rodzaju zmiennej Y względem zmiennej X to funkcja o równaniu y = αx + β, gdzie współczynniki α i β są dobrane tak, by średnie odchylenie kwadratowe zmiennej losowej Y od zmiennej losowej αx + β, tzn. E ( Y ( α X + β) ) 2 było najmniejsze (7.8) Przykład α = 2 cov( X, Y) D Y 2 ( X, Y), o ile D X D X = ρ D X > a) Wykazać, że i β = EY αex b) Obliczyć wartość minimalną wyrażenia ( ( α X + β) ) 2 E Y

12 Minimum funkcji dwóch zmiennych Wyznaczenie pochodnych cząstkowych pierwszego rzędu i rozwiązanie układu równań (warunek konieczny istnienia ekstremum) f ( x, y) = 0 x f ( x, y) = 0 y Wyznaczenie pochodnych cząstkowych drugiego rzędu i obliczenie głównych minorów hesjana, tj. macierzy 2 2 f ( x0, y0) f ( x0, y0) 2 x x y H = 2 2 f ( x0, y0) f ( x0, y0) 2 y x y Sprawdzenie warunku wystarczającego istnienia minimum (główne minory macierzy H większe od zera)

13 Linie regresji 2-go rodzaju Wyrażenie 2 2 (7.9) D Y ρ ( X, Y ) to wariancja resztowa (resztkowa) lub wariancja regresji zmiennej losowej Y względem zmiennej X (7.0) Przykład ( ) a) Wyznaczyć prostą regresji zmiennej losowej X względem zmiennej Y oraz wariancję resztkową dla wektora losowego ( X, Y ) o rozkładzie Y z przykładu (0.9) Atomy 0 P( X = x ) X P( Y = y ) j i

14 Linie regresji 2-go rodzaju (7.0) Przykład b) Wyznaczyć regresję 2-go rodzaju zmiennej losowej Y względem zmiennej X oraz wariancję resztkową dla wektora losowego ( X, Y ) o gęstości określonej wzorem 2 dla ( x, y) K f x y K x y R x y 0 dla ( x, y) K 2 (, ) = gdzie = {(, ) : + } (7.) Własność Jeśli linia regresji -go rodzaju jest zbiorem współliniowym, to prosta regresji 2-go rodzaju ją pokrywa

15 Dziękuję za uwagę