Wartość oczekiwana Mediana i dominanta Wariancja Nierówności związane z momentami. Momenty zmiennych losowych Momenty wektorów losowych

Transkrypt

1 Przykład(Wartość średnia) Otrzymaliśmy propozycję udziału w grze polegającej na jednokrotnym rzucie symetryczną kostką. Jeśli wypadnie 1 wygrywamy2zł,;jeśliwypadnie2,płacimy1zł;za3wygrywamy 4zł;za4płacimy5zł;za5wygrywamy3złiwreszcieza6 płacimy4zł.czywartobraćudziałwtejgrze?czynadłuższą metę opłaca się grać?

2 Definicja Zmienna losowa X o wartościach w R ma wartość oczekiwaną (średnią, nadzieję matematyczną, esperancję), jeżeli jest całkowalna, czyli jeżeli X dp <. Ω W takim przypadku wartością oczekiwaną zmiennej losowej nazywamy liczbę(całka Lebesgue a) EX = XdP. Ω

3 Definicja Niech X będzie zmienną losową dyskretną o rozkładzie P(X = x i ) = p i, i =1,2,...Wartościąoczekiwanązmiennej losowej X nazywamy liczbę EX = i x i p i, oile x i p i <. i Jeżeli i x i p i =,tomówimy,żezmiennalosowa Xniema wartości oczekiwanej.

4 Żądanie bezwzględnej zbieżności szeregu jest bardzo ważne. Gwarantuje ono, że wartość oczekiwana nie zależy od kolejności sumowania wyrazów. W przeciwnym razie wartość oczekiwana mogłaby zależeć nie tylko od rozkładu zmiennej losowej X, ale również od sposobu ponumerowania punktów skokowych. Nie byłaby więc w takiej sytuacji wyznaczona jednoznacznie.

5 Przykład(konieczność warunku bezwzględnej zbieżności) Ile wynosi wartość oczekiwana w następującym rozkładzie P(X = x k ) = p k, k =1,2,..., p k = 2 3 k, x k = ( 1)k 3 k. k

6 Przykład(wartość oczekiwana w rozkładzie Bernoulliego) Ile wynosi E X w rozkładzie Bernoulliego? Przykład(wartość oczekiwana w rozkładzie geometrycznym) Ile wynosi E X w rozkładzie geometrycznym z parametrem p =1/2?

7 Przykład(wartość oczekiwana w rozkładzie Bernoulliego) Ile wynosi E X w rozkładzie Bernoulliego? Przykład(wartość oczekiwana w rozkładzie geometrycznym) Ile wynosi E X w rozkładzie geometrycznym z parametrem p =1/2?

8 Definicja Niech X będzie zmienną losową ciągłą o gęstości f(x). Wartością oczekiwaną zmiennej losowej X nazywamy liczbę EX = xf(x)dx, oile x f(x)dx <.

9 Przykład(wartość oczekiwana w rozkładzie jednostajnym) IlewynosiEXwrozkładziejednostajnymnaodcinku [a,b]?

10 Twierdzenie Niech g : R n Rbędziefunkcjąborelowską,aXzmiennąlosową owartościachwr n.wtedy: E(g(X)) = g(x)dp. R n CzęstocałkiLebesque a R g(x)dpoznaczasięprzez R g(x)df i nazywa całkami Lebesque a-stieltjesa.

11 Twierdzenie Niech g : R n Rbędziefunkcjąborelowską,aXzmiennąlosową owartościachwr n.wtedy: E(g(X)) = g(x)dp. R n CzęstocałkiLebesque a R g(x)dpoznaczasięprzez R g(x)df i nazywa całkami Lebesque a-stieltjesa.

12 Twierdzenie Załóżmy,żeistniejąwartościoczekiwaneEXorazEY.Wtedy 1 Jeśli X 0,toEX 0. 2 EX <E X. 3 Dla a,b R 4 Jeżeli X Yna Ω,to E(aX +by) = aex +bey. EX EY 5 Jeżeli X i Y są niezależnymi zmiennymi losowymi, to EXY =EXEY

13 Przykład(wzór kombinatoryczny) Kupujemy klosównaloterii,wktórejjest Mlosów przegrywających i N wygrywających. Niech X będzie liczbą losów wygrywających wśród tych, które kupujemy. Ile wynosi wartość oczekiwana X? Przykład(E1) Niech X 1,X 2,...,X n będąniezależnymizmiennymilosowymi dodatnimi o jednakowych rozkładach. Wykazać, że dla każdego k n ( ) X X k E = k X X n n.

14 Przykład(wzór kombinatoryczny) Kupujemy klosównaloterii,wktórejjest Mlosów przegrywających i N wygrywających. Niech X będzie liczbą losów wygrywających wśród tych, które kupujemy. Ile wynosi wartość oczekiwana X? Przykład(E1) Niech X 1,X 2,...,X n będąniezależnymizmiennymilosowymi dodatnimi o jednakowych rozkładach. Wykazać, że dla każdego k n ( ) X X k E = k X X n n.

15 Twierdzenie( Lebesgue a o zbieżności monotonicznej) Jeżeli (X n )jestciągiemniemalejącymnieujemnychzmiennych losowych, to E(lim X n) = lim E(X n). n n Wniosek Niech (X n )będzieciągiemnieujemnychzmiennychlosowych. Wówczas ( ) E X n = E(X n ). n=1 n=1

16 Twierdzenie( Lebesgue a o zbieżności monotonicznej) Jeżeli (X n )jestciągiemniemalejącymnieujemnychzmiennych losowych, to E(lim X n) = lim E(X n). n n Wniosek Niech (X n )będzieciągiemnieujemnychzmiennychlosowych. Wówczas ( ) E X n = E(X n ). n=1 n=1

17 Twierdzenie( Lebesgue a o zbieżności zmajoryzowanej) Jeżeli (X n )jesttakimciągiemzmiennymlosowych,że X n Zdla pewnej całkowalnej zmiennej losowej Z, to E(lim n X n) = lim n E(X n). Twierdzenie( Lebesgue a o zbieżności ograniczonej) Jeżeliistniejetakaliczbarzeczywista c,że X n cna Ωoraz lim n X n = X,toEX < oraz E(lim n X n) =EX.

18 Twierdzenie( Lebesgue a o zbieżności zmajoryzowanej) Jeżeli (X n )jesttakimciągiemzmiennymlosowych,że X n Zdla pewnej całkowalnej zmiennej losowej Z, to E(lim n X n) = lim n E(X n). Twierdzenie( Lebesgue a o zbieżności ograniczonej) Jeżeliistniejetakaliczbarzeczywista c,że X n cna Ωoraz lim n X n = X,toEX < oraz E(lim n X n) =EX.

19 jest szczególnym przypadkiem grupy parametrów, które nazywamy momentami. Definicja Liczbę m k =E(X k ) nazywamy momentem zwykłym rzędu k zmiennej losowej X. Liczbę β k =E( X k ) nazywamy momentem absolutnym rzędu k zmiennej losowej X.

20 Twierdzenie Jeśli moment zwykły rzędu s zmiennej losowej X jest skończony, to wszystkie momenty zwykłe rzędu r < s są również skończone.

21 jest jedną z charakterystyk liczbowych zmiennych losowych zwanych parametrami położenia. Mówi ona z grubsza, gdzie są skupione wartości przyjmowane przez zmienną losową. Odpowiada za średnią wartość przyjmowaną przez zmienną losową. Istnieją również inne parametry położenia. Definicja Wartość x spełniającą nierówności P(X x) p, P(X x) 1 p, dla0 < p <1nazywamykwantylemrzędu pzmiennejlosowej Xi oznaczamyprzez x p.

22 Równoważnie możemy zapisać p P(X = x) F(x) p. Zatem jeśli X jest zmienną losową absolutnie ciągłą, to kwantylem rzędu pzmiennejlosowej Xjestwartość x p spełniającarówność F(x p ) = p. Warto jeszcze podkreślić, że kwantyl może nie być zdefiniowany jednoznacznie. W przypadku jednak gdy dystrybuanta jest rosnąca jest wyznaczony jednoznacznie.

23 Definicja Kwantyl rzędu 1/2 nazywamy medianą, kwantyl rzędu 1/4 i 3/4 nazywamy odpowiednio dolnym i górnym kwartylem. Dla zmiennej losowej Xoznaczmyodpowiednio Me(X), Q 1 (X)iQ 3 (X).

24 Przykład(M1) Ile wynosi mediana w rozkładzie jednostajnym na odcinku [a, b]? Przykład(M2) Ile wynosi mediana w rozkładzie o funkcji gęstości postaci f(x) = k x k+1i [1, )(x), gdzie k > 0 jest rzeczywistym parametrem?

25 Przykład(M1) Ile wynosi mediana w rozkładzie jednostajnym na odcinku [a, b]? Przykład(M2) Ile wynosi mediana w rozkładzie o funkcji gęstości postaci f(x) = k x k+1i [1, )(x), gdzie k > 0 jest rzeczywistym parametrem?

26 Definicja Dominantą(modą) zmiennej losowej X nazywamy: W przypadku zmiennej losowej dyskretnej wartość, której odpowiada największe prawdopodobieństwo. W przypadku zmiennej losowej ciągłej wartość dla której gęstość przyjmuje maksimum lokalne. Podobnie jak kwantyle dominanta może nie być wyznaczona jednoznacznie. W przypadku gdy zmienna losowa X ma dokładnie jedną wartość modalną jej rozkład nazywamy jednomodalny, w przeciwnym razie mówimy o rozkładach wielomodalnych.

27 Przykład(D1) Ile wynosi dominanta w rozkładzie jednostajnym na odcinku [a, b]? Przykład(D2) Ile wynosi dominanta w rozkładzie o funkcji gęstości postaci f(x) = k x k+1i [1, )(x), gdzie k > 0 jest rzeczywistym parametrem?

28 Przykład(D1) Ile wynosi dominanta w rozkładzie jednostajnym na odcinku [a, b]? Przykład(D2) Ile wynosi dominanta w rozkładzie o funkcji gęstości postaci f(x) = k x k+1i [1, )(x), gdzie k > 0 jest rzeczywistym parametrem?

29 Kolejną grupę parametrów zmiennej losowej stanowią parametry rozproszenia. Definicja Liczbę Var(X) =E([X EX] 2 ) nazywamy wariancją zmiennej losowej X, jeżeli wartość oczekiwana poprawejstronieistnieje.liczbę σ x = Var(X)nazywamy odchyleniem standardowym zmiennej losowej X. Uwaga Var(X) 0.

30 Kolejną grupę parametrów zmiennej losowej stanowią parametry rozproszenia. Definicja Liczbę Var(X) =E([X EX] 2 ) nazywamy wariancją zmiennej losowej X, jeżeli wartość oczekiwana poprawejstronieistnieje.liczbę σ x = Var(X)nazywamy odchyleniem standardowym zmiennej losowej X. Uwaga Var(X) 0.

31 Wniosek Var(X) =EX 2 E 2 X. Twierdzenie Dladowolnychliczb aoraz bzachodziwzór Var(aX +b) = a 2 Var(X). Twierdzenie Jeżeli X oraz Y są niezależnymi zmiennymi losowymi to zachodzi wzór Var(X +Y) =Var(X)+Var(Y).

32 Wniosek Var(X) =EX 2 E 2 X. Twierdzenie Dladowolnychliczb aoraz bzachodziwzór Var(aX +b) = a 2 Var(X). Twierdzenie Jeżeli X oraz Y są niezależnymi zmiennymi losowymi to zachodzi wzór Var(X +Y) =Var(X)+Var(Y).

33 Wniosek Var(X) =EX 2 E 2 X. Twierdzenie Dladowolnychliczb aoraz bzachodziwzór Var(aX +b) = a 2 Var(X). Twierdzenie Jeżeli X oraz Y są niezależnymi zmiennymi losowymi to zachodzi wzór Var(X +Y) =Var(X)+Var(Y).

34 jest miarą rozrzutu wartości zmiennej losowej X wokół jej wartości oczekiwanej E X. Zauważmy, że jeżeli X jest zmienną losową dyskretną, to Var(X) = [x k EX] 2 P(X = x k ). k=1 Jeżeli natomiast X jest zmienną losową absolutnie ciągłą, to Var(X) = [x EX] 2 f X (x)dx, gdzie f X (x)jestgęstościązmiennejlosowej X.

35 Twierdzenie Jeśli XjestzmiennąlosowądlaktórejEX 2 <,toistnieje Var(X). Przykład(W1) Ile wynosi wariancja w rozkładzie dwumianowym? Przykład(W2) Ile wynosi wariancja w rozkładzie jednostajnym na odcinku [a, b]?

36 Twierdzenie Jeśli XjestzmiennąlosowądlaktórejEX 2 <,toistnieje Var(X). Przykład(W1) Ile wynosi wariancja w rozkładzie dwumianowym? Przykład(W2) Ile wynosi wariancja w rozkładzie jednostajnym na odcinku [a, b]?

37 Twierdzenie Jeśli XjestzmiennąlosowądlaktórejEX 2 <,toistnieje Var(X). Przykład(W1) Ile wynosi wariancja w rozkładzie dwumianowym? Przykład(W2) Ile wynosi wariancja w rozkładzie jednostajnym na odcinku [a, b]?

38 Definicja Zmiennalosowa X,dlaktórejVar(X) =1nazywasięzmienną losową unormowaną. Definicja Zmiennalosowa X,dlaktórejEX =0iVar(X) =1nazywasię zmienną losową standaryzowaną. Przykład(standaryzacja) Czy zmienna losowa Y = X EX Var(X), gdy Var(X) > 0 jest zmienną losową standaryzowaną?

39 Definicja Zmiennalosowa X,dlaktórejVar(X) =1nazywasięzmienną losową unormowaną. Definicja Zmiennalosowa X,dlaktórejEX =0iVar(X) =1nazywasię zmienną losową standaryzowaną. Przykład(standaryzacja) Czy zmienna losowa Y = X EX Var(X), gdy Var(X) > 0 jest zmienną losową standaryzowaną?

40 Definicja Zmiennalosowa X,dlaktórejVar(X) =1nazywasięzmienną losową unormowaną. Definicja Zmiennalosowa X,dlaktórejEX =0iVar(X) =1nazywasię zmienną losową standaryzowaną. Przykład(standaryzacja) Czy zmienna losowa Y = X EX Var(X), gdy Var(X) > 0 jest zmienną losową standaryzowaną?

41 Definicja Dla każdego naturalnego k liczbę µ k =E(X EX) k nazywamy momentem centralnym rzędu k zmiennej losowej X. Zauważmy, że wariancja jest momentem centralnym rzędu drugiego.

42 Momenty wyższych rzędów wykorzystywane są do mierzenia asymetrii(skośności) oraz stopnia koncentracji wokół średniej. Definicja Wielkość E(X EX)3 α 3 = Var 3/2 (X) nazywamy współczynnikiem asymetrii. Definicja Wielkość E(X EX)4 α 4 = Var 2 3 (X) nazywamy współczynnikiem spłaszczenia(kurtozą).

43 Momenty wyższych rzędów wykorzystywane są do mierzenia asymetrii(skośności) oraz stopnia koncentracji wokół średniej. Definicja Wielkość E(X EX)3 α 3 = Var 3/2 (X) nazywamy współczynnikiem asymetrii. Definicja Wielkość E(X EX)4 α 4 = Var 2 3 (X) nazywamy współczynnikiem spłaszczenia(kurtozą).

44 Twierdzenie(Nierówność Cachy ego-schwarza) JeżeliEX 2 < orazey 2 <,to (EXY) 2 EX 2 EY 2. Twierdzenie(Nierówność Jensena) JeżeliE X < iniech gbędzietakąfunkcjąwypukłą,że E g(x) <.Wtedy g(ex) Eg(X).

45 Twierdzenie(Nierówność Cachy ego-schwarza) JeżeliEX 2 < orazey 2 <,to (EXY) 2 EX 2 EY 2. Twierdzenie(Nierówność Jensena) JeżeliE X < iniech gbędzietakąfunkcjąwypukłą,że E g(x) <.Wtedy g(ex) Eg(X).

46 Twierdzenie(Nierówność Markowa) P( X ε) E X. ε Twierdzenie(Nierówność Czebyszewa) Przykład(NC) P( X EX ε) VarX ε 2. Korzystając z nierówności Czebyszewa oszacować prawdopodobieństwo, że przy 100 rzutach symetryczną monetą uzyskamy pomiędzy 40 a 60 orłów.

47 Twierdzenie(Nierówność Markowa) P( X ε) E X. ε Twierdzenie(Nierówność Czebyszewa) Przykład(NC) P( X EX ε) VarX ε 2. Korzystając z nierówności Czebyszewa oszacować prawdopodobieństwo, że przy 100 rzutach symetryczną monetą uzyskamy pomiędzy 40 a 60 orłów.

48 Twierdzenie(Nierówność Markowa) P( X ε) E X. ε Twierdzenie(Nierówność Czebyszewa) Przykład(NC) P( X EX ε) VarX ε 2. Korzystając z nierówności Czebyszewa oszacować prawdopodobieństwo, że przy 100 rzutach symetryczną monetą uzyskamy pomiędzy 40 a 60 orłów.

49 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Wartościąoczekiwanązmiennejlosowej X = (X 1,X 2,...,X n )o wartościachwr n nazywamywektor EX = (EX 1,EX 2,...,EX n ), o ile wszystkie współrzędne mają wartość oczekiwaną.

50 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Liczbę m lk =E(X l Y k ) nazywamy momentem zwykłym rzędu l + k wektora losowego (X,Y). Definicja Liczbę µ lk =E[(X EX) l (Y EY) k ], gdzie l, k są nieujemnymi liczbami całkowitymi, nazywamy momentemcentralnymrzędu l +kwektoralosowego (X,Y).

51 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Liczbę m lk =E(X l Y k ) nazywamy momentem zwykłym rzędu l + k wektora losowego (X,Y). Definicja Liczbę µ lk =E[(X EX) l (Y EY) k ], gdzie l, k są nieujemnymi liczbami całkowitymi, nazywamy momentemcentralnymrzędu l +kwektoralosowego (X,Y).

52 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Liczbę Cov(X,Y) =E[(X EX)(Y EY)] nazywamy kowariancją zmiennych losowych X i Y. Zauważmy, że kowariancja jest momentem centralnym rzędu 1 + 1, czyli µ 11. Uwaga Cov(X,Y) =EXY EXEY. Jeżeli istnieją odpowiednie wariancje, to istnieje również kowariancja.

53 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Liczbę Cov(X,Y) =E[(X EX)(Y EY)] nazywamy kowariancją zmiennych losowych X i Y. Zauważmy, że kowariancja jest momentem centralnym rzędu 1 + 1, czyli µ 11. Uwaga Cov(X,Y) =EXY EXEY. Jeżeli istnieją odpowiednie wariancje, to istnieje również kowariancja.

54 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Uwaga Cov(X,X) =Var(X), Cov(X,Y) =Cov(Y,X), Var(X +Y) =Var(X)+Var(Y)+2Cov(X,Y), Cov(a+X,Y) =Cov(X,Y), Cov(aX +by,z) = acov(x,z)+bcov(y,z).

55 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji JeżeliCov(X,Y) 0,tozmiennelosowe Xi Ysązależne.Jako ilościową charakterystykę stopnia tej zależności wykorzystuje się współczynnik korelacji. Definicja Liczbę ρ(x,y) = Cov(X,Y) Var(X)Var(Y) nazywamy współczynnikiem korelacji.

56 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie Dlakażdejzdwóchzmiennychlosowych Xi Y,dlaktórych 0 <Var(X),Var(Y) < 1 1 ρ(x,y) 1, 2 ρ(x,y) =1 wtedyitylkowtedy,gdyistniejątakieliczby a 0ib,że P(Y = ax +b) =1.Jeżeli ρ(x,y) =1,to a >0ijeżeli ρ(x,y) = 1,to a <0. Uwaga Jeżelizmiennelosowe Xi Ysąniezależne,toCov(X,Y) =0i zmienne te są nieskorelowane. Z nieskorelowania zmiennych losowych X i Y nie wynika jednak ich niezależność. Jest to prawdą jedynie dla dwuwymiarowego rozkładu normalnego.

57 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie Dlakażdejzdwóchzmiennychlosowych Xi Y,dlaktórych 0 <Var(X),Var(Y) < 1 1 ρ(x,y) 1, 2 ρ(x,y) =1 wtedyitylkowtedy,gdyistniejątakieliczby a 0ib,że P(Y = ax +b) =1.Jeżeli ρ(x,y) =1,to a >0ijeżeli ρ(x,y) = 1,to a <0. Uwaga Jeżelizmiennelosowe Xi Ysąniezależne,toCov(X,Y) =0i zmienne te są nieskorelowane. Z nieskorelowania zmiennych losowych X i Y nie wynika jednak ich niezależność. Jest to prawdą jedynie dla dwuwymiarowego rozkładu normalnego.

58 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(korelacja a niezależność) Niech X będzie zmienną losową o rozkładzie b(p). Pokazać, że zmiennelosowe Xoraz X 2 sąnieskorelowaneizależne.

59 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Dla wektora losowego odpowiednikiem wariancji jest macierz kowariancji. Definicja JeśliVar(X i ) < dlakażdego i =1,2,...,n,tomacierz Σ = [σ ij ] n i,j=1,gdzie σ ij =Cov(X i,x j )nazywamymacierzą kowariancjiwektoralosowego X = (X 1,X 2,...X n ). Twierdzenie Macierz kowariancji ma następujące własności: jest symetryczna, jest nieujemnie określona, tzn. dla każdego skończonego ciągu liczbrzeczywistych t 1,t 2,...,t n mamy n i,j=1 t it j σ ij 0.

60 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Dla wektora losowego odpowiednikiem wariancji jest macierz kowariancji. Definicja JeśliVar(X i ) < dlakażdego i =1,2,...,n,tomacierz Σ = [σ ij ] n i,j=1,gdzie σ ij =Cov(X i,x j )nazywamymacierzą kowariancjiwektoralosowego X = (X 1,X 2,...X n ). Twierdzenie Macierz kowariancji ma następujące własności: jest symetryczna, jest nieujemnie określona, tzn. dla każdego skończonego ciągu liczbrzeczywistych t 1,t 2,...,t n mamy n i,j=1 t it j σ ij 0.

61 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(K1) Rozmieszczono n ponumerowanych kul w n ponumerowanych urnach w taki sposób, że każda urna zawiera dokładnie jedną kulę. Niech { 1, jeżelikula ijestwurnie i, X i = 0, wp.p. Ilewynosi ρ(x i,x j ),dla i j?

62 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(K2) Dana jest gęstość dwuwymiarowej zmiennej losowej (X, Y) { 24x 2 y(1 x) dla0 x 1,0 y 1 f(x,y) = 0 w pozostałych przypadkach. Wyznaczyć kowariancję oraz współczynnik korelacji pomiędzy zmiennymilosowymi Xoraz Y.

63 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(K3) Niechwektorlosowy (X,Y)magęstośćpostaci(rozkład jednostajny na kole): { 1 f(x,y) = π dla x 2 +y w pozostałych przypadkach. Wyznaczyć kowariancję oraz współczynnik korelacji pomiędzy zmiennymilosowymi Xoraz Y.

64 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Gdy znamy warunkowy rozkład zmiennej Y, czyli rozkład Y dla dowolnej wartości x zmiennej losowej X, to możemy wyznaczyć wartość oczekiwaną takiego rozkładu(o ile istnieje). Nazywamy ją warunkową wartością oczekiwaną Y pod warunkiem X = x i oznaczamy E(Y X = x). Dla rozkładów dyskretnych mamy: E(Y X = x) = j y j P(Y = y j X = x), natomiast dla ciągłych E(Y X = x) = yf Y X f(y x)dy.

65 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie JeżeliistniejeEY,toistniejerównieżE(Y X = x). Definicja Warunkową wartością oczekiwaną zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy gdzie m(x) =E(Y X = x). E(Y X) = m(x), Uwaga Warunkowa wartość oczekiwana E(Y X) jest pewną funkcją zmiennej losowej X, jest zatem również zmienną losową.

66 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie JeżeliistniejeEY,toistniejerównieżE(Y X = x). Definicja Warunkową wartością oczekiwaną zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy gdzie m(x) =E(Y X = x). E(Y X) = m(x), Uwaga Warunkowa wartość oczekiwana E(Y X) jest pewną funkcją zmiennej losowej X, jest zatem również zmienną losową.

67 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie JeżeliistniejeEY,toistniejerównieżE(Y X = x). Definicja Warunkową wartością oczekiwaną zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy gdzie m(x) =E(Y X = x). E(Y X) = m(x), Uwaga Warunkowa wartość oczekiwana E(Y X) jest pewną funkcją zmiennej losowej X, jest zatem również zmienną losową.

68 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(CE1) Łączny rozkład zmiennych losowych X i Y dany jest tabelką Wyznaczyć E(Y X). Y = 1 Y =0 Y =2 X =0 1/4 1/4 0 X =1 1/6 1/6 1/6

69 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(CE2) Rozpatrzmy schemat n prób Bernoulliego z prawdopodobieństwem sukcesu p. Jaka jest średnia liczba sukcesów w i-tej próbie, jeżeli wiadomo, ile zaszło sukcesów w całej serii? Przykład(CE3) Wektorlosowy (X,Y)marozkładogęstości: { 2(x +y) dla0 x 1,0 y x, f(x,y) = 0 wp.p. Wyznaczyć E(Y X).

70 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(CE2) Rozpatrzmy schemat n prób Bernoulliego z prawdopodobieństwem sukcesu p. Jaka jest średnia liczba sukcesów w i-tej próbie, jeżeli wiadomo, ile zaszło sukcesów w całej serii? Przykład(CE3) Wektorlosowy (X,Y)marozkładogęstości: { 2(x +y) dla0 x 1,0 y x, f(x,y) = 0 wp.p. Wyznaczyć E(Y X).

71 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie Niech (X,Y,Z)będziewektoremlosowym.Załóżmy,żewartości oczekiwaneexieyistnieją.wtedy Jeśli X 0,toE(X Z) 0, E(X Z) E( X Z), E(aX +by Z) = ae(x Z)+bE(Y Z),dladowolnych a,b R. Twierdzenie Niech (X,Y)będziewektoremlosowym.Załóżmy,żeistnieje wartośćoczekiwanaey.wtedy E(E(Y X)) =EY, Jeśli X,Ysąniezależne,toE(Y X) =EY.

72 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Twierdzenie Niech (X,Y,Z)będziewektoremlosowym.Załóżmy,żewartości oczekiwaneexieyistnieją.wtedy Jeśli X 0,toE(X Z) 0, E(X Z) E( X Z), E(aX +by Z) = ae(x Z)+bE(Y Z),dladowolnych a,b R. Twierdzenie Niech (X,Y)będziewektoremlosowym.Załóżmy,żeistnieje wartośćoczekiwanaey.wtedy E(E(Y X)) =EY, Jeśli X,Ysąniezależne,toE(Y X) =EY.

73 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(CE4) Czas pracy T pewnego urządzenia ma rozkład wykładniczy z parametrem λ = 1. Koszt użytkowania urządzenia, które uległo awariiwchwili t,marozkład U(1,3 e t ).Jakajestwartość oczekiwana kosztów K użytkowania tego urządzenia?

74 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Analogicznie do warunkowej wartości oczekiwanej można zdefiniować warunkową wariancję Y pod warunkiem X = x którą oznaczamy Var(Y X = x). Dla rozkładów dyskretnych mamy: Var(Y X = x) = j (y j m(x)) 2 P(Y = y j X = x), natomiast dla ciągłych Var(Y X = x) = gdzie m(x) =E(Y X = x). (y m(x)) 2 f Y X f(y x)dy,

75 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Warunkową wariancją zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy Var(Y X) =E[(Y E(Y X)) 2 X] = σ 2 (X), gdzie σ 2 (x) =Var(Y X = x). Twierdzenie Var(Y X) =E(Y 2 X) E 2 (Y X). Twierdzenie VarY =E(Var(Y X))+Var(E(Y X)).

76 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Warunkową wariancją zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy Var(Y X) =E[(Y E(Y X)) 2 X] = σ 2 (X), gdzie σ 2 (x) =Var(Y X = x). Twierdzenie Var(Y X) =E(Y 2 X) E 2 (Y X). Twierdzenie VarY =E(Var(Y X))+Var(E(Y X)).

77 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Definicja Warunkową wariancją zmiennej losowej Y pod warunkiem zmiennej losowej X nazywamy Var(Y X) =E[(Y E(Y X)) 2 X] = σ 2 (X), gdzie σ 2 (x) =Var(Y X = x). Twierdzenie Var(Y X) =E(Y 2 X) E 2 (Y X). Twierdzenie VarY =E(Var(Y X))+Var(E(Y X)).

78 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(suma losowa) Niech X 1,X 2,...będzieciągiemniezależnychzmiennychlosowych o jednakowym rozkładzie(i.i.d.). Niech N będzie indeksem losowymniezależnymodciągu (X i ).Sumąlosowąnazywamy zmienną losową N S = X i. i=1 Ile wynosi wartość oczekiwana oraz wariancja sumy losowej?

79 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Jeżeli składowe wektora (X, Y) spełniają warunek P(Y = αx +β) =1,toprostą y = αx +β nazywa się prostą regresji. Pojęcie to można rozszerzyć na pojęcie linii regresji I rodzaju. Definicja Linią regresji zmiennej losowej Y względem X nazywamy krzywą o równaniu y = h(x) =E(Y X = x), a linią regresji zmiennej losowej X względem Y krzywą o równaniu x = g(y) =E(X Y = y).

80 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Jeżeli składowe wektora (X, Y) spełniają warunek P(Y = αx +β) =1,toprostą y = αx +β nazywa się prostą regresji. Pojęcie to można rozszerzyć na pojęcie linii regresji I rodzaju. Definicja Linią regresji zmiennej losowej Y względem X nazywamy krzywą o równaniu y = h(x) =E(Y X = x), a linią regresji zmiennej losowej X względem Y krzywą o równaniu x = g(y) =E(X Y = y).

81 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Jeżeli P(Y = αx +β) =1( ρ =1),toliniąregresjijest prosta regresji. Gdy powyższy warunek nie jest spełniony, to linia regresji nie jest prostą. Szukamy wówczas takiej funkcji liniowej, aby prawdopodobieństwo P(Y = αx + β) było możliwie duże. Zazwyczaj jako kryterium jakości przyjmuje się oczekiwany błąd kwadratowy aproksymacji e =E(Y αx β) 2. Wartości α, β, dla których e jest minimalne, wyznaczają prostą regresji II rodzaju.

82 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Jeżeli P(Y = αx +β) =1( ρ =1),toliniąregresjijest prosta regresji. Gdy powyższy warunek nie jest spełniony, to linia regresji nie jest prostą. Szukamy wówczas takiej funkcji liniowej, aby prawdopodobieństwo P(Y = αx + β) było możliwie duże. Zazwyczaj jako kryterium jakości przyjmuje się oczekiwany błąd kwadratowy aproksymacji e =E(Y αx β) 2. Wartości α, β, dla których e jest minimalne, wyznaczają prostą regresji II rodzaju.

83 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Uwaga Jeżeli ρ =1,toobydwielinieregresjiIiIIrodzajupokrywająsię. Twierdzenie Linia regresji II rodzaju zmiennej losowej Y względem zmiennej losowej X ma postać: y = ρ σ Y σ X x + ( EY ρ σ ) Y EX, σ X gdzie ρ σ Y σ X jestwspółczynnikiemregresjiliniowej.błąd aproksymacji wynosi e = (1 ρ 2 )σ 2 Y.

84 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Uwaga Jeżeli ρ =1,toobydwielinieregresjiIiIIrodzajupokrywająsię. Twierdzenie Linia regresji II rodzaju zmiennej losowej Y względem zmiennej losowej X ma postać: y = ρ σ Y σ X x + ( EY ρ σ ) Y EX, σ X gdzie ρ σ Y σ X jestwspółczynnikiemregresjiliniowej.błąd aproksymacji wynosi e = (1 ρ 2 )σ 2 Y.

85 Kowariancja i korelacja Warunkowa wartość oczekiwana Warunkowa wariancja Prosta regresji Przykład(linie regresji) Jaką postać mają linie regresji zmiennej losowej Y względem zmiennej losowej X gdy łączna gęstość prawdopodobieństwa jest postaci { x +ydla0 < x,y <1 f(x,y) = 0wp.p.