WYKŁAD 6. Witold Bednorz, Paweł Wolff. Rachunek Prawdopodobieństwa, WNE, Uniwersytet Warszawski. 1 Instytut Matematyki

Transkrypt

1 WYKŁAD 6 Witold Bednorz, Paweł Wolff 1 Instytut Matematyki Uniwersytet Warszawski Rachunek Prawdopodobieństwa, WNE,

2 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2.

3 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. VarX 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X jest stała z p-stwem 1.

4 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. VarX 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X jest stała z p-stwem 1. Var(aX) = a 2 VarX.

5 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. VarX 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X jest stała z p-stwem 1. Var(aX) = a 2 VarX. Var(X + c) = VarX

6 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. VarX 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X jest stała z p-stwem 1. Var(aX) = a 2 VarX. Var(X + c) = VarX Uogólnieniem pojęcia wariancji jest kowariancja. Dla zmiennych X, Y piszemy Cov(X, Y ) = E(X EX)(Y EY ) = E(XY ) EXEY.

7 Własności Wariancji Przypomnijmy, że VarX = E(X EX) 2 = EX 2 (EX) 2. VarX 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X jest stała z p-stwem 1. Var(aX) = a 2 VarX. Var(X + c) = VarX Uogólnieniem pojęcia wariancji jest kowariancja. Dla zmiennych X, Y piszemy Cov(X, Y ) = E(X EX)(Y EY ) = E(XY ) EXEY. Kowariancja jest dwuliniowa to znaczy Cov(α 1 X 1 + α 2 X 2, β 1 Y 1 + β 2 Y 2 ) = 2 α i β j Cov(X i, Y j ). i,j=1

8 Niezależne zmienne losowe Jeśli X, Y niezależne, to Cov(X, Y ) = 0 (brak korelacji), istotnie Cov(X, Y ) = E(XY ) EXEY = 0, bo E(XY ) = EXEY dla niezależnych zmiennych.

9 Niezależne zmienne losowe Jeśli X, Y niezależne, to Cov(X, Y ) = 0 (brak korelacji), istotnie Cov(X, Y ) = E(XY ) EXEY = 0, bo E(XY ) = EXEY dla niezależnych zmiennych. Stad wynika, że jeśli X 1,..., X n niezależne, to Var(X X n ) = Var(X 1 ) Var(X n ).

10 Niezależne zmienne losowe Jeśli X, Y niezależne, to Cov(X, Y ) = 0 (brak korelacji), istotnie Cov(X, Y ) = E(XY ) EXEY = 0, bo E(XY ) = EXEY dla niezależnych zmiennych. Stad wynika, że jeśli X 1,..., X n niezależne, to Var(X X n ) = Var(X 1 ) Var(X n ). Istotnie wynika to z następujacego faktu Var(X X n ) = E( = n i=1 (EX 2 i n X i ) 2 (E i=1 (EX i ) 2 ) + i j n ) 2 = i=1 E(X i X j ) EX i EX j.

11 Przykłady Niech X z rozkładu P(X = 0) = q, P(X = 1) = p, wtedy EX = 1 p+0 q = p, EX 2 = 1 p+0 q = p, VarX = p p 2. Czyli EX = p, VarX = p(1 p) = pq.

12 Przykłady Niech X z rozkładu P(X = 0) = q, P(X = 1) = p, wtedy EX = 1 p+0 q = p, EX 2 = 1 p+0 q = p, VarX = p p 2. Czyli EX = p, VarX = p(1 p) = pq. Dla S n = (X X n ) z B(n, p) mamy ES n = E(X X n ) = np; VarS n = VarX VarX n = n(pq).

13 Przykłady Niech X z rozkładu P(X = 0) = q, P(X = 1) = p, wtedy EX = 1 p+0 q = p, EX 2 = 1 p+0 q = p, VarX = p p 2. Czyli EX = p, VarX = p(1 p) = pq. Dla S n = (X X n ) z B(n, p) mamy ES n = E(X X n ) = np; VarS n = VarX VarX n = n(pq). Analogicznie dla S n sumy wyników n rzutów kośćmi do gry ES n = (3 1 2 )n, VarS n = ( )n.

14 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0;

15 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq;

16 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq; µ X = B(n, p), P(X = k) = ( n k) p k q n k, VarX = npq;

17 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq; µ X = B(n, p), P(X = k) = ( n k) p k q n k, VarX = npq; µ X = Poiss(λ), P(X = k) = λk k! e λ, VarX = λ;

18 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq; µ X = B(n, p), P(X = k) = ( n k) p k q n k, VarX = npq; µ X = Poiss(λ), P(X = k) = λk k! e λ, VarX = λ; µ X = Geom(p), P(X = k) = pq k 1, VarX = q p 2 ;

19 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq; µ X = B(n, p), P(X = k) = ( n k) p k q n k, VarX = npq; µ X = Poiss(λ), P(X = k) = λk k! e λ, VarX = λ; µ X = Geom(p), P(X = k) = pq k 1, VarX = q p 2 ; µ X = U(a, b), f X (x) = 1 b a 1 (a,b)(x), VarX = (b a) 2 /12;

20 Wariancja znanych rozkładów µ X = δ a, P(X = a) = 1, wtedy VarX = 0; µ X = pδ 1 + qδ 0, P(X = 1) = p, P(X = 0) = q, VarX = pq; µ X = B(n, p), P(X = k) = ( n k) p k q n k, VarX = npq; µ X = Poiss(λ), P(X = k) = λk k! e λ, VarX = λ; µ X = Geom(p), P(X = k) = pq k 1, VarX = q p 2 ; µ X = U(a, b), f X (x) = 1 b a 1 (a,b)(x), VarX = (b a) 2 /12; µ X = Exp(λ) = λe xλ 1 (0, ) (x).

21 Rozkład normalny Zmienna X ma rozkład normalny N (m, σ 2 ) jeśli gęstość f X wyraża się wzorem f X (x) = 1 2πσ exp( x m 2 2σ 2 ).

22 Rozkład normalny Zmienna X ma rozkład normalny N (m, σ 2 ) jeśli gęstość f X wyraża się wzorem f X (x) = 1 x m 2 exp( 2πσ 2σ 2 ). Zmienna Y ma standardowy rozkład normalny N (0, 1), jeśli f Y (x) = 1 exp( x 2 2π 2 ).

23 Rozkład normalny Zmienna X ma rozkład normalny N (m, σ 2 ) jeśli gęstość f X wyraża się wzorem f X (x) = 1 x m 2 exp( 2πσ 2σ 2 ). Zmienna Y ma standardowy rozkład normalny N (0, 1), jeśli f Y (x) = 1 exp( x 2 2π 2 ). Niech Y = σ 1 (X m), σ 0, pokażemy, że Y ma rozkład standardowy.

24 Rozkład normalny Zmienna X ma rozkład normalny N (m, σ 2 ) jeśli gęstość f X wyraża się wzorem f X (x) = 1 x m 2 exp( 2πσ 2σ 2 ). Zmienna Y ma standardowy rozkład normalny N (0, 1), jeśli f Y (x) = 1 exp( x 2 2π 2 ). Niech Y = σ 1 (X m), σ 0, pokażemy, że Y ma rozkład standardowy. To oznacza, że X = σy + m, a ponieważ EY = 0, VarY = 1, więc EX = σey +m = m, VarX = Var(σY +m) = VarσY = σ 2.

25 Rozkład normalny Z twierdzenia o podstawianiu F Y (t) = F σ 1 (X m) (t) = F X (σt + m).

26 Rozkład normalny Z twierdzenia o podstawianiu F Y (t) = F σ 1 (X m) (t) = F X (σt + m). Stad przez całkowanie przez podstawienie F Y (t) = F X (σt + m) = = t σt+m 1 2π exp( x 2 2 )dx. f X (x)dx =

27 Rozkład normalny Z twierdzenia o podstawianiu F Y (t) = F σ 1 (X m) (t) = F X (σt + m). Stad przez całkowanie przez podstawienie F Y (t) = F X (σt + m) = = t σt+m 1 2π exp( x 2 2 )dx. f X (x)dx = To dowodzi, że Y = σ 1 (X m) ma rozkład standardowy.

28 Rozkład normalny Z twierdzenia o podstawianiu F Y (t) = F σ 1 (X m) (t) = F X (σt + m). Stad przez całkowanie przez podstawienie F Y (t) = F X (σt + m) = = t σt+m 1 2π exp( x 2 2 )dx. f X (x)dx = To dowodzi, że Y = σ 1 (X m) ma rozkład standardowy. Stad X ma taki sam rozkład jak σy + m.

29 Parametry rozkładu Dla p > 0 definiujemy p-ty moment: (E X p ) 1 p.

30 Parametry rozkładu Dla p > 0 definiujemy p-ty moment: (E X p ) 1 p. Niech E X 3 <. Współczynnikiem asymetrii (skośność) zmiennej X nazywamy a 3 = E(X EX)3 (VarX) 3/2, a 3 = 0 dla X-gauss.

31 Parametry rozkładu Dla p > 0 definiujemy p-ty moment: (E X p ) 1 p. Niech E X 3 <. Współczynnikiem asymetrii (skośność) zmiennej X nazywamy a 3 = E(X EX)3 (VarX) 3/2, a 3 = 0 dla X-gauss. Niech E X 4 <. Kurtoza (współczynnik spłaszczenia) nazywamy a 4 = E(X EX)4 (VarX) 2 3, a 4 = 0 dla X-gauss.

32 Parametry rozkładu Dla p > 0 definiujemy p-ty moment: (E X p ) 1 p. Niech E X 3 <. Współczynnikiem asymetrii (skośność) zmiennej X nazywamy a 3 = E(X EX)3 (VarX) 3/2, a 3 = 0 dla X-gauss. Niech E X 4 <. Kurtoza (współczynnik spłaszczenia) nazywamy a 4 = E(X EX)4 (VarX) 2 3, a 4 = 0 dla X-gauss. Liczbę x p R nazywamy p-tym kwantylem rozkładu µ X, jeśli F X (x p ) p, F X (x p ) p.

33 Podsumowanie Żeby zrozumieć zachowanie zmiennej losowej X należy wyznaczyć jej rozkład µ X to znaczy obliczyć µ X (A) = P(X A) dla każdego A.

34 Podsumowanie Żeby zrozumieć zachowanie zmiennej losowej X należy wyznaczyć jej rozkład µ X to znaczy obliczyć µ X (A) = P(X A) dla każdego A. Do identyfikacji rozkładu służy dystrybuanta F X (t) = µ X ((, t]) = P(X t).

35 Podsumowanie Żeby zrozumieć zachowanie zmiennej losowej X należy wyznaczyć jej rozkład µ X to znaczy obliczyć µ X (A) = P(X A) dla każdego A. Do identyfikacji rozkładu służy dystrybuanta F X (t) = µ X ((, t]) = P(X t). Aby zrozumieć, gdzie średnio położony jest rozkład należy wyznaczyć EX i VarX, alternatywnie można wykorzystać kwantyle x p (w szczególności x 1 nazywa się mediana). 2

36 Podsumowanie Żeby zrozumieć zachowanie zmiennej losowej X należy wyznaczyć jej rozkład µ X to znaczy obliczyć µ X (A) = P(X A) dla każdego A. Do identyfikacji rozkładu służy dystrybuanta F X (t) = µ X ((, t]) = P(X t). Aby zrozumieć, gdzie średnio położony jest rozkład należy wyznaczyć EX i VarX, alternatywnie można wykorzystać kwantyle x p (w szczególności x 1 nazywa się mediana). 2 Dla dalszego zrozumienia zachowania się rozkładu można wyznaczyć p-te momenty (E X p ) 1 p.

37 Podsumowanie Żeby zrozumieć zachowanie zmiennej losowej X należy wyznaczyć jej rozkład µ X to znaczy obliczyć µ X (A) = P(X A) dla każdego A. Do identyfikacji rozkładu służy dystrybuanta F X (t) = µ X ((, t]) = P(X t). Aby zrozumieć, gdzie średnio położony jest rozkład należy wyznaczyć EX i VarX, alternatywnie można wykorzystać kwantyle x p (w szczególności x 1 nazywa się mediana). 2 Dla dalszego zrozumienia zachowania się rozkładu można wyznaczyć p-te momenty (E X p ) 1 p. Dla uzyskania pewnego wyobrażenia geometrycznego: symetria, stopień spłaszc parametry typu: współczynnik asymetrii i kurtoza.

38 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,...

39 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1.

40 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1. Alternatywnie dystrybuanta F X (t) = 1 q k dla t [k, k + 1) i k N.

41 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1. Alternatywnie dystrybuanta F X (t) = 1 q k dla t [k, k + 1) i k N. Parametry główne EX = 1 p, VarX = q p 2.

42 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1. Alternatywnie dystrybuanta F X (t) = 1 q k dla t [k, k + 1) i k N. Parametry główne EX = 1 p, VarX = q p 2. Momenty EX(X 1)...(X k + 1) = k!q k 1 p k. St ad wylicza się EX k.

43 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1. Alternatywnie dystrybuanta F X (t) = 1 q k dla t [k, k + 1) i k N. Parametry główne EX = 1 p, VarX = q p 2. Momenty EX(X 1)...(X k + 1) = k!q k 1 p k. Stad wylicza się EX k. Analiza kwantylami x r kwantyl rzędu r (1 q k+1, 1 q k ] ma wartość k. W szczególności mediana x 1 = k 0 gdzie 1 q k q k 0. 2

44 Przykład Niech X ma rozkład geometryczny Geom(p), to znaczy P(X = k) = pq k 1, k = 1, 2,... Rozkład jest w pełni wyznaczony przez podanie µ X ({k}) = P(X = k) = pq k 1. Alternatywnie dystrybuanta F X (t) = 1 q k dla t [k, k + 1) i k N. Parametry główne EX = 1 p, VarX = q p 2. Momenty EX(X 1)...(X k + 1) = k!q k 1 p k. Stad wylicza się EX k. Analiza kwantylami x r kwantyl rzędu r (1 q k+1, 1 q k ] ma wartość k. W szczególności mediana x 1 = k 0 gdzie 1 q k q k 0. 2 Współczynnik asymetrii a 3 = 6p2 p+2, kurtoza a (1 p) 1/2 4 =.

45 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x).

46 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx.

47 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx. Alternatywnie dystrybuanta F X (t) = 1 e λt dla t 0.

48 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx. Alternatywnie dystrybuanta F X (t) = 1 e λt dla t 0. Parametry główne EX = λ 1, VarX = λ 2.

49 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx. Alternatywnie dystrybuanta F X (t) = 1 e λt dla t 0. Parametry główne EX = λ 1, VarX = λ 2. Momenty EX k = k!λ k.

50 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx. Alternatywnie dystrybuanta F X (t) = 1 e λt dla t 0. Parametry główne EX = λ 1, VarX = λ 2. Momenty EX k = k!λ k. Analiza kwantylami x r kwantyl rzędu ma wartość λ 1 log(1 r). W szczególności mediana = λ 1 log 1 2. x 1 2

51 Przykład Niech X ma rozkład wykładniczy Exp(p), to znaczy f X (x) = e λx 1 (0, ) (x). Rozkład jest w pełni wyznaczony przez podanie gęstości µ X (dx) = f X (x)dx. Alternatywnie dystrybuanta F X (t) = 1 e λt dla t 0. Parametry główne EX = λ 1, VarX = λ 2. Momenty EX k = k!λ k. Analiza kwantylami x r kwantyl rzędu ma wartość λ 1 log(1 r). W szczególności mediana = λ 1 log 1 2. x 1 2 Współczynnik asymetrii a 3 = 2, kurtoza a 4 = 6.

52 Korelacje Załóżmy, że X, Y to dwie zmienne EX 2, EY 2 <. Interesuje nas liniowy wpływ zmiennej X na zmienna Y.

53 Korelacje Załóżmy, że X, Y to dwie zmienne EX 2, EY 2 <. Interesuje nas liniowy wpływ zmiennej X na zmienna Y. To oznacza, że próbujemy przybliżyć zmienna Y korzystajac z αx + β.

54 Korelacje Załóżmy, że X, Y to dwie zmienne EX 2, EY 2 <. Interesuje nas liniowy wpływ zmiennej X na zmienna Y. To oznacza, że próbujemy przybliżyć zmienna Y korzystajac z αx + β. Chcemy żeby dopasowanie było optymalne w sensie ryzyka kwadratowego, to znaczy jest najmniejsza możliwa. F(α, β) = E(Y αx β) 2.

55 Korelacje Załóżmy, że X, Y to dwie zmienne EX 2, EY 2 <. Interesuje nas liniowy wpływ zmiennej X na zmienna Y. To oznacza, że próbujemy przybliżyć zmienna Y korzystajac z αx + β. Chcemy żeby dopasowanie było optymalne w sensie ryzyka kwadratowego, to znaczy jest najmniejsza możliwa. F(α, β) = E(Y αx β) 2. Łatwo zauważyć, że F(α, β) jest funkcja kwadratowa, nadto ma dokładnie jeden punkt ˆα, ˆβ w którym przyjmuje minimum.

56 Korelacje Problem minimalizacji rozwiazuje się za pomoca pochodnych: 0 = F = 2EX(Y αx β) α 0 = F = 2E(Y αx β). β

57 Korelacje Problem minimalizacji rozwiazuje się za pomoca pochodnych: 0 = F α 0 = F β Stad ˆβ = EY αex a zatem = 2EX(Y αx β) = 2E(Y αx β). 0 = E(X EX)(Y EY ˆα(X EX)).

58 Korelacje Problem minimalizacji rozwiazuje się za pomoca pochodnych: 0 = F α 0 = F β Stad ˆβ = EY αex a zatem Wyznaczamy α = 2EX(Y αx β) = 2E(Y αx β). 0 = E(X EX)(Y EY ˆα(X EX)). E(X EX)(Y EY ) ˆα = E(X EX) 2 = Cov(X, Y ). VarX

59 Korelacje Problem minimalizacji rozwiazuje się za pomoca pochodnych: 0 = F α 0 = F β Stad ˆβ = EY αex a zatem Wyznaczamy α Stad = 2EX(Y αx β) = 2E(Y αx β). 0 = E(X EX)(Y EY ˆα(X EX)). E(X EX)(Y EY ) ˆα = E(X EX) 2 = Cov(X, Y ). VarX ˆβ = EY Cov(X, Y ) EX. VarX

60 Próbkowanie statystyczne Próbka będziemy nazywali ciag niezależnych wyników pewnego doświadczenia (wartości zmiennych losowych) X 1,..., X n.

61 Próbkowanie statystyczne Próbka będziemy nazywali ciag niezależnych wyników pewnego doświadczenia (wartości zmiennych losowych) X 1,..., X n. Rozkładem empirycznym nazywa się µ n (A) = 1 n n i=1 1 Xi A = {i : X i A}. n

62 Próbkowanie statystyczne Próbka będziemy nazywali ciag niezależnych wyników pewnego doświadczenia (wartości zmiennych losowych) X 1,..., X n. Rozkładem empirycznym nazywa się µ n (A) = 1 n n i=1 1 Xi A = {i : X i A}. n Dystrybuanta empiryczna nazywamy F n (t) = µ n ((, t]) = {i : X i t}. n

63 Próbkowanie statystyczne Próbka będziemy nazywali ciag niezależnych wyników pewnego doświadczenia (wartości zmiennych losowych) X 1,..., X n. Rozkładem empirycznym nazywa się µ n (A) = 1 n n i=1 1 Xi A = {i : X i A}. n Dystrybuanta empiryczna nazywamy F n (t) = µ n ((, t]) = {i : X i t}. n Kwantylem empirycznym nazywamy liczbę x p F n (x p ) p, F n (x p ) p.

64 Charakterystyki próbki Średnia z próbki nazywamy X = 1 n n X i. i=1

65 Charakterystyki próbki Średnia z próbki nazywamy X = 1 n n X i. i=1 Wariancja empiryczna Var( X) = 1 n n (X i X) 2 i=1

66 Charakterystyki próbki Średnia z próbki nazywamy X = 1 n n X i. i=1 Wariancja empiryczna Var( X) = 1 n n (X i X) 2 i=1 Kowariancja empiryczna dla ciagu (X 1, Y 1 ),..., (X n, Y n ) Cov( X, Ȳ ) = 1 n n (X i X)(Y i Ȳ ). i=1

67 Regresja liniowa Aby rozwiazać problem wpływu czynnika losowego X na Y zwykle dysponujemy próbka z tego rozkładu (X 1, Y 1 ),..., (X n, Y n ).

68 Regresja liniowa Aby rozwiazać problem wpływu czynnika losowego X na Y zwykle dysponujemy próbka z tego rozkładu (X 1, Y 1 ),..., (X n, Y n ). Konstrukcja modelu liniowego polega na tym, że postulujemy zwiazek Y = αx + β + ε, gdzie α, β R, ε jest niezależnym błędem z rozkładu Eε = 0, Varε = σ 2.

69 Regresja liniowa Aby rozwiazać problem wpływu czynnika losowego X na Y zwykle dysponujemy próbka z tego rozkładu (X 1, Y 1 ),..., (X n, Y n ). Konstrukcja modelu liniowego polega na tym, że postulujemy zwiazek Y = αx + β + ε, gdzie α, β R, ε jest niezależnym błędem z rozkładu Eε = 0, Varε = σ 2. Zwykle przyjmuje się, że ε pochodzi z rozkładu N (0, σ 2 ).

70 Regresja liniowa Aby rozwiazać problem wpływu czynnika losowego X na Y zwykle dysponujemy próbka z tego rozkładu (X 1, Y 1 ),..., (X n, Y n ). Konstrukcja modelu liniowego polega na tym, że postulujemy zwiazek Y = αx + β + ε, gdzie α, β R, ε jest niezależnym błędem z rozkładu Eε = 0, Varε = σ 2. Zwykle przyjmuje się, że ε pochodzi z rozkładu N (0, σ 2 ). W zagadnieniu estymacji MNK dysponujac danymi (X i, Y i ) musimy wyznaczyć ˆα, ˆβ tak aby ryzyko kwadratowe dla próbki było najmniejsze, szukamy minimum F(α, β), gdzie n F(α, β) = (Y i αx i β) 2. i=1

71 Metoda MNK Rozwiazuj ac analogicznie jak w przypadku korelacji dostajemy n 2X i (Y i αx i β) = 0 i=1 n 2(Y i αx i β) = 0 i=1

72 Metoda MNK Rozwiazuj ac analogicznie jak w przypadku korelacji dostajemy n 2X i (Y i αx i β) = 0 Zatem i=1 n 2(Y i αx i β) = 0 i=1 ˆα = Cov( X, Ȳ ) Var( X) ˆβ = Ȳ Cov( X, Ȳ ) Var( X) X, gdzie X = n 1 (X X n ), Ȳ = n 1 (Y Y n ).

73 Metoda MNK Przypuśćmy, że liczba punków zdobytych na egzaminie Y zależy od liczby godzin spędzonych na nauce X. Przebadano grupę n = 20 studentów.

74 Metoda MNK Przypuśćmy, że liczba punków zdobytych na egzaminie Y zależy od liczby godzin spędzonych na nauce X. Przebadano grupę n = 20 studentów. Okazało się, że 20 i=1 20 i=1 Y i = 1600, X i Y i = 1800, 20 i=1 20 X i = 400, i=1 X 2 i = 9000.

75 Metoda MNK Przypuśćmy, że liczba punków zdobytych na egzaminie Y zależy od liczby godzin spędzonych na nauce X. Przebadano grupę n = 20 studentów. Okazało się, że 20 i=1 20 i=1 Y i = 1600, X i Y i = 1800, 20 i=1 20 X i = 400, i=1 X 2 i = Obliczamy X = 20, Ȳ = 80, Var X = = 50, Cov( X, Ȳ ) = = 1510.

76 Metoda MNK Przypuśćmy, że liczba punków zdobytych na egzaminie Y zależy od liczby godzin spędzonych na nauce X. Przebadano grupę n = 20 studentów. Okazało się, że 20 i=1 20 i=1 Y i = 1600, X i Y i = 1800, 20 i=1 20 X i = 400, i=1 X 2 i = Obliczamy X = 20, Ȳ = 80, Var X = = 50, Cov( X, Ȳ ) = = Otrzymujemy ˆα = = 30, 2, ˆβ = 80 30, 2 20 = 524.