STATYSTYKA MATEMATYCZNA WYKŁAD listopada 2009

Transkrypt

1 STATYSTYKA MATEMATYCZNA WYKŁAD 7 23 listopada 2009

2 Wykład 6 (16.XI.2009) zakończył się zdefiniowaniem współczynnika korelacji: E X µ x σ x Y µ y σ y = T

3 WSPÓŁCZYNNIK KORELACJI ρ X,Y = ρ Y,X (!)

4 WSPÓŁCZYNNIK KORELACJI. ESTYMACJA ρ = Cov(X, Y ) Var(X )Var(Y ) R = S xy S x S y, S xy = 1 n n i=1 (X i X )(Y i Ȳ )

5 WSPÓŁCZYNNIK KORELACJI. ESTYMACJA Rozkład: f (µx,µ y,σ x,σ y,ρ)(r) = n 2 n (1 ρ2 ) (n 1)/2 (1 r 2 ) (n 4)/2 1 x n 2 0 (1 ρrx) n 1 1 x dx 2 (ryst)

6 WSPÓŁCZYNNIK KORELACJI. ESTYMACJA Rozkład: f (µx,µ y,σ x,σ y,ρ)(r) = n 2 n (1 ρ2 ) (n 1)/2 (1 r 2 ) (n 4)/2 1 x n 2 0 (1 ρrx) n 1 1 x dx 2 (ryst) Obciążenie:

7 WSPÓŁCZYNNIK KORELACJI. ESTYMACJA Rozkład: f (µx,µ y,σ x,σ y,ρ)(r) = n 2 n (1 ρ2 ) (n 1)/2 (1 r 2 ) (n 4)/2 1 x n 2 0 (1 ρrx) n 1 1 x dx 2 (ryst) Obciążenie: E (µx,µ y,σ x,σ y,ρ)(r) = ρ [ 1 1 ρ2 2n + O( 1 n 2 ) ]

8 WERYFIKACJA HIPOTEZY H : ρ = 0 Rozkład: f H (r) = Γ(n 1 2 ) ( ) πγ( n 2 1 r 2 (n 4)/2 2 )

9 WERYFIKACJA HIPOTEZY H : ρ = 0 Rozkład: f H (r) = Γ(n 1 2 ) ( ) πγ( n 2 1 r 2 (n 4)/2 2 ) t = R 1 R 2 n 2 tn 2

10 Obszar krytyczny testu H : ρ = 0, K : ρ 0: { ( R n 2 > t 1 R 2 n 2 1 α )} 2

11 Obszar krytyczny testu H : ρ = 0, K : ρ 0: { ( R n 2 > t 1 R 2 n 2 1 α )} 2 { R > tn 2 2 (1 α 2 ) } n 2 + tn 2 2 (1 α 2 )! R:wkkor.R

12 Jeżeli dwuwymiarowa zmienna losowa (X, Y ) ma dwuwymiarowy rozkład normalny i współczynnik korelacji jest równy zeru, to zmienne losowe X oraz Y są niezależne, ale..! R:Wsp-kor-lin-0.R! R:Wsp-kor-nlin.R

13 WSPÓŁCZYNNIKI REGRESJI Reg Y (x) = a yx x + b yx Reg X (y) = a xy y + b xy a yx = ρ σ y = Cov(X, Y ), b yx = µ y a yx µ x σ x σ 2 x a xy = ρ σ x = Cov(X, Y ), b xy = µ x a xy µ y σ y σ 2 y

14 WSPÓŁCZYNNIKI REGRESJI Z PRÓBY â yx = S xy S 2 x â xy = S xy S 2 y, ˆbyx = Ȳ â yx X, ˆbxy = X â xy Ȳ

15 WSPÓŁCZYNNIKI REGRESJI Z PRÓBY. Rozkład. Sx 2 n 2 (â 1 R 2 yx a yx ) t n 2 S 2 y Sy 2 n 2 (â 1 R 2 xy a xy ) t n 2 S 2 x

16 WSPÓŁCZYNNIKI REGRESJI Z PRÓBY. Rozkład. 1 S 2 x + X 2 S 2 x n 2 S 2 y 1 R 2 ) (ˆbyx b yx t n 2 1 S 2 y + Ȳ 2 S 2 y n 2 S 2 x 1 R 2 ) (ˆbxy b xy t n 2

17 ZASTOSOWANIA: przykłady

18 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa

19 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ)

20 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ) Sortowanie na cechy zastępcze

21 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ) Sortowanie na cechy zastępcze Wyniki kolokwium i egzaminu końcowego [KM s.261]

22 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ) Sortowanie na cechy zastępcze Wyniki kolokwium i egzaminu końcowego [KM s.261] Czas pracy rylca wielkość zdarcia rylca [BŁ]

23 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ) Sortowanie na cechy zastępcze Wyniki kolokwium i egzaminu końcowego [KM s.261] Czas pracy rylca wielkość zdarcia rylca [BŁ] Cechy fizyczne (psychiczne) bliźniąt jednojajowych

24 ZASTOSOWANIA: przykłady Pary zmiennych losowych; dwuwymiarowa zmienna losowa Dwie cechy mierzone na tym samym osobniku (np. wzrost ciężar, wiek IQ) Sortowanie na cechy zastępcze Wyniki kolokwium i egzaminu końcowego [KM s.261] Czas pracy rylca wielkość zdarcia rylca [BŁ] Cechy fizyczne (psychiczne) bliźniąt jednojajowych?

25 MODEL LINIOWY Retrospekcja i sformułowanie ogólnego modelu liniowego (1) Model pomiaru X = µ + ε, ε N(0, σ) (2) Pomiar wielkości związanych X = µ x + ε x, Y = µ y + ε y, (X, Y ) N(µ x, µ y, σ x, σ y, ρ) (3) Prosty przykład ogólnego modelu pomiaru (OZNACZENIA!) Y 1 = β 0 + β 1 + ε 1 Y 2 = β 0 + β 2 + ε 2 Y 3 = β 0 + β 3 + ε 3 Y 4 = β 0 + β 1 + β 2 + β 3 + ε 4 T

26 MODEL LINIOWY Ważenie trzech ciał Y 1 = β 0 + β 1 + ε 1 Y 2 = β 0 + β 2 + ε 2 Y 3 = β 0 + β 3 + ε 3 Y 4 = β 0 + ε 4 Y 1 = β 0 + β 1 + ε 1 Y 2 = β 0 + β 2 + ε 2 Y 3 = β 0 + β 3 + ε 3 Y 4 = β 0 + β 1 + β 2 + β 3 + ε 4 β 0 = Y 4 β 1 = Y 1 Y 4 β 2 = Y 2 Y 4 β 3 = Y 3 Y 4 Var(β 0 ) = σ 2, Var(β 1 )=Var(β 2 )=Var(β 3 )=2σ 2 β 0 = (Y 1 + Y 2 + Y 3 Y 4 )/2 β 1 = (Y 1 Y 2 Y 3 + Y 4 )/2 β 2 = ( Y 1 + Y 2 Y 3 + Y 4 )/2 β 3 = ( Y 1 Y 2 + Y 3 + Y 4 )/2 Var(β 0 ) = σ 2, Var(β 1 )=Var(β 2 )=Var(β 3 )=σ 2

27 MODEL LINIOWY Y 1 = x 1,1 β 1 + x 1,2 β x 1,k β k + ε 1 Y 2 = x 2,1 β 1 + x 2,2 β x 2,k β k + ε 2... Y n = x n,1 β 1 + x n,2 β x n,k β k + ε n n k, x i,j - dowolne liczby rzeczywiste

28 MODEL LINIOWY. Przykłady Przykład 1. Ciało o jednostkowej masie umieszczono w polu działania siły o nieznanej wartości F. Obserwuje się położenia Y 1, Y 2,..., Y n ciała w wybranych chwilach t 1, t 2,..., t n. Obserwacje obarczone są błędami losowymi ε 1, ε 2,..., ε n. Zadanie polega na oszacowaniu F. Model: Y i = 1 2 Ft2 i + ε i, i = 1, 2,..., n

29 MODEL LINIOWY. Przykłady Przykład 2. Pewien produkt chemiczny można wytwarzać bez użycia katalizatorów, ale przypuszcza się, że w obecności katalizatorów wydajność procesu będzie większa. Dysponujemy dwoma katalizatorami A i B, których możemy użyć w dowolnych dawkach x 0, y 0. Spodziewamy się, że wtedy wydajność procesu będzie równa µ + αx + βy, gdzie α i β są nieznanymi efektywnościami katalizatorów A i B, a µ jest wydajnością procesu prowadzonego bez użycia katalizatorów. W celu oszacowania wielkości µ, α i β, rejestrujemy wydajność procesu przy wybranych poziomach x i, i = 1, 2,..., n, oraz y j, j = 1, 2,..., m, katalizatorów A i B i otrzymujemy wyniki Y i,j = µ + αx i + βy j + ε i,j, i = 1, 2,..., n; j = 1, 2,..., m, gdzie ε i,j są błędami losowymi.

30 MODEL LINIOWY. Przykłady Przykład 3 (regresja drugiego stopnia). Jeżeli wartość oczekiwana zmiennej losowej Y jest funkcją E(Y ) = α 0 + α 1 t + α 2 t 2 pewnej zmiennej t i zadanie polega na wnioskowaniu o współczynnikach α 0, α 1, α 2 na podstawie obserwacji zmiennej losowej Y dla wybranych wartości t, to zadanie można sformułować w postaci modelu liniowego Y 1 = x 1,1 β 1 + x 1,2 β x 1,k β k + ε 1 Y 2 = x 2,1 β 1 + x 2,2 β x 2,k β k + ε 2... Y n = x n,1 β 1 + x n,2 β x n,k β k + ε n gdzie k = 3, x i,1 = 1, x i,2 = t i, x i,3 = ti 2, β 1 = α 0, β 2 = α 1, β 3 = α 2.

31 MODEL LINIOWY. Przykłady Przykład 4 (porównanie dwóch technologii, zabiegów, leków, itp.). Jeżeli µ 1 jest średnią wartością badanej cechy (wydajności, zużycia surowca, stanu zdrowia) dla pewnej technologii, zaś µ 2 taką samą wielkością dla pewnej innej, konkurencyjnej technologii i gdy na podstawie n 1 obiektów wykonanych według pierwszej technologii oraz n 2 obiektów wykonanych według drugiej mamy oszacować lub porównać µ 1 i µ 2, to model obserwacji ma postać Y i = x i,1 µ 1 + x i,2 µ 2 + ε i, gdzie x i,1 = 1, x i,2 = 0, gdy Y i pochodzi z pierwszej technologii, a x i,1 = 0, x i,2 = 1, gdy Y i pochodzi z drugiej technologii. W takich i podobnych sytuacjach może nas interesować nie tyle oszacowanie wielkości µ 1 i µ 2, ile oszacowanie różnicy µ 1 µ 2.

32 MODEL LINIOWY Y 1 = x 1,1 β 1 + x 1,2 β x 1,k β k + ε 1 Y 2 = x 2,1 β 1 + x 2,2 β x 2,k β k + ε 2 Y n = x n,1 β 1 + x n,2 β x n,k β k + ε n n k, x i,j - dowolne liczby rzeczywiste

33 MODEL LINIOWY Y 1 = x 1,1 β 1 + x 1,2 β x 1,k β k + ε 1 Y 2 = x 2,1 β 1 + x 2,2 β x 2,k β k + ε 2 Y n = x n,1 β 1 + x n,2 β x n,k β k + ε n n k, x i,j - dowolne liczby rzeczywiste Rozwiązanie (MNK): ˆβ = arg min β n i=1 (Y i (x i,1 β 1 + x i,2 β x i,k β k )) 2

34 MODEL LINIOWY Y = Xβ + ε Y 1 x 1,1 x 1,2... x 1,k β 1 ε 1 Y Y = 2..., X= x 2,1 x 2,2... x 2,k..., β = β 2..., ε= ε 2... Y n x n,1 x n,2... x n,k β k ε n ε 1, ε 2,..., ε n iid N(0, σ), n k, rx(x) = k

35 MODEL LINIOWY Estymacja wektora współczynników regresji β ˆβ = ( X T X ) 1 X T Y Var(ˆβ) = ( X T X ) 1 σ 2 ˆβ N (β, ( X T X ) 1 σ 2 )

36 MODEL LINIOWY Estymacja wariancji σ 2 Ŷ = Xˆβ n RSS = Y Ŷ 2 = (Y i Ŷ i ) 2 i=1 RSS σ 2 χ 2 n k 1 ˆσ 2 = RSS n k 1

37 Przypadek szczególny: model pomiaru Y i = µ + ε i, i = 1, 2,..., n ˆµ = 1 n n Y i, RSS = i=1 1 1 X=..., 1 XT X = n n (Y i Ȳ ) 2, ˆσ 2 = 1 n (Y i n 1 Ȳ )2 i=1 i=1

38 Przypadek szczególny: model E(Y x) = a + bx ( )