Porównanie modeli regresji. klasycznymi modelami regresji liniowej i logistycznej

Transkrypt

1 Porównanie modeli logicznej regresji z klasycznymi modelami regresji liniowej i logistycznej Instytut Matematyczny, Uniwersytet Wrocławski Małgorzata Bogdan Instytut Matematyki i Informatyki, Politechnika Wrocławska Wisła,

2 1 2 3 Testy chi-kwadrat Testy Z 4

3 Niech Y = (Y 1,..., Y n ) T - n wymiarowy wektor cechy gęstość Y i względem pewnej σ skończonej miary ν { } θi y i ψ(θ i ) f (y i, θ i, φ) = exp h(y i, φ), φ θ i Θ = { θ R : 0 < } h(y, φ)e θy/φ dν(y) < µ(θ i ) := E(Y i )

4 Niech X i = (1, X i1,..., X im ) wektor m wartości zmiennych objaśniających µ(θ) = (µ(θ 1 ),..., µ(θ n )), wektor wartości oczekiwanych cechy g(µ(θ i )) = X i β, g różniczkowalna, monotoniczna β = (β 0, β 1,..., β m ) T wektor nieznanych parametrów. µ(θ i ) g(z) = µ 1 (z) Regresja Regresja logistyczna log-liniowa exp{θ i } 1+exp{θ ( i }) exp{θ i } log log(z) z 1 z

5 Regresja logiczna Niech X 1, X 2,..., X m będą zmiennymi binarnymi. wyrażeniem logicznym jest każda kombinacja zmiennych X i, uzyskana przez zastosowanie operatorów logicznych (AND), (OR) oraz C (NOT) Model regresji logicznej Dopasowujemy model regresji g(e[y ]) = β 0 + t β j L j, gdzie L j są wyrażeniami logicznymi otrzymanymi ze zmiennych binarnych X i, i = 1, 2,..., m. Rozmiar modelu to liczba zmiennych binarnych X j, j = 1, 2,..., m w modelu. j=1

6 Przykład: X = (X 1, X 2,..., X m ) - macierz zmiennych binarnych; Model regresji logicznej: g(e(y )) = β X 1 (X 2 X 3 ) Klasyczny model regresji liniowej: g(e(y )) = β 1 X 1 + γ (2,3) X 2 X 3 + γ (1,2,3) X 1 X 2 X 3 β 1 = γ (2,3) = β, γ (1,2,3) = β Mniejsza liczba parametrów do estymacji Mniejsza liczba stopni swobody w klasycznych testach

7 Rozważana sytuacja Model: m add Ŷ i = β 0 + β j X ij + γ (j,k) X ij X ik + ε i j=1 (j,k) I ε i N (0, σ 2 ) I = {(j, k) : j, k = 1, 2,..., m add }, m add liczba możliwych efektów głównych. Klasyczna Regresja regresja liniowa logiczna L.ef. głównych m add m ( 2 m L.ef. interakcji m 2) 2 (2m ) 2 Liczba testów k LIN = m + ( ) m 2 k LOG = 2m + 2 (2m ) 2 Gdy m = 200, k LIN = 20100, k LOG =

8 FWER - całkowite p-stwo błędu I rodzaju Gdy FWER = 0.05, poziomy istotności dla pojedynczego testu: Efekt główny Efekt Interakcji Regresja liniowa Regresja logiczna Zwiększony problem wielokrotnego testowania Większa kara na wymiar modelu

9 Testy chi-kwadrat Testy Z

10 Testy chi-kwadrat Testy Z m add Ŷ i = β 0 + β j X ij + γ (j,k) X ij X ik + ε i j=1 (j,k) I θ = (β 1, β 2,..., β madd, γ (1,2),..., γ (madd 1,m add )) = (θ 1, θ 2,..., θ K ) R K Tylko jeden istotny efekt w prawdziwym modelu Testujemy : H 0,j : θ j = 0 przy H 1,j : θ j 0, j = 1, 2,..., K Y N n (Xζ, σ 2 I), gdzie ζ = (β 0, θ j ) R t R 2 H 0,j : Aζ = 0 przy H 1,j : Aζ 0, j = 1, 2,..., K A znana macierz (t k) t, rzędu (t k) Tutaj t = 2, k = 1, A = (0, 1).

11 Testy chi-kwadrat Testy Z TWIERDZENIE Dla testowania Aζ = 0 w modelu liniowym F = ˆζ A (A(X X) 1 A ) 1 A ˆζ (t k) ˆσ 2 F (t k,n t) gdzie ˆζ i ˆσ2 są estymatorami NW ζ i σ 2 odpowiednio. ( ζ A (A(X X) 1 A ) 1 Aζ σ 2 ), Gdy σ jest znane, statystyką testową dla testowania Aζ = 0 jest χ 2 = ˆζ A (A(X X) 1 A ) 1 A ˆζ σ 2 χ 2 t k ( ζ A (A(X X) 1 A ) 1 Aζ σ 2 ),

12 Testy chi-kwadrat Testy Z Prawdziwy model: Y i = β(x C i,1 X C i,2) + ɛ i, i {1, 2,..., n}, ɛ i N (0, 1). p = P(X i,j = 1) = 0.5, n = 200, σ 2 = 1.0 Hipoteza Model Parametr DF DF niecentralności χ 2 (df ) F df1,df 2 np 2 (1 p) 2 γ 2 (1,2) H 0 : γ (1,2) = 0 Ŷ i = β 0 + β 1X i,1 + β 2X i,2+ σ 2 df = 1 df 1 = 1 H 1 : γ (1,2) 0 +γ (1,2) X i,1 X i,2 + ɛ i df 2 = n 4 np(1 p)(2 3p p H 0 : θ = 0 Ŷ i = β 0 + β 1X i,1 + β 2 ) 2X i,2+ σ 2 df = 3 df 1 = 3 H 1 : θ 0 +γ (1,2) X i,1x i,2 + ɛ i df 2 = n 4

13 Testy chi-kwadrat Testy Z

14 Testy chi-kwadrat Testy Z Prawdziwy model : Y i = β(x C i,1 X C i,2) + ɛ i, i {1, 2,..., n}, ɛ i N (0, 1). Niech Y (1) = Y W 1, Y (2) = Y W 2, W 1, W 2 określone, rozłączne warunki µ 1 = E(Y (1) ), µ 2 = E(Y (2) ) Testujemy : H 0 : µ 1 = µ 2 przy H 1 : µ 1 µ 2. Z = Y 1 Y 2. σ 2 1 n 1 + σ2 2 n 2

15 Testy chi-kwadrat Testy Z Moc : p = 0.5, n = 200, σ = 1.0 β(z) = P H1 ( Z > z 1 α 2 ) Warunki Poziom ist. Kwantyl (µ 1 µ 2) σ (α) z α/2 n + σ2 2 1 n 2 W 1 = {X i,1 X i,2 = 0} βp(1 p) n(1 p ) 2β 1 2(1 p)p3 +σ 2 (1+p) 2 W 2 = {X i,1 X i,2 = 1} W 1 = {X C i,1 X C i,2 = 0} W 2 = {X C i,1 X C i,2 = 1} W 1 = {X C i,1 = 0} W 2 = {X C i,1 = 1} β(1 p) np(2 p) σ β(1 p) np(1 p) σ

16 Testy chi-kwadrat Testy Z

17 Prawdziwy model: Y i = β (X C i,1 X C i,2 ) + ε i, ε i N (0, σ 2 ), Model testowany : Ŷ i = β 0 + γ (1,2) X i,1 X i,2 + ε i, ε i N (0, σ 2 ). Testujemy H 0 : γ (1,2) = 0 przy H 1 : γ (1,2) 0 V = lin(1, X 1 X 2 ), W = lin(1) X V = (1, X 1 X 2 ), X W = 1 dim(v ) = t = 2, dim(w ) = k = 1 Statystyka testowa: F = (n t) P V W Y 2 (t k) P V Y 2 = P V W ˆµ 2 (t k) ˆσ 2

18 ζ = (β 0, γ (1,2) ), ˆµ = X V ˆζ, A = (0, 1) Macierz bazowa dla V W : C = X V (X V X V ) 1 A P V W ˆµ = C(C C) 1 C ˆµ P V W ˆµ 2 = ˆζA (A(X V X V ) 1 A ) 1 A ˆζ F = P V W ˆµ 2 (t k) ˆσ = ˆζ A (A(X X) 1 A ) 1 A ˆζ 2 (t k) ˆσ 2

19 Niech a = P V (Y Y ) 2 (Y Y ) 2 E- macierz jedynek n n. Wtedy P W = X W (X W X W ) 1 X W = 1 n E. P W Y = 1 n EY = Y, Y = (Y, Y,..., Y ) a = P V (Y Y ) 2 = P V W Y 2 (Y Y ) 2 P W Y 2 F = (n 2) P V W Y 2 P V Y 2 = (n 2) a P W Y 2 P V Y 2

20 Min Max średnia β 0 50 a Moc

21 Dziękuję!

22 Literatura Plan [1]Ruczinski I., Kooperberg C., LeBlanc M., Logic regression, J. Comput. Graphical Statist. 12 (3),(2003), , [2]Kooperberg C., Ruczinski I., Identifying Interacting SNPs Using Monte Carlo Logic Regression, Genetic Epidemiology 28, (2005) [3]Scott J.G. and Berger J.O.,(2010) Bayes and empirical-bayes multiplicity adjustment in the variable-selection problem., Duke University Department of Statistical Science. [4]Holmes,C.C and Denison D.G.T, Classification with Bayesian MARS, Mach. Learn.50(2003),