heteroskedasticitě Radim Navrátil, Jana Jurečková Katedra pravděpodobnosti a matematické statistiky, MFF UK, Praha

Transkrypt

1 Pořadové testy v regresi při rušivé heteroskedasticitě Radim Navrátil, Jana Jurečková Katedra pravděpodobnosti a matematické statistiky, MFF UK, Praha Robust 2014, Jetřichovice Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

2 Úvod Úvod Homoskedasticita je často předpokládána při klasické analýze lineárního modelu. Heteroskedasticita: Cíl: Můžeme testovat její přítomnost před statistickou inferencí. Najít přístup, který je invariantní vůči heteroskedasticitě. Testy o regresi za přítomnosti rušivé heteroskedasticity. Testy homoskedasticity za přítomnosti rušivé regrese. Oba typy testů jsou založeny na vhodných ancilárních statistikách, není tedy nutné odhadovat rušivé parametry modelu. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

3 Úvod Historie Lineární model s možnou heteroskedasticitou Y i = β 0 + x i β + σ i U i, i = 1,..., n. Požadavky na znalost struktury σ i mnoho modelů. Testy heteroskedasticity: Breusch and Pagan (1979), Carroll and Ruppert (1981), Koenker and Bassett (1982), Dette and Munk (1999). Pořadové testy: Akritas and Albers (1993), Gutenbrunner (1994). Odhady parametrů: Dixon and McKean (1996). Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

4 Úvod Model Y i = β 0 + x i β + exp{z i γ}u i, i = 1,..., n, β 0 R, β R p, γ R q, x i je p-rozměrný vektor regresorů. z i je q-rozměrný vektor regresorů. U i jsou i.i.d. náhodné veličiny s distribuční funkcí F, resp. absolutně spojitou hustotou f a konečnými nenulovými Fisherovými informacemi vzhledem k posunutí i měřítku. H 1 : γ = 0, proti alternativě K 1 : γ 0, H 2 : β = 0, proti alternativě K 2 : β 0. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

5 Test H 1 Test H 1 Za H 1 : γ = 0 máme model Y i = β 0 + x i β + U i, i = 1,..., n. Zkonstruujeme vektor regresních pořadových skórů â n (α) = (â n,1 (α),..., â n,n (α)), optimální řešení úlohy lineárního programování: â n (α) = arg max{yn a X n a = (1 α)x n 1 n, a [0, 1] n }, 0 < α < 1, kde Y n = (Y 1,..., Y n ), 1 n = (1,..., 1) R n a X n = (x 1,..., x n ), X n = (1 n, X n ). Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

6 Test H 1 Regresní kvantily Koenker and Bassett (1978) zobecnili pojem kvantilu pro lineární regresní model, α-regresní kvantil: { n ( β n (α) = argmin ρ α Yi x i t ) }, t R p+1, i=1 kde ρ α (x) = x (αi{x > 0} + (1 α)i{x < 0}). Koenker and Bassett (1978): β n (α) lze počítat jako komponentu β optimálního řešení (β, r +, r ) úlohy lineárního programování vzhledem k min α1 n r + + (1 α)1 n r X nβ + r + r = Y n (β, r +, r ) R p+1 R 2n +, kde Y n = (Y 1,..., Y n ), 1 n = (1,..., 1) R n a X n = (x 1,..., x n ), X n = (1 n, X n ). Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

7 Test H 1 Regresní pořadové skóry Regresní kvantily úloha lineárního programování: vzhledem k min α1 n r + + (1 α)1 n r X nβ + r + r = Y n (β, r +, r ) R p+1 R 2n +. Vektor regresních pořadových skórů â n (α) je optimálním řešením duální úlohy: â n (α) = arg max{yn a X n a = (1 α)x n 1 n, a [0, 1] n }, 0 < α < 1. Kĺıčová vlastnost: â n (α) je invariantní vůči regresi X n, t.j. â n (α) se nezmění pokud místo Y n pozorujeme Y n + X nδ pro všechna δ R p+1. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

8 Test H 1 Testová statistika Zvoĺıme funkci ϕ : (0, 1) R, integrovatelnou se čtvercem, tvaru U. S n = n 1/2 A 2 (ϕ) = ˆb n,i = n i= (ϕ(t) ϕ)dâ n,i (t). (z i ẑ i )ˆb n,i, T 2 n = 1 A 2 (ϕ) S n (ϕ(t) ϕ) 2 dt, ϕ = 1 D n = n 1 (Z n Ẑn) (Z n Ẑn) 0 D 1 n S n, ϕ(t)dt. a Ẑn = X n(x n X n) 1 X n Z n je projekce Z n na prostor sloupců matice X n, resp. ẑ i je i-tý řádek matice Ẑn. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

9 Test H 1 Předpoklady (F.1) f (x) f (x) c x, pro x K 0, c > 0. (F.2) f (x) > 0 na (A, B) a absolutně spojitá, omezená a klesající pro x A+ a x B, kde A = sup{x : F (x) = 0}, B = inf{x : F (x) = 1}, sup u(1 u) f (F 1 (u)) 0<u<1 f 2 (F 1 (u)) = α pro 1 α ε, ε > 0. Necht existují pozitivně definitní matice D, M takové, že max 1 i n x i = o lim D n = D, n lim n n 1 X n X n = M. ( n 1 4 η) pro nějaké η > 0, pro n. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

10 Test H 1 Asymptotické rozdělení Věta Za výše uvedených předpokladů T 2 n má za hypotézy H 1 asymptoticky χ 2 rozdělení o q stupních volnosti a za lokální alternativy K 1,n : γ = γ n = n 1/2 γ, γ R q pevné má asymptoticky χ 2 rozdělení o q stupních volnosti a parametrem necentrality η 2 = τ 1 2(ϕ, f ) A 2 (ϕ) γ Dγ, 1 ( τ 1 (ϕ, f ) = ϕ(t) 1 F 1 (t) f (F 1 ) (t)) f (F 1 dt. (t)) 0 Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

11 Test H 1 Poznámky Asymptotické rozdělení za H 1 nezávisí na rozdělení chyb modelu. Asymptotické rozdělení za K 1 nezávisí na hodnotě rušivého parametru β. Asymptotická síla testu je stejná jako u klasického pořadového testu, kde parametr β je známý. Test nerozliší alternativy s chybami exp{x i γ}u i kvůli ancilaritě regresních pořadových skórů. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

12 Test H 2 Test H 2 Model: Y i = β 0 + x i β + exp{z i γ}u i, i = 1,..., n. Necht F splňuje všechny předpoklady z minulého odstavce a navíc je symetrická a β 0 = 0. Za platnosti H 2 : β = 0 můžeme psát: kde W i = ln Y i, V i = ln U i, i = 1,..., n. W i = z i γ + V i, i = 1,..., n, (1) Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

13 Test H 2 Test H 2 Zkonstruujeme vektor regresních pořadových skórů â n (α) = (â n,1 (α),..., â n,n (α)) v modelu W i = z i γ + V i, i = 1,..., n, t.j. optimální řešení úlohy lineárního programování: â n (α) = arg max{w n a Z n a = (1 α)z n 1 n, a [0, 1] n }, 0 < α < 1, kde W n = (W 1,..., W n ), 1 n = (1,..., 1) R n a Z n = (z 1,..., z n ). Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

14 Test H 2 Předpoklady Necht F je symetrická s konečnými nenulovými Fisherovými informacemi vzhledem k posunutí i měřítku a splňuje (F.1) a (F.2). z i,1 = 1, i = 1,..., n a max 1 i n z i = O(1). D n = 1 n n i=1 z iz i D kde D je pozitivně definitní. Q n (γ) = n 1 n i=1 e z i γ (x i x i )(x i x i ) Q(γ), γ R q, kde Q(γ) je pozitivně definitní a x i je i-tý řádek X n = Z n (Z n Z n ) 1 Z n X n. Dále pro jednoduchost označme Q n (0) Q n and Q(0) Q. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

15 Test H 2 Testová statistika Zvoĺıme funkci ϕ : (0, 1) R, integrovatelnou se čtvercem, neklesající a nekonstantní, pro jejíž derivaci platí, že pro všechna 0 < u < α 0, 1 α 0 < u < 1 je ϕ (u) c(u(1 u)) 1 δ pro nějaké δ > 0. ˆb + n,i = 1 0 ( u + 1 ) (ϕ + (t) ϕ + ) dâ n,i (t), ϕ + (u) = ϕ, 0 < u < 1. 2 S n = n 1/2 n (x i x i ) sign Y i ˆb+ n,i, i=1 T 2 n = 1 A 2 (ϕ) S n 1 Q S n n Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

16 Test H 2 Asymptotické rozdělení Věta Za výše uvedených předpokladů T 2 n má za hypotézy H 2 asymptoticky χ 2 rozdělení o p stupních volnosti a za lokální alternativy K 2,n : β = β n = n 1/2 β, β R p pevné má asymptoticky χ 2 rozdělení o p stupních volnosti a parametrem necentrality η 2 (γ) = τ 2 1 (ϕ, f ) A 2 (ϕ) β Q (γ) Q 1 Q(γ)β. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

17 Test H 2 Poznámky Asymptotické rozdělení za H 2 nezávisí na rozdělení chyb modelu. Asymptotické rozdělení za K 2 závisí na hodnotě rušivého parametru γ. Asymptotická síla testu je stejná jako u klasického pořadového testu, kde parametr γ je známý. Předpoklad symetrie. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

18 Aplikace Příklad Data: M. Ezekiel, K. A. Fox (1959). Methods of correlation and regression analysis. Wiley, New York. Údaje o n = 63 autech. Y i brzdná dráha (ft) i-tého auta. z i rychlost (mph) i-tého auta. Uvažovaný model kvadratické závislosti: Y i = βz 2 i + e i, i = 1,..., 63. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

19 Data Aplikace brzdná dráha [ft] rychlost [mph] Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

20 Aplikace Data s odhadnutou kvadratickou závislostí brzdná dráha [ft] rychlost [mph] Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

21 Aplikace Závislost reziduí na rychlosti rychlost rezidua Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

22 Příklad - obecnější model Aplikace Možná heteroskedasticita v datech. Obecnější model: Test H 1 : γ = 0 proti γ > 0: Y i = βz 2 i + exp{γz i }U i, i = 1,..., 63. Testová statistika Tn 2 s Wilcoxonovými skóry pro měřítko, t.j. generovaná skórovou funkcí ϕ(t) = 1 + (2t 1) log t 1 t. Odpovídající p-hodnota je = heteroskedasticitu musíme připustit. Test H 2 : β = 0 proti β > 0: T 2 n s Wilcoxonovými skóry generovanými funkcí ϕ(t) = t 1 2. Odpovídající p-hodnota je = regrese je skutečně přítomná. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

23 Závěr Závěr Testy homoskedasticity za přítomnosti rušivé regrese a testy významnosti regrese za přítomnosti rušivé heteroskedasticity. Konstruovány bez nutnosti odhadu rušivých odhadů. Výpočetně nenáročné, odpadá riziko užití špatného odhadu. Rozšíření klasických pořadových testů (regresní pořadové skóry místo pořadí). Asymptoticky ekvivalentní odpovídajícím testům v modelu bez rušivých parametrů, kde jejich hodnoty jsou známé. Bĺızkost potvrzena i numericky pro konečný počet pozorování. Testy homoskedasticity s rušivou regresí Xβ nerozliší alternativy s chybami exp{x i γ}u i kvůli ancilaritě regresních pořadových skórů. Testy o regresi s rušivou heteroskedasticitou - předpoklad symetrie rozdělení chyb modelu. Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24

24 Poděkování Poděkování Děkuji za pozornost. Práce byla spolufinancována grantem SVV a projektem Klimatext reg.číslo CZ.1.07/2.3.00/ Radim Navrátil, Jana Jurečková (KPMS UK) Pořadové testy v regresi při rušivé heteroskedasticitě Robust / 24