Co to znamená pro vztah mezi simultánní a marginální hustotou pravděpodobnosti f (x) (pravděpodobnostní funkci p(x))?

Transkrypt

1 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Maximálně věrohodné odhady Náhodný výběr X 1,..., X n rosahu n z rozdělení pravděpodobnosti P: X i P (i = 1,..., n) X 1,..., X n jsou stochasticky nezávislé Co to znamená pro vztah mezi simultánní a marginální hustotou pravděpodobnosti f (x) (pravděpodobnostní funkci p(x))? Rozdělení pravděpodobnosti závislé na parametru (parametrech) θ: f (x), p(x) jako funkce proměnné θ L(θ) Věrohodnostní funkce L(θ) a logaritmická věrohodnostní funkce l(θ): n n L(θ) = L(θ; x 1,..., x n ) = f (x i ; θ) = p(x i ; θ) i=1 i=1 l(θ) = l(θ; x 1,..., x n ) = ln L(θ; x 1,..., x n ) = n ln f (x i ; θ) = i=1 n ln p(x i ; θ) i=1 Jak odhadnout θ ze znalosti X 1,..., X n?

2 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Maximálně věrohodné odhady Myšlenka: parametr θ odhadneme hodnotou, která je při daném náhodném výběru ze známého rozdělení pravděpodobnosti nejvíce pravděpodobná. Maximálně věrohodný odhad (MLE = maximum likelihood estimator) θ ML parametru θ se získá maximalizací věrohodnostní funkce L(θ): θ ML : L(θ; x 1,..., x n ) max, resp. l(θ; x 1,..., x n ) max θ θ To znamená najít stacionární bod funkce l(θ) vzhledem k θ, θ l(θ) = 0 (věrohodnostní rovnice), a ověřit 2. diferenciál, resp. derivaci, 2 θ 2 l(θ) θ= θml < 0. Poznámka: v případě věktoru parametrů θ řešíme soustavu věrohodnostních rovnic pro θ z 1. derivací a ověřujeme negativní definitnost matice 2. derivací.

3 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / MLE příklady (1) 1. Najděte ML-odhad parametru θ [0, 1] pro náhodný výběr X 1,..., X n z binomického rozdělení Bi(m, θ) (m N) s pravděpodobností funkcí p(x) = ( m x ) θ x (1 θ) m x pro x = 0, 1,..., m; p(x) = 0 jinak. 2. Najděte ML-odhad parametru θ [0, 1] pro náhodný výběr X 1,..., X n z geometrického rozdělení Ge(θ) s pravděpodobností funkcí p(x) = (1 θ) x θ pro x N 0 ; p(x) = 0 jinak. 3. Najděte ML-odhady parametrů µ R a σ 2 > 0 pro náhodný výběr X 1,..., X n z Gaussova rozdělení N(µ, σ 2 ) s hustotou pravděpodobnosti [ ] 1 f (x) = exp (x µ)2 2 π σ 2 2 σ Najděte ML-odhady parametrů µ R a σ 2 > 0 pro náhodný výběr X 1,..., X n z logaritmického normálního rozdělení LN(µ, σ 2 ): [ ] 1 f (x) = 2 π σ 2 x exp (ln x µ)2 2 σ 2 pro x > 0; f (x) = 0 jinak.

4 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / MLE příklady (2) 5. Najděte ML-odhad parametru µ > 0 pro náhodný výběr X 1,..., X n z exponenciálního rozdělení Ex(µ) s hustotou pravděpodobnosti f (x) = 1 [ µ exp x ] pro x 0; f (x) = 0 jinak. µ 6. Najděte ML-odhad parametru λ > 0 pro náhodný výběr X 1,..., X n z exponenciálního rozdělení Ex(λ) s hustotou pravděpodobnosti f (x) = λ exp [ λx] pro x 0; f (x) = 0 jinak. 7. Najděte ML-odhady parametrů λ > 0 a k > 0 pro náhodný výběr X 1,..., X n z Weibullova rozdělení Wb(λ, k) s hustotou pravděpodobnosti f (x) = k λ x k 1 exp [ λ x k] pro x 0; f (x) = 0 jinak. 8. Najděte ML-odhad parametru s > 0 pro náhodný výběr X 1,..., X n z Rayleighova rozdělení Ra(s) s hustotou pravděpodobnosti f (x) = x [ s exp x 2 ] pro x 0; f (x) = 0 jinak. 2 s

5 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / MLE příklady (3) 9. Najděte ML-odhad parametru λ > 0 pro náhodný výběr X 1,..., X n z Gamma rozdělení Γ(λ, k) (k > 0) s hustotou pravděpodobnosti f (x) = λk Γ(k) x k 1 exp [ λ x] pro x 0; f (x) = 0 jinak. Najděte také věrohodnostní rovnici pro ML-odhad k. Pomůcka: k ln Γ(k) = Ψ(k) = digamma funkce.. Další příklady pro odvození ML-odhadů parametrů v rozděleních s podobnými tvary hustot naleznete na stránce dr. Forbelské.

6 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / MLE řešení příkladů X 1. θml = 2 X n 2. θml = X 3. µ ML = X, σ 2 ML = 1 n 4. µ ML = 1 n 5. λml = X n (X i µ ML ) 2 i=1 n ln X i, σ 2 ML = 1 n i=1 6. λml = 1 X n 7. λml = n i=1 X i k 8. ŝ ML = 1 n Xi 2 2 n i=1 n (ln X i µ ML ) 2 9. λml = k X, ML-rovnice pro k: Ψ( k ML ) = ln λ + X i=1

7 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Odhady parametrů momentovou metodou Odhady parametrů tzv. metodou momentů spočívá ve vyjádření několika prvních (tolik, kolik potřebujeme) momentů M p rozdělení pravděpodobnosti náhodné veličiny X, M p = E(X p ) (p = 1, 2,... ). Teoretické momenty M p závisí na neznámých parametrech, které chceme odhadnout. Momenty M p v rovnici (rovnicích) nahradíme (aproximujeme) výběrovými momenty m p, m p = 1 n n i=1 X p i (p = 1, 2,... ), které závisí pouze na náhodném výběru. Algebraickým vyjádřením (příp. numerickým výpočtem) hledaných parametrů z rovnice (systému rovnic) pro m p obdržíme odhady θ MM momentovou metodou.

8 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Momentové odhady příklady Jako cvičení spočtěte odhady parametrů momentovou metodou v příkladech pro maximálně věrohodné odhady. Nejdříve odvod te (pro hustoty integrováním), nebo pomocí tabulek či počítače nalezněte, momenty daných rozdělení pravděpodobnosti, M p = E(X p ) (p = 1, 2,... ) Pro kontrolu jsou první dva momenty M 1, M 2 uvedeny v tabulce vpravo. Poté odvod te momentové odhady parametrů a porovnejte je s maximálně věrohodnými odhady. příklad M 1 M 2 1. m θ m θ (1 θ) 2. 1 θ θ (1 θ) 2 +(1 θ) θ 2 3. µ µ 2 + σ 2 4. exp [ µ σ 2] exp [2µ + 2σ 2 ] 5. µ 2µ λ 1 7. k λ k 1 Γ ( ) 1 k k λ 2 λ 2 λ k 2 π s 2 2 s k(k+1) λ 2 Γ ( k )

9 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Momentové odhady řešení příkladů Označení: p-tý výběrový moment = m p = 1 n 1. θmm = m 1 m 1 2. θmm = 1 + m 1 3. µ MM = m 1, σ 2 MM = m 2 m µ MM = 2 ln m ln m 2, σ 2 MM = ln m 2 2 ln m 1 5. λmm = m 1 n i=1 X p i (p = 1, 2,... ) 6. λmm = 1 m 1 8. ŝ MM = 2 m2 1 π m 1 9. λmm = m 2 m1 2, anebo ŝ MM = m 2 2 m 2 1, kmm = m 2 m1 2

10 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Náhodné vektory Náhodný vektor X = (X 1,..., X n ) (reálný) je měřitelná vektorová funkce X = (X 1,..., X n ) : Ω R n, jejíž složky jsou náhodné veličiny, X i : Ω R, na stejném pravděpodobnostním prostoru (Ω, A, P). Střední hodnota E(X) náhodného vektoru je definována po složkách: E(X) = ( E(X 1 ),..., E(X n ) ). Kovarianční matice cov(x) (variance-covariance matrix) náhodného vektoru: D(X) = cov(x) = {c i,j } n i,j=1, kde c i,j = C(X i, X j ). cov(x) je čtvercová řádu n, symetrická (proč?) hlavní diagonálu tvoří rozptyly D(X i ), ostatní složky jsou kovariance C(X i, X j ) pozitivně semidefinitní, tzn. u R n : u cov(x) u 0 Poznámka: Anglická literatura často užívá společný pojem variance (var, Var). Potom rozumíme: var(x ) = D(X ) pro náhodnou veličinu a var(x) = cov(x) pro náhodný vektor.

11 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Jednoduché transformace náhodných vektorů Lineární transformace R n R m : Lineární forma R n R: Kvadratická forma R n R: E(a + BX) = a + B E(X) cov(a + BX) = B cov(x) B E(a + b X) = a + b E(X) D(a + b X) = b cov(x) b E(X A X) = E(X) A E(X) + Tr [A cov(x)] a R m ; B R n m ; a R; b R m ; A R n n pozitivně definitní Stopa (Trace) matice = Tr(C) = n i=1 {c i,i} Platí: Tr(A B C) = Tr(B C A) = Tr(C A B)

12 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Náhodné vektory příklady (1) V následujících příkladech spočítejte E(X), cov(x) náhodného vektoru X: 13. Znáte: E(X i ) = 10 i, C(X i, X j ) = i j, (i, j = 1, 2). 14. Znáte: E(X i ) = 10 i, D(X i ) = i 2, (i, j = 1, 2, 3); ρ(x i, X j ) = 0,5 pro i j. 15. X je náhodný výběr rozsahu 4 z rozdělení N(10, 4). 16. X je náhodný výběr rozsahu 5 z rozdělení Ex(λ). X 1 20 X Znáte: E X 2 = 30, cov X 2 =? 9?. Spočítejte střední X 3 2 X 3? 9 16 hodnoty, rozptyly, kovariance, korelační koeficienty náhodných veličin X 1, X 2, X 3. Které dvojice (trojice) veličin jsou stochasticky nezávislé? 18. V příkladu 17., s využitím vhodných transformací, spočítejte: E(10 X 3 ) E(2 X 1 5 X 3 X 2 ) C(10 X 3, 2 X 1 5 X 3 X 2 ) C(X 1 + X 2, X 3 X 2 ) D(10 X 3 ) D(2 X 1 5 X 3 X 2 ) ρ(10 X 3, 2 X 1 5 X 3 X 2 ) ρ(x 1 + X 2, X 3 X 2 )

13 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Náhodné vektory příklady (2) 11. Dokažte vlastnosti kovarianční matice. 12. Dokažte vztahy pro střední hodnotu a kovarianční matici transformovaných náhodných vektorů. 19. Ověřte, pro že výběrový průměr X náhodného výběru rozsahu n z rozdělení se střední hodnotou µ a rozptylem σ 2 platí: E ( X ) = µ, D ( X ) = σ 2 /n. 20. Ověřte, že pro výběrový rozptyl SX 2 náhodného výběru rozsahu n z rozdělení N(µ, σ 2 ) platí: E ( ) SX 2 = σ 2, D ( ) SX 2 = 2σ 4 /(n 1). 21. Ověřte, pro že pro náhodný výběr rozsahu n z rozdělení se střední hodnotou µ a rozptylem σ 2 platí vztah E [3Q 1 Q 2 ] = (n 3)σ 2, kde Q 1 = n ( i=1 Xi X ) 2 a Q2 = (X n X 1 ) 2 + n 1 i=2 (X i X i 1 ) Spočítejte E(Y ) a cov(y ) transformovaného náhodného vektoru Y = ( ) X, když E(X) =, cov(x) = ( )

14 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Náhodné vektory příklady (3) 23. Spočtěte střední hodnotu E ( Y Y Y 2 3 ) a kovarianční matici cov(y ), kde Y 1 = X 1, Y 2 = X 1 + X 2, Y 3 = X 1 + X 2 + X 3 jsou transformace vzájemně nezávislých náhodných veličin X 1, X 2, X 3, E(X 1 ) = 10, E(X 2 ) = 20, E(X 3 ) = 30, D(X 1 ) = 1, D(X 2 ) = 4, D(X 3 ) = Spočtěte střední hodnotu E (Y 1 Y 2 + Y 2 Y 3 + Y 3 Y 1 ) a kovarianční matici cov(y ), kde Y 1 = X 2 + X 3, Y 2 = X 1 + X 3, Y 3 = X 1 + X 2 jsou transformace vzájemně nekorelovaných složek náhodného vektoru X, E(X) = (10, 10, 10), D(X i ) = i Spočtěte E(Y ), cov(y ) a E ( Y Y Y Y Y 1Y 4 ), kde X 1, X 2, X 3, X 4 jsou náhodné veličiny, E(X i ) = 10, C(X i, X j ) = 1. Známe transformační vztahy X 1 = Y 1, X 2 = Y 2 Y 1, X 3 = Y 3 Y 2, X 4 = Y 4 Y Spočítejte střední hodnotu povrchu hranolu s podstavou tvaru čtverce. Délka hrany podstavy je náhodná veličina se střední hodnotou 10 a rozptylem 1, výška hranolu je náhodná veličina se střední hodnotou 20 a rozptylem 9 a její korelační koeficient s délkou hrany podstavy je 0,1.

15 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Některé vztahy ve vektorové (maticové) formě Když X = (X 1,..., X n ) je náhodný vektor, jeho kovarianční matici lze vyjádřit následujícím způsobem: cov(x) = E { [X E(X)] [X E(X)] }. Někdy je tímto vztahem kovarianční matice definována. Všimněte si podobnosti s definicí kovariance náhodných veličin: C(X 1, X 2 ) = E {[X 1 E(X 1 )] [X 2 E(X 2 )]}. V našem případě však jde součin vektorů (sloupec řádek matice). Některé známé vztahy přepsané vektorově (maticově): X i = e i X, e i = (0,..., 0, 1 i, 0,..., 0) je i-tý jednotkový vektor n X = n i=1 X i = (1,, 1) X n i=1 X i 2 = X I X, I = diag(1,..., 1) = jednotková matice n 2 (X ) 2 = X J X, J = {1} n i,j=1 = jedničková matice

16 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Náhodné vektory řešení příkladů 18. E(10 X 3 ) = 20 E(2 X 1 5 X 3 X 2 ) = 0 C(10 X 3, 2 X 1 5 X 3 X 2 ) = 390 D(10 X 3 ) = 1600 D(2 X 1 5 X 3 X 2 ) = 399 ρ(10 X 3, 2 X 1 5 X 3 X 2 ) 0,488 C(X 1 + X 2, X 3 X 2 ) = 25 ρ(x 1 + X 2, X 3 X 2 ) 0, E(Y ) = 21, cov(y ) = E( ) = = 4620, cov(y ) = E( ) = = 1214, cov(y ) = E(Y ) = 20 30, E( ) = = 3838, cov(y ) = Střední hodnota povrchu uvedeného hranolu je rovna ,2 = 1003,2.

17 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Regresní analýza Regresní analýza : řeší problém odhadu parametrů v regresním modelu pevně dané (zvolené, nenáhodné) hodnoty vstupní veličiny, tzv. regresory odpověd je závislá na regresorech prostřednictvím známé funkce měřená odpověd je zatížena náhodnými chybami Regresní model : regresory jsou nenáhodné veličiny, obvykle uspořádané do matice regresorů X odpovědi Y tvoří náhodný vektor, obvykle dokonce náhodný výběr je dán funkční vztah Y = f (X) + ε ε je vektor náhodných chyb tvar funkce f je dán, regresní analýza odhaduje parametry funkce

18 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Lineární regresní model Lineární regresní model (LRM) (linear regression model) (Y, X, β): vyjadřuje závislost tvaru Y = Xβ + ε, podrobněji Y 1.. Y n }{{} Y x 1,1... x 1,k =. β β k x n,1... x n,k }{{}}{{} β X ε 1.. ε n }{{} ε Y je náhodný vektor n pozorování regresory tvoří pevně danou (nenáhodnou) matici plánu (design matrix) X β je vektor k neznámých parametrů závislost je lineární vzhledem k parametrům β i náhodné chyby ε i jsou vzájemně nezávislé a mají rozdělení ε i N(0, σ 2 ) n > k, tj. počet pozorování je větší než počet parametrů h(x) = k, tj. matice plánu je plné hodnosti

19 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Metoda nejmenších čtverců (MNČ) (1) Lineární regresní model (Y, X, β), Y = Xβ + ε, se obvykle řeší minimalizací jisté penalizační funkce. Při řešení metodou nejmenších čtverců (least square method) je kvadratický výraz (Y Xβ) (Y Xβ) minimalizován vzhledem k neznámých hodnotám parametrů β. Při splnění podmínek uvedeného lineárního regresního modelu existuje vždy právě jedno řešení této minimalizace, které označíme β. Řešení lineárního regresního modelu metodou nejmenších čtverců, β, lze vyjádřit jako řešení systému normálních rovnic : MNČ-odhad parametrů je potom: X Xβ = X Y. β = ( X X ) 1 X Y

20 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Metoda nejmenších čtverců (MNČ) (2) Hodnoty sledované proměnné aproximované (predikované) zvoleným regresním modelem s parametry β určenými metodou nejmenších čtverců jsou Ŷ = X β = X ( X X ) 1 X Y r = Y Ŷ jsou rezidua (residuals), tj. odchylky skutečně pozorované hodnoty Y sledované veličiny od hodnoty Ŷ predikované regresním modelem Vhodnost modelu je kvantifikována reziduálním součtem čtverců S e = r r = ( Y X β ) ( Y X β ) Vhodnost modelu lze také posuzovat podle odhadu rozptylu náhodných chyb s 2 = S e n k

21 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM příklady (1) V LRM (Y, X, β), X = , Y = 2 2 spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2. Jaké regresní funkci matice plánu odpovídá? 32. Ve dvou LRM (Y, X 1, β) a (Y, X 2, β), X 1 = , X 2 =, Y =, na stejných datech spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2. Který model z obou modelů je vhodnější? Jakým regresním funkcím matice plánu odpovídají?

22 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM příklady (2) V následujících příkladech spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2 pro různé regresní funkce. Rozhodněte, která z funkcí je pro daná data nejvhodnější. Odhadnuté regresní funkce zobrazujte také graficky. Můžete též vyzoušet jeden bod z dat vynechat a sledovat, jak se parametry funkce změní. y = β 0 + β 1 x y = β 0 + β 1 x + β 2 x 2 y = β 0 + β 1 x 33. Pro data 34. Pro data 35. Pro data x Y x Y x Y y = β 1 x y = β 1 x + β 2 x 2 y = β 0 + β 1 x + β 2 e x

23 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM příklady (3) 36. Pro data 37. Pro data 38. Pro data 39. Pro data x Y x Y x Y x Y Pomocí regresní přímky procházející počátkem spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2 v LRM (Y, X, β) pro data x Y Jedná se o měření koeficientu teplotní délkové roztažnosti měděné trubky. Teplotní rozdíl od 20 C je x, prodloužení tyče je měřená veličina Y.

24 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM příklady (4) 41. Pomocí (obecné) regresní přímky spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2 v LRM (Y, X, β) pro data x Y Jedná se o měření závislosti množství kyseliny mléčné ve 100 ml krve u matky-provorodičky, x, a jejího novorozence, Y. Obě veličiny jsou uváděny jako hmotnost v mg. 42. Pomocí (obecné) regresní paraboly spočítejte MNČ-odhady vektoru parametrů β, aproximace Ŷ, reziduální součty čtverců S e a s 2 v LRM (Y, X, β) pro data x Y Jedná se o měření závislosti spotřeby paliva, Y v l/100 km motorového vozidla na rychlosti, x v km/h, při zařazeném stejném rychlostním stupni.

25 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM v R prakticky lm Uložíme data do proměnných: x <- c (1, 2, 3, 4) ; Y <- c (-1, 0, 2, 3) Výpočet MNČ-odhadů (nejen) parametrů v R: funkce lm (linear model) formule je tvaru odpověd ~ matice plánu (regresní funkce), např.: Y ~ 1 + x obecná přímka (1 + není třeba psát) Y ~ 0 + x + I( x ^2) parabola procházející počátkem (0 + ) Y ~ I(abs( x )) x (1 + si R doplní automaticky) Y ~ I(exp( x )) e x (1 + si R doplní automaticky) model <- lm (formule) summary (model) přehled výsledků modelu coef (model), model $coefficients β fitted (model), model $fitted.values Ŷ residuals (model), model $residuals r model $model X (bez sloupce jedniček) Jak spočítáme S e a s 2?

26 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM v R prakticky obrázky Připravíme si prázdný graf, necháme více místa kolem zadaných dat: plot (c(0,4), c(-2,4), type="n", xlab="osa x", ylab="osa y", main="nazev") Vykreslíme data (x, Y ) jako body (pch=číslo znaku, col=číslo barvy): points ( x, Y, pch=1, col=1) Vykreslíme body predikované modelem (x, Ŷ ): points (x, model$fitted.values, pch=18, col=2) Predikce odpovědi modelu v libovolných bodech: predict (model, data.frame (x=c(x-souřadnice bodů))) Vykreslíme celou křivku odhadnuté regresní funkce (lwd=tloušt ka čáry, lty=typ čáry, from, to=x-souřadnice intervalu, add=true je důležité pro přidání křivky): curve (predict (model, data.frame( x =x)), from=0, to=4, col=2, add=true) Opakováním předchozích kroků můžeme přikreslovat křivky dalších regresních funkcí, které máme spočítané. Kopie obrázku do PDF: dev.copy2pdf ( file="soubor.pdf" )

27 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Rozdělení pravděpodobnosti v LRM máme bodové odhady β, chceme intervalové odhady a testování hypotéz teorie klasického LRM předpokládá ε N(0, σ 2 I) Potom máme: Y N ( Xβ, σ 2 I ) (I = jednotková matice řádu n) MNČ-odhad β vektoru parametrů je nestranný, β N ( β, σ 2 (X X) 1) s 2 je nestranným odhadem rozptylu náhodných chyb, E(s 2 ) = σ 2 S e σ 2 χ 2 (n k) náhodné veličiny β a s 2 jsou stochasticky nezávislé T = c β c β 0 s c (X X) 1 c t(n k) (c Rk ) ( β β 0) ( β W 1 β 0) F = s 2 F(m, n k) m β je subvektor o m složkách W je tomuto subvektoru odpovídající blok m m matice (X X) 1. horní index 0 značí zvolený číselný vektor, např. při testování významnosti dosazujeme β 0 = (0,, 0 k ), resp. β 0 = (0,, 0 m )

28 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Testy významnosti v LRM Test významnosti koeficientu β i, tj. test H 0 : β i = 0 proti H 1 : β i 0: v T volíme c = e i (i-tý jednotkový vektor), β 0 = 0 T i = β i 0 s v i,i t(n k), v i,i = { (X X) 1} i,i Test významnosti modelu, H 0 : (β 1,..., β k 1 ) = 0 proti H 1 : i > 0: β i 0: v F volíme β = (β 1,..., β 0 ), m = k 1, β 0 = (0,..., 0 k 1 ) F = n k S T F(k 1, n k) k 1 S e rezidální součet čtverců: S e = n j=1 (Y i Ŷi) 2 celkový součet čtverců: S T = n j=1 (Y i Y ) 2 R squared: R 2 = 1 S e S T R-bar squared, adjusted R squared: R 2 = 1 (1 R 2 ) n 1 n k formálně: R 2 = koeficient mnohonásobné korelace mezi Y a Ŷ

29 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM v R prakticky testy významnosti summary (model) textový přehled prehled <- summary (model) spočítá další parametry a testy v modelu M <- coef (prehled), M <- prehled $coefficients matice: M[,1] β, MNČ-odhady parametrů modelu M[,2] standardní chyby MNČ-odhadů parametrů modelu M[,3] T i, t-statistiky významnosti koeficientů modelu M[,4] p-hodnoty testů H 0 : β i = 0 proti H 1 : β i 0 prehled $r.squared R 2 prehled $adj.r.squared R 2 prehled $fstatistic vektor (F, k 1, n k), F-statistika modelu prehled $sigma s prehled $df vektor (k, n k, k) model $df.residuals n k

30 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Obecné testy parametrů v LRM Test lineární kombinace koeficientů H 0 : c β = c β 0 proti H 1 : c β c β 0 : c R k volíme podle požadované lineární kombinace β 0 volíme tak, aby c β 0 R byla testovaná hodnota T = c β c β 0 s c (X X) 1 c t(n k) Příklad (parabola) β 0 + β 1 = 1? volíme c = (1, 1, 0), c β 0 = 1 Příklad (přímka) 2β 0 3β 1 = 10? volíme c = (2, 3), c β 0 = 10 Vektorový test koeficientů H 0 : β = β 0 proti H 1 : β β 0 : testujeme subvektor β o m složkách (m k) ( β β 0) ( β W 1 β 0) F = s 2 F(m, n k) m W je testovanému subvektoru odpovídající blok m m matice (X X) 1 Příklad (β 0, β 2 ) = (0, 0)? Příklad (β 0, β 1 ) = (0, 1)?

31 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / LRM testy příklady V příkladech dále spočítejte: testujte významnost koeficientů β i (i = 0,..., k 1) pomocí statistik T i testujte významnost modelu pomocí statistiky F porovnejte vhodnost regresních funkcí pomocí F, s 2, R 2 a R 2 Poznámka: alternativně ke klasickému rozhodování o výsledku statistického testu na hladině významnosti α (porovnávání hodnoty testovací statistiky s příslušným kvantilem) lze o výsledku testu rozhodnout pomocí p-hodnoty (p-value) P: P α zamítáme H 0 ve prospěch H 1 P > α nezamítáme H 0

32 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Korelační koeficient Korelační koeficient (Pearsonův) ρ XY : C(X, Y ) ρ XY = D(X ) D(Y ) ρ XY [ 1; 1] je mírou lineární závislosti náhodných veličin X, Y (s kladnými rozptyly) Kovariance: C(X, Y ) = E [X E(X )] [Y E(Y )] Pro normálně rozdělené náhodné veličiny lze interpretovat pomocí LRM s regresní funkcí Ŷ = β 0 + β 1 X : ρ XY = 1 pozitivní lineární závislost, β 1 > 0 je významný ρ XY = 1 negativní lineární závislost, β 1 < 0 je významný ρ XY = 0 lineární nezávislost, β 1 není významný Obecně platí implikace: X, Y stochasticky nezávislé ρ XY = 0 (nezávislost nekorelovanost) Pro normálně rozdělení náhodně veličiny platí ekvivalence (nezávislost = nekorelovanost)

33 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Výběrový korelační koeficient Výběrový korelační koeficient r XY : je empirickou analogií korelačního koeficientu ρ XY pro náhodný výběr ( (X 1, Y 1 ),..., (X n, Y n ) ) r XY = S XY S X S Y Výběrový rozptyl: SX 2 = 1 n 1 Výběrová kovariance: n i=1 (X i X )(Y i Y ) = 1 n 1 S XY = 1 n 1 Testy pro normálně rozdělené náhodné veličiny: ( n i=1 (X n i X ) 2 = 1 n 1 i=1 X i 2 nx 2) ( n i=1 X iy i nx Y ) Test nezávislosti H 0 : ρ XY = 0 proti H 1 : ρ XY 0: r XY T = 1 r 2 n 2 t(n 2) XY Test H 0 : ρ XY = ρ 0 proti H 1 : ρ XY ρ 0 (tzv. Z-transformace): U = 1 2 ln 1 + r XY 1 1 r }{{ XY 2 ln 1 + ρ 0 ρ 0 n 3 N(0, 1) 1 ρ } 0 2(n 1) Z

34 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Výběrový koeficient mnohonásobné korelace Výběrový koeficient mnohonásobné korelace r Y X : ry X 2 = R YX RXX 1 R XY je empirickou analogií koeficientu mnohonásobné korelace ρ Y X r Y X ρ Y X = ρ(y, Ŷ ) ρ Y X [0; 1] Koeficient determinace: R 2 = ry X 2 pro náhodný výběr ( (Y 1, X 1 ),..., (Y n, X n ) ) z (k + 1)-rozměrného rozdělení Test pro normálně rozdělené náhodné veličiny H 0 : ρ Y X = 0 proti H 1 : ρ Y X 0, tj. že Y nezávisí na komplexu náhodných veličin X: F = n k 1 ry X 2 k 1 ry X 2 F(k, n k 1)

35 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Výběrový koeficient parciální korelace Výběrový koeficient parciální korelace r Y,Z X : r Y,Z X = r YZ R YX RXX 1 R XZ (1 RYX RXX 1 R ) ( XY 1 RZX RXX 1 R ) XZ je empirickou analogií parciálního korelačního koeficientu ρ Y,Z X r Y,Z X ρ Y,Z X = ρ(y Ŷ, Z Ẑ) ρ Y,Z X [ 1; 1] pro náhodný výběr ( (Y 1, X 1, Z 1 ),..., (Y n, X n, Z n ) ) z (k + 2)-rozměrného rozdělení Test pro normálně rozdělené náhodné veličiny H 0 : ρ Y,Z X = 0 proti H 1 : ρ Y,Z X 0, tj. že Y, Z jsou nezávislé náhodné veličiny po odečtení (lineárního) vlivu komplexu náhodných veličin X: r Y,Z X T = t(n k 2) 1 ry 2,Z X

36 Ondřej Pokora M5120 Lineární statistické modely I poznámky do cvičení podzim / Výběrové korelační koeficienty v R předpokládáme, že v proměnných X, Y, Z máme realizace náhodného výběru cor (X, Y) výběrový korelační koeficient r XY Výběrový koeficient mnohonásobné korelace r Z (X,Y ) mz <- lm (1 + X + Y) LRM na proměnných X, Y Zh <- mz$fitted.values Ẑ = β 0 + β 1 X + β 2 Y cor (Z, Zh) r Z (X,Y ) = R(Z, Ẑ) Výběrový koeficient parciální korelace r Y,Z X my <- lm (1 + X) LRM na proměnné X mz <- lm (1 + X) LRM na proměnné X Yr <- my$residuals rezidua Y Ŷ = Y β 0 β 1 X Zr <- mz$residuals rezidua Z Ẑ = Z α 0 α 1 X cor (Yr, Zr) r Y,Z X = R(Y Ŷ, Z Ẑ)