0.1 Statystyczne Podstawy Modelu Regresji

Transkrypt

1 0.1 Statystycze Podstawy Modelu Regresji iech daa będzie przestrzeń probabilistycza (Ω, F, P ). Fukcję X : Ω R, określoą a przestrzei zdarzeń elemetarych Ω, o wartościach rzeczywistych, takich że x R {ω Ω : X(ω) < x} F (1) azywamy zmieą losową. Waruek, aby zbiór (1) ależał do F dla każdego t R azywa się mierzalością X względem σ-algebry F. Elemety F azywae są zdarzeiami. W przypadku, gdy Ω = R rodzia F jest z reguły tak dobraa by ciągłość fukcji implikowała jej mierzalość. Z defiicji zmieej losowej wyika, że zbiór (1) jest zdarzeiem ależącym do przestrzei probabilistyczej (Ω, F, P ). Możemy zatem obliczyć prawdopodobieństwo tego zdarzeia. Fukcję F X (X) : R [0, 1] określoą wzorem F X (X) = P ({ω Ω : X(ω) < x}) (2) azywamy dystrybuatą zmieej losowej. W przypadku wielowymiarowym będziemy mówić o wektorze losowym. W praktyce często wykorzystyway jest zapis skrócoy F x (x) = P (X(ω) x) albo F x (x) = P (X x) iech F będzie dystrybuatą wektora losowego (X, Y ). Załóżmy, że F (X, Y ) jest typu ciągłego o gęstości prawdopodobieństwa f(x, y). Wówczas F (x, y) = x y f(u, v)dudv Jeżeli obie pochode mieszae dystrybuaty F istieją i są ciągłe to (X, Y ) jest ciągłym wektorem losowym o gęstości f(x, y) = 2 F (x, y) x y Każda ze współrzędych wektora losowego jest zmieą losową. Ozaczmy przez F X i F Y dystrybuatę każdej współrzędej. Wtedy: F X (x) = P (X < x) = P (X < x, Y < ) jeśli zmiea losowa jest typu ciągłego to: F X (x) = P (X < x) = x y f(u, v)dudv 1

2 a gęstość wyraża się wzorem: f X (x) = f(x, y)dy Przy badaiu zależości między zjawiskami opisaymi przez zmiee losowe X i Y ajbardziej iteresujące są prawdopodobieństwa zdarzeń dotyczących jedej zmieej przy ałożoym waruku a drugą zmieą P (Y < y X B) = P (Y < y, X B) P (X B) gdzie zakładamy, że P (X B) > 0, czyli waruek jest ietrywialy. Prawdopodobieństwo warukowe jako fukcja argumetu y posiada wszystkie własości dystrybuaty i azywae jest warukową dystrybuatą X. Dla ciągłej zmieej losowej P (X = x) = 0. Wobec tego, z powyższego wzoru ie moża obliczyć prawdopodobieństwa zdarzeia. Dla ciągłych zmieych losowych defiiujemy warukową gęstość zmieej losowej Y przy waruku (X B) astępująco: f(y X = x 0 ) = f(x 0, y) f Y (y) = f(x 0, y) f(x 0, y)dy Warukową wartość oczekiwaą zmieej Y, przy waruku X = x 0 obliczamy korzystając ze wzoru E(Y X = x 0 ) = yf(y X = x 0 )dy Warukową wartość oczekiwaą E(Y X = x 0 ) azywamy fukcją regresji Y a X. 0.2 Szacowaie modelu regresji za pomocą MW a początku kursu pokazaliśmy, że dla modelu y = Xβ + ε ε (0, σ 2 I) b = (X X) 1 X y jest estymatorem Metody ajmiejszych Kwadratów dla wektora iezaych parametrów. Dodatkowo, a mocy tw. Gaussa-Markowa te estymator jest ajlepszym estymatorem w klasie estymatorów liiowych ieobciążoych. Obecie wyprowadzimy estymatory metody ajwiększej wiarogodości dla modelu regresji liiowej. iech ε = (ε 1,..., ε ). Fukcja gęstości pojedyczego elemetu wektora to f(ε) = 1 exp ( 1 ) 2Πσ 2 2σ 2 ε2 i 2

3 Elemety wektora losowego ε są iezależe, więc f(ε) = Π i=1f(ε i ) Fukcja łączej gęstości rozkładu ormalego jest daa przez: ( 1 ) ( 1 f(ε) = exp 2Πσ 2 2σ 2 ε ε ) Warukowa gęstość ma astępującą własość f(y X) = f(ε) ε y jest wartością bezwzględą wyzaczika macierzy pochodych cząstkowych wektora ε obliczoą względem kolejych elemetów wektora wartości zmieej zależej y. W tym przypadku macierz się redukuje do macierzy jedostkowej. Możemy zapisać fukcję wiarogodości. Jest to fukcja łączej gęstości prawdopodobieństwa traktowaa jako fukcja iezaych parametrów. l(β, σ 2 ) = l f(y X) = l f(ε) l(β, σ 2 ) = 2 l(2π) 2 l(σ2 ) 1 2σ 2 ε ε l(β, σ 2 ) = 2 l(2π) 2 l(σ2 ) 1 2σ (y 2 Xβ) (y Xβ) Wektor iezaych parametrów ma k + 1 elemetów wymagających oszacowaia. Pochode cząstkowe względem wektorów parametrów przedstawiają się astępująco: l β = 1 2σ 2 ( X y + X Xβ) l σ = 2 2σ σ (y 4 Xβ) (y Xβ) Przyrówując pochode do zera otrzymujemy astępujący układ rówań: l = 0 } β l ˆβ = (X X) 1 X y = 0 σ ˆσ 2 = 1 (y 2 Xβ) (y Xβ) Wobec tego E W (β) jest rówoważy estymatorowi wektora parametrów MK. Z MK wiemy, że E(σ 2 ) = k σ2, wobec tego ˆσ 2 otrzymay metodą MW jest obciążoym estymatorem wariacji. W zastosowaiach z reguły liczba obserwacji jest duża, liczba zmieych w modelu k iewielka, wobec 3

4 tego obciążeie estymatora MW jest małe. Obciążeie estymatora MW dla elemetowej próby wyosi B(σ 2 MW ) = 1 k = k Zaletą estymatorów MW jest ich prostota umerycza w stosuku do estymatorów MK. Gdy liczebość próby dąży do ieskończoości to obciążeie estymatora MW dąży do zera. Ozacza to, że estymator MW dla wariacji jest asymptotyczie ieobciążoy. Dla formalości powiismy jeszcze sprawdzić czy rzeczywiście fukcja wiarogodości przyjmuje wartość maksymalą w pukcie ( ˆβ, ˆσ 2 ). Obliczmy drugie pochode Wobec tego, 2 l = X X ββ σ 2 2 l βσ = ε 2 X σ 4 l 2 σ 2 = 2σ ε ε 4 σ 6 ( ) 2 l E = X X ββ σ 2 ( ) 2 l E = 0 βσ 2 ( ) l E = 2 σ 2 2σ 4 poieważ E(ε ε) = σ 2. Możemy zapisać macierz iformacyją Fishera [ 1 ] X I(θ) = X 0 σ 2 0 2σ 4 Wartości zero poza diagoalą macierzy ozaczają, że rozkłady β i σ 2 są ieskorelowae, a poieważ mają łączy rozkład ormaly to są iezależe. 4

5 0.3 Podstawy Teorii Asymptotyczej Celem aalizy asymptotyczej jest zbadaie własości estymatorów, gdy wielkość próby wzrasta. Pojęcia związae z zachowaiami graiczymi estymatorów są trude, szczególie dla osób ie zajmujących się a codzień teorią prawdopodobieństwa, z tego powodu zostaą oe zilustrowae przykładami. Przypuścmy, że chcemy zbadać własości wartości średiej iezaego rozkładu. iech zmiea losowa X posiada pewie iezay rozkład prawdopodobieństwa o skończoej wartości średiej µ, oraz skończoej wariacji σ 2. Poadto, dyspoujemy wyikami iezależych losowań z tego rozkładu, co moża zapisać jako (X 1,... X ) IID (µ, σ 2 ). Ozaczmy przez x średią wartość z -elemetowej próby. Wartość średia jest sama w sobie zmieą losową o pewym rozkładzie. Zasadiczym pytaiem w teorii asymptotyczej jest w jaki sposób zachowują się wartości i rozkład zmieej losowej, takiej jak x, gdy liczebość próby dąży do ieskończoości ( ). Przed wyprowadzeiem własości asymptotyczych przypomimy kilka podstawowych defiicji. Defiicja 1 Ciąg liczb {a : = 1, 2,...} zbiega do graicy a (posiada graicę a) jeżeli ε > 0 ε, takie że, > ε a a < ε Zapisujemy, że a a, lub a a, gdy. Ozacza to, że wyrazy o ideksach wyższych od ε leżą w epsiloowym otoczeiu puktu a. Jeśli wyrazy ciągu, o ideksach wyższych od ε zbliżą się do graicy a to pozostałe wyrazy będą zajdować się w jej otoczeiu. Co więcej, jeżeli ciąg ma graicę to dla każdej wartości ε jesteśmy w staie wskazać ε. Przykład 1. Jeżeli a = 2 + 1, wtedy a 2. Czy potrafimy wskazać wartość ε?. Weźmy dowolą wartość ε. Zatem zgodie z defiicją graicy ma zachodzić waruek czyli > ε a a < ε > ε < ε zatem > ε 1 < ε z tego wyika, że > ε > 1 ε 5

6 czyli wystarczy wziąć ε = et [ 1 ] + 1 ε lub dowole większe. Przykład 2. Jeżeli a = 1, wtedy a ie ma graicy, bowiem możemy wybrać podciągi, pierwszy złożoy z wyrazów ieparzystych zbieży do 1, drugi złożoy z wyrazów parzystych zbieży do 1. Defiicja 2 Ciąg liczb {a : = 1, 2,...} jest ograiczoy wtedy i tylko wtedy gdy b < > ε a < b. Defiicja 3 Ciąg {a } jest ciągiem coajwyżej rzędu O( λ ) jeśli ciąg { λ a } jest ograiczoy. Przykład 3. Chcemy zbadać opiię społeczeństwa a temat kary śmierci. Jak liczą reprezetatywą próbę ależy przebadać by udział jej zwoleików/przeciwików oszacować z błędem ie przekraczającym 1 %? Zmiea losowa, którą jest odpowiedź a pytaie o stosuek do kary śmierci jest zmieą zero-jedykową. Zatem rozkład odpowiedzi ma rozkład dwumiaowu o EX = p i var(x) = pq. W obliczeiach skorzystamy z trzech faktów: 1. średia ze zmieych losowych X i iezależych o jedakowym rozkładzie dwumiaowym ma rozkład dwumiaowy o średiej EX i i wa- riacji var(x i) 2. rozkładem graiczym dla rozkładu dwumiaowego jest rozkład ormaly (p, p(1 p)) 3. W przedziale µ ± 2σ zajduje się poad 95% gęstości rozkładu ormalego, a w przedziale µ ± 3σ poad 99 %. Zatem suma odpowiedzi poszczególych respodetów ma rozkład ( p(1 p) ) p, p(1 p) poieważ p = p oraz p(1 p) = Zatem chcemy zaleźć taką wartość by p(1 p) 3 < 0,01 6

7 Więc 3 p(1 p) < 0,01 podosząc obie stroy do kwadratu otrzymujemy poieważ p(1 p) 0,25 zatem 9 p(1 p) < 0,0001 > Zbieżość według prawdopodobieństwa iech X IID (µ, σ 2 ). Załóżmy, że dyspoujemy zbiorem realizacji zmieej losowej X = {x 1,..., x }. Wówczas E( x ) = µ V ar( x ) = σ2 wobec tego średia z próby x jest ieobciążoym estymatorem parametru µ dla próby o dowolej skończoej liczebości, oraz wariacja estymatora średiej dąży do zera wraz ze wzrostem liczebości próby. Ituicyjie jest oczywiste, że rozkład estymatora x wraz ze wzrostem liczebości próby staje się coraz bardziej skupioy wokół wartości parametru µ. Formalie moża te fakt zapisać jako P ({µ ε < x < µ + ε}) = P ( x µ < ε) Wybray przedział może być dowolie wąski poprzez odpowiei dobór wartości ε. Poieważ var( x ) maleje mootoiczie wraz ze wzrostem liczebości próby, istieją pewa liczba ε oraz liczba δ [0, 1], takie że > ε P ( x µ < ε) = 1 δ Zmiea losowa x jest azywaa wówczas zbieżą według prawdopodobieństwa do stałej µ. Rówoważym sformułowaiem jest lim P ({ X µ < ε}) = 1 Opisując słowami, prawdopodobieństwo, że x zajdzie się w dowolie małym otoczeiu wartości µ może być dowolie bliskie wartości 1, jeżeli liczebość próby dąży do ieskończoości. Alteratywie defiicję moża przedstawić astępująco 7

8 Defiicja 4 Ciąg zmieych losowych {X : = 1, 2,...}, gdzie ideks ozacza liczebość próby, jest zbieży według prawdopodobieństwa do liczby a, jeżeli ε > 0 lim P ( X a > ε) = 0 Ozacza to, że w graicy prawdopodobieństwo zdarzeia, że wartość zmieej losowej X odchyli się od wartości µ o więcej iż dowolie mała liczba ε wyosi zero. Zbieżość według prawdopodobieństwa ozaczamy X P a, oraz mówimy, że a jest graicą prawdopodobieństwa (plim) dla ciągu X. W podręczikach do ekoometrii ajczęściej spotykaym ozaczeiem jest plim X = a Prawa wielkich liczb Twierdzeie 1 ierówość Markowa. iech X 0 będzie zmieą losową. Wtedy dla każdego a > 0 Dowód: P (X a) EX a ap (X a) X a XdP EX Wprost z ierówości Markowa wyika ierówość Czebyszewa. Defiicja 5 iech EX = µ, oraz a > 0. Wtedy: P ( X µ a) V arx a 2 Defiicja 6 iech ciąg X będzie ieskończoym ciągiem zmieych losowych. Mówimy, że ciąg jest zbieży prawie a pewo lub z prawdopodobieństwem 1 do liczby a jeżeli P ({ω : lim X (ω) = a}) = 1 Zbieżość prawie a pewo ozaczamy X p.. a, Ozacza to, że dla rosącej próby wartość zmieej losowej zajduje się w epsiloowym otoczeiu liczby a z prawdopodobieństwem rówym 1. Twierdzeie 2 Prawo Wielkich Liczb. Jeżeli X 1, X 2,... są iezależymi zmieymi losowymi o jedakowym rozkładzie, ze skończoą wartością oczekiwaą µ <. Wtedy ε > 0 lim P ( S µ ε ) = 1 8

9 Ituicyjie, wartość oczekiwaa jest liczbą do której zmierza według prawdopodobieństwa średia z wielu iezależych realizacji zmieej losowej. Z PWL wyika, że częstość empirycza jest estymatorem zgodym prawdopodobieństwa sukcesu. Twierdzeie 3 Moce Prawo Wielkich Liczb. iech ciąg X będzie ciągiem iezależych zmieych losowych o jedakowym rozkładzie, ze skończoą wartością oczekiwaą µ <, to dla każdego ε > 0 ε > 0 lim (sup X X m µ ε) = 1 m m Twierdzeie 4 Słuckiego. iech g : R K R J będzie fukcją ciągłą w pewym pukcie c R K. iech {x : = 1, 2,...} będzie ciągiem wektorów o wymiarach K 1, takim że x P c. Wtedy: plim g(x ) = g(plim x ) jeżeli g( ) jest ciągła w pukcie plim x Twierdzeie Słuckiego jest bardzo użytecze. Pozwala maipulować graicami, awet w przypadku fukcji ieliiowych, pod warukiem, że są ciągłe. Wioskiem z twierdzeia Słuckiego jest astępujące twierdzeie. Twierdzeie 5 Operowaie graicami. Jeżeli X oraz Y są zmieymi losowymi zbieżymi według prawdopodobieństwa o graicach plim X = c, plim Y = d, wówczas: plim(x + Y ) = c + d plim(x Y ) = cd plim(x /Y ) = c/d jeżeli d 0 Powyższe własości zachodzą rówież dla macierzy, których elemetami są zmiee losowe Zbieżość według rozkładu Iym ważym problemem jest zachowaie rozkładu średiej z próby x przy rosącej liczebości próby do ieskończoości. Przypomijmy, że aalitycza forma rozkładu jest iezaa, poieważ iezay jest rozkład pojedyczej zmieej losowej X. Poadto, wariacja rozkładu asymptotyczie dąży do zera, przez co rozkład jest zdegeeroway do rozkładu jedopuktowego o wartosci µ. ajsiliejszą formą zbieżości jest zbieżość według rozkładu (dystrybuaty). 9

10 Defiicja 7 Zbieżość według rozkładu. Ciąg zmieych losowych {X : = 1, 2,...}, gdzie ideks ozacza wielkość próby, zbiega według rozkładu do ciągłej zmieej losowej X, wtedy i tylko wtedy gdy: lim F (ξ) = F (ξ) ξ R gdzie F jest dystrybuatą x, oraz F jest ciągłą dystrybuatą zmieej losowej X. Zbieżość według rozkładu ozaczamy x d x. Przyjęło się mówić, że zmiea losowa zbiega do rozkładu, chociaż w rzeczywistości zbiega do iej zmieej losowej o zaym rozkładzie. Przykład 4. Gdy X (µ, σ 2 ), wtedy x d (µ, σ 2 ) lub x a (µ, σ 2 ). Mówimy, że X zbiega do rozkładu ormalego lub krócej, że ma rozkład asymptotyczie ormaly. Twierdzeie 6 Cetrale Twierdzeie Graicze. Jeżeli X 1,..., X są iezależymi zmieymi losowymi o jedakowym rozkładzie prawdopodobieństwa o wartości oczekiwaej EX i = µ i wariacji V arx i = σ 2 oraz S = X X, to dla każdej liczby a, ( lim P S µ ) a = Φ(a) σ Czasem tezę CTG przedstawia się za pomocą zbieżości według rozkładu: S µ σ d (0, 1) W celu zalezieia rozkładu graiczego zastępuje się estymator jego pewą fukcją, ktorej rozkład ie jest zdegeeroway. Dla rozkładu x rozsądym wyborem jest statystyka ( x µ)/σ, która posiada średią zero i jedostkową wariację. a mocy CTG rozkladem graiczym tej zmieej losowej jest rozkład (0, 1). iezależie od formy rozkładu, graiczym rozkładem statystyki jest rozkład stadardowy ormaly. Te feome jest azyway zbieżością według rozkładu. 0.4 Asymptotycze własości estymatorów Ważą cechą estymatorów jest zgodość. Defiicja 8 iech estymator ˆθ, gdzie ozacza liczebość próby będzie oszacowaiem parametru θ. Estymator azwiemy estymatorem zgodym, wtedy i tylko wtedy gdy ε > 0 lim P (( ˆθ θ) > ε) = 0 10

11 w skrócie możemy to zapisać jako plim ˆθ = θ Estymator azywamy zgodym, gdy dla dostateczie dużej liczebości próby ciąg estymatorów zbiega z dużym prawdopodobieństwem do wartości estymowaej. Ozacza to, że jeżeli budujemy estymatory a podstawie coraz licziejszych prób, coraz lepiej przybliżają oe estymowaą wartość. Przykład 5. Ia ważą cechą, zaczie ułatwiającą oceę prawidłowości oszacowań jest asymptotycza ormalość. Defiicja 9 iech estymator ˆθ będzie oszacowaiem parametru θ. Przypuśćmy, że (ˆθ θ) d (0, V ) (3) gdzie V jest ieujemie określoą macierzą o wymiarach P P. Mówimy, że ˆθ ma rozkład asymptotyczie ormaly oraz V jest asymptotyczą wariacją (ˆθ θ), zapisując AV ar (ˆθ θ) = V. ależy podkreślić, że ˆθ tylko w specjalych przypadkach ma rozkład ormaly. Mimo wszystko przyjmujemy, że ˆθ (0, V/) gdy spełioa jest zależość (3). Wobec tego V/ jest azywae asymptotyczą wariacją ˆθ 0.5 Zadaia Zadaie Pokaż, że z twierdzeia Czebyszewa wyika, że jeśli lim Var (a i ) = 0, to plim a i = E (a i ). 2. Pokaż, że dla jeśli dla = 1, 2,... { 0 z p-stwem 1 1 a i = 1 z p-stwem to plim (a i ) = 0 mimo, że E (a i ) = 1 a lim Var (a i ) =. 3. Czy prawdą jest, że 11

12 (a) plim a i = E (a i ) = lim Var (a i ) = 0 (b) lim Var (a i ) = 0 = plim a i = E (a i ) (c) plim a i = E (a i ) lim Var (a i ) = 0 Rozwiązaie 1. ierówość Czebyszewa mówi, że dla każdego ε > 0 Pr ( x ε) E (x) 2 Zdefiiujmy x = a i E (a i ). Otrzymamy wtedy Pr ( a i E (a i ) ε) E [a i E (a i )] 2 plim (a i ) = E (a i ) wtedy i tylko wtedy, gdy ε 2 lim Pr ( a a > δ) = 0 dla każdego δ > 0. Jeśli jedak δ = ε, to ε 2 = 1 ε 2 Var (a i) lim Pr ( a i E (a i ) ε) 1 δ lim Var (a i) = 0 2 Zatem jeśli V ar (a i ) jest w graicy rówa zero to plim (a i ) = E (a i ). 2. Załóżmy, że a = 0. Z defiicji graicy według prawdopodobieństwa i sposobu zdefiiowaia rozkładu otrzymujemy lim Pr ( a a > δ) = lim Pr ( a > δ) Przeaalizujmy jaką wartość przyjmuje wyraz a i ciągu. { 0 z p-stwem 1 1 a i = 1 z p-stwem ale lim 1 = 0 więc a i = { 0 z p-stwem 1 z p-stwem 0 12

13 zatem ( ) 1 lim Pr ( a a > δ) = lim = 0 a więc istotie plim a = 0. ( E (a i ) = 1 1 ) = 1 E ( ( ) a 2 i = 1 1 ) = Var (a i ) = E ( a 2 i ) [ E (a i )] 2 = 1 3. Z poprzedich puktów wyika, że (a) jest fałszem (b) jest prawdą (c) jest fałszem Zadaie 2. Rzucamy razy kostką i ozaczmy przez y i ilość wyrzucoych oczek. Powiedzmy, że rozkład prawdopodobieństwa dla rzutów kostką ie zmieia się w czasie i poszczególe rzuty są iezależe. Prawdopodobieństwa wyrzuceia i oczek jest rówe p i 1. Podaj rozkład ε i dla liczby wyrzucoych oczek dla modelu postaci y i = β + ε i E (ε i ) = 0 Var (ε i ) = σ 2 2. Podaj postać estymatora MK dla wielkości parametru β 3. Podaj estymator MK dla σ 2 4. Udowodij, że estymatory MK dla parametrów β i σ 2 są zgode w tym modelu 5. Podaj asymptotyczy rozkład estymatora b. Jaki będzie asymptotyczy rozkład tego estymatora jeśli p 1 =... = p 6. 13

14 6. a podstawie uzyskaych dla obserwacji y i = {1, 2, 3, 2, 2, 3, 2, 2, 1} estymatorów parametrów β i σ 2 zweryfikuj hipotezę, że oczekiwaa liczba oczek jest taka jak przypadku, w którym p 1 =... = p 6. Zastosuj przybliżeie wyikające z rozkładu asymptotyczego. Rozwiązaie 1. Rozkład ε i moża wywioskować z rozkładu y i, poieważ ε i = y i β. Rozkład y i jest day wzorem 1 z p-stwem p 1 2 z p-stwem p 2 y i =... 6 z p-stwem p 6 więc 1 β z p-stwem p 1 2 β z p-stwem p 2 ε i =... 6 β z p-stwem p 6 Zauważmy, że E (y i ) = 6 i=1 ip i. Poieważ E (y i ) = E (β + ε i ) = β więc β = 6 i=1 ip i i β jest skończoa, poieważ p i [0, 1] 2. Jedyą zmieą objaśiającą jest stała, więc b = y 3. Jedyą zmieą objaśiającą jest stała, więc s 2 = 1 1 i=1 (y i y) 2 4. Estymatory MK są zgode, jeśli x i i ε i są iezależe od siebie, mają stałe rozkłady iezależe w czasie oraz skończoe 1, 2 i 4 momety przy czym E (ε i ) = 0 i E (x ix i ) jest odwracale. x i = 1, więc iezależość x i i ε i jest oczywista, tak samo jak stałość rozkładu, skończoość mometów x i i odwracalość E (x ix i ). Składik losowy ε i ma stały rozkład o ile ie zmieiają się p i, to, że E (ε i ) = 0 wyika z defiicji ε i, skończoość mometów cetralych 2 i 4 błędu ε i pokazujemy w astępujący sposób: Var (ε) = Var (y β) = Var (y) = E ( y 2) [E (y)] 2 [ 6 6 ] 2 = i 2 p i ip i < i=1 i=1 Var ( ε 2) = E ( ε 4) [ E ( [ ε 2)] 6 6 ] 2 2 = (i β) 4 p i (i β) 2 p i < 14 i=1 i=1

15 poieważ p i [0, 1] i β skończoe 5. Rozkład asymptotyczy estymatora b zajdujemy z ogólego wzoru: (b β) D (0, σ 2 [E (x x)] 1) E (x x) = 1, σ 2 = Var (ε 2 ) a więc (b β) D ( 0, Var ( )) ε 2 i gdzie β = 6 i=1 ip i, Var (ε) = 6 i=1 i2 p i [ 6 i=1 ip ] 2 i Dla rówych p i musimy mieć 6 i=1 p i = 1 więc p i = 1, 6 6 i=1 ip i = i=1 i = 1 6(6+1) = 7, i=1 i2 p i = i=1 i2 = 1 6(6+1)(12+1) = 7 13 = , Var (ε) = = = 34 = ) ( b 7 2 D ( 0, Wychodząc z wyprowadzoego rozkładu możemy zastosować aproksymację U = b a (0, 1) Estymator b dla podaych daych jest rówy y = 2. Wartosć statystyki 17 6 testowej U = Zatem ie ma podstaw do odrzuceia H 0. Zadaie 3. iech Y i, i = 1, 2,... będzie ciągiem iezależych zmieych losowych o jedakowym rozkładzie, dla których E(Yi 2 ) <. iech E(Y i ) = µ oraz V ar(y i ) = σ 2 1. iech Ȳ będzie średią próbkową, dla próby o liczebości. Zajdź V ar( (Ȳ µ)) 2. Zajdź asymptotyczą wariację dla V ar( (Ȳ µ)) 3. Zajdź asymptotyczą wariację dla Ȳ i porówaj z V ar(ȳ). 4. Zajdź asymptotycze odchyleie stadardowe dla Ȳ. 5. W jaki sposób moża obliczyć asymptotycze odchyleie stadardowe dla Ȳ. 15 )

16 Rozwiązaie 1. Poieważ V ar(y i ) = σ 2 zatem V ar(ȳ) = σ2. Wioskujemy zatem, że V ar( (Ȳ µ)) = σ2 = σ2 2. a podstawie CTG wiemy, że ( (Ȳ µ)) a (0, σ 2 ). Wobec tego AV ar( (Ȳ µ)) = σ 2 3. Aby obliczyć AV ar(ȳ) dzieląc AV ar( (Ȳ µ)) przez. Wobec tego, AV ar(ȳ) = σ2. Tak jak oczekiwaliśmy jest oa rówa wariacji. 4. Asymptotycze odchyleie stadardowe Ȳ jest rówie pierwiastkowi kwadratowemu z asymptotyczej wariacji. Wyosi σ. 5. Aby uzyskać asymptotycze odchyleie stadardowe dla Ȳ, iezbędy jest zgody estymator dla σ. Zazwyczaj używay jest ieobciążoy estymator dla σ 2 : ˆσ 2 = i=1 (y i ȳ M ) 2 /( 1). Wtedy estymatorem odchyleia kwadratowego jest ieujemy pierwiastek oszacowaia ˆσ wariacji. Asymptotycze odchyleie stadardowe wyosi Zadaie 4. Weryfikujemy hipotezę H 0 : β k = 0 przeciw hipotezie alteratywej H 0 : β k 0. Zakładamy, że są spełioe założeia koiecze do udowodieia zgodości estymatorów s 2 oraz zgodości i ormalości rozkładu estymatora b. Pokaż, że dla prawdziwej statystyka testowa t D k (0, 1) H 0 a dla p prawdziwej H 1 statystka t k. Wyjaśij jaki wyika z tego wiosek odośie wpływu liczebości próby a prawdopodobieństwo błędów I i II rodzaju. Rozwiązaie a mocy asymptotyczej ormalości wyika, że (b β) D (0, σ 2 E (x x) 1) Z drugiej stroy forma kwadratowa utworzoa z macierzy obserwacji X zbiega według prawdopodobieństwa do swojej wartości oczekiwaej plim [ 1 X X ] [ ] = plim 1 x ix i = E (x x) plim ( s 2) = σ 2 16 i=1

17 Estymatorem wariacji statystyki t k σ 2 E (x x) 1 jest więc [ plim s ( 2 1 X X ) ] 1 = σ 2 [E (x x)] 1 Dla prawdziwej H 0 mamy t k = b k s 2 (X X) 1 kk = (bk β k ) s 2 ( 1 X X) 1 kk D (0, 1) Dla fałszywej H 0 uzyskujemy Literatura plim (t k ) = plim s 2 (X X) 1 kk = plim plim (b k ) ( ) plim s 2 ( 1 X X) 1 kk = b k β k σ 2 [E (x x)] 1 = [1] Gajek Łesław, Kałuszka Marek (1996) Wioskowaie statystycze, WT, str [2] Greee William H. (2003) Ecoometric Aalysis, Upper Saddle River, str [3] Jakubowski Jacek, Sztecel Rafał (2001) Wstęp do teorii prawdopodobieństwa, SCRIPT. [4] Johsto Jack, Diardo Joh (2006) Ecoometric Methods. McGraw- Hill. 4th editio. [5] iemiro Wojciech (1999) Rachuek Prawdopodobieństwa i Statystyka Matematycza, Szkoła auk Ścisłych, str [6] Wooldridge Jeffrey M. (2002) Ecoometric Aalysis of Cross Sectio ad Pael Data, MIT Press, str