Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.

Transkrypt

1 Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej niż n α Zauważmy, że jeśli a n n α a n = o p (n α p 0, to ( n α a n n a p 0 a więc a n = o p (1 = Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n < i Var (a n < dla wszytkich n oraz plim [E (a n ] < i plim Var (a n <, oznaczamy jako a n = O p (1 (pojęcie te definiuje się czasami nieco ogólniej Wykład z Ekonometrii, III rok, WE UW 1

2 a n Jeśli n α = O p (1, to a n = O p (n α i mówimy a n zbiega conajmniej tak szybko jak n α Podobnie jak w poprzednim przypadku, jeśli a n = O p (1 = n α a n = O p (n α Dodatkowo a n = o p (1 i b n = O p (1, to a n b n = o p (1 Wykład z Ekonometrii, III rok, WE UW 2

3 Estymatory M Estymator M θ jest rozwiazaniem problemu minimalizacji θ = arg min θ Θ 1 q (w i, θ dla pewnej funkcji celu q (w i, θ Zakładamy, że wektor wektor parametrów θ 0 jest jedynym rozwiazaniem tego problemu w populacji - mówimy wtedy problem, że θ jest zidentyfikowana θ 0 = arg min E [q (w i, θ] θ Θ Wykład z Ekonometrii, III rok, WE UW 3

4 Z Prawa Wielkich Liczb wiemy, że 1 q (w i, θ p E [q (w i, θ] i jeśli θ minimalizuje lewa stronę a θ 0 prawa stronę, to wydaje się logiczne, by θ p θ 0 Przykład ieliniowa Metoda ajmniejszych Kwadratów y i = m (x i,θ 0 + u i E (u i x i = 0 Funkcja celu dla MK jest minimalizacja sumy kwadratów reszt q i (x i, θ q (y i, x i, θ = [y i m (x i, θ] 2 Wykład z Ekonometrii, III rok, WE UW 4

5 Wartość oczekiwana q i a więc E [q (y i, x i, θ x i ] = E [y i m (x i, θ x i ] 2 = E [y i m (x i,θ 0 + [m (x i, θ m (x i,θ 0 ] x i ] 2 = E ( u 2 i x i 2 E (u i x i [m (x i, θ m (x i,θ 0 ] + [m (x i, θ m (x i,θ 0 ] 2 = E ( u 2 i xi + [m (xi, θ m (x i,θ 0 ] 2 E [q (y i, x i, θ x i ] > E [q (y i, x i,θ 0 x i ] = E ( u 2 i x i dla θ θ0 Jeśli policzymy teraz wartości oczekiwane względem x i bezwarunkowe wartości oczekiwane: to otrzymamy E [q (y i, x i, θ] > E [q (y i, x i,θ 0 ] dla θ θ 0 Wykład z Ekonometrii, III rok, WE UW 5

6 Istotnie więc w θ 0 jest minimum wartości oczekiwanej funkcji celu. Jedynym założeniem, które było nam potrzebne do udowodnienia tego, że możemy zastosować estymator M było E (u i x i = 0. Estymator M można więc wyprowadzić przy znacznie słabszych sałożeniach niż estymator M W dla tego modelu. Wykład z Ekonometrii, III rok, WE UW 6

7 Jednostajna zbieżność i zgodność Aby dowieść, zgodność estymatora musimy dowieść, że 1 q (w i, θ jest jednostajnie zbieżne do swojej wartości oczekiwanej (co jest silniejszym typem zbieżności niż normalna zbieżność: max θ Θ 1 q (w i, θ E [q (w i, θ] p 0 Intuicja: jednostajna zbieżność zachodzi, gdy maksymalna różnica między funkcjami daży według prawdopodobieństwa do zera Wykład z Ekonometrii, III rok, WE UW 7

8 Przykład ieliniowa Metoda ajmniejszych Kwadratów max θ Θ 1 [m (x i, θ + u i ] E [m (x i, θ + u i ] p 0 1 będzie spełnione jeśli u i dla każdego θ. p 0 i 1 m (x i, θ p E [m (x i, θ], Wykład z Ekonometrii, III rok, WE UW 8

9 Jeśli zachodzi jednostajna zbieżność, to plim θ = plim [ = arg min θ 1 arg min θ [ plim 1 ] q (w i, θ ] q (w i, θ = arg min θ {E [q (w i,θ 0 ]} = θ 0 przy czym jednostajna zbieżności umożliwia policzenie granicy argumentu (plim [arg min θ ( ] jako argumentu granicy (arg min θ [plim ( ] Estymator M jest zgodny. Dowód. Z definicji jednostajnej zbieżności oraz zbieżności funkcji celu Wykład z Ekonometrii, III rok, WE UW 9

10 mamy: max θ Θ 1 q (w i, θ E [q (w i, θ] + E [q (w i,θ 0 ] 1 q (w i,θ 0 p 0 Korzystajac z tego, że x 1 + x 2 x 1 + x 2 0 mamy max θ Θ 1 q (w i, θ 1 q (w i,θ 0 + E [q (w i,θ 0 ] E [q (w i, θ] p 0 ale z założenia, że E [q (w i,θ 0 ] jest minimum wynika, że E [q (w i, θ] E [q (w i,θ 0 ] = α 0 a więc max θ Θ 1 q (w i, θ 1 q (w i,θ 0 α p 0 Wykład z Ekonometrii, III rok, WE UW 10

11 Z tego z kolei wnioskujemy, że 1 q (w i, θ 1 q (w i,θ 0 p α 0 dla każdego θ przy czym równość zachodzi jedynie dla θ = θ 0. Wnioskujemy z tego, że w granicy 1 q (w i, θ osiaga minimum dla θ = θ 0. Jeśli θ to p θ 0 i funkcja r (w i, θ jest jednostajnie zbieżna do E [r (w i, θ], i w zwiazku z tym 1 r 1 ( r w i, θ ( w i, θ p E [r (w i,θ 0 ] [ ( jest zgodnym estymatorem E r w i, θ ] Dowód. Z definicji jednostajnej zbieżności oraz zbieżności funkcji celu Wykład z Ekonometrii, III rok, WE UW 11

12 mamy: max θ Θ 1 r Z twierdzenia Cramera wynika E ( w i, θ E [ ( ] p r w i, θ 0 [ ( ] p r w i, θ E [r (w i, θ] Z kolei z jednostajnej zbieżności wnioskujemy, że 1 r ( p w i, θ E [r (w i, θ] Wykład z Ekonometrii, III rok, WE UW 12

13 Asymptotyczna normalność estymatorów M Założenia: 1. spełnione sa warunki, dla których estymator M jest zgodny θ θ 0 = o p (1 2. poszczególne s (w i, θ sa niezależne i maja identyczne rozkłady bezwarunkowe 1 3. gradient s (w i, θ s (w i, θ i hessjan 1 H (w i, θ sa jednostajnie zbieżne odpowiednio do E [ s (w i, θ s (w i, θ ] i E [H (w i, θ] gdzie s (w i, θ jest pierwsza pochodna q (w i, θ Estymator θ minimalizuje wartość oczekiwana q (w, θ Wykład z Ekonometrii, III rok, WE UW 13

14 Jeśli q (w, θ jest ciagle różniczkowalna, to pierwsza pochodna q (w, θ powinna być równa 0 dla θ s ( w i, θ = 0 Funkcja s (w i, θ jest gradientem elementu funkcji q (w i, θ celu (score Rozwinięcie Taylora (w s i, θ s gdzie H i ( w i, θ = H = ( w i, θ wokół θ 0 daje ( s (w i, θ 0 + H i ( θ θ0 + o p (1 jest hessjanem funkcji celu. Zbieżność reszty Wykład z Ekonometrii, III rok, WE UW 14

15 wynika z tego, że θ θ 0 = o p (1. Jak już wspomniano (w s i, θ = 0 ( s (w i, θ 0 = H i ( θ θ0 + o p (1 Z Prawa Wielkich Liczb wynika, że 1 H p i E [H (w,θ 0 ] = A 0 = O p (1 (zakładamy dodatkowo, że A 0 jest nieosobliwa. Mnożac obie strony przez 1 uzyskujemy 1 ( 1 s (w i, θ 0 = H i ( θ θ0 + o p ( 1 Wykład z Ekonometrii, III rok, WE UW 15

16 dzielac obie strony przez 1 H i = O p (1, przenoszac na druga stronę i mnożac przez uzyskujemy ( θ θ0 ( 1 = 1 [ H i 1 ] s (w i, θ 0 + o p ( 1 A więc ( θ θ0 = A 1 0 [ 1 s (w i, θ 0 ] + o p ( 1 Zauważmy, że przy spełnionych warunkach regularności: [ ] θ E [q (w, θ] θ=θ0 = E q (w, θ = E [s (w, θ 0 ] = 0 θ θ=θ 0 Wykład z Ekonometrii, III rok, WE UW 16

17 Ponieważ zgodnie z założeniami q (w i, θ sa niezależne i maja identyczne rozkłady więc s (w i, θ 0 spełnia Centralnego Twierdzenia Granicznego i 1 s (w i, θ 0 D (0, B 0 gdzie W rezultacie B 0 = E [ s (w i, θ 0 s (w i, θ 0 ] D ( ( θ θ0 0, A 1 0 B 0A 1 0 Rozkład estymatora M jest normalny! Aasymptotyczna aproksymacja wariancji estymatora może być znaleziona Wykład z Ekonometrii, III rok, WE UW 17

18 jako a θ θ 0 (0, 1 A 1 0 B 0A 1 0 Wykład z Ekonometrii, III rok, WE UW 18

19 Estymatory macierzy wariancji dla estymatorów M Często trudno jest bezpośrednio znaleźć B 0 A 0 = E [H (w,θ 0 ]. = E [ s (w, θ 0 s (w, θ 0 ] i Jednak używajac poprzednio wprowadzonego Lematu: Â = 1 H ( w i, θ = 1 Ĥ i p E [H (w,θ 0 ] = A 0 Wady tego estymatora: konieczne policzenie macierzy drugich pochodnych estymator nie zawsze musi być dodatnio określony Wykład z Ekonometrii, III rok, WE UW 19

20 W wielu zastosowanich ekonomicznych wnioskowanie prowadzimy warunkowo wględem x i i liczymy w zwiazku z tym warunkowa macierz: A i = A (x i,θ 0 = E [H (w i, θ x i ] Zgodnie z prawem iterowanych wartosci oczekiwanych E [A (x i,θ 0 ] = E [H (w i, θ] = A 0 Dalej  = 1 A ( x i, θ = 1  i p A 0 Ten estymator ma sens jeśli można łatwo uzyskać E [H (w i, θ x i ]. W wielu przypadkach można pokazać, że estymator ten jest dodatnio określony. Wykład z Ekonometrii, III rok, WE UW 20

21 Estymator B 0 można uzyskać w sposób analogiczny: B = 1 s ( w i, θ ( s w i, θ = 1 ŝ i ŝ i p B 0 W rezultacie zgodnym estymatorem wariancji ( θ θ0 będzie V = Â 1 BÂ 1 A asymptotyczna aproksymacja wariancji θ jest Avar ( θ = Â 1 BÂ 1/ Wykład z Ekonometrii, III rok, WE UW 21

22 W wielu przypadkach można uzyskać znaczne uproszczenie, jeśli E [ s (w, θ s (w, θ ] = σ 2 0 E [H (w, θ 0 ] (* albo B 0 = σ 2 A 0 W tym szczególnym (choć częstym - tak jest np. w MW dla σ 2 0 = 1 przypadku: V = σ 2 Â 1 1 = B Macierz warinacji kowariancji Avâr ( θ = Â 1 BÂ 1/ jest niekiedy nazywana odporna macierz wariancji kowariancji (robust, ponieważ daje prawidłowe oszacowania nawet wtedy, gdy nie jest spełnione założenie * Przykład Szacowanie macierzy wariancji kowariancji w MK w przypadku występowania heteroskedastyczności. Wykład z Ekonometrii, III rok, WE UW 22

23 Standardowa postać macierzy wariancji kowariancji estymator M K została wyprowadzona przy założeniu braku heteroskedastyczności (KM RL. Dowiedliśmy wcześniej, że estymator M oparty na minimalizacji sumy kwadratów reszt dla modelu postaci y i = m (x i,θ 0 + u i jest zgodny jeśli tylko E (u i x i = 0. Odnosi się to oczywiście także do modelu do modelu liniowego m (x i, β = x i β, q (y i, x i, β = (y i x i β 2. Zakładmy dodatkowo, że Var (u i = σ 2, że u i, u j sa niezależne i u i ma ten sam rozkład dla każdego i. Różnica w stosunku do KMRL. ie zakładamy braku zależności między wariancja a zmiennymi objaśniajacymi. Var (u i x i może nie być stała dla każdego i. Zakładamy jedynie, że Ex [Var (u i x i ] = Var (u i = σ 2. Dla modelu liniowego wektor score i oszacowania z parametru β Wykład z Ekonometrii, III rok, WE UW 23

24 oznaczonego b mamy s (y i, x i, b = 2x ix i b 2x iy i = = x i (y i x i b = 2x ie i W zwiazku z tym oszacowaniem B jest równe B = 4 1 x i x ie 2 i. Hessian funkcji celu jest równy H (y i, x i, β = 2x ix i a więc oszacowaniem macierzy A 0 będzie  = 1 2x ix i = 2X X Wykład z Ekonometrii, III rok, WE UW 24

25 W rezultacie oszacowaniem macierzy wariancji kowariancji będzie Avar (b = ( X X ( 1 (X x ix i e 2 i X 1 a więc macierz odporna White a. Wykład z Ekonometrii, III rok, WE UW 25

26 Testowanie hipotez Podobnie jak w przypadku MW dla estymatorów M można zastosować odpowiedniki testów Walda, mnożnikow Lagrange a LM i ilorazu wiarogodności LR. Przy ogólnej hipotezie nieliniowej h (θ = 0 i założeniu, że H (θ = h(θ θ ma pełen rzad Test Walda ma postać W = ĥ [ Ĥ V Ĥ ] 1 ĥ D χ 2 g gdzie V jest asympotyczna wariancja θ, ( θ ĥ = h, ( θ Ĥ = H Wykład z Ekonometrii, III rok, WE UW 26

27 Test mnożników Lagrange a ( ŝ i  1 Ĥ ( ( Ĥ V Ĥ 1 / Ĥ 1 ŝ i d χ 2 Q gdzie wszystkie ŝ i = s i ( θr, Ĥ = H ( θr. Test QLR (quasi iloraz wiarygodności ma postać [ QLR = 2 q (w i, θ R q ( ] d w i, θ χ 2 Q gdzie θ R jest estymatorem z ograniczeniami θ bez ograniczeń Wykład z Ekonometrii, III rok, WE UW 27

28 Estymatory MW i pseudo MW W przypadku modelu estymowanego M W funkcja gęstości musimy znać warunkowa funkcję gęstości dla każdej obserwacji f (y i x i ; θ = p 0 (y i x i Estymatory MW sa specjalnym przypadkiem estymatorów M, ponieważ E [l i (θ 0 x i ] E [l i (θ x i ] dla każdego θ Θ gdzie l i (θ = l i (y i, x i, θ = log [f (y i x i ; θ] Wykład z Ekonometrii, III rok, WE UW 28

29 Dowód. Z własności prawdopodobieństwa Y f (y i x i ; θ 0 dy i = 1. Z warunkowej wersji nierówności Jensena E [ ( ] f (yi x i ; θ log x i f (y i x i ; θ 0 { [ ]} f (yi x i, θ log E f (y i x i, θ 0 x i = { } f (y i x i, θ = log Y f (y i x i, θ 0 f (y i x i, θ 0 dy i [ ] = log f (y i x i ; θ dy i = 0 Y i z definicji l i (θ E [l i (θ 0 x i ] E [l i (θ x i ] a więc w θ 0 wartość oczekiwana funkcji celu przyjmuje wartość maksymalna Wykład z Ekonometrii, III rok, WE UW 29

30 W tym przypadku maksymalizujemy funkcję celu max θ Θ l i (θ Założenie, przy którym wyprowadza się standardowe własności estymatora MW mówi, że L (θ = f (y x; θ = f (y i x i, θ 0 jest poprawna funkcja wiarygodności dla całej próby. Implikuje to, że poszczególne obserwacje sa niezależne co często nie jest prawda. Wykład z Ekonometrii, III rok, WE UW 30

31 Zauważmy, że do zbieżności estymatora M (a więc i estymatora MW wystarczy, by poprawnie była wyspecyfikowana funkcja gęstości dla pojedynczego zdarzenia ( ( Uwaga: w dowodzie dla Var l(θ θ = 2 l(θ E θ θ = I (θ używaliśmy założenia, że funkcja wiarygodności jest poprawnie wyspecyfikowana, tylko dla tego przypadku macierza warinacji kowariancji będzie I (θ 1. Wniosek: jeśli poprawnie wyspecyfikowana jest jedynie funkcja gęstości dla pojedynczego zdarzenia to estymator M W jest dalej zgodny aby poprawnie wyestymować macierz wariancji estymatora należy zastosować wersję odporna macierzy wariancji estymatora M Przykład (Próbkowanie warstwami Załóżmy, że chcemy wyestymować model probitowy dla próby, która została wylosowana w sposób następujacy: Wykład z Ekonometrii, III rok, WE UW 31

32 najpierw losowano gospodarstwa a później zadawano pytania wszystkim członkom gospodarstwa (tak losowana jest np. próba BAEL. Załóżmy dla uproszczenia, że badano jedynie gospodarstwa k osobowe. Problem estymacji w tym przypadku zwiazany jest z ewentualnym zależnościa między elementami losowymi wewnatrz gospodarstwa - poszczególne obserwacje moga być zależne. Załóżmy, że model ma następujac a postać: yij = x ij β + ε ij { 1 dla y y ij = ij > 0 0 dla yij 0 ε i (0, Σ gdzie i jest indeksem gospodarstwa, j jest indeksem osoby wewnatrz, ε ij jest czynnikiem losowym. Zakładamy, że czynniki losowe moga być skorelowane wewnatrz gospodarstwa E (ε i ε i = Σ σ2 I ale sa niezależne dla różnych gospodarstw E ( ε i ε j = 0. Sformułowanie pełnej funkcji Wykład z Ekonometrii, III rok, WE UW 32

33 wiarygodności dla tego problemu byłoby bardzo trudne, ponieważ trudne jest policzenie dystrybuanty wielowymiarowego rozkladu normalnego. Można jednak zauważyć, że dla każdej z k obserwacji spełnione jest, że E [l ij (θ 0 y i, x i ] E [l ij (θ y i, x i ] Dalej suma l i (θ 0 = k j=1 l ij (θ 0 będzie też maksymalizowane przez θ 0. E [l i (θ 0 y i, x i ] E [l i (θ 0 y i, x i ] Z kolei z racji na założony brak korelacji między obserwacjami dla różnych gospodarstw, poszczególne l i (θ będa niezależne. Wynika z tego, że zgodnym estymator M oparty na funkcji celu l (θ = 1 k j=1 l ij (θ, gdzie jest liczba przebadanych gospodarstw. Estymator ten będzie miał Wykład z Ekonometrii, III rok, WE UW 33

34 asymptotyczny rozkład normalny o wariancji: A 0 = E [H (y i, x i,θ 0 ] B 0 = E [ s (y i, x i, θ s (y i, x i, θ ] gdzie s (y i, x i, θ = k j=1 l ij (θ θ a H (y i, x i,θ = 2 kj=1 l ij (θ θ θ. Wykład z Ekonometrii, III rok, WE UW 34