Stanisław Cichocki Natalia Nehrebecka. Wykład 7

Transkrypt

1 Stanisław Cichocki Natalia Nehrebecka Wykład 7 1

2 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 2

3 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 3

4 MNW to jedna z bardziej uniwersalnych metod estymacji. Załóżmy, że mamy próbę N obserwacji dla z łącznego rozkładu o gęstości y, X. f yi oraz xi Załóżmy dodatkowo, że postać funkcji f. nie zależy od indeksu obserwacji a jedynie od wektora nieznanych k parametrów. R 4

5 Estymatorem MNW parametru jest takie dla której łączna funkcja gęstości dla całej próby ma największą wartość: arg max f y, X Najczęściej zamiast funkcji gęstości maksymalizujemy logarytm ln y, X. f Maksimum logarytmu funkcji gęstości, o ile istniej, przypada w tym samym punkcie co maksimum funkcji gęstości: arg max f y, X arg max ln f y, X 5

6 Intuicyjnie: MNW oszacowanie parametru to taka wartość, która maksymalizuje prawdopodobieństwo łączną funkcję gęstości zaobserwowania tej próby, którą rzeczywiście zaobserwowano. 6

7 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 7

8 Znajomość postaci łącznej funkcji gęstości i znajomość wylosowanej próby 8

9 Słaba egzogeniczność Załóżmy, że wektor został podzielony: ', ' oraz, że, nie są ze sobą powiązane żadnymi ograniczeniami. Czyli, jeśli i to Interesują nas tylko parametry zawarte w. Mówimy, że X jest słabo egzogeniczne względem wektora parametrów, jeśli możliwa jest następująca dekompozycja funkcji gęstości: f y, X f y X f X 9

10 Ponieważ: ln f y, X ln f y X ln f X więc max ln f y, X max ln f y X max ln f X Estymator MNW parametrów ', ' można policzyć licząc osobno estymator MNW dla wektora parametrów,. arg max ln arg max ln f f y X X 10

11 Niezależność Rozumiemy przez to, że obserwacje są niezależne oraz, że zmienne egzogeniczne x i wpływają wyłącznie na prawdopodobieństwo Wtedy warunkowa łączna funkcja gęstości funkcja wiarygodności: L y i N y X f y X f y1,..., yn x1,..., xn f yi xi i1 y i 11

12 Identyfikowalność parametrów Wszystkie parametry modelu wpływają na prawdopodobieństwo zaobserwowania próby. Zatem możliwe jest oszacowanie wielkości tych parametrów na podstawie zaobserwowanej próby. Tylko jeśli parametry są identyfikowalne można uzyskać oszacowania ich wielkości. 12

13 Identyfikowalność parametrów definicja: Istnieje taki zbiór danych y, X, dla którego dla każdego. Gdzie to prawdziwa wielkość parametru X y L X y L X y L 0 0

14 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 14

15 Z reguły zamiast funkcji wiarygodności maksymalizujemy jej logarytm: Estymator MNW liczymy maksymalizując funkcję wiarygodności. Jedynie w nielicznych przypadkach jest to możliwe analitycznie. W większości przypadków wykorzystujemy metody numeryczne. 15 n i n i i i i i i N i i i x y l x y f x y f X y L X y l 1 1 1, ln ln ln

16 Zgodność p 16

17 Asymptotyczna normalność Asymptotyczny rozkład estymatora MNW: gdzie: 17 0, 1 i N N D ' ] 1 lim[ 2 l E l Var I I N i N

18 Asymptotyczna normalność umożliwia sformułowanie przedziałów ufności oraz znalezienie rozkładów statystyk testowych. 18

19 Asymptotyczna efektywność Asymptotyczna efektywność estymatorów MNW jest wnioskiem z twierdzenia o dolnym ograniczeniu Rao-Cramera. Twierdzenie Rao-Cramera: ^ Jeśli estymator jest zgodny, to jego asymptotyczna wariancja jest większa lub równa dolnemu ograniczeniu Rao- Cramera lim Var[ N ^ N ] i 1 19

20 Estymatory MNW są asymptotycznie efektywne, ponieważ ich wariancja zbiega do dolnego ograniczenia Rao-Cramera. Wady estymatorów MNW: a z reguły obciążone w małych próbach; b ich zastosowanie wymaga znajomości rozkładu warunkowego y. 20

21 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 21

22 Testowana hipoteza: H 0 : h... 1 h g 0 0 gdzie: g liczba narzuconych ograniczeń 22

23 Inny zapis: H0 : h 0 gdzie: h h1,..., h ' g 23

24 Oznaczenia: - estymator MNW bez ograniczeń R - estymator MNW z ograniczeniami, uzyskany jako argument maksymalizujący funkcję wiarygodności przy warunkach pobocznych danych hipotezą zerową: R arg max L s. t. h 0 24

25 Statystyka ilorazu wiarygodności Likelihood Ratio LR Możemy ją policzyć, jeśli dysponujemy wielkościami funkcji wiarygodności dla maksimum bez ograniczeń i wielkością tej samej funkcji dla maksimum z ograniczeniami LR D 2 l l 2 R g 25

26 Zaleta statystyki LR: łatwy do przeprowadzenia, gdy znamy wartość logarytmu funkcji wiarygodności. Wada statystki LR: konieczność oszacowania zarówno modelu bez ograniczeń jak i modelu z ograniczeniami 26

27 Statystyka Walda gdzie: macierz pierwszych pochodnych ] ' '[ g D h H I H h W ' h H h

28 Zaleta statystyki Walda: wystarczy oszacować model bez ograniczeń. Wada statystyki Walda: w małych próbach statystyka Walda nie jest niezmiennicza względem sposobu sformułowania hipotezy zerowej. Oznacza to, że dla tej samej hipotezy sformułowanej na różne sposoby możemy uzyskać różne wielkości statystyki testowej. 28

29 Statystyka mnożników Lagrange a Lagrange Multipliers - LM ' g D R R R l I l LM

30 Zaleta statystyki LM: wymaga jedynie oszacowania modelu z ograniczeniami. Wada statystyki LM: forma analityczna bardziej skomplikowana niż w przypadku LR. 30

31 1. Podać standardowe założenia MNW dla modelu szacowanego na próbie przekrojowej. 2. Jakie są zalety estymatorów MNW? 3. Jaki asymptotyczny rozkład mają estymatory MNW i czemu równa jest ich asymptotyczna wariancja? 4. Jakie trzy testy stosujemy do testowania hipotez parametrycznych postaci h 0 w kontekście estymacji MNW? Porównaj wady i zalety tych testów. 5. Opisać sposoby testowania istotności poszczególnych zmiennych w modelu szacowanym MNW za pomocą testu Walda i testu LR.

32 Dziękuję za uwagę 32