Metoda największej wiarogodności
|
|
|
- Marek Matusiak
- 6 lat temu
- Przeglądów:
Transkrypt
1
2 Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów
3 Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wymaga spełnienia założeń, które są mniej restrykcyjne niż założenia MNK
4 Wprowadzenie Założenia Logarytm funkcji wiarogodności Metoda Największej Wiarogodności (MNW) jest bardziej uniwersalną niż MNK metodą szacowania wartości nieznanych parametrów Wymaga spełnienia założeń, które są mniej restrykcyjne niż założenia MNK Dzięki temu MNW może być wykorzystywana do estymacji szerszej klasy modeli ekonometrycznych
5 Wprowadzenie Założenia Logarytm funkcji wiarogodności Wiarogodność Wiarogodność jest to funkcja Θ R: L(θ) = f (θ, x 1,..., x n ) = f θ (x 1,..., x n )
6 Wprowadzenie Założenia Logarytm funkcji wiarogodności Wiarogodność Wiarogodność jest to funkcja Θ R: L(θ) = f (θ, x 1,..., x n ) = f θ (x 1,..., x n ) W praktyce będziemy dysponowali próbą n obserwacji. Kluczowym założeniem jest znajomość postaci funkcji f ( )
7 Wprowadzenie Założenia Logarytm funkcji wiarogodności Estymator Metody Największej Wiarogodności Estymatorem Metody Największej Wiarogodności (MNW) dla wektora nieznanych parametrów θ, szacowanym na podstawie wartości zmiennej zależnej y i wartości zmiennych niezależnych X, nazywamy ˆθ = argmax f θ (y, X ) θ Θ
8 Wprowadzenie Założenia Logarytm funkcji wiarogodności Estymator Metody Największej Wiarogodności Estymatorem Metody Największej Wiarogodności (MNW) dla wektora nieznanych parametrów θ, szacowanym na podstawie wartości zmiennej zależnej y i wartości zmiennych niezależnych X, nazywamy ˆθ = argmax f θ (y, X ) θ Θ f ( ) nazywamy łączną funkcją gęstości prawdopodobieństwa lub funkcją wiarogodności
9 Wprowadzenie Założenia Logarytm funkcji wiarogodności Estymator Metody Największej Wiarogodności Estymatorem Metody Największej Wiarogodności (MNW) dla wektora nieznanych parametrów θ, szacowanym na podstawie wartości zmiennej zależnej y i wartości zmiennych niezależnych X, nazywamy ˆθ = argmax f θ (y, X ) θ Θ f ( ) nazywamy łączną funkcją gęstości prawdopodobieństwa lub funkcją wiarogodności Metoda polega na wybraniu takiej wartości parametru θ, który maksymalizuje f ( ) dla zaobserwowanych wartości y oraz X
10 Wprowadzenie Założenia Logarytm funkcji wiarogodności 1 Niezależność obserwacji (losowość próby)
11 Wprowadzenie Założenia Logarytm funkcji wiarogodności 1 Niezależność obserwacji (losowość próby) 2 Identyfikowalność parametrów
12 Wprowadzenie Założenia Logarytm funkcji wiarogodności 1 Niezależność obserwacji (losowość próby) 2 Identyfikowalność parametrów 3 Słaba egzogeniczność
13 Wprowadzenie Założenia Logarytm funkcji wiarogodności 1 Niezależność obserwacji (losowość próby) 2 Identyfikowalność parametrów 3 Słaba egzogeniczność 4 Znajomość postaci funkcji wiarodogności
14 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności W przypadku danych przekrojowych jest równoważna losowości próby
15 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności W przypadku danych przekrojowych jest równoważna losowości próby Jeżeli próba przekrojowa nie jest losowa wymagane są dodatkowe założenia
16 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności W przypadku danych przekrojowych jest równoważna losowości próby Jeżeli próba przekrojowa nie jest losowa wymagane są dodatkowe założenia W przypadku danych czasowych zazwyczaj nie da się utrzymać założenia o losowości próby
17 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności W przypadku danych przekrojowych jest równoważna losowości próby Jeżeli próba przekrojowa nie jest losowa wymagane są dodatkowe założenia W przypadku danych czasowych zazwyczaj nie da się utrzymać założenia o losowości próby Jednak, w praktyce, założenie o niezależności komplikuje jedynie dowody własności estymatorów
18 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności Przy spełnionym założeniu o niezależności funkcję wiarogodności można zapisać jako L θ (y X ) = f θ (y X ) = f θ (y X 1,..., X n ) = n f θ (y i X i ) i=1
19 Niezależność obserwacji Wprowadzenie Założenia Logarytm funkcji wiarogodności Przy spełnionym założeniu o niezależności funkcję wiarogodności można zapisać jako L θ (y X ) = f θ (y X ) = f θ (y X 1,..., X n ) = n f θ (y i X i ) Zatem łączna funkcja gęstości jest iloczynem funkcji gęstości dla pojedynczych obserwacji i=1
20 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności Każdy z parametrów modelu powinien w odmienny sposób wpływać na prawdopodobieństwo zaobserwowania próby
21 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności Każdy z parametrów modelu powinien w odmienny sposób wpływać na prawdopodobieństwo zaobserwowania próby Dzięki tej własności można uzyskać oddzielne oszacowanie dla każdego nieznanego parametru
22 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności Każdy z parametrów modelu powinien w odmienny sposób wpływać na prawdopodobieństwo zaobserwowania próby Dzięki tej własności można uzyskać oddzielne oszacowanie dla każdego nieznanego parametru Identyfikowalność Niech θ 0 będzie prawdziwą wielkością wektora parametrów θ. Wówczas istnieje taki zbiór danych, że (y, X ) θ θ 0 : L θ0 (X, y) L θ (X, y)
23 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności W otoczeniu punktu θ 0 funkcja wiarogodności nie może być lokalnie płaska
24 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności W otoczeniu punktu θ 0 funkcja wiarogodności nie może być lokalnie płaska Prawdopodobieństwo zaobserwowania próby (X,y) dla wektora parametrów θ 0 i dla wektora parametrów θ powinno być różne
25 Identyfikowalność parametrów Wprowadzenie Założenia Logarytm funkcji wiarogodności W otoczeniu punktu θ 0 funkcja wiarogodności nie może być lokalnie płaska Prawdopodobieństwo zaobserwowania próby (X,y) dla wektora parametrów θ 0 i dla wektora parametrów θ powinno być różne Inaczej mówiąc maksimum funkcji wiarogodności powinno być jednoznacznie określone
26 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Przypuśćmy, że obserwujemy zmienną losową { yi = 0 y y i = i < 0 y i = 1 > 0,gdzie y i N (µ, σ 2 ) y i
27 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Przypuśćmy, że obserwujemy zmienną losową { yi = 0 y y i = i < 0 y i = 1 > 0,gdzie y i N (µ, σ 2 ) y i Zmienną nieobserwowaną y i nazywamy zmienną ukrytą
28 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Przypuśćmy, że obserwujemy zmienną losową { yi = 0 y y i = i < 0 y i = 1 > 0,gdzie y i N (µ, σ 2 ) y i Zmienną nieobserwowaną yi nazywamy zmienną ukrytą Celem jest oszacowanie wartości parametrów rozkładu zmiennej ukrytej
29 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Przypuśćmy, że obserwujemy zmienną losową { yi = 0 y y i = i < 0 y i = 1 > 0,gdzie y i N (µ, σ 2 ) y i Zmienną nieobserwowaną yi nazywamy zmienną ukrytą Celem jest oszacowanie wartości parametrów rozkładu zmiennej ukrytej Wiemy, że Pr(y i = 0) = Pr(y i Pr(y i = 1) = Pr(y i ( µ ) < 0) = Φ σ ( µ ) > 0) = 1 Φ σ
30 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Niech w próbie jest n 0 obserwacji dla których y i = 0, oraz n 1 obserwacji dla których y i = 1
31 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Niech w próbie jest n 0 obserwacji dla których y i = 0, oraz n 1 obserwacji dla których y i = 1 Wówczas funkcja wiarogodności ma postać [ ( )] µ0 n0[ ( )] n1 µ0 L(µ 0, σ 0 ) = Φ 1 Φ σ 0 σ 0
32 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Niech w próbie jest n 0 obserwacji dla których y i = 0, oraz n 1 obserwacji dla których y i = 1 Wówczas funkcja wiarogodności ma postać [ ( )] µ0 n0[ ( )] n1 µ0 L(µ 0, σ 0 ) = Φ 1 Φ σ 0 σ 0 Ale połóżmy µ = αµ 0 oraz σ = ασ 0 dla dowolnego α > 0. Wówczas [ ( )] L(µ, σ αµ0 n0[ ( )] n1 αµ0 ) = Φ 1 Φ = L(µ, σ) ασ 0 ασ 0
33 Wprowadzenie Założenia Logarytm funkcji wiarogodności Identyfikowalność parametrów - przykład Niech w próbie jest n 0 obserwacji dla których y i = 0, oraz n 1 obserwacji dla których y i = 1 Wówczas funkcja wiarogodności ma postać [ ( )] µ0 n0[ ( )] n1 µ0 L(µ 0, σ 0 ) = Φ 1 Φ σ 0 σ 0 Ale połóżmy µ = αµ 0 oraz σ = ασ 0 dla dowolnego α > 0. Wówczas [ ( )] L(µ, σ αµ0 n0[ ( )] n1 αµ0 ) = Φ 1 Φ = L(µ, σ) ασ 0 ασ 0 Zatem funkcja nie posiada jednoznacznie wyznaczonego maksimum
34 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Słaba egzogeniczność w MNK utożsamialiśmy z nieskorelowaniem obserwacji z równoczesnym błędem losowym
35 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Słaba egzogeniczność w MNK utożsamialiśmy z nieskorelowaniem obserwacji z równoczesnym błędem losowym Załóżmy, że wektor parametrów θ można separować na dwie części θ = (Φ, Ψ)
36 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Słaba egzogeniczność w MNK utożsamialiśmy z nieskorelowaniem obserwacji z równoczesnym błędem losowym Załóżmy, że wektor parametrów θ można separować na dwie części θ = (Φ, Ψ) Załóżmy, że te części są niepowiązane, czyli φ Φ, ψ Ψ to θ Φ Ψ
37 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Słaba egzogeniczność w MNK utożsamialiśmy z nieskorelowaniem obserwacji z równoczesnym błędem losowym Załóżmy, że wektor parametrów θ można separować na dwie części θ = (Φ, Ψ) Załóżmy, że te części są niepowiązane, czyli φ Φ, ψ Ψ to θ Φ Ψ Słaba egzogeniczność Mówimy, że X jest słabo egzogeniczne względem wektora parametrów Ψ jeżeli łączną funkcje gęstości można następująco dekomponować f θ (y, X ) = f Φ (y, X )f Ψ (X )
38 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Funkcja f Ψ (X ) opisuje prawdopodobieństwo zaobserwowania wartości zmiennych egzogenicznych i nie ma wpływu na prawdopodobieństwo zaobserwowania konkretnych wartości parametrów modelu
39 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Funkcja f Ψ (X ) opisuje prawdopodobieństwo zaobserwowania wartości zmiennych egzogenicznych i nie ma wpływu na prawdopodobieństwo zaobserwowania konkretnych wartości parametrów modelu Zatem max θ f θ (y, X ) = max Φ (y, X ) + max (X ) Ψ
40 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Funkcja f Ψ (X ) opisuje prawdopodobieństwo zaobserwowania wartości zmiennych egzogenicznych i nie ma wpływu na prawdopodobieństwo zaobserwowania konkretnych wartości parametrów modelu Zatem max θ f θ (y, X ) = max Φ (y, X ) + max (X ) Ψ Więc estymator MNW można obliczyć jako sumę dwóch oszacowań
41 Słaba egzogeniczność Wprowadzenie Założenia Logarytm funkcji wiarogodności Funkcja f Ψ (X ) opisuje prawdopodobieństwo zaobserwowania wartości zmiennych egzogenicznych i nie ma wpływu na prawdopodobieństwo zaobserwowania konkretnych wartości parametrów modelu Zatem max θ f θ (y, X ) = max Φ (y, X ) + max (X ) Ψ Więc estymator MNW można obliczyć jako sumę dwóch oszacowań Wniosek: Wartość parametru φ można oszacować na podstawie warunkowej funkcji gęstości f Φ (y X )
42 Wprowadzenie Założenia Logarytm funkcji wiarogodności W praktyce zamiast funkcji wiarogodności L(θ) posługujemy się logarytmem funkcji wiarogodnoćci l(θ)
43 Wprowadzenie Założenia Logarytm funkcji wiarogodności W praktyce zamiast funkcji wiarogodności L(θ) posługujemy się logarytmem funkcji wiarogodnoćci l(θ) Jest to uprawnione, ponieważ nie interesuje nas wartość funkcji, a wielkość oszacowań nieznanych parametrów
44 Wprowadzenie Założenia Logarytm funkcji wiarogodności W praktyce zamiast funkcji wiarogodności L(θ) posługujemy się logarytmem funkcji wiarogodnoćci l(θ) Jest to uprawnione, ponieważ nie interesuje nas wartość funkcji, a wielkość oszacowań nieznanych parametrów Logarytm jako monotoniczna transformacja zachowuje ekstrema
45 Wprowadzenie Założenia Logarytm funkcji wiarogodności W praktyce zamiast funkcji wiarogodności L(θ) posługujemy się logarytmem funkcji wiarogodnoćci l(θ) Jest to uprawnione, ponieważ nie interesuje nas wartość funkcji, a wielkość oszacowań nieznanych parametrów Logarytm jako monotoniczna transformacja zachowuje ekstrema Jeżeli obserwacje są niezależne to logarytm funkcji wiarogodności dany jest przez l θ (y X ) = ln f θ (y i x i ) = N ln f θ (y i x i ) = i=1 N ln l(y X i θ) i=1
46 Wprowadzenie Założenia Logarytm funkcji wiarogodności W praktyce zamiast funkcji wiarogodności L(θ) posługujemy się logarytmem funkcji wiarogodnoćci l(θ) Jest to uprawnione, ponieważ nie interesuje nas wartość funkcji, a wielkość oszacowań nieznanych parametrów Logarytm jako monotoniczna transformacja zachowuje ekstrema Jeżeli obserwacje są niezależne to logarytm funkcji wiarogodności dany jest przez l θ (y X ) = ln f θ (y i x i ) = N ln f θ (y i x i ) = i=1 N ln l(y X i θ) i=1 Logarytm funkcji gęstości jest sumą logarytmów warunkowych gęstości dla poszczególnych obserwacji
47 Wyznaczanie estymatorów MNW Własności estymatorów MNW wyznacza się maksymalizując funkcję wiarogodności korzystając z warunków pierwszego i drugiego rzędu na istnienie ekstremum funkcji
48 Wyznaczanie estymatorów MNW Własności estymatorów MNW wyznacza się maksymalizując funkcję wiarogodności korzystając z warunków pierwszego i drugiego rzędu na istnienie ekstremum funkcji Pewien problem może stanowić brak rozwiązań analitycznych
49 Wyznaczanie estymatorów MNW Własności estymatorów MNW wyznacza się maksymalizując funkcję wiarogodności korzystając z warunków pierwszego i drugiego rzędu na istnienie ekstremum funkcji Pewien problem może stanowić brak rozwiązań analitycznych Dla programów komputerowych nie stanowi to problemu, gdyż one znajdują pochodne w sposób numeryczny
50 Przykład Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW Znajdź estymatory MNW dla parametrów KMRL y i = X i β + ε i ε i N (0, σ 2 )
51 Przykład Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW Znajdź estymatory MNW dla parametrów KMRL y i = X i β + ε i ε i N (0, σ 2 ) Z założeń modelu wynika, że y i x i N (x i β, σ 2 )
52 Przykład Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW Znajdź estymatory MNW dla parametrów KMRL Z założeń modelu wynika, że y i = X i β + ε i ε i N (0, σ 2 ) y i x i N (x i β, σ 2 ) Więc funkcja gęstości dla pojedynczej obserwacji jest dana przez 1 ( f β,σ 2(y i x i ) = exp (y X iβ) 2 ) 2Πσ 2 2σ 2
53 Przykład Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW Znajdź estymatory MNW dla parametrów KMRL Z założeń modelu wynika, że y i = X i β + ε i ε i N (0, σ 2 ) y i x i N (x i β, σ 2 ) Więc funkcja gęstości dla pojedynczej obserwacji jest dana przez 1 ( f β,σ 2(y i x i ) = exp (y X iβ) 2 ) 2Πσ 2 2σ 2 Zatem funkcja wiarogodności ma postać [ L(β, σ 2 1 ] n ( ) = exp 1 ) 2Πσ 2 2σ 2 (y X iβ) (y X i β)
54 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW A logarytm funkcji wiarogodności l(β, σ 2 ) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 (y X iβ) (y X i β)
55 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW A logarytm funkcji wiarogodności l(β, σ 2 ) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 (y X iβ) (y X i β) Zatem warunki pierwszego rzędu dane są przez l(β, σ 2 ) β = 1 2σ 2 (2X X β 2X y) = 0 l(β, σ 2 ) σ 2 = n 1 2 σ 2 1 2σ 4 (y X iβ) (y X i β) = 0
56 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW A logarytm funkcji wiarogodności l(β, σ 2 ) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 (y X iβ) (y X i β) Zatem warunki pierwszego rzędu dane są przez l(β, σ 2 ) β = 1 2σ 2 (2X X β 2X y) = 0 l(β, σ 2 ) σ 2 = n 1 2 σ 2 1 2σ 4 (y X iβ) (y X i β) = 0 Uwaga: warunki drugiego rzędu wyprowadzimy później
57 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW A logarytm funkcji wiarogodności l(β, σ 2 ) = n 2 ln(2π) n 2 ln(σ2 ) 1 2σ 2 (y X iβ) (y X i β) Zatem warunki pierwszego rzędu dane są przez l(β, σ 2 ) β = 1 2σ 2 (2X X β 2X y) = 0 l(β, σ 2 ) σ 2 = n 1 2 σ 2 1 2σ 4 (y X iβ) (y X i β) = 0 Uwaga: warunki drugiego rzędu wyprowadzimy później Wynika z tego, że β = (X X ) 1 X y σ 2 = 1 n (y X iβ) (y X i β) = e e n
58 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW WNIOSEK: estymator MNW dla parametru β ma taką samą postać jak estymator MNK; estymatory dla wariancji różnią się
59 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW WNIOSEK: estymator MNW dla parametru β ma taką samą postać jak estymator MNK; estymatory dla wariancji różnią się Obliczmy wartość oczekiwaną estymatora MNW dla wariancji E( σ 2 ) = E( e e n ) = n k n E(s2 ) = n k n σ2 n σ 2
60 Przykład - cd Podstawy Wyznaczanie estymatorów MNW Własności estymatorów MNW WNIOSEK: estymator MNW dla parametru β ma taką samą postać jak estymator MNK; estymatory dla wariancji różnią się Obliczmy wartość oczekiwaną estymatora MNW dla wariancji E( σ 2 ) = E( e e n ) = n k n E(s2 ) = n k n σ2 n σ 2 Zatem estymator MWN dla wariancji jest zgodny, ale obciążony w małych próbach
61 Wyznaczanie estymatorów MNW Własności estymatorów MNW 1 Zgodność
62 Wyznaczanie estymatorów MNW Własności estymatorów MNW 1 Zgodność 2 Asymptotyczna normalność
63 Wyznaczanie estymatorów MNW Własności estymatorów MNW 1 Zgodność 2 Asymptotyczna normalność 3 Asymptotyczna efektywność
64 Wyznaczanie estymatorów MNW Własności estymatorów MNW Zgodność Zgodność Estymator nazywamy zgodnym, gdy δ > 0 lim n Pr( ˆθ θ < δ) = 1
65 Wyznaczanie estymatorów MNW Własności estymatorów MNW Zgodność Zgodność Estymator nazywamy zgodnym, gdy δ > 0 lim n Pr( ˆθ θ < δ) = 1 Inaczej mówiąc estymator dąży według prawdopodobieństwa do prawdziwej wartości parametru, co zapisujemy ˆθ p θ plim ˆθ = θ
66 Wyznaczanie estymatorów MNW Własności estymatorów MNW Zgodność Zgodność Estymator nazywamy zgodnym, gdy δ > 0 lim n Pr( ˆθ θ < δ) = 1 Inaczej mówiąc estymator dąży według prawdopodobieństwa do prawdziwej wartości parametru, co zapisujemy ˆθ p θ plim ˆθ = θ Estymator nazywamy zgodnym, gdy wartość oszacowania parametru zbiega do prawdziwej wartości estymatora
67 Wyznaczanie estymatorów MNW Własności estymatorów MNW Zgodność Zgodność Estymator nazywamy zgodnym, gdy δ > 0 lim n Pr( ˆθ θ < δ) = 1 Inaczej mówiąc estymator dąży według prawdopodobieństwa do prawdziwej wartości parametru, co zapisujemy ˆθ p θ plim ˆθ = θ Estymator nazywamy zgodnym, gdy wartość oszacowania parametru zbiega do prawdziwej wartości estymatora Bardzie potocznym językiem: jeżeli liczebność próby rośnie to różnica między wartością estymatora a prawdziwą wartością parametru jest nieskończenie bliska 0
68 Asymptotyczna normalność Wyznaczanie estymatorów MNW Własności estymatorów MNW Graniczny (asymptotyczny) rozkład estymatora to rozkład normalny n(ˆθ θ) D N (0, I 1 (θ)) gdzie [ 1 ] [ l(θ) ] i(θ) = lim N N I(θ) oraz I(θ) = var θ jest macierzą informacyjną Fishera [ 2 l(θ) ] = E θ θ
69 Asymptotyczna normalność Wyznaczanie estymatorów MNW Własności estymatorów MNW Macierz informacyjna jest równa wariancji gradientu logarytmu funkcji wiarogodności
70 Asymptotyczna normalność Wyznaczanie estymatorów MNW Własności estymatorów MNW Macierz informacyjna jest równa wariancji gradientu logarytmu funkcji wiarogodności lub minus wartości oczekiwanej jej Hessianu
71 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Znajdziemy gradient i Hessian dla KMRL
72 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Znajdziemy gradient i Hessian dla KMRL Gradient jest równy l(β, σ 2 ) β l(β, σ 2 ) σ 2 = n 2 = 1 2σ 2 (2X X β 2X y) = 1 σ 2 X ε 1 σ 2 1 2σ 4 (y X iβ) (y X i β) = n 2 1 σ σ 2 ε ε
73 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Wariancja wektora pochodnych względem β wynosi ( l(β, σ 2 ) ) var = 1 β σ 2 X var(ε)x = 1 σ 2 X X
74 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Wariancja wektora pochodnych względem β wynosi ( l(β, σ 2 ) ) var = 1 β σ 2 X var(ε)x = 1 σ 2 X X Wariancja wektora pochodnych względem σ 2 wynosi ( l(β, σ 2 ) ) ( var σ 2 = var n 2 1 σ ) 2σ 2 ε ε = 1 4σ 8 N2σ4 = N 2σ 4
75 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Wariancja wektora pochodnych względem β wynosi ( l(β, σ 2 ) ) var = 1 β σ 2 X var(ε)x = 1 σ 2 X X Wariancja wektora pochodnych względem σ 2 wynosi ( l(β, σ 2 ) ) ( var σ 2 = var n 2 1 σ ) 2σ 2 ε ε = 1 4σ 8 N2σ4 = Ponieważ E ( 1 σ 2 X ε ) = 0, więc kowiariancja między pochodnymi wynosi zero N 2σ 4
76 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Zatem Hessian jest równy I(β, σ 2 ) = [ 1 σ 2 X X 0 0 N 2σ 4 ]
77 Wyznaczanie estymatorów MNW Własności estymatorów MNW Asymptotyczna normalność - przykład Te same wyniki uzyskamy obliczając wartości oczekiwane elementów Hessianu l(β, σ 2 ) β β = 1 2σ 4 X X l(β, σ 2 ) β σ 2 = 1 σ 4 X ε l(β, σ 2 ) σ 2 σ 2 = N 1 2 σ 4 1 σ 6 ε ε
78 Asymptotyczna efektywność Wyznaczanie estymatorów MNW Własności estymatorów MNW Twierdzenie Rao-Cramera Jeżeli estymator ˆθ jest zgodny to jego asymptotyczna wariancja jest nie mniejsza niż dolne ograniczenie Rao-Cramera lim var[ n( θ θ) ] i 1 (θ) = lim N N 1 N I(θ)
79 Asymptotyczna efektywność Wyznaczanie estymatorów MNW Własności estymatorów MNW Twierdzenie Rao-Cramera Jeżeli estymator ˆθ jest zgodny to jego asymptotyczna wariancja jest nie mniejsza niż dolne ograniczenie Rao-Cramera lim var[ n( θ θ) ] i 1 (θ) = lim N N 1 N I(θ) są asymptotycznie efektywne ponieważ ich wariancja zbiega do dolnego ograniczenia Rao-Cremera
80 Asymptotyczna efektywność Wyznaczanie estymatorów MNW Własności estymatorów MNW Twierdzenie Rao-Cramera Jeżeli estymator ˆθ jest zgodny to jego asymptotyczna wariancja jest nie mniejsza niż dolne ograniczenie Rao-Cramera lim var[ n( θ θ) ] i 1 (θ) = lim N N 1 N I(θ) są asymptotycznie efektywne ponieważ ich wariancja zbiega do dolnego ograniczenia Rao-Cremera Zatem estymatory MNW są estymatorami zgodnymi o minimalnej wariancji
81 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Na podstawie własności estymatorów MNW można wyprowadzić rozkłady statystyk testowych dla ogólnych hipotez
82 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Na podstawie własności estymatorów MNW można wyprowadzić rozkłady statystyk testowych dla ogólnych hipotez Zakładamy, że hipoteza ma postać (nie)liniowego układu równań h 1 (θ) = 0 H 0 :. h q (θ) = 0
83 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Na podstawie własności estymatorów MNW można wyprowadzić rozkłady statystyk testowych dla ogólnych hipotez Zakładamy, że hipoteza ma postać (nie)liniowego układu równań h 1 (θ) = 0 H 0 :. h q (θ) = 0 Przyjmując h(θ) = (h 1 (θ),..., h q (θ)) zapisujemy układ H 0 : h(θ) = 0
84 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Na podstawie własności estymatorów MNW można wyprowadzić rozkłady statystyk testowych dla ogólnych hipotez Zakładamy, że hipoteza ma postać (nie)liniowego układu równań h 1 (θ) = 0 H 0 :. h q (θ) = 0 Przyjmując h(θ) = (h 1 (θ),..., h q (θ)) zapisujemy układ H 0 : h(θ) = 0 Hipotezy należy sformułować w taki sposób, aby macierz pierwszych pochodnych h (θ) = h(θ) θ miała pełen rząd
85 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Jest to w praktyce najłatwiejszy do przeprowadzenia test
86 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Jest to w praktyce najłatwiejszy do przeprowadzenia test Ale wymaga oszacowania dwóch modeli
87 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Jest to w praktyce najłatwiejszy do przeprowadzenia test Ale wymaga oszacowania dwóch modeli Weryfikowane jest J ograniczeń LR = 2(l( θ) l( θ R )) D χ 2 J l( θ) jest logarytmem funkcji wiarogodności dla modelu bez ograniczeń l( θ R ) jest logarytmem funkcji wiarogodności dla modelu ze spełnionymi ograniczeniami
88 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Idea testu bazuje na spostrzeżeniu, iż łatwiej jest zmaksymalizować funkcję bez ograniczeń, niż z narzuconymi na parametry restrykcjami
89 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Idea testu bazuje na spostrzeżeniu, iż łatwiej jest zmaksymalizować funkcję bez ograniczeń, niż z narzuconymi na parametry restrykcjami Nazwa testu wywodzi się z faktu, że statystykę testową można zapisać jako ( L( θ) ) LR = 2 ln L( θ R )
90 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Idea testu bazuje na spostrzeżeniu, iż łatwiej jest zmaksymalizować funkcję bez ograniczeń, niż z narzuconymi na parametry restrykcjami Nazwa testu wywodzi się z faktu, że statystykę testową można zapisać jako ( L( θ) ) LR = 2 ln L( θ R ) Wadą testu jest konieczność oszacowania dwóch modeli
91 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Do obliczenia wartości statystyki Walda wystarczająca jest znajomość oszacowań modelu bez narzuconych ograniczeń W = h (θ) [ H(θ)I 1 (θ)h (θ) ] 1 h(θ) D χ 2 J
92 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Do obliczenia wartości statystyki Walda wystarczająca jest znajomość oszacowań modelu bez narzuconych ograniczeń W = h (θ) [ H(θ)I 1 (θ)h (θ) ] 1 h(θ) D χ 2 J Macierz w nawiasach kwadratowych jako macierz wariancji jest dodatnio określona
93 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Do obliczenia wartości statystyki Walda wystarczająca jest znajomość oszacowań modelu bez narzuconych ograniczeń W = h (θ) [ H(θ)I 1 (θ)h (θ) ] 1 h(θ) D χ 2 J Macierz w nawiasach kwadratowych jako macierz wariancji jest dodatnio określona Zatem statystyka W = 0, gdy ograniczenia narzucone na parametry są spełnione
94 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Do obliczenia wartości statystyki Walda wystarczająca jest znajomość oszacowań modelu bez narzuconych ograniczeń W = h (θ) [ H(θ)I 1 (θ)h (θ) ] 1 h(θ) D χ 2 J Macierz w nawiasach kwadratowych jako macierz wariancji jest dodatnio określona Zatem statystyka W = 0, gdy ograniczenia narzucone na parametry są spełnione Statystyka Walda nie jest niezmiennicza ze względu na sposób zapisania hipotezy zerowej
95 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Statystyka mnożników Lagrangea wymaga znajomości estymatora dla modelu z narzuconymi ograniczeniami LM = l(θ) θ I 1 (θ R ) l(θ) θ=θr θ θ=θr D χ 2 J
96 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Statystyka mnożników Lagrangea wymaga znajomości estymatora dla modelu z narzuconymi ograniczeniami LM = l(θ) θ I 1 (θ R ) l(θ) θ=θr θ θ=θr D χ 2 J Dla maksimum bez ograniczeń wartość gradientu wynosi zero
97 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania Statystyka mnożników Lagrangea wymaga znajomości estymatora dla modelu z narzuconymi ograniczeniami LM = l(θ) θ I 1 (θ R ) l(θ) θ=θr θ θ=θr D χ 2 J Dla maksimum bez ograniczeń wartość gradientu wynosi zero Zatem wartość gradientu niesie informację o spełnieniu ograniczeń przez parametry modelu
98 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania W modelach szacowanych MNW nie są szacowane sumy kwadratów
99 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania W modelach szacowanych MNW nie są szacowane sumy kwadratów Miary dopasowania są przybliżonymi statystykami określanymi jako pseudo-r 2
100 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania W modelach szacowanych MNW nie są szacowane sumy kwadratów Miary dopasowania są przybliżonymi statystykami określanymi jako pseudo-r 2 Najczęściej stosowaną miarą jest R 2 Mc-Faddena R 2 McFadden = 1 l(θ) l(θ 0 )
101 Test Ilorazu Wiarogodności Test Walda Test Mnożników Lagrangea Miary dopasowania W modelach szacowanych MNW nie są szacowane sumy kwadratów Miary dopasowania są przybliżonymi statystykami określanymi jako pseudo-r 2 Najczęściej stosowaną miarą jest R 2 Mc-Faddena Podobnie jak adj R 2 istnieje R 2 McFadden = 1 l(θ) l(θ 0 ) R 2 McFadden = 1 l(θ) K l(θ 0 ) gdzie L 0 to logarytm funkcji wiarogodności modelu ze stałą jako jedyną zmienną objasniajacą
Stanisław Cichocki Natalia Nehrebecka. Wykład 7
Stanisław Cichocki Natalia Nehrebecka Wykład 7 1 1. Metoda Największej Wiarygodności MNW 2. Założenia MNW 3. Własności estymatorów MNW 4. Testowanie hipotez w MNW 2 1. Metoda Największej Wiarygodności
Rozdział 2: Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów
Rozdział : Metoda największej wiarygodności i nieliniowa metoda najmniejszych kwadratów W tym rozdziale omówione zostaną dwie najpopularniejsze metody estymacji parametrów w ekonometrycznych modelach nieliniowych,
Własności statystyczne regresji liniowej. Wykład 4
Własności statystyczne regresji liniowej Wykład 4 Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej Literatura B. Hansen (2017+) Econometrics, Rozdział 5 Własności
Stopę zbieżności ciagu zmiennych losowych a n, takiego, że E (a n ) < oznaczamy jako a n = o p (1) prawdopodobieństwa szybciej niż n α.
Stopy zbieżności Stopę zbieżności ciagu zmiennych losowych a n, takiego, że a n oznaczamy jako a n = o p (1 p 0 a Jeśli n p n α 0, to a n = o p (n α i mówimy a n zbiega według prawdopodobieństwa szybciej
Idea. θ = θ 0, Hipoteza statystyczna Obszary krytyczne Błąd pierwszego i drugiego rodzaju p-wartość
Idea Niech θ oznacza parametr modelu statystycznego. Dotychczasowe rozważania dotyczyły metod estymacji tego parametru. Teraz zamiast szacować nieznaną wartość parametru będziemy weryfikowali hipotezę
1. Pokaż, że estymator MNW parametru β ma postać β = nieobciążony. Znajdź estymator parametru σ 2.
Zadanie 1 Niech y t ma rozkład logarytmiczno normalny o funkcji gęstości postaci [ ] 1 f (y t ) = y exp (ln y t β ln x t ) 2 t 2πσ 2 2σ 2 Zakładamy, że x t jest nielosowe a y t są nieskorelowane w czasie.
STATYSTYKA
Wykład 1 20.02.2008r. 1. ROZKŁADY PRAWDOPODOBIEŃSTWA 1.1 Rozkład dwumianowy Rozkład dwumianowy, 0 1 Uwaga: 1, rozkład zero jedynkowy. 1 ; 1,2,, Fakt: Niech,, będą niezależnymi zmiennymi losowymi o jednakowym
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 7 i 8 - Efektywność estymatorów, przedziały ufności Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 7 i 8 1 / 9 EFEKTYWNOŚĆ ESTYMATORÓW, próba
Uogólniona Metoda Momentów
Uogólniona Metoda Momentów Momenty z próby daż a do momentów teoretycznych (Prawo Wielkich Liczb) plim 1 n y i = E (y) n i=1 Klasyczna Metoda Momentów (M M) polega na szacowaniu momentów teoretycznych
Stanisław Cichocki Natalia Nehrebecka. Zajęcia 8
Stanisław Cichocki Natalia Nehrebecka Zajęcia 8 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 4 - zagadnienie estymacji, metody wyznaczania estymatorów Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23 ZAGADNIENIE ESTYMACJI Zagadnienie
Matematyka z el. statystyki, # 6 /Geodezja i kartografia II/
Matematyka z el. statystyki, # 6 /Geodezja i kartografia II/ Uniwersytet Przyrodniczy w Lublinie Katedra Zastosowań Matematyki i Informatyki ul. Głęboka 28, bud. CIW, p. 221 e-mail: zdzislaw.otachel@up.lublin.pl
Testowanie hipotez statystycznych.
Bioinformatyka Wykład 9 Wrocław, 5 grudnia 2011 Temat. Test zgodności χ 2 Pearsona. Statystyka χ 2 Pearsona Rozpatrzmy ciąg niezależnych zmiennych losowych X 1,..., X n o jednakowym dyskretnym rozkładzie
Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego
Rozdział 1 Statystyki Definicja 1 Statystyką nazywamy (mierzalną) funkcję obserwowalnego wektora losowego X = (X 1,..., X n ). Uwaga 1 Statystyka jako funkcja wektora zmiennych losowych jest zmienną losową
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory
Statystyka i opracowanie danych Podstawy wnioskowania statystycznego. Prawo wielkich liczb. Centralne twierdzenie graniczne. Estymacja i estymatory Dr Anna ADRIAN Paw B5, pok 407 adrian@tempus.metal.agh.edu.pl
Statystyka Matematyczna Anna Janicka
Statystyka Matematyczna Anna Janicka wykład X, 9.05.206 TESTOWANIE HIPOTEZ STATYSTYCZNYCH II: PORÓWNYWANIE TESTÓW Plan na dzisiaj 0. Przypomnienie potrzebnych definicji. Porównywanie testów 2. Test jednostajnie
Testowanie hipotez. Hipoteza prosta zawiera jeden element, np. H 0 : θ = 2, hipoteza złożona zawiera więcej niż jeden element, np. H 0 : θ > 4.
Testowanie hipotez Niech X = (X 1... X n ) będzie próbą losową na przestrzeni X zaś P = {P θ θ Θ} rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X. Definicja 1. Hipotezą zerową Θ
Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX = 4 i EY = 6. Rozważamy zmienną losową Z =.
Prawdopodobieństwo i statystyka 3..00 r. Zadanie Niech X i Y będą niezależnymi zmiennymi losowymi o rozkładach wykładniczych, przy czym Y EX 4 i EY 6. Rozważamy zmienną losową Z. X + Y Wtedy (A) EZ 0,
Wykład 6 Estymatory efektywne. Własności asymptotyczne estym. estymatorów
Wykład 6 Estymatory efektywne. Własności asymptotyczne estymatorów Wrocław, 30 listopada 2016r Powtórzenie z rachunku prawdopodobieństwa Zbieżność Definicja 6.1 Niech ciąg {X } n ma rozkład o dystrybuancie
Metoda najmniejszych kwadratów
Metoda najmniejszych kwadratów Przykład wstępny. W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba Douglasa: z = AL α K β gdzie z oznacza wielkość produkcji, L jest nakładem pracy, K
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 13 i 14 - Statystyka bayesowska Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 13 i 14 1 / 15 MODEL BAYESOWSKI, przykład wstępny Statystyka
METODY ESTYMACJI PUNKTOWEJ. nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie
METODY ESTYMACJI PUNKTOWEJ X 1,..., X n - próbka z rozkładu P θ, θ Θ, θ jest nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie P θ. Definicja. Estymatorem
... i statystyka testowa przyjmuje wartość..., zatem ODRZUCAMY /NIE MA POD- STAW DO ODRZUCENIA HIPOTEZY H 0 (właściwe podkreślić).
Egzamin ze Statystyki Matematycznej, WNE UW, wrzesień 016, zestaw B Odpowiedzi i szkice rozwiązań 1. Zbadano koszt 7 noclegów dla 4-osobowej rodziny (kwatery) nad morzem w sezonie letnim 014 i 015. Wylosowano
Metody probabilistyczne
Metody probabilistyczne 13. Elementy statystki matematycznej I Wojciech Kotłowski Instytut Informatyki PP http://www.cs.put.poznan.pl/wkotlowski/ 17.01.2019 1 / 30 Zagadnienia statystki Przeprowadzamy
Stanisław Cichocki. Natalia Nehrebecka. Wykład 9
Stanisław Cichocki Natalia Nehrebecka Wykład 9 1 1. Dodatkowe założenie KMRL 2. Testowanie hipotez prostych Rozkład estymatora b Testowanie hipotez prostych przy użyciu statystyki t 3. Przedziały ufności
Błędy przy testowaniu hipotez statystycznych. Decyzja H 0 jest prawdziwa H 0 jest faszywa
Weryfikacja hipotez statystycznych Hipotezą statystyczną nazywamy każde przypuszczenie dotyczące nieznanego rozkładu badanej cechy populacji, o prawdziwości lub fałszywości którego wnioskuje się na podstawie
Testowanie hipotez statystycznych.
Statystyka Wykład 10 Wrocław, 22 grudnia 2011 Testowanie hipotez statystycznych Definicja. Hipotezą statystyczną nazywamy stwierdzenie dotyczące parametrów populacji. Definicja. Dwie komplementarne w problemie
Statystyka. Wykład 2. Krzysztof Topolski. Wrocław, 11 października 2012
Wykład 2 Wrocław, 11 października 2012 Próba losowa Definicja. Zmienne losowe X 1, X 2,..., X n nazywamy próba losową rozmiaru n z rozkładu o gęstości f (x) (o dystrybuancie F (x)) jeśli X 1, X 2,...,
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 9 i 10 - Weryfikacja hipotez statystycznych Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 9 i 10 1 / 30 TESTOWANIE HIPOTEZ STATYSTYCZNYCH
Zawansowane modele wyborów dyskretnych
Zawansowane modele wyborów dyskretnych Jerzy Mycielski Uniwersytet Warszawski grudzien 2013 Jerzy Mycielski (Uniwersytet Warszawski) Zawansowane modele wyborów dyskretnych grudzien 2013 1 / 16 Model efektów
Stanisław Cichocki. Natalia Nehrebecka
Stanisław Cichocki Natalia Nehrebecka 1 1. Wstęp a) Binarne zmienne zależne b) Interpretacja ekonomiczna c) Interpretacja współczynników 2. Liniowy model prawdopodobieństwa a) Interpretacja współczynników
Value at Risk (VaR) Jerzy Mycielski WNE. Jerzy Mycielski (Institute) Value at Risk (VaR) / 16
Value at Risk (VaR) Jerzy Mycielski WNE 2018 Jerzy Mycielski (Institute) Value at Risk (VaR) 2018 1 / 16 Warunkowa heteroskedastyczność O warunkowej autoregresyjnej heteroskedastyczności mówimy, gdy σ
Modele zapisane w przestrzeni stanów
Modele zapisane w przestrzeni stanów Modele Przestrzeni Stanów (State Space Models) sa to modele, w których część parametrów jest nieobserwowalna i losowa. Zachowanie wielowymiarowej zmiennej y t zależy
Ekonometria egzamin 02/02/ W trakcie egzaminu wolno używać jedynie długopisu o innym kolorze atramentu niż czerwony oraz kalkulatora.
imię, nazwisko, nr indeksu: Ekonometria egzamin 0/0/0. Egzamin trwa 90 minut.. Rozwiązywanie zadań należy rozpocząć po ogłoszeniu początku egzaminu a skończyć wraz z ogłoszeniem końca egzaminu. Złamanie
Weryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta
Uogolnione modele liniowe
Uogolnione modele liniowe Jerzy Mycielski Uniwersytet Warszawski grudzien 2013 Jerzy Mycielski (Uniwersytet Warszawski) Uogolnione modele liniowe grudzien 2013 1 / 17 (generalized linear model - glm) Zakładamy,
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 11 i 12 - Weryfikacja hipotez statystycznych
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 11 i 12 - Weryfikacja hipotez statystycznych Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 11 i 12 1 / 41 TESTOWANIE HIPOTEZ - PORÓWNANIE
Statystyka opisowa. Wykład V. Regresja liniowa wieloraka
Statystyka opisowa. Wykład V. e-mail:e.kozlovski@pollub.pl Spis treści 1 Prosta regresji cechy Y względem cech X 1,..., X k. 2 3 Wyznaczamy zależność cechy Y od cech X 1, X 2,..., X k postaci Y = α 0 +
Losowe zmienne objaśniające. Rozszerzenia KMRL. Rozszerzenia KMRL
MNK z losową macierzą obserwacji Równanie modelu y = X β + ε Jeżeli X zawiera elementy losowe to należy sprawdzić czy E(b β) = E[(X X ) 1 X ε]? = E[(X X ) 1 X ]E(ε) Przypomnienie: Nieskorelowane zmienne
Testowanie hipotez statystycznych
Testowanie hipotez statystycznych Wyk lad 8 Natalia Nehrebecka Stanis law Cichocki 29 listopada 2015 Plan zajeć 1 Rozk lad estymatora b Rozk lad sumy kwadratów reszt 2 Hipotezy proste - test t Badanie
Testowanie hipotez statystycznych
round Testowanie hipotez statystycznych Wyk lad 9 Natalia Nehrebecka Stanis law Cichocki 13 grudnia 2014 Plan zajeć 1 Rozk lad estymatora b Rozk lad sumy kwadratów reszt 2 Hipotezy proste - test t Badanie
Kolokwium ze statystyki matematycznej
Kolokwium ze statystyki matematycznej 28.05.2011 Zadanie 1 Niech X będzie zmienną losową z rozkładu o gęstości dla, gdzie 0 jest nieznanym parametrem. Na podstawie pojedynczej obserwacji weryfikujemy hipotezę
Rozkłady statystyk z próby
Rozkłady statystyk z próby Rozkłady statystyk z próby Przypuśćmy, że wykonujemy serię doświadczeń polegających na 4 krotnym rzucie symetryczną kostką do gry, obserwując liczbę wyrzuconych oczek Nr kolejny
Natalia Neherbecka. 11 czerwca 2010
Natalia Neherbecka 11 czerwca 2010 1 1. Konsekwencje heteroskedastyczności i autokorelacji 2. Uogólniona MNK 3. Stosowalna Uogólniona MNK 4. Odporne macierze wariancji i kowariancji b 2 1. Konsekwencje
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średn
Wykład 10 Estymacja przedziałowa - przedziały ufności dla średniej Wrocław, 21 grudnia 2016r Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja 10.1 Przedziałem
Spis treści Wstęp Estymacja Testowanie. Efekty losowe. Bogumiła Koprowska, Elżbieta Kukla
Bogumiła Koprowska Elżbieta Kukla 1 Wstęp Czym są efekty losowe? Przykłady Model mieszany 2 Estymacja Jednokierunkowa klasyfikacja (ANOVA) Metoda największej wiarogodności (ML) Metoda największej wiarogodności
Estymacja przedziałowa - przedziały ufności dla średnich. Wrocław, 5 grudnia 2014
Estymacja przedziałowa - przedziały ufności dla średnich Wrocław, 5 grudnia 2014 Przedział ufności Niech będzie dana próba X 1, X 2,..., X n z rozkładu P θ, θ Θ. Definicja Przedziałem ufności dla paramertu
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotn. istotności, p-wartość i moc testu
Wykład 2 Hipoteza statystyczna, test statystyczny, poziom istotności, p-wartość i moc testu Wrocław, 01.03.2017r Przykład 2.1 Właściciel firmy produkującej telefony komórkowe twierdzi, że wśród jego produktów
Hipotezy proste. (1 + a)x a, dla 0 < x < 1, 0, poza tym.
Hipotezy proste Zadanie 1. Niech X ma funkcję gęstości f a (x) = (1 + a)x a, dla 0 < x < 1, Testujemy H 0 : a = 1 przeciwko H 1 : a = 2. Dysponujemy pojedynczą obserwacją X. Wyznaczyć obszar krytyczny
Prawdopodobieństwo i statystyka
Wykład XI: Testowanie hipotez statystycznych 12 stycznia 2015 Przykład Motywacja X 1, X 2,..., X N N (µ, σ 2 ), Y 1, Y 2,..., Y M N (ν, δ 2 ). Chcemy sprawdzić, czy µ = ν i σ 2 = δ 2, czyli że w obu populacjach
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 3 - model statystyczny, podstawowe zadania statystyki matematycznej
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJ wykład 3 - model statystyczny, podstawowe zadania statystyki matematycznej Agata Boratyńska Agata Boratyńska Statystyka matematyczna, wykład 3 1 / 8 ZADANIE z rachunku
Ekonometria egzamin 01/02/ W trakcie egzaminu wolno używać jedynie długopisu o innym kolorze atramentu niż czerwony oraz kalkulatora.
imię, nazwisko, nr indeksu: Ekonometria egzamin 01/02/2019 1. Egzamin trwa 90 minut. 2. Rozwiązywanie zadań należy rozpocząć po ogłoszeniu początku egzaminu a skończyć wraz z ogłoszeniem końca egzaminu.
Ekonometria. Prognozowanie ekonometryczne, ocena stabilności oszacowań parametrów strukturalnych. Jakub Mućk. Katedra Ekonomii Ilościowej
Ekonometria Prognozowanie ekonometryczne, ocena stabilności oszacowań parametrów strukturalnych Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Wykład 4 Prognozowanie, stabilność 1 / 17 Agenda
Stanisław Cichocki. Natalia Nehrebecka
Stanisław Cichocki Natalia Nehrebecka 1. Testy diagnostyczne 2. Testowanie prawidłowości formy funkcyjnej modelu 3. Testowanie normalności składników losowych 4. Testowanie stabilności parametrów 5. Testowanie
Ważne rozkłady i twierdzenia c.d.
Ważne rozkłady i twierdzenia c.d. Funkcja charakterystyczna rozkładu Wielowymiarowy rozkład normalny Elipsa kowariacji Sploty rozkładów Rozkłady jednostajne Sploty z rozkładem normalnym Pobieranie próby
Ekonometria egzamin 07/03/2018
imię, nazwisko, nr indeksu: Ekonometria egzamin 07/03/2018 1. Egzamin trwa 90 minut. 2. Rozwiązywanie zadań należy rozpocząć po ogłoszeniu początku egzaminu a skończyć wraz z ogłoszeniem końca egzaminu.
Ekonometria. Zajęcia
Ekonometria Zajęcia 16.05.2018 Wstęp hipoteza itp. Model gęstości zaludnienia ( model gradientu gęstości ) zakłada, że gęstość zaludnienia zależy od odległości od okręgu centralnego: y t = Ae βx t (1)
WNIOSKOWANIE W MODELU REGRESJI LINIOWEJ
WNIOSKOWANIE W MODELU REGRESJI LINIOWEJ Dana jest populacja generalna, w której dwuwymiarowa cecha (zmienna losowa) (X, Y ) ma pewien dwuwymiarowy rozk lad. Miara korelacji liniowej dla zmiennych (X, Y
Statystyka Matematyczna Anna Janicka
Statystyka Matematyczna Anna Janicka wykład IX, 25.04.2016 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Plan na dzisiaj 1. Hipoteza statystyczna 2. Test statystyczny 3. Błędy I-go i II-go rodzaju 4. Poziom istotności,
Modele DSGE. Jerzy Mycielski. Maj Jerzy Mycielski () Modele DSGE Maj / 11
Modele DSGE Jerzy Mycielski Maj 2008 Jerzy Mycielski () Modele DSGE Maj 2008 1 / 11 Modele DSGE DSGE - Dynamiczne, stochastyczne modele równowagi ogólnej (Dynamic Stochastic General Equilibrium Model)
Egzamin z ekonometrii wersja IiE, MSEMAT
Egzamin z ekonometrii wersja IiE, MSEMAT 04-02-2016 Pytania teoretyczne 1. Za pomocą jakiego testu weryfikowana jest normalność składnika losowego? Jakiemu założeniu KMRL odpowiada w tym teście? Jakie
Stanisław Cichocki. Natalia Nehrebecka
Stanisław Cichocki Natalia Nehrebecka 1 1. Wstęp a) Binarne zmienne zależne b) Interpretacja ekonomiczna c) Interpretacja współczynników 2. Liniowy model prawdopodobieństwa a) Interpretacja współczynników
Estymacja parametrów w modelu normalnym
Estymacja parametrów w modelu normalnym dr Mariusz Grządziel 6 kwietnia 2009 Model normalny Przez model normalny będziemy rozumieć rodzine rozkładów normalnych N(µ, σ), µ R, σ > 0. Z Centralnego Twierdzenia
Współczynnik korelacji. Współczynnik korelacji jest miernikiem zależności między dwiema cechami Oznaczenie: ϱ
Współczynnik korelacji Współczynnik korelacji jest miernikiem zależności między dwiema cechami Oznaczenie: ϱ Własności współczynnika korelacji 1. Współczynnik korelacji jest liczbą niemianowaną 2. ϱ 1,
Statystyka matematyczna. Wykład IV. Weryfikacja hipotez statystycznych
Statystyka matematyczna. Wykład IV. e-mail:e.kozlovski@pollub.pl Spis treści 1 2 3 Definicja 1 Hipoteza statystyczna jest to przypuszczenie dotyczące rozkładu (wielkości parametru lub rodzaju) zmiennej
Metoda Monte Carlo. Jerzy Mycielski. grudzien Jerzy Mycielski () Metoda Monte Carlo grudzien / 10
Metoda Monte Carlo Jerzy Mycielski grudzien 2012 Jerzy Mycielski () Metoda Monte Carlo grudzien 2012 1 / 10 Przybliżanie całek Powiedzmy, że mamy do policzenia następującą całkę: b f (x) dx = I a Założmy,
1.8 Diagnostyka modelu
1.8 Diagnostyka modelu Dotychczas zajmowaliśmy się własnościami estymatorów przy spełnionych założeniach KMRL. W praktyce nie zawsze spełnione są wszystkie założenia modelu. Jeżeli któreś z nich nie jest
Metoda największej wiarygodności
Metoda największej wiarygodności Próbki w obecności tła Funkcja wiarygodności Iloraz wiarygodności Pomiary o różnej dokładności Obciążenie Informacja z próby i nierówność informacyjna Wariancja minimalna
Szacowanie optymalnego systemu Bonus-Malus przy pomocy Pseudo-MLE. Joanna Sawicka
Szacowanie optymalnego systemu Bonus-Malus przy pomocy Pseudo-MLE Joanna Sawicka Plan prezentacji Model Poissona-Gamma ze składnikiem regresyjnym Konstrukcja optymalnego systemu Bonus- Malus Estymacja
Weryfikacja hipotez statystycznych
Weryfikacja hipotez statystycznych Przykład (wstępny). Producent twierdzi, że wadliwość produkcji wynosi 5%. My podejrzewamy, że rzeczywista wadliwość produkcji wynosi 15%. Pobieramy próbę stuelementową
ESTYMACJA BŁĘDU PREDYKCJI I JEJ ZASTOSOWANIA
ESTYMACJA BŁĘDU PREDYKCJI I JEJ ZASTOSOWANIA Jan Mielniczuk Wisła, grudzień 2009 PLAN Błędy predykcji i ich podstawowe estymatory Estymacja błędu predykcji w modelu liniowym. Funkcje kryterialne Własności
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną war
Wykład 5 Estymatory nieobciążone z jednostajnie minimalną wariancją Wrocław, 25 października 2017r Statystyki próbkowe - Przypomnienie Niech X = (X 1, X 2,... X n ) będzie n elementowym wektorem losowym.
Stanisław Cichocki. Natalia Nehrebecka. Wykład 12
Stanisław Cichocki Natalia Nehrebecka Wykład 1 1 1. Testy diagnostyczne Testowanie stabilności parametrów modelu: test Chowa. Heteroskedastyczność Konsekwencje Testowanie heteroskedastyczności 1. Testy
Prawdopodobieństwo i statystyka r.
Prawdopodobieństwo i statystyka 9.06.999 r. Zadanie. Rzucamy pięcioma kośćmi do gry. Następnie rzucamy ponownie tymi kośćmi, na których nie wypadły szóstki. W trzeciej rundzie rzucamy tymi kośćmi, na których
Wykład 3 Momenty zmiennych losowych.
Wykład 3 Momenty zmiennych losowych. Wrocław, 19 października 2016r Momenty zmiennych losowych Wartość oczekiwana - przypomnienie Definicja 3.1: 1 Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
Wykład 3 Momenty zmiennych losowych.
Wykład 3 Momenty zmiennych losowych. Wrocław, 18 października 2017r Momenty zmiennych losowych Wartość oczekiwana - przypomnienie Definicja 3.1: 1 Niech X będzie daną zmienną losową. Jeżeli X jest zmienną
Ekonometria. Modelowanie zmiennej jakościowej. Jakub Mućk. Katedra Ekonomii Ilościowej
Ekonometria Modelowanie zmiennej jakościowej Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Ćwiczenia 8 Zmienna jakościowa 1 / 25 Zmienna jakościowa Zmienna ilościowa może zostać zmierzona
Testowanie hipotez statystycznych
Część 2 Hipoteza złożona Testowanie hipotez łącznych Zapis matematyczny Rozkład statystyki testowej Hipoteza łączna H 0 : Rβ = q Hipoteza złożona Testowanie hipotez łącznych Zapis matematyczny Rozkład
Estymacja parametrów rozkładu cechy
Estymacja parametrów rozkładu cechy Estymujemy parametr θ rozkładu cechy X Próba: X 1, X 2,..., X n Estymator punktowy jest funkcją próby ˆθ = ˆθX 1, X 2,..., X n przybliżającą wartość parametru θ Przedział
STATYSTYKA MATEMATYCZNA WYKŁAD stycznia 2010
STATYSTYKA MATEMATYCZNA WYKŁAD 14 18 stycznia 2010 Model statystyczny ROZKŁAD DWUMIANOWY ( ) {0, 1,, n}, {P θ, θ (0, 1)}, n ustalone P θ {K = k} = ( ) n θ k (1 θ) n k, k k = 0, 1,, n Geneza: Rozkład Bernoulliego
Ekonometria. Ćwiczenia nr 3. Jakub Mućk. Katedra Ekonomii Ilościowej
Ekonometria Ćwiczenia nr 3 Jakub Mućk Katedra Ekonomii Ilościowej Jakub Mućk Ekonometria Ćwiczenia 3 Własności składnika losowego 1 / 18 Agenda KMNK przypomnienie 1 KMNK przypomnienie 2 3 4 Jakub Mućk
Statystyka matematyczna. Wykład III. Estymacja przedziałowa
Statystyka matematyczna. Wykład III. e-mail:e.kozlovski@pollub.pl Spis treści Rozkłady zmiennych losowych 1 Rozkłady zmiennych losowych Rozkład χ 2 Rozkład t-studenta Rozkład Fischera 2 Przedziały ufności
Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: y t. X 1 t. Tabela 1.
tel. 44 683 1 55 tel. kom. 64 566 811 e-mail: biuro@wszechwiedza.pl Zadanie 1 Zakładając liniową relację między wydatkami na obuwie a dochodem oszacować MNK parametry modelu: gdzie: y t X t y t = 1 X 1
Centralne twierdzenie graniczne
Instytut Sterowania i Systemów Informatycznych Universytet Zielonogórski Wykład 4 Ważne uzupełnienie Dwuwymiarowy rozkład normalny N (µ X, µ Y, σ X, σ Y, ρ): f XY (x, y) = 1 2πσ X σ Y 1 ρ 2 { [ (x ) 1
Testowanie hipotez statystycznych
Agenda Instytut Matematyki Politechniki Łódzkiej 2 stycznia 2012 Agenda Agenda 1 Wprowadzenie Agenda 2 Hipoteza oraz błędy I i II rodzaju Hipoteza alternatywna Statystyka testowa Zbiór krytyczny Poziom
Zadanie 1. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k =
Matematyka ubezpieczeń majątkowych 0.0.006 r. Zadanie. Liczba szkód N w ciągu roku z pewnego ryzyka ma rozkład geometryczny: k 5 Pr( N = k) =, k = 0,,,... 6 6 Wartości kolejnych szkód Y, Y,, są i.i.d.,
Testowanie hipotez statystycznych.
Bioinformatyka Wykład 4 Wrocław, 17 października 2011 Temat. Weryfikacja hipotez statystycznych dotyczących wartości oczekiwanej w dwóch populacjach o rozkładach normalnych. Model 3. Porównanie średnich
Statystyka w przykładach
w przykładach Tomasz Mostowski Zajęcia 10.04.2008 Plan Estymatory 1 Estymatory 2 Plan Estymatory 1 Estymatory 2 Własności estymatorów Zazwyczaj w badaniach potrzebujemy oszacować pewne parametry na podstawie
1.1 Klasyczny Model Regresji Liniowej
1.1 Klasyczny Model Regresji Liniowej Klasyczny model Regresji Liniowej jest bardzo użytecznym narzędziem służącym do analizy danych empirycznych. Analiza regresji zajmuje się opisem zależności między
1.1 Statystyka matematyczna Literatura Model statystyczny Preliminaria... 3
Spis treści Spis treści 1 Wstęp 1 1.1 Statystyka matematyczna...................... 1 1.2 Literatura.............................. 1 1.3 Model statystyczny......................... 2 1.4 Preliminaria.............................
Oznacza to, że chcemy znaleźć minimum, a właściwie wartość najmniejszą funkcji
Wykład 11. Metoda najmniejszych kwadratów Szukamy zależności Dane są wyniki pomiarów dwóch wielkości x i y: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Przypuśćmy, że nanieśliśmy je na wykres w układzie
Prawdopodobieństwo i statystyka r.
Zadanie. Niech (X, Y) ) będzie dwuwymiarową zmienną losową, o wartości oczekiwanej (μ, μ, wariancji każdej ze współrzędnych równej σ oraz kowariancji równej X Y ρσ. Staramy się obserwować niezależne realizacje
TESTY NIEPARAMETRYCZNE. 1. Testy równości średnich bez założenia normalności rozkładu zmiennych: Manna-Whitney a i Kruskala-Wallisa.
TESTY NIEPARAMETRYCZNE 1. Testy równości średnich bez założenia normalności rozkładu zmiennych: Manna-Whitney a i Kruskala-Wallisa. Standardowe testy równości średnich wymagają aby badane zmienne losowe
Metody systemowe i decyzyjne w informatyce
Metody systemowe i decyzyjne w informatyce Ćwiczenia lista zadań nr 2 autorzy: A. Gonczarek, J.M. Tomczak Metody estymacji Zad. 1 Pojawianie się spamu opisane jest zmienną losową x o rozkładzie dwupunktowym
SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization
Wrocław University of Technology SPOTKANIE 6: Klasteryzacja: K-Means, Expectation Maximization Jakub M. Tomczak Studenckie Koło Naukowe Estymator jakub.tomczak@pwr.wroc.pl 4.1.213 Klasteryzacja Zmienne
STATYSTYKA. Rafał Kucharski. Uniwersytet Ekonomiczny w Katowicach 2015/16 ROND, Finanse i Rachunkowość, rok 2
STATYSTYKA Rafał Kucharski Uniwersytet Ekonomiczny w Katowicach 2015/16 ROND, Finanse i Rachunkowość, rok 2 Karl Popper... no matter how many instances of white swans we may have observed, this does not
Stanisław Cichocki. Natalia Nehrebecka. Wykład 10
Stanisław Cichocki Natalia Nehrebecka Wykład 10 1 1. Testy diagnostyczne Testowanie prawidłowości formy funkcyjnej: test RESET Testowanie normalności składników losowych: test Jarque-Berra Testowanie stabilności
Wnioskowanie statystyczne. Statystyka w 5
Wnioskowanie statystyczne tatystyka w 5 Rozkłady statystyk z próby Próba losowa pobrana z populacji stanowi realizacje zmiennej losowej jak ciąg zmiennych losowych (X, X,... X ) niezależnych i mających
Weryfikacja hipotez statystycznych. KG (CC) Statystyka 26 V / 1
Weryfikacja hipotez statystycznych KG (CC) Statystyka 26 V 2009 1 / 1 Sformułowanie problemu Weryfikacja hipotez statystycznych jest drugą (po estymacji) metodą uogólniania wyników uzyskanych w próbie
Testowanie hipotez statystycznych
9 października 2008 ...czyli definicje na rozgrzewkę n-elementowa próba losowa - wektor n zmiennych losowych (X 1,..., X n ); intuicyjnie: wynik n eksperymentów realizacja próby (X 1,..., X n ) w ω Ω :