Własności statystyczne regresji liniowej Wykład 4
Plan Własności zmiennych losowych Normalna regresja liniowa Własności regresji liniowej
Literatura B. Hansen (2017+) Econometrics, Rozdział 5
Własności zmiennych losowych Własność 1 Własność 2
Przydatne kody w Matlabie CDF inv(cdf)
Własności zmiennych losowych Jeśli i to Jeśli i to, niecentralny rozkład chi kwadrat
Własności zmiennych losowych Własność 3 Jeśli to Jeśli i są niezależne, to
Własności zmiennych losowych Asymptotycznie T ma rozkład N(0,1) Dla r=1 rozkład Cauchy ego można uzyskać jako iloraz niezależnych zmiennych z brak skończonych całkowitych momentów
Własności zmiennych losowych Jeśli i niezależne, to Jeśli, i, to
Własności zmiennych losowych Asymptotycznie: Jeśli i, to niecentralna zmienna F
Regresja liniowa Niech mają łączny rozkład normalny Najlepszy liniowa predykcja przez to: Z własności najlepszego liniowego predyktora Z Własności 1: mają łączny rozkład normalny, bo mają rozkład normalny
Regresja liniowa Z Własności 2: są niezależne Stąd: i czyli własności homoskedastycznej liniowej CEF
Normalna regresja liniowa Model Funkcja gęstości warunkowa na
Normalna regresja liniowa Funkcja wiarygodności dla regresji liniowej gdy obserwacje niezależne Łatwiej analizować logarytmy
Normalna regresja liniowa Estymator funkcji największej wiarygodności: Warunki pierwszego rzędu:
Normalna regresja liniowa Stąd wzory na estymatory parametrów: Zmaksymalizowany logarytm funkcji wiarygodności
Normalna regresja liniowa Własność składnika losowego: Ponieważ i obserwacje niezależne, to Dla estymatora MNK zachodzi: Stąd rozkład estymatora MNK:
Normalna regresja liniowa Rozkład estymatora MNK: i dla j-tego parametru:
Własności regresji liniowej Z własności reszt MNK: Dlatego: Łączny rozkład estymatora parametrów i reszt Wspólny wzór: Rozkład normalny z wariancją: kowariancja 0 ponieważ czyli estymator i reszty niezależne, gdy
Własności regresji liniowej Niezależność i
Rozkład estymatora wariancji składnika losowego Ze wzoru na estymator: Można dokonać dekompozycji, gdzie i to macierz diagonalna wartości własnych (n-k jedynek i k zer): Niech i rozłóżmy
Wtedy: Rozkład estymatora wariancji składnika losowego
Statystyka t Wróćmy do j-tego parametru: Statystyka t: Rozkład statystyki t:
Przedziały ufności dla oszacowań parametrów Estymacja przedziałowa : Idea: z dużym prawdopodobieństwem Przedział ufności z prawdopodobieństwem Typowy wybór: Równoważnie:
Przedziały ufności dla oszacowań parametrów Prawdopodobieństwo pokrycia przez zbiór parametru : Ponieważ dla tej statystyki, To: Czyli prawdopodobieństwo pokrycia zależy tylko od przyjętego
Przedziały ufności dla oszacowań parametrów Dlatego dla prawdopodobieństwa pokrycia należy wybrać, czyli c to kwantyl rozkładu Przykład: c=2
Przedział ufności dla oszacowań wariancji składnika losowego Wiemy już, że: Dlatego lub inaczej Przedział ufności z prawdopodobieństwem
Test t Hipoteza zerowa: Statystyka testowa: Reguła decyzyjna: Poziom istotności = Prawdopodobieństwo odrzucenia prawdziwej hipotezy zerowej:
Test ilorazu wiarygodności Niech Testujemy przeciw Budujemy statystykę testową dla normalnego modelu liniowego Funkcja wiarygodności
Test ilorazu wiarygodności Oszacowania dla modelu ograniczonego: Stąd funkcja wirygodności: Statystyka testowa:
Test ilorazu wiarygodności Alternatywna statystyka: Rozkład statystyki przy założeniu prawdziwości
Własności funkcji wiarygodności Dla próby losowej Funkcja wiarygodności Prawdziwa wartość parametrów: Dlatego estymator parametrów:
Własności funkcji wiarygodności Gradient funkcji wiarygodności: Macierz informacji Fishera
Własności funkcji wiarygodności Twierdzenie Cramera-Rao Dla modelu liniowego
Własności funkcji wiarygodności Dlatego macierz Fishera ma postać: Ograniczenie Cramera-Rao: