6 Metody konstruowania estymatorów

Marek Beśka, Statystyka matematyczna, wykład 6 74 6 Metody konstruowania estymatorów 6.1 Metoda momentów Niech (X, B, P) będzie przestrzenią statystyczną, gdzie P = {µ θ } θ Θ, (Θ IR) jest rodziną rozkładów cechy X. Niech X = (X 1,..., X n ) będzie próbą losową prostą. Załóżmy, że h jest mierzalną funkcją taką, że E θ h(x) istnieje (jest skończona) dla każdego θ Θ. Oznaczmy η(θ) = E θ h(x) = h(x) dµ θ (x). Funkcję h dobieramy tak aby η była np. ściśle monotoniczna i ciągła. Wtedy Ponieważ całkę możemy estymować całkami postaci Zatem estymator X θ = η 1( X X X ) h(x) dµ θ (x). h(x) dµ θ (x) h(x) df n (x; X) = 1 n θ(x) = η 1( 1 n h(x i ). ) h(x i ) nazywamy estymatorem otrzymanym metodą momentów. Przykład 6.1 Niech X = (X 1,..., X n ) będzie próbą z populacji w której cecha X ma rozkład wykładniczy z parametrem θ > 0 tj. o gęstości f θ (x) = θe θx I (0, ) (x), x IR, gdzie θ Θ = (0 ). Rozważmy funkcje h 1 (x) = x i h 2 (x) = x 2. Wówczas E θ h 1 (X) = E θ (X) = θ 0 xe θx dx = θ Γ(2) θ 2 = 1 θ. Zatem E θ h 2 (X) = E θ (X 2 ) = θ 1 θ = X, 2 θ 2 = 1 n 0 x 2 e θx dx = θ Γ(3) θ 3 = 2 θ 2. Xi 2.

Marek Beśka, Statystyka matematyczna, wykład 6 75 Stąd θ 1 (X) = 1 X, θ 2n 2(X) = n. X2 i Mamy dwa estymatory parametru θ otrzymane metodą momentów. Łatwo zauważyć, że metodę momentów można uogólnić na przypadek wielowymiarowy tj. gdy θ = (θ 1,..., θ k ) Θ IR k. Dobieramy funkcje h 1,..., h k tak aby układ równań ( ) η(θ) = (η 1 (θ),..., η k (θ)) = h 1 (x) dµ θ (x),..., h k (x) dµ θ (x), θ = (θ 1,..., θ k ) X posiadał rozwiązanie (występujące całki są skończone) i η 1 była np. ciągła. Wtedy θ(x) = η 1( 1 n X h 1 (X i ),..., 1 n ) h k (X i ) jest estymatorem parametru θ otrzymanym metodą momentów. Przykład 6.2 (i) Niech X = (X 1,..., X n ) będzie próbą z populacji w której cecha X ma rozkład normalny N(m, σ 2 ) tj. θ = (m, σ 2 ) Θ = IR (0, ). Wybierając funkcje h 1 (x) = x i h 2 (x) = x 2 dostajemy Zatem Stąd m = E θ h 1 (X) = E θ (X), m 2 + σ 2 = E θ h 2 (X) = E θ (X 2 ). m = X, m(x) = X, m 2 + σ 2 = 1 n σ 2 (X) = 1 n Xi 2. Xi 2 ( X ) 2 = S 2. Otrzymany metodą momentów estymator parametru θ ma postać θ(x) = ( m(x), σ 2 (X) ) = (X, S 2 ). (ii) Niech X = (X 1,..., X n ) będzie próbą z populacji w której cecha X ma rozkład gamma G(a, p), a, p > 0 tj. o gęstości f θ (x) = ap Γ(p) xp 1 e ax I (0, ) (x), x IR, gdzie θ = (a, p) Θ = (0, ) (0, ). Wybierając funkcje h 1 (x) = x i h 2 (x) = x 2 dostajemy p a = E θh 1 (X) = E θ (X), p 2 + p a 2 = E θ h 2 (X) = E θ (X 2 ).

Marek Beśka, Statystyka matematyczna, wykład 6 76 Zatem (6.1) p a = X, p 2 + p a 2 = 1 n Xi 2. Stąd Stosując teraz (6.1) dostajemy p a 2 = p2 + p ( p ) 2 1 a 2 = a n Xi 2 ( X ) 2 = S 2. â(x) = X S 2 oraz p(x) = â(x) 2 S 2 = ( X S 2 ) 2S 2 = X2 S 2. Zatem otrzymany metodą momentów estymator parametru θ mam postać θ(x) = ( â(x), p(x) ) = ( X S 2, X2 S 2 ). Uwaga. Metoda momentów jest szczególnym przypadkiem tzw. metody podstawiania częstości. Dokładniej, jeśli F θ będzie dystrybuantą cechy X, to szukamy takiego funkcjonału ϕ, żeby (6.2) ϕ(f θ ) = θ, θ Θ. Wtedy estymatorem parametru θ jest statystyka θ(x) = ϕ ( F n ( ; X) ), gdzie F n ( ; X) jest dystrybuantą empiryczną. Gdy równanie (6.2) mamy w postaci uwikłanej tj. ψ(θ, F θ ) = 0, θ Θ, to estymatorem parametru θ jest jedno z rozwiązań równania ψ ( θ(x), Fn ( ; X) ) = 0. Przykład 6.3 Niech X = (X 1,..., X n ) będzie próbą z populacji w której cecha X ma rozkład wykładniczy z parametrem θ > 0 tj. o gęstości f θ (x) = θe θx I (0, ) (x), x IR, gdzie θ Θ = (0 ). Metodą podstawiania częstości wyznaczymy estymator parametru θ. Dystrybuanta cechy X ma postać F θ (x) = ( 1 e θx) I (0, ) (x), x IR.

Marek Beśka, Statystyka matematyczna, wykład 6 77 Niech ϕ będzie funkcjonałem określonym wzorem ϕ(g) = ln 1 g(1), gdzie g jest funkcją rzeczywistą na IR taką, że g(1) 1. Wtedy ϕ(f θ ) = ln 1 1 + e θ = θ, θ Θ. Zatem estymatorem parametru θ wyznaczonym metodą podstawiania częstości jest statystyka θ(x) = ln 1 F n (1, X) = ln 1 I n (1, ) (X i ). 6.2 Metoda największej wiarogodności Niech (X, B, P) będzie przestrzenią statystyczną generowaną przez cechę X. Załóżmy ponadto, że rodzina rozkładów P = {µ θ } θ Θ jest dominowana przez pewną miarę σ - skończonę λ i oznaczmy µ θ (A) = f θ (x) dλ(x), A B, θ Θ. A Niech X = (X 1,..., X n ) będzie próbą losową prostą z tej populacji. Definicja 6.4 Dla każdej próbki x = (x 1,..., x n ) funkcję L(θ, x) zmiennej θ Θ postaci nazywamy funkcją wiarogodności. n L(θ, x) = f θ (x i ) Definicja 6.5 Estymatorem parametru θ wyznaczonym metodą największej wiarogodności (MNW) nazywamy statystykę θ(x) dla której zachodzi równość L( θ(x), x) = sup L(θ, x), θ Θ λ n p.w. MNW ma następujące uzasadnienie intuicyjne. Załóżmy, że zaobserwowano próbkę x = (x 1,..., x n ) i trzeba ocenić wartość parametru θ. MNW proponuje aby zastosować taki estymator θ(x) by gęstość z próby w punkcie x miała największą wartość przy wartości parametru θ = θ(x). Niech θ = (θ 1,..., θ k ) Θ IR k, (k < n). Załóżmy, że Θ jest zbiorem otwartym oraz istnieją dla i = 1,..., k pochodne cząstkowe L(θ, x) θ i, λ n p.w.

Marek Beśka, Statystyka matematyczna, wykład 6 78 Wówczas warunkiem koniecznym na to aby L(θ, x) osiągneła maksimum jest L(θ, x) θ i = 0, i = 1,..., k. Ponieważ funkcja ln jest funkcją rosnącą i iloczyny zamienia na sumy wygodnie jest powyższy warunek zastąpić warunkiem ln L(θ, x) θ i = 0, i = 1,..., k. Przykład 6.6 Niech X = (X 1,..., X n ) będzie próbą z populacji w której badana cecha X ma rozkład Poissona z parametrem θ Θ = (0, ). Dla danej próbki x = (x 1,..., x n ) funkcja wiarogodności ma postać gdzie x = 1 n n x i. Stąd L(θ, x) = n ( θ x i x i! e θ) = ln L(θ, x) = nx ln θ nθ θ nx x 1! x n! e nθ, ln(x i!). Zauważmy, że dla x = 0 mamy ln L(θ, 0) = nθ. Zatem w tym przypadku maksimum nie jest osiągalne. Dla x 0 policzmy pochodną względem θ funkcji ln L(θ, x) i przyrównajmy ją do zera. Mamy Stąd bo d ln L(θ, x) dθ = nx θ n = 0. θ = θ(x) = x, d 2 ln L( θ, x) dθ 2 = n x < 0. Przykład 6.7 Niech X = (X 1,..., X n ) będzie próbą z populacji w której badana cecha X ma rozkład normalny N(m, σ 2 ). Oznaczmy θ = (θ 1, θ 2 ), gdzie θ 1 = m i θ 2 = σ 2. Wyznaczmy estymator MNW parametru θ. Dla próbki x = (x 1,..., x n ) mamy Stąd L(θ, x) = n 1 exp (x i θ 1 ) 2 = 2πθ2 2θ 2 ln L(θ, x) = 1 2θ 2 1 ( 2πθ 2 ) n exp 1 2θ 2 (x i θ 1 ) 2. (x i θ 1 ) 2 n 2 ln θ 2 n 2 ln(2π).

Marek Beśka, Statystyka matematyczna, wykład 6 79 Obliczając pochdne cząstkowe i przyrównując otrzymane wyrażenia do zera dostajemy układ równań ln L(θ, x) = 1 (x i θ 1 ) = 0 θ 1 θ 2 ln L(θ, x) = 1 θ 2 2θ2 2 (x i θ 1 ) 2 n = 0. 2θ 2 Rozwiązując go otrzymujemy θ 1 = 1 x i = x, n Ponieważ 2 ln L(θ, x) θ 2 2 = 1 θ 3 2 θ2 = 1 n 2 ln L(θ, x) = n zatem θ 2 θ 2 1 (x i θ 1 ) 2 + n 2θ2 2 2 ln L(θ, x) θ 2 θ 1 = 1 θ 2 2 zatem (x i x) 2 = s 2. (x i θ 1 ) zatem 2 ln L( θ, x) θ 2 1 2 ln L( θ, x) θ 2 2 = n s 2, = n s 4 + n 2s 4 = n 2s 4, 2 ln L( θ, x) θ 2 θ 1 = 0, więc różniczka drugiego rzędu w punkcie θ jest dodatnio określona. Zatem statystyka θ(x) = (x, s 2 ) jest estymatorem parametru θ = (m, σ 2 ) wyznaczonym MNW. Przykład 6.8 Niech X = (X 1,..., X n ) będzie próbą z populacji w której badana cecha X ma rozkład jednostajny na przedziale θ, θ + 1, gdzie θ Θ = IR. Zatem rozkład X ma gęstość f θ (x) = I θ, θ+1 (x), x IR. Gęstość z próby możemy zapisać w postaci { 1, θ x(1) x f θ (x) = (n) θ + 1, 0, dla pozostałych x. Stąd funkcja wiarogodności jest równa { 1, x(n) 1 θ x L(θ, x) = (1), 0, dla pozostałych θ. Widzimy, że L(θ, x) może osiągać maksimum w nieskończenie wielu punktach θ. Tak więc estymatorami parametru θ wyznaczonymi MNW są np. x (1) + x (n) 1 θ(x) = x (1), θ(x) = x(n) 1, θ(x) =. 2

Marek Beśka, Statystyka matematyczna, wykład 6 80 Twierdzenie 6.9 Niech X n = (X 1,..., X n ) próbą z populacji w której badana cecha X ma rozkład µ θ, θ Θ o gęstości f θ względem pewnej σ - skończonej miary λ. Załóżmy, że zbiór Θ IR jest otwarty oraz funkcja ln f θ (x) jest różniczkowalna względem θ dla λ p.w. x X. Wtedy istnieje ciąg { θ(x n )} n 1 rozwiązań równania ln L(θ, X n ) θ = 0, który jest zbieżny gdy n z prawdopodobieństwem 1 do parametru θ. 6.3 Metoda najmniejszych kwadratów Niech X = X 1... X n T będzie jednokolumnową macierzą losową (wektor losowy), który możemy zapisać w postaci (6.3) X = G(θ) + ε, gdzie θ = (θ 1,... θ k ) Θ IR k jest wektorem parametrów, G : IR k IR n, (n > k) jest funkcją zależną od parametru θ tj. Natomiast G(θ) = G 1 (θ)... G n (θ) T. ε = ε 1... ε n T jest wektorem losowym spełniającym warunki Eε = 0, cov(ε) = cov(ε i, ε j ) 1 i,j n = σ2 I, gdzie σ 2 jest nieznanym parametrem, I jest macierzą jednostkową stopnia n. Z równania (6.3) mamy X i = G i (θ) + ε i dla i = 1,..., n. Stąd EX i = G i (θ), Var(X i ) = σ 2, cov(x i, X j ) = 0, dla i j. Wartość X i interpretuje się jako wartość pomiaru, którego składową deterministyczną jest G i (θ), a zmienna losowa ε i stanowi losowy błąd pomiaru. Prostym przykładem rozważanego modelu obserwacji jest np. badanie zależności między wyskością plonu pewnej rośliny, a dawką nawożenia. W pewnych przypadkach zależność tę można opisać za pomocą równania x = aθ 1 + θ 2,

Marek Beśka, Statystyka matematyczna, wykład 6 81 gdzie θ 1, θ 2 sa nieznanymi parametrami, zmienna a jest dawką nawożenia. Kolejne pomiary wielkości x możemy traktować jako wartości zmiennej losowej Jest to tzw. model regresji liniowej. X i = a i θ 1 + θ 2 + ε i, i = 1, 2,..., n. Głównym naszym zadaniem jest wyznaczenie estymatorów parametru θ. Oprócz tego również ważny jest problem estymacji wariancji σ 2. Estymator parametru θ wyznaczamy metodą najmniejszych kwadratów, której istotę podaje następująca definicja. Definicja 6.10 Estymatorem parametru θ = (θ 1,..., θ k ) wyznaczonym metodą najmniejszych kwadratów (EMNK) nazywamy statystykę θ(x) taką, że dla każdej otrzymanej próbki x = (x 1,..., x n ) funkcja (6.4) w(θ) = x G(θ) 2 = ( xi G i (θ) ) 2 osiaga minimum w punkcie θ(x) = ( θ1 (x),..., θ k (x) ). EMNK funkcji g(θ) nazywamy statystykę g ( θ(x) ), gdzie θ(x) jest EMNK parametru θ. Jeśli Θ IR k jest otwartym podzbiorem i G i, i = 1,..., n są różniczkowalne na θ to EMNK jest zawsze określony. Wartości EMNK parametru θ spełniają tzw. układ równań normalnych tj. Dw(θ) = 0 czyli 2 x G(θ), DG(θ) = 0. Można go zapisać w postaci macierzowej (6.5) lub równoważnie ( x G(θ) ) T DG(θ) = 0 (x i G i (θ)) θ j G i (θ) = 0, j = 1, 2,..., k. Zauważmy, że nie ma potrzyby znajmości rozkładu wektora X. W dalszym ciągu zajmiemy się tzw. liniowym modelem Gaussa-Markowa. W tym modelu funkcja parametryczna G(θ) ma postać G(θ) = Aθ, gdzie A jest macierzą wymiaru n k (n k). Zatem równanie (6.3) przyjmuje postać (6.6) X = Aθ + ε.

Marek Beśka, Statystyka matematyczna, wykład 6 82 Wtedy oczywiście EX = Aθ oraz cov(x) = σ 2 I. Korzystając z (6.5) widzimy, że układ równań normalnych w modelu liniowym Gaussa- Markowa ma postać (X Aθ) T A = 0 lub równoważnie Stąd A T (X Aθ) = 0. (6.7) A T X = A T Aθ. Zanim podamy twierdzenie o EMNK w modelu liniowym Gaussa-Markowa przypomnijmy lemat z algebry liniowej Lemat 6.11 Niech A będzie macierzą operatora liniowego A : IR k IR n. Wtedy (i) ker(a T ) Im(A). (ii) ker(a T ) Im(A) = IR n. (iii) Im(A T ) = Im(A T A). Dowód. (i) Jeśli x ker(a T ), to A T x = 0 tzn. A T x, y = 0 dla każdego y IR k. Stąd x, Ay = 0 dla każdego y IR k. Zatem x Im(A). (ii) Ponieważ Im(A) Im(A) = IR n, więc wystarczy wykazać, że Im(A) ker(a T ). Niech więc y Im(A) tzn. y, Ax = 0 dla każdego x IR k. Stąd A T y, x = 0 dla każdego x IR k tj. A T y = 0. Zatem y ker(a T ) co kończy dowód (ii). (iii) Ponieważ Im(A T A) Im(A T ), więc wystarczy wykazać zawieranie w drugą stronę. Niech x Im(A T ) tj. x = A T u dla pewnego u IR n. Korzystając z udowodnionej (ii) mamy u = u 1 +u 2, gdzie u 1 ker(a T ), u 2 Im(A) tzn. istnieje v IR k takie, że u 2 = Av. Zatem x = A T u = A T (u 1 + u 2 ) = A T (u 1 ) + A T (u 2 ) = A T (u 2 ) = A T A(v). Stąd x Im(A T A). Dowód lematu został zakończony. Zachodzi Twierdzenie 6.12 W modelu liniowym Gaussa-Markowa układ równań normalnych (6.7) ma zawsze rozwiązanie. Niech x IR n. Jeśli θ = θ(x) jest dowolnym rozwiązaniem układu równań normalnych (6.7), to (6.8) x A θ 2 x Aθ 2 dla każdego θ IR k.

Marek Beśka, Statystyka matematyczna, wykład 6 83 Jeśli rz(a) = k to EMNK parametru θ jest wyznaczony jednoznacznie oraz θ(x) = ( A T A ) 1 A T X. Dowód. Istnienie rozwiązań układu (6.7) wynika z lematu 6.11(iii). Niech x IR n i niech θ = θ(x) będzie rozwiązaniem układu (6.7). Wtedy dla dowolnego θ IR k mamy x Aθ 2 = x A θ + A( θ θ) 2 = x A θ 2 + A( θ θ) 2 + 2 x A θ, A( θ θ) = x A θ 2 + A( θ θ) 2 + 2 A T x A T A θ, θ θ = x A θ 2 + A( θ θ) 2 x A θ 2. Jeśli teraz rz(a) = k, to macierz A T A na mocy lematu 6.11(iii)jest nieosobliwa. Zatem θ = θ(x) = ( A T A ) 1 A T X. Z (6.8) wynika, że jeśli θ i ϑ są rozwiązaniami układu równań normalnych (6.7) dla x IR n, to x A θ 2 = x A ϑ 2. Można wykazać więcej, mianowicie A θ = A ϑ. Rzeczywiście A θ A ϑ 2 = A θ A ϑ, A θ A ϑ = θ ϑ, A T A θ A T A ϑ = θ ϑ, A T x A T x = 0. Przykład 6.13 Niech X = (X 1,..., X n ) będzie próbą z populacji w której badana cecha X ma rozkład o skończonej wartości oczekiwanej EX = θ oraz o skończonej wariancji Var(X) = σ 2 <. Zmienne losowe X i można przedstawić w postaci X i = θ + ε i, i = 1, 2,..., n, gdzie {ε i } 1 i n są niezależne oraz Eε i = 0, Var(ε i ) = σ 2 dla i = 1, 2,..., n. Widzimy, że mamy do czynienia z modelem liniowym Gaussa-Markowa, gdzie macierz A = 1 = 1... 1 T jest wymiaru n 1. Ponieważ rz(a) = 1, więc z twierdzenia 6.12 mamy θ = θ(x) = ( A T A ) 1 A T X = ( 1 T 1 ) 1 1 T X = 1 n X i = X. Przykład 6.14 (Model regresji liniowej) Niech X = X 1... X n T (n > 2) będzie wektorem losowym, którego współrzędne X i mają postać X i = a i θ 1 + θ 2 + ε i, i = 1, 2,... n.

Marek Beśka, Statystyka matematyczna, wykład 6 84 gdzie θ = (θ 1, θ 2 ) jest wektorem nieznanych parametrów. Zmienne losowe ε i są nieskorelowane, Eε i = 0, Var(ε i ) = σ 2 > 0, i = 1,..., n. Wektor a = (a 1, a 2,..., a n ) jest dany. Jak łatwo zauważyć jest to model liniowy Gaussa-Markowa X = Aθ + ε, gdzie ε = ε 1... ε n T oraz A = a 1 1 a 2 1...... a n 1 Załóżmy, że a i a j dla pewnych i j. Wtedy rz(a) = 2 i istnieje ( A T A ) 1. Niech x = (x 1,..., x n ) IR n. Wprowadźmy oznaczenia a = 1 n a i, a 2 = 1 n a 2 i, ax = 1 n a i x i Ponieważ więc Ponadto Zatem s 2 a = a 2 (a) 2, s 2 x = x 2 (x) 2, s a = s 2 a, s x = s 2 x, A T A = A T x = a1... a n 1... 1 ρ = ρ a,x = ax a x s a s x. a 1 1 a 2 1.... a n 1 n a = 2 ( A T A ) 1 1 1 a = n s 2 a a a 2 a1... a n 1... 1 x 1 x 2... x n θ = θ(x) = ( A T A ) 1 A T x = 1 1 a n s 2 a a a 2. n a = n ax n x n ax n x n a n. =, ax a x s 2 a a 2 x a ax s 2 a

Marek Beśka, Statystyka matematyczna, wykład 6 85 Ponieważ więc a 2 x a ax s 2 a = a2 x x(a) 2 + x(a) 2 a ax s 2 a θ = θ1 θ 2 = = x a ax a x s 2 a ρ s x s a x a ρ s x s a. = x a ρ s x s a, Zauważmy, że w modelu regresji liniowej mamy następującą zależność między współrzędnymi estymatora θ, mianowicie θ 2 = x a θ 1. Zastanówmy się teraz nad interpretacją geometryczną EMNK. Macierz A z równania (6.6) możemy uważać za macierz opertora liniowego A : IR k IR n (n k). Wtedy obraz Im(A) = A(IR k ) IR n jest generowany przez wektory, które są kolumnami w macierzy A. Niech x IR n i oznaczmy przez x rzut ortogonalny x na Im(A). Ponieważ x Im(A), więc istnieje θ IR k takie, że (6.9) x = Aθ. Z własności rzutu ortogonalnego x x Im(A). Zatem Stąd i z (6.9) mamy i ostatecznie A T (x x) = 0. A T (x Aθ) = 0 (6.10) A T x = A T Aθ. Powyższe równanie macierzowe jest analogiczne do do układu równań normalnych tj. do (6.7). Stąd wynika następująca interpretacja geometryczna EMNK, mianowicie dla danej próbki x = (x 1,..., x n ) IR n wartość θ = θ(x) ma tę własność, że A( θ) jest rzutem ortogonalnym próbki x na podprzestrzeń Im(A). Zauważmy jescze, że gdy rz(a) = k, to A T A jest odwracalne. Zatem z (6.10) mamy θ = ( A T A ) 1 A T x, a stąd i z (6.9) dostajemy następujący wzór na rzut ortogonalny x na Im(A) (6.11) x = Aθ = A ( A T A ) 1 A T x. Szczególne znaczenie w teorii modeli liniowych ma estymacja funkcji parametrycznej postaci a, θ, gdzie a IR k jest znanym wektorem.

Marek Beśka, Statystyka matematyczna, wykład 6 86 Definicja 6.15 EMNK funkcji parametrycznej a, θ nazywamy statystykę a, θ(x), gdzie θ(x) jest EMNK parametru θ. Kolejne twierdzenie podaje warunki przy których EMNK funkcji parametrycznej a, θ jest liniowym (względem x) i nieobciążonym estymatorem tej funkcji parametrycznej. Twierdzenie 6.16 Dany jest model liniowy Gaussa-Markowa (równanie (6.6)) oraz niech θ(x) będzie EMNK parametru θ. Wtedy następujące warunki są równoważne: (i) Statystyka a, θ(x) jest liniową funkcją względem X i nieobciążonym estymatorem funkcji parametrycznej a, θ, gdzie a IR k jest znane. (ii) a Im ( A T ) = Im ( A T A ). (iii) Statystyka a, θ(x) przyjmuje identyczne wartości dla każdego rozwiązania θ układu równań normalnych (6.7). Dowód. (i) (ii) Załóżmy, że a, θ(x) = b, X dla pewnego b IR n. Ponieważ a, θ(x) jest nieobciążonym estymatorem funkcji parametrycznej a, θ, więc E b, X = E a, θ(x) = a, θ. Stąd a, θ = E b, X = b, EX = b, Aθ = A T b, θ dla każdego θ IR k. Zatem a = A T b czyli a Im ( A T ). (ii) (iii) Załóżmy, że a Im ( A T ) = Im ( A T A ). Stąd a = A T Ac dla pewnego c IR k. Zatem dla dowolnego rozwiązania θ = θ(x) układu równań normalnych (6.7) mamy a, θ(x) = A T Ac, θ(x) = c, A T A θ(x) = c, A T X. (iii) (i) Ponieważ więc a IR k = ker(a) Im(A T ), (6.12) a = a k + a i, gdzie a k ker(a), a i Im(A T ) oraz a k, a i = 0. Zauważmy, że jeśli θ = θ(x) jest rozwiązaniem układu równań normalnych (6.7) to θ + a k też jest, bo A T A ( θ + ak ) = A T A θ + A T Aa k = A T X. Zatem z założenia Stąd a, θ = a, θ + a k. a, a k = 0.

Marek Beśka, Statystyka matematyczna, wykład 6 87 Zatem korzystając z (6.12) mamy a k 2 = a, a k = 0 stąd a k = 0, zatem a = a i Im ( A T ) = Im ( A T A ). Czyli a = A T Ac dla pewnego c IR k. Dalej mamy (6.13) a, θ = A T Ac, θ = c, A T X = Ac, X. Więc a, θ(x) jest liniowym (względem X) estymatorem. Ponadto z (6.13) dostajemy E a, θ(x) = E Ac, X = Ac, EX = Ac, Aθ = A T Ac, θ = a, θ. Definicja 6.17 Funkcję parametryczną a, θ dla której istnieje nieobciążony liniowy estymator nazywamy funkcją estymowalną. Wniosek 6.18 Jeśli a, θ, gdzie a IR k jest funkcją estymowalną i θ = θ(x) jest EMNK parametru θ, to a, θ(x) jest nieobciążonym liniowym estymatorem a, θ. Dowód. Z założenia istnieje b IR n takie, że b, X jest liniowym i nieobciążonym estymatorem funkcji parametrycznej a, θ. Mamy więc Z drugiej strony E b, X = a, θ, θ IR k. E b, X = b, EX = b, Aθ = A T b, θ, θ IR k. Zatem a = A T b tzn. a Im(A T ) i z twierdzenia 6.16 dostajemy tezę. Twierdzenie 6.19 Wszystkie funkcje parametryczne a, θ, a IR k są estymowalne wtedy i tylko wtedy, gdy rz(a) = k. Dowód. Załóżmy, że dla każdego a IR k funkcja parametryczna a, θ jest estymowalna. Wtedy z dowodu wniosku 6.18 wynika, że a Im(A T ). Z dowolności a IR k mamy Im(A T ) = IR k. Stąd rz(a) = rz(a T ) = k. W drugą stronę. Jeśli rz(a) = k, to Im(A T ) = IR k, więc dowolny element a IR k należy również do Im(A T ) i z twierdzenia 6.16 dostajemy tezę. Twierdzenie 6.20 (Gaussa-Markowa) Dany jest model liniowy Gaussa-Markowa (równanie (6.6)) oraz niech θ(x) będzie EMNK parametru θ. Jeśli funkcja parametryczna a, θ jest estymowalna, to jej EMNK a, θ(x) ma jednostajnie (względem θ) minimalną wariancję w klasie wszystkich liniowych nieobciążonych estymatorów a, θ.

Marek Beśka, Statystyka matematyczna, wykład 6 88 Dowód. W dowodzie skorzystamy z następującego faktu: Jeśli X = (X 1,..., X n ) jest wektorem losowym, to dla a, b IR n mamy (6.14) cov ( a, X, b, X ) = a, cov(x)b. Równość (6.14) wynika z następujących przekształceń cov ( a, X, b, X ) = cov ( a T X, X T b ) = E ( a T XX T b ) E ( a T X ) E ( X T b ) = a T E ( XX T ) EXEX T b = a T cov(x)b = a, cov(x)b. Niech b, X, b IR n będzie liniowym nieobciążonym estymatorem funkcji parametrycznej a, θ (ponieważ funkcja ta jest estymowalna, więc taki estymator istnieje). Z wniosku 6.18 oraz twierdzenia 6.16 wynika, że istnieje c IR k takie, że a = A T Ac, a z dowodu wniosku 6.18 mamy równość a = A T b. Obliczmy wariancję b, X Ale więc Stąd Var θ b, X = Var θ b, X a, θ(x) + a, θ(x) = Var θ b, X a, θ(x) + Varθ a, θ(x) + 2covθ b, X a, θ(x), a, θ(x). cov θ b, X a, θ(x), a, θ(x) = cov θ b, X A T Ac, θ(x), A T Ac, θ(x) = cov θ b, X c, A T X, c, A T X 6.14 = cov θ b Ac, X, Ac, X = b Ac, cov θ (X)Ac = σ 2 b Ac, Ac = σ 2 A T b A T Ac, c = a a, c = 0, Var θ b, X = Var θ b, X a, θ(x) + Varθ a, θ(x). Var θ b, X Var θ a, θ(x), θ IR k. Uwaga. Niech będzie dany model liniowy Gaussa-Markowa (równanie (6.6)) oraz niech θ(x) będzie EMNK parametru θ. Z twierdzenia Gaussa-Markowa wynik, że jeśli S(X) jest liniowym (względem X) i nieobciążonym estymatorem parametru θ, to macierz (6.15) cov θ (S(X)) cov θ ( θ(x)), θ IR k jest dodatnio określona. Rzeczywiście, ponieważ S(X) jest liniowym i nieobciążonym estymatorem parametru θ, więc intnieje macierz C wymiaru k n taka, że S(X) = CX oraz θ = ES(X) = ECX = CEX. Niech a IR k będzie dowolne. Wtedy C T a, X jest liniowym i nieobciążonym estymatorem funkcji parametrycznej a, θ, bo E C T a, X = C T a, EX = a, CEX = a, θ.

Marek Beśka, Statystyka matematyczna, wykład 6 89 Z twierdzenia Gaussa-Markowa mamy Czyli Var θ C T a, X Var θ a, θ(x), θ IR k. Var θ a, CX Var θ a, θ(x) 0, θ IR k. Korzystając z (6.14) (dla a = b) dostajemy Stąd dla dowolnego a IR k mamy a, cov θ (S(X))a a, cov( θ(x))a 0, θ IR k. a, cov θ (S(X)) cov( θ(x)) a 0, θ IR k. Zatem macierz (6.15) jest dodatnio określona. Oprócz estymatorów związanych z parametrm θ potrzebna jest znajomość nieobciążonego estymatora wariancji błędu σ 2. Udowodnimy Twierdzenie 6.21 Niech będzie dany model liniowy Gaussa-Markowa (równanie (6.6)) oraz niech θ = θ(x) będzie EMNK parametru θ. Załóżmy, że rz(a) = r k < n. Wtedy statystyka Ŝ 2 = 1 2 X A θ n r jest nieobciążonym estymatorem wariancji błędu σ 2. Dowód. Z równania (6.6) mamy ε = (ε 1,..., ε n ) = X Aθ = X A θ + A θ Aθ = ( X A θ ) A ( θ θ ). Jak łatwo sprawdzić X A θ ker(a T ) oraz A ( θ θ ) Im(A). Zatem z lematu 6.11 wynika, że wektory X A θ i A ( θ θ ) są ortogonalne. Istnieje baza ortonormalna {fi } 1 i n w IR n taka, że f i Im(A), i = 1, 2,..., r oraz f i ker(a T ), i = r + 1, r + 2,..., n. Oznaczając przez η = (η 1,..., η n ) wektor współrzędnych wektora błędu w nowej bazie możemy napisać η = Uε, gdzie U jest przekształceniem otrogonalnym. Zatem Stąd A ( θ θ ) = η1... η r 0... 0 T, X A θ = 0... 0 η r+1... η n T. Ponadto mamy Eη = UEε = 0 oraz X A θ 2 = η 2 r+1 + + η 2 n. cov(η) = cov(uε) = Ucov(ε)U T = Uσ 2 IU T = σ 2 I.

Marek Beśka, Statystyka matematyczna, wykład 6 90 Stąd Eη 2 i = σ2 dla i = 1,..., n. Zatem czyli E X A θ 2 = (n r)σ 2, Ŝ 2 = 1 2 X A θ n r jest nieobciążonym estymatorem wariancji błędu σ 2. Zobaczmy jak wygląda estymator wariancji błędu w modelu z przykładu 6.13 Przykład 6.22 Przypomnijmy, że X = (X 1,..., X n ) jest próbą z populacji w której badana cecha X ma rozkład o skończonej wartości oczekiwanej EX = θ oraz o skończonej wariancji Var(X) = σ 2 <. Rozpatrywany model Gaussa-Markowa ma postać X i = θ + ε i, i = 1, 2,..., n, gdzie {ε i } 1 i n są niezależne oraz Eε i = 0, Var(ε i ) = σ 2 dla i = 1, 2,..., n. Ponadto A = 1 = 1... 1 T jest wymiaru n 1. Jak już wiemy EMNK parametru θ ma postać θ = θ(x) = X. Z twierdzenia 6.21 mamy Ŝ 2 = 1 n 1 X A θ 2 = 1 n 1 ( Xi X ) 2 = S 2. Dla regresji liniowej (przykład 6.14) estymator wariancji wyznaczymy w kolejnym przykładzie Przykład 6.23 Przypomnijmy, że model regresji liniowej ma postać: Niech X = X 1... X n T (n > 2) będzie wektorem losowym, którego współrzędne X i możemy zapisać jako X i = a i θ 1 + θ 2 + ε i, i = 1, 2,... n. gdzie θ = (θ 1, θ 2 ) jest wektorem nieznanych parametrów. Zmienne losowe ε i są nieskorelowane, Eε i = 0, Var(ε i ) = σ 2 > 0, i = 1,..., n. Wektor a = (a 1, a 2,..., a n ) jest dany. Jak wiadomo EMNK parametru θ ma postać θ = θ1 θ 2 = ρ s x s a x a ρ s x s a.

Marek Beśka, Statystyka matematyczna, wykład 6 91 Ponadto w modelu regresji liniowej mamy następującą zależność między współrzędnymi estymatora θ, mianowicie θ 2 = x a θ 1. Niech x = (x 1,..., x n ) będzie próbką. Wtedy z twierdzenia 6.21 mamy Ŝ 2 = 1 n 2 x A θ 2 = x A θ, ( T ( x A θ x A θ) x A θ) = = n 2 n 2 x T x x T A θ θ T A T x + θ T A T A θ n 2 = xt x x T A θ. n 2 Ponieważ x T A = n ax nx oraz θ = θ 1 θ2 T = θ 1 x a θ 1 T, więc Ŝ 2 = nx2 n ax θ 1 n (x) 2 + n a x θ 1 n 2 n ( s 2 x cov2 (a, x) ) n 2 s 2 a = n ( n 2 s2 x = n ( s 2 x θ 1 cov(a, x) ) n 2 1 cov2 (a, x) s 2 as 2 x ) = = n n 2 s2 x (1 ρ 2 ). Przykład 6.24 (EMNK w gaussowskim modelu liniowym) Zakładamy, że naszym modelu liniowym Gaussa-Markowa (równanie (6.6)) wektor błędów spełnia warunek ε = (ε 1,..., ε n ) N(0, σ 2 I) oraz rz(a) = k. Wtedy X N(Aθ, σ 2 I). Zatem gęstość z próby ma postać 1 f θ (x) = ( ) n exp 1 σ 2π 2σ 2 x Aθ, x Aθ. Ponieważ x Aθ, x Aθ = ( x Aθ ) T ( x Aθ ) = x T x 2θ T A T x + θ T A T A θ, więc f θ (x) = 1 ( ) n exp 1 ( x T σ 2π 2σ 2 x 2θ T A T x + θ T A T A θ ). Oznaczając (T 1 (x),..., T k (x)) = A T x, T k+1 (x) = x T x oraz T (x) = (T 1 (x),..., T k+1 (x)) mamy f θ (x) = Wprowadzając nowe parametry 1 k θ ( i ) n exp σ 2π σ 2 T i(x) 1 2σ 2 T k+1(x) exp θt A T A θ 2σ 2. ϑ i = θ i σ 2, i = 1, 2,..., k, ϑ k+1 = 1 2σ 2

Marek Beśka, Statystyka matematyczna, wykład 6 92 otrzymujemy f θ (x) = C(ϑ) exp k+1 ϑ i T i (x), gdzie ϑ = (ϑ 1,..., ϑ k+1 ). Stąd i z kryterium faktoryzacji wynika, że statystyka T (x) = (T 1 (x),..., T k+1 (x)) jest statystyką dostateczną. Natomiast z twierdzenia Lehmanna wynika, że jest również statystyką zupełną o ile nie ograniczymy zakresu parametrów θ i σ 2, chodzi o to aby ich dziedzina zawierała pewien przedział (k +1) - wymiarowy. Ponieważ z założenia rz(a) = k więc układ (6.6) ma dokładnie jedno rozwiązanie θ i jest ono równe θ = θ(x) = ( A T A ) 1 A T x = ( A T A ) 1 πk ( T (x) ), gdzie π k : IR k+1 IR k jest rzutem na pierwsze k - współrzędnych. Stąd widać, że θ jest funkcją od statystyki dostatecznej i zupełnej, a ponieważ jest również nieobciążonym estymatorem parametru θ więc θ ENMW θ. Zauważmy, że cov( θ ) = cov (( A T A ) 1 A T X ) = ( A T A ) 1 A T cov(x)a ( A T A ) 1 = ( A T A ) 1 A T σ 2 IA ( A T A ) 1 = σ 2 ( A T A ) 1. Stąd wynika, że Var( θ i ) = σ 2 c ii, i = 1, 2,..., k, gdzie c ii jest elementem macierz ( A T A ) 1 stojącym w i - tym wierszu i i - tej kolumnie. Również w naszym modelu estymator wariancji błędu Ŝ2 jest estymatorem nieobciążony o minimalnej wariancji, bo (n k)ŝ 2 = x A θ 2 = x A θ, x A θ = ( x A θ ) T ( x A θ) = x T x x T A θ θ T A T x + θ T A T A θ = x T x x T A θ = x T x θ T A T x. Stąd widać, że Ŝ 2 jest funkcją od zupełnej i dostatecznej statystyki T (x). Przykład 6.25 Rozważmy model liniowy Gaussa-Markowa X = Aθ + ε, gdzie X = X 1... X n T, θ = θ 1... θ k+1 T, A = a 11 a 12... a 1k 1 a 21 a 22... a 2k 1..... a n1 a n2... a nk 1, rza = k + 1 < n

Marek Beśka, Statystyka matematyczna, wykład 6 93 oraz EX = Aθ i cov(x) = σ 2 I. Wprowadźmy oznaczenia 1 = 1 1... 1 T jest macierzą wymiaru n 1 składającą się z jedynek, X = 1 n n X i oraz A = 1 n a i1 1 n a i12... 1 n a ik 1. Niech θ = θ(x) będzie ENMK parametru θ. Ponieważ rz(a) = k + 1, więc θ jest wyznaczony jednoznacznie i jest równy (6.16) θ = (A T A) 1 A T X. Z definicji macierzy A wynika, że 1 Im(A), więc ze wzoru (6.11) mamy 1 = A(A T A) 1 A T 1. Transponując powyższą równość i mnożąc z prawej strony przez X dostajemy 1 T X = 1 T A(A T A) 1 A T X. Korzystając z (6.16) mamy Stąd (dzieląc staronami przez n) 1 T X = 1 T A θ. (6.17) X = A θ. Z drugiej strony z interpretacji geometrycznej EMNK wiadomo, że (6.18) X A θ A θ. Ponadto (6.19) X A θ 1A θ, bo 1A θ, X A θ = (1A θ) T (X A θ) = (A θ) T (1 T X 1 T A θ) = Teraz z (6.18) i (6.19) dostajemy n (A θ) T (6.17) (X A θ) = 0. X A θ A θ 1A θ.

Marek Beśka, Statystyka matematyczna, wykład 6 94 Stąd i z (6.17) mamy X 1X 2 = X A θ 2 + A θ 1A θ 2. }{{}}{{}}{{} rozrzut błąd rozrzut w modelu W tym modelu określa się estymator współczynnika korelacji wielorakiej jako R = A θ 1A θ X 1X = X A θ 2 1 X 1X 2 Z przykładu 6.24 wiadomo, że (6.20) X A θ 2 = X T X θ T A T X. Ponadto X 1X 2 = X 1X, X 1X = (X 1X) T (X 1X) = X T X X T 1X X1 T X + X1 T 1X = X T X n (X) 2 = X T X 1 n (1T X) 2. Zatem R = 1 XT X θ T A T X X T X 1 n (1T X) 2. Bliska zeru wartość R oznacza brak liniowej zależności między X a danymi z A. przykładzie 6.24 policzyliśmy, że W cov( θ) = σ 2 (A T A) 1, a z twierdzenia 6.21 i z (6.20) wynika, że nieobciążony estymator wariancji błędu σ 2 ma postać Ŝ 2 1 = n k 1 X A θ 2 = XT X θ T A T X. n k 1 Rozpatrzymy teraz konkretny przykład: Zbadano wpływ czterech różnych domieszek A 1, A 2, A 3, A 4 na twardość stopu. Wyniki zapisano w podanej tablicy (1 - zastosowano domieszkę, 0 - brak domieszki) poniżej. L.p. 1 2 3 4 5 6 7 8 9 10 A 1 0 1 0 1 0 0 1 0 0 1 A 2 0 0 1 0 1 0 1 0 1 1 A 3 0 0 0 1 0 1 1 1 1 1 A 4 0 0 0 0 1 1 0 0 0 1 X 2 3 3 4 2 3 8 3 5 9

Marek Beśka, Statystyka matematyczna, wykład 6 95 Wyznaczymy hiperpłaszczyznę regresji, wartość estymatora współczynnika korelacji wielorakiej oraz estymatora nieznanej wariancji błędu. Mamy dane A T A = (A T A) 1 = A = 0 0 0 0 1 1 0 0 0 1 0 1 0 0 1 1 0 1 0 1 0 1 0 1 1 0 0 1 1 1 1 1 1 0 1 0 0 1 0 1 0 1 1 0 1 1 1 1 1 1 X = 2 3 3 4 2 3 8 3 5 9 T. 4 2 3 1 4 2 5 3 2 5 3 3 6 2 6 1 2 2 3 3 4 5 6 3 10 119 264 1 88 31 264 1 88 31 264 37 88 1 88, Det(AT A) = 264. 5 88 9 88 5 88 1 88 9 5 88 4 33 88 2 11 119 264 5 88 7 33 4 33 2 11 7 33 1 11 59 19 θ = (A T A) 1 A T X = 24 8 Zatem równanie hiperpłaszczyzny regresji ma postać: 53 24 45 88 1 11 1 8 2 3 13 33 T y = 59 24 x 1 + 19 8 x 2 + 53 24 x 3 + 1 8 x 4 + 2 3. Wartość współczynnika korelacji wielorakiej wynosi R = 1 XT X θ T A T X X T X 1 n (1T X) = 1 5657 2 4 402 0.937821. Wartość estymatora nieznanej wariancji błędu wynosi: Ŝ 2 = 1 n k 1 X A θ 2 = XT X θ T A T X = n k 1 155 24 5 = 31 24 1.29167.

Marek Beśka, Statystyka matematyczna, wykład 6 96 Przykład 6.26 (Ważona MNK) Rozważmy model liniowy Gaussa-Markowa (6.21) X = Aθ + ε, gdzie X = X 1... X n T, θ = θ 1... θ k T, a 11 a 12... a 1k a 21 a 22... a 2k A =...., a n1 a n2... a nk oraz EX = Aθ i cov(x) = σ 2 C, rza = k < n gdzie C jest znaną macierzą symetryczną i dodatnio (ściśle) określoną. Model ten za pomocą odpowiedniego nieosobliwego przekształecenia liniowego można sprowadzić do modelu liniowego Gaussa-Markowa. Z założenia mamy C = PP T, gdzie P jest macierzą nieosobliwą. Oznaczmy η = P 1 ε, Y = P 1 X. Wtedy równanie (6.21) możemy zapisać postaci a stąd gdzie B = P 1 A. Zauważmy poandto, że PY = A θ + Pη, Y = P 1 A θ + η = B θ + η, cov(η) = cov(p 1 ε) = P 1 cov(ε)(p 1 ) T = σ 2 P 1 C(P 1 ) T = σ 2 I. Mamy zatem do czynienia z klasycznym modelem Gaussa-Markowa. Oznaczmy przez θ EMNK tj. minimalizujący błąd w 1 (θ) = Y B θ 2 = (Y B θ) T (Y B θ) = (X Aθ) T (PP T ) 1 (X Aθ) = (X Aθ) T C 1 (X Aθ). Podobnie jak w przykładzie 6.24 otrzymujemy cov( θ) = σ 2 (B T B) 1 = σ 2 (A T C 1 A) 1. Warto odnotować, że w tym przypadku również możemy minimalizować błąd w(θ) = X A θ 2.

Marek Beśka, Statystyka matematyczna, wykład 6 97 Otrzymany w tym przypadku estymator θ = (A T A) 1 A T X jest również niobciążonym estymatorem parametru θ (bo EX = A θ). Teraz jednak cov( θ) = σ 2 (A T A) 1 (A T CA)(A T A) 1. Z twierdzenia Gaussa-Markowa wynika, że macierz cov( θ) cov( θ) = σ 2 (A T A) 1 (A T CA)(A T A) 1 σ 2 (A T C 1 A) 1 jest dodatnio określona. W szczególności elementy na przekątnej tej macierzy są nieujemne. Oznacza to, że wariancja każdej składowej estymatora θ jest nie mniejsza od odpowiedniej składowej estymatora θ.