Metoda momentów i kwantyli próbkowych. Wrocław, 7 listopada 2014

Metoda momentów i kwantyli próbkowych Wrocław, 7 listopada 2014

Metoda momentów

Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa.

Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa. Momenty teoretyczne: µ 1 = EX 1, µ 2 = EX 2 1, µ 3 = EX 3 1,..., µ k = EX k 1

Momenty zmiennych losowych X 1, X 2,..., X n - próba losowa. Momenty teoretyczne: µ 1 = EX 1, µ 2 = EX 2 1, µ 3 = EX 3 1,..., µ k = EX k 1 Momenty empiryczne: m 1 = 1 n X i, n i=1 m 2 = 1 n n i=1 X 2 i, m 3 = 1 n n i=1 X 3 i,..., m k = 1 n n i=1 X k i

Momenty zmiennych losowych Momenty empiryczne są nieobciążonymi estymatorami momentów teoretycznych E(m 1 ) = E E(m 2 ) = E E(m k ) = E ( 1 n ( 1 n ( 1 n ) n X i = EX 1 = µ 1 i=1 ) n Xi 2 = EX1 2 = µ 2 i=1. n i=1 X k i ) = EX k 1 = µ k.

Momenty zmiennych losowych Niech X 1, X 2,..., X n oznacza próbę losową z rozkładu o gęstości f θ (x), gdzie θ = (θ 1, θ 2,..., θ n ) jest wektorem nieznanych parametrów rozkładu.

Momenty zmiennych losowych Niech X 1, X 2,..., X n oznacza próbę losową z rozkładu o gęstości f θ (x), gdzie θ = (θ 1, θ 2,..., θ n ) jest wektorem nieznanych parametrów rozkładu. Momenty µ j - funkcje nieznanych parametrów θ 1, θ 2,..., θ n postaci µ j = g j (θ 1, θ 2,..., θ n ).

Momenty zmiennych losowych Przykład 1 Niech X 1, X 2,..., X n, będzie próbą losową z rozkładu normalnego ze średnią θ 1 i wariacją θ 2 2, wówczas momenty teoretyczne µ 1 i µ 2 są funkcjami tych parametrów postaci: µ 1 = EX 1 = θ 1 µ 2 = EX 2 1 = θ2 1 + θ2 2

Momenty zmiennych losowych Przykład 1 Niech X 1, X 2,..., X n, będzie próbą losową z rozkładu normalnego ze średnią θ 1 i wariacją θ 2 2, wówczas momenty teoretyczne µ 1 i µ 2 są funkcjami tych parametrów postaci: µ 1 = EX 1 = θ 1 µ 2 = EX 2 1 = θ2 1 + θ2 2 Drugą z równości otrzymaliśmy korzystając z tego, że EX 2 1 = (EX 1) 2 + Var(X 1 ).

Metoda Momentów Estymatorem ( ˆθ 1, ˆθ 2,..., ˆθ n ) wektora parametrów θ = (θ 1, θ 2,..., θ n ) nazywamy rozwiązanie układu równań: m 1 = g 1 (θ 1, θ 2,..., θ n ) = µ 1 m 2 = g 2 (θ 1, θ 2,..., θ n ) = µ 2. m k = g k (θ 1, θ 2,..., θ n ) = µ k.

Metoda Momentów - przykłady Przykład 2 Niech X 1, X 2,..., X n bedzie próbą z rozkładu Normalnego N(µ, σ 2 ). Szukamy estymatorów wektora (θ 1, θ 2 ) = (µ, σ 2 ). Momenty teoretyczne są postaci: µ 1 = g 1 (θ 1, θ 2 ) = g 1 (µ, σ 2 ) = µ, µ 2 = g 2 (θ 1, θ 2 ) = g 2 (µ, σ 2 ) = µ 2 + σ 2. Momenty otrzymane z próby są postaci: m 1 = 1 n ni=1 X i m 2 = 1 n ni=1 X 2 i

Metoda Momentów - przykłady Przykład 2 - cd A zatem przyrównując do siebie odpowiednie momenty otrzymujemy układ równań postaci: { m1 = 1 ni=1 n X i = µ = µ 1 m 2 = 1 ni=1 n Xi 2 = µ 2 + σ 2 = µ 2 Rozwiązując powyższy układ równań ze względu na µ i σ 2 otrzymujemy: ˆµ = 1 n ni=1 X i = X ˆσ 2 = 1 n ni=1 X 2 i [ 1 n ] ni=1 2 X i = 1 ni=1 n (X i X ) 2, gdzie ˆµ i ˆσ 2 oznaczają odpowiednio estymatory średniej µ i wariancji σ 2.

Metoda Momentów - przykłady Przykład 2 - cd Widzimy zatem, że estymatorem średniej w rozkładzie normalnym otrzymanym MM jest średnia z próby, natomiast estymatorem wariancji obciążona wariancja próbkowa.

Metoda Momentów Uwaga Estymatory wyznaczone metodą momentów w ogólności nie są wyznaczone jednoznacznie.

Metoda Momentów - przykłady Przykład 3 Niech X 1, X 2,..., X n bedzie próbą z rozkładu Poissona Poi(λ).

Metoda Momentów - przykłady Przykład 3 Niech X 1, X 2,..., X n bedzie próbą z rozkładu Poissona Poi(λ). I. Wyznaczamy estymator parametru λ w oparciu o pierwszy moment. Ponieważ µ 1 = EX 1 = λ otrzymujemy: ˆλ = 1 n n X i = X. i=1

Metoda Momentów - przykłady Przykład 3 - cd II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa momenty. Ponieważ µ 2 = EX1 2 = (EX 1) 2 + Var(X 1 ) = λ 2 + λ otrzymujemy: { 1 ni=1 n X i = λ ni=1 Xi 2 = λ 2 + λ, 1 n

Metoda Momentów - przykłady Przykład 3 - cd II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa momenty. Ponieważ µ 2 = EX1 2 = (EX 1) 2 + Var(X 1 ) = λ 2 + λ otrzymujemy: { 1 ni=1 n X i = λ ni=1 Xi 2 = λ 2 + λ, 1 n a stąd otrzymujemy estymatory ˆλ 1 = X ˆλ 2 = 1 2 ( 1 + 4 X 2 1)

Metoda Momentów - przykłady Przykład 3 - cd II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa momenty. Ponieważ µ 2 = EX1 2 = (EX 1) 2 + Var(X 1 ) = λ 2 + λ otrzymujemy: { 1 ni=1 n X i = λ ni=1 Xi 2 = λ 2 + λ, 1 n a stąd otrzymujemy estymatory ˆλ 1 = X ˆλ 2 = 1 2 ( 1 + 4 X 2 1) Estymator ˆλ 1 jest najlepszym estymatorem nieobciążonym, estymator ˆλ 2 jest obciążony.

Metoda Momentów - przykłady Przykład 3 - cd II. Wyznaczamy estymator parametru λ w oparciu o pierwsze dwa momenty. Ponieważ µ 2 = EX1 2 = (EX 1) 2 + Var(X 1 ) = λ 2 + λ otrzymujemy: { 1 ni=1 n X i = λ ni=1 Xi 2 = λ 2 + λ, 1 n a stąd otrzymujemy estymatory ˆλ 1 = X ˆλ 2 = 1 2 ( 1 + 4 X 2 1) Estymator ˆλ 1 jest najlepszym estymatorem nieobciążonym, estymator ˆλ 2 jest obciążony. Przykład ten pokazuje, że MM może prowadzić do bezsensownych estymatorów.

Metoda Momentów - przykłady Przykład 4 Niech X 1, X 2,..., X n bedzie próbą z rozkładu jednostajnego na przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM parametrów a i b.

Metoda Momentów - przykłady Przykład 4 Niech X 1, X 2,..., X n bedzie próbą z rozkładu jednostajnego na przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM parametrów a i b. Momenty teoretyczne z rozkładu jednostajnego są postaci: µ 1 = EX 1 = a+b 2 µ 2 = Var(X 1 ) + (EX 1 ) 2 = (b a)2 12 + ( ) 2 a+b 2 = a 2 +ab+b 2 3

Metoda Momentów - przykłady Przykład 4 Niech X 1, X 2,..., X n bedzie próbą z rozkładu jednostajnego na przedziale (a, b), U(a, b). Wyznaczymy estymaroty MM parametrów a i b. Momenty teoretyczne z rozkładu jednostajnego są postaci: µ 1 = EX 1 = a+b 2 µ 2 = Var(X 1 ) + (EX 1 ) 2 = (b a)2 12 + ( ) 2 a+b 2 = a 2 +ab+b 2 3 Przyrównując do siebie odpowiednie momenty dostajemy układ równań postaci: m 1 = 1 n ni=1 X i = a+b 2 = µ 1 m 2 = 1 n ni=1 X 2 i = a2 +ab+b 2 3 = µ 2

Metoda Momentów - przykłady Przykład 4 - cd Co dalej prowadzi do: { a = 2 X b b 2 2 X b + 4( X ) 2 3 X 2 = 0

Metoda Momentów - przykłady Przykład 4 - cd Co dalej prowadzi do: { a = 2 X b b 2 2 X b + 4( X ) 2 3 X 2 = 0 Dla równania drugiego wyznaczamy deltę = 4( X ) 2 16( X ) 2 + 12 X 2 = 12( X 2 ( X ) 2 ), a następnie pierwiastki równania.

Metoda Momentów - przykłady Przykład 4 - cd Co dalej prowadzi do: { a = 2 X b b 2 2 X b + 4( X ) 2 3 X 2 = 0 Dla równania drugiego wyznaczamy deltę = 4( X ) 2 16( X ) 2 + 12 X 2 = 12( X 2 ( X ) 2 ), a następnie pierwiastki równania. Ostatecznie otrzymujemy estymatory MM parametrów a i b postaci: â = X + ˆb = X 3( X 2 ( x) 2 ) 3( X 2 ( x) 2 )

Metoda kwantyli

Metoda Kwantyli Estymatorem ( ˆθ 1, ˆθ 2,..., ˆθ k ) wektora parametrów θ = (θ 1, θ 2,..., θ k ) nazywamy rozwiązanie układu równań: F 1 θ (p 1 ) = Z p1,n F 1 θ (p 2 ) = Z p2,n. Fθ 1 (p k ) = Z pk,n, gdzie Fθ 1 (p) oznacza kwantyl teoretyczny rzędu p, natomiast Z p,n = X [np]+1: n, p (0, 1) jest kwantylem z próby.

Metoda Kwantyli - przykłady Przykład 5 Niech X 1, X 2,..., X n bedzie próbą z rozkładu normalnego N(µ, σ 2 ), µ R, σ > 0 i niech Fθ 1 (p) bedzie kwantylem rzędu p, p (0, 1), θ = (µ, σ 2 ).

Metoda Kwantyli - przykłady Przykład 5 Niech X 1, X 2,..., X n bedzie próbą z rozkładu normalnego N(µ, σ 2 ), µ R, σ > 0 i niech Fθ 1 (p) bedzie kwantylem rzędu p, p (0, 1), θ = (µ, σ 2 ). Oznaczmy przez u p kwantyl rzędu p ze standardowego rozkładu normalnego N(0, 1), wówczas F 1 θ (p) = u p σ 2 + µ.

Metoda Kwantyli - przykłady Przykład 5 Niech X 1, X 2,..., X n bedzie próbą z rozkładu normalnego N(µ, σ 2 ), µ R, σ > 0 i niech Fθ 1 (p) bedzie kwantylem rzędu p, p (0, 1), θ = (µ, σ 2 ). Oznaczmy przez u p kwantyl rzędu p ze standardowego rozkładu normalnego N(0, 1), wówczas F 1 θ (p) = u p σ 2 + µ. Niech p q oraz Z p,n i Z q,n oznaczają odpowiednie kwantyle próbkowe rzedu p i q. W calu znalezienia estymatorów MK wektora parametrów θ = (µ, σ 2 ) należy rozwiązac układ równań: { F 1 θ (p) = u p σ 2 + µ = Z p,n F 1 θ (q) = u q σ 2 + µ = Z q,n

Metoda Kwantyli - przykłady Przykład 5 - cd Rozwiązując układ równań ze względu na µ i σ 2 dostajemy estymatory MK postaci: ˆµ = Zp,nuq Zq,nup u ( q u p ) ˆσ 2 Zp,n Z 2 = q,n u p u q.