METODY ESTYMACJI PUNKTOWEJ X 1,..., X n - próbka z rozkładu P θ, θ Θ, θ jest nieznanym parametrem (lub wektorem parametrów). Przez X będziemy też oznaczać zmienną losową o rozkładzie P θ. Definicja. Estymatorem (punktowym) parametru θ nazywamy dowolną statystykę T (X 1,..., X n ) o wartościach w Θ, którą uznajemy za przybliżenie θ. Metoda podstawiania częstości. Polega na szacowaniu nieznanego parametru, w przypadku gdy można go zapisać jako prawdopodobieństwo pewnego zdarzenia, poprzez prawdopodobieństwo empiryczne tegoż zdarzenia. Niech w Przykładzie 1 (patrz temat Modele statystyczne) chcemy oszacować frakcję θ jednostek w populacji, posiadających pewną własność. Ponieważ θ =P (X {1}), jako estymator dla θ bierzemy θ(x 1,..., X n ) = P n ({1}) = X. Wada tej metody: estymator nie musi wyznaczać się w sposób jednoznaczny. Np. w powyższym przykładzie zachodzi θ = P (X 2 {1}), i wówczas jako estymator dla θ możemy też wziąć â 2. 1
Metoda momentów. Polega na przyrównaniu momentów rozkładu P θ do odpowiednich momentów empirycznych. Układamy tyle równań, ile jest nieznanych parametrów (współrzędnych wektora θ). Układ równań rozwiązujemy względem θ. Np. gdy wektor θ ma k współrzędnych, możemy wziąć: E θ X = X, E θ X 2 = â 2,..., E θ X k = â k (możemy też przyrównać inne momenty, np. zamiast równań E θ X j = â j wziąć E θ (X E θ X) j = m j, j 2). Przykład (rozkład gamma). Rozkład Γ(α, λ), α > 0, λ > 0, jest rozkładem o gęstości f(x) = λα x α 1 e λx 1 (0, ) (x). Γ(α) Chcemy oszacować θ = (α, λ). Jak wiemy, E θ X = α λ, Var θx = α λ 2. Ponieważ mamy dwa nieznane parametry, układamy dwa równania: α λ = X, α λ = 2 Ŝ2. Rozwiązując względem α, λ otrzymujemy: λ = X 2 X α = Ŝ2, Ŝ. 2 2
Estymatory metody momentów też nie muszą wyznaczać się w sposób jednoznaczny. Przykład (rozkład Poissona). Rozkład Poissona P(λ), λ > 0, określa się jako P (X = k) = λk k! e λ, k = 0, 1,.... Chcemy oszacować λ. Ponieważ E λ X = λ, jako estymator dla λ możemy wziąć λ = X. Ale skoro Var λ X = λ, to jako estymator dla λ możemy też wziąć λ = Ŝ2. Metoda kwantyli. Polega na przyrównaniu kwantyli rozkładu P θ do odpowiednich kwantyli empirycznych. Otrzymujemy równania postaci x p (θ) = x p, co w przypadku rozkładów absolutnie ciągłych o ściśle monotonicznej dystrybuancie jest równoważne do p = F θ ( x p ). Bierzemy tyle różnych wartości p, czyli układamy tyle równań, ile mamy współrzędnych wektora θ, i dalej rozwiązujemy układ równań. Estymatory takie też nie muszą wyznaczać się w sposób jednoznaczny. Przykład (rozkład Weibulla). Rozkład Weibulla W(α, c), α > 0, c > 0 jest określony przez dystrybuantę ( F α,c (x) = 1 e (cx)α) 1 (0, ) (x). Chcemy oszacować θ = (α, c). Ponieważ mamy dwa nieznane parametry, ułożymy równania dla dwóch kwan- 3
tyli, np. weźmy p = 1/4 i p = 3/4: { { 1 e (c x 1/4 )α = 1/4 1 e (c x 3/4 )α = 3/4 e (c x 1/4 )α = 3/4 e (c x 3/4 )α = 1/4 { { (c x1/4 ) α = ln 3/4 (c x 3/4 ) α = ln 1/4 ( x1/4 / x 3/4 ) α =(ln 4 ln 3)/ ln 4 (c x 3/4 ) α = ln 4 = α = ln(ln 4 ln 3) ln ln 4 ln x 1/4 ln x 3/4, ĉ = (ln 4)1/ α x 3/4. Metoda największej wiarogodności. Idea polega na tym, że za estymator θ bierzemy taką wartość parametru, dla której otrzymane wyniki doświadczenia są najbardziej prawdopodobne. Niech f θ (,..., ) będzie łączną gęstością próbki X 1,..., X n, do której jako argumenty podstawiamy wartości obserwacji x 1,..., x n (w przypadku rozkładu dyskretnego bierzemy f θ (x 1,..., x n ) = P θ (X 1 = x 1,..., X n = x n )). Zauważmy, że n f θ (x 1,..., x n ) = f θ (x i ), (1) gdzie f θ jest gęstością rozkładu P θ (w przypadku rozkładu dyskretnego bierzemyf θ (x)=p θ (X i = x)). Funkcję (1), rozważaną jako funkcję z Θ do R, nazywamy 4
wiarogodnością, lub funkcją wiarogodności (standardowo oznaczamy ją jako L). Definicja. Mówimy, że statystyka θ(x 1,..., X n ) jest estymatorem największej wiarogodności (ENW) parametru θ, jeśli θ(x 1,..., x n ) Arg sup L(θ, x 1,..., x n ). θ Θ Uwaga. Nieujemna funkcja L osiąga maksimum w tym samym punkcie, co funkcja ln L(θ, x 1,..., x n ) = ln f θ (x i ). Przykład (rozkład wykładniczy). Dla rozkładu wykładniczego z parametrem λ > 0 funkcja wiarogodności zadaje się wzorem n ( ) L(λ) = λe λx i = ln L(λ) = n ln λ λ x i. Biorąc pochodną względem λ i przyrównując ją do zera, otrzymujemy n λ n x = 0 = λ(x 1,..., X n ) = 1 X. Łatwo się przekonać, że w tym punkcie rzeczywiście mamy maksimum funkcji ln L. 5
Przykład (rozkład Poissona). Dla rozkładu Poissona P(λ), λ > 0, funkcja wiarogodności zadaje się wzorem n ( λ x i e λ ) L(λ) = = x i! ln L(λ) = x i ln λ nλ ln(x 1!... x n!). Zatem n x λ n = 0 = λ(x 1,..., X n ) = X. Przykład (rozkład normalny). Dla rozkładu normalnego N (µ, σ 2 ), niech θ = (µ, σ). Mamy Zatem ln f θ (x) = 1 2 ln L(θ) = n 2 ln(2π) ln σ (x µ)2 2σ 2. ln(2π) n ln σ 1 2σ 2 Tworząc układ równań ln L µ = 0, ln L σ = 0, otrzymujemy n x σ nµ 2 σ = 0, n 2 σ + 1 σ 3 6 (x i µ) 2. (x i µ) 2 = 0 =
µ(x 1,..., X n )= X, σ(x 1,..., X n )= 1 n (X i X) 2 =Ŝ. Przykład (rozkład Laplace a). Dla rozkładu Laplace a z parametrami µ, λ > 0 o gęstości f θ (x) = λ 2 e λ x µ, x R, funkcja wiarogodności zadaje się wzorem n ( ) λ L(θ) = 2 e λ x i µ, θ = (µ, λ). Zatem ln L(θ) = n ln λ n ln 2 λ n λ Zatem x i µ = 0, λ x i µ = sign(x i µ) = 0. µ(x 1,..., X n ) = med(x 1,..., X n ), λ(x 1,..., X n ) = n n X i med(x 1,..., X n ). 7
Przykład (rozkład jednostajny). Dla rozkładu jednostajnego na [0, θ], gdzie θ > 0, funkcja wiarogodności zadaje się wzorem { θ L(θ) = n dla θ max(x 1,..., x n ) = x n:n 0 w p.p. Jest oczywiste, że funkcja L(θ) osiąga swój maksimum na lewym końcu półprostej [x n:n, ), czyli θ(x 1,..., X n ) = X n:n. 8