Statystyka matematyczna. Wykład II. Estymacja punktowa

Transkrypt

1 Statystyka matematycza. Wykład II.

2 Spis treści 1 dyskretych Rozkłady zmieeych losowych ciągłych 2 3 4

3 Rozkład zmieej losowej dyskretej dyskretych Rozkłady zmieeych losowych ciągłych Niech (Ω, F, P) będzie przestrzeią probabilistyczą. Rozkładem skokowej zmieej losowej X azywamy prawdopodobieństwo tego, że zmiea X może przybrać wartości x i, i = 1, 2,... P (ω 1 ) = P (X = x 1 ) = p 1... P (ω k ) = P (X = x k ) = p k... gdzie k p k = 1. Przestrzeń prawdopodobieństwa o skończoej lub przeliczalej liczbie zdarzeń elemetarych azywamy przestrzeią dyskretą.

4 dyskretych Rozkłady zmieeych losowych ciągłych Przykład. Ciąg {p } N λ λ p = e! dla = 0, 1, 2, 3,... określa am miarę probabilistyczą a zbiarze liczb aturalych. Przykład. Ciąg {p } N =0 λ λ e! = e λ =0 λ! = e λ e λ = 1 p = p (1 p) 1 dla = 1, 2, 3,... określa am miarę probabilistyczą a zbiarze liczb aturalych. p = p (1 p) 1 p = 1 (1 p) = 1 =1 =1

5 dyskretych Rozkłady zmieeych losowych ciągłych dyskretych Rokład rówomiery P (X = x i ) = 1 gdzie x 1,..., x realizacje zmieych losowych. EX = 1 Rokład zero-jedykowy x i, DX = 1 (x i EX) 2 P (X = 0) = q, P (X = 1) = p gdzie q, p 0, q + p = 1 lub P (X = x) = p x (1 p) 1 x atomiast EX = p, DX = pq

6 dyskretych Rozkłady zmieeych losowych ciągłych dyskretych Rokład dwumiaowy (Beroulli ego) ( ) P (X = k) = p k (1 p) k k gdzie 0 p 1 oraz k = 0, 1,...,, atomiast Rokład Poissoe a EX = p, DX = p (1 p) λ λk P (X = k) = e k! gdzie λ 1 oraz k = 0, 1,..., atomiast Rokład geometryczy EX = λ, DX = λ P (X = k) = p (1 p) k 1 gdzie 0 p 1 oraz k = 1, 2,..., atomiast EX = 1 p, DX = 1 p Estymacjapuktowa 2

7 Rozkład zmieej losowej ciągłej dyskretych Rozkłady zmieeych losowych ciągłych Jeżeli X jest zmieą losową ciągła, to P (X = x 0 ) = 0. Na (Ω, F, P) rozkład zmieej losowej X jest określoy za pomocą fukcji gęstości µ, przy czym P (X < x) = F (x) F (x 0) = x x x 0 µ (t) dt = F (x) µ (t) dt = 0 Wartością średia zmieej losowej X azywamy wielkość EX = xµ (x) dx, atomiast wariacja azywamy wielkość DX = E (X EX) 2 = (x EX) 2 µ (x) dx

8 Rozkład ormaly dyskretych Rozkłady zmieeych losowych ciągłych Fukcja gęstości ziemmej losowej X : Ω R o rozkładzie ormalym N (m, σ) jest daa wzorem [ ] γ (x, m, σ) = 1 (x m)2 exp. 2πσ 2σ Wartość oczekiwaa i wariacja zmieej losowej X wyoszą odpowiedio EX = m, DX = σ 2

9 Rozkład ormaly dyskretych Rozkłady zmieeych losowych ciągłych W przypadku wielowymiarowym: wekotr losowy ξ : Ω R ma rozkład ormaly N (m, Q), to fukcja gęstości ma postać 1 γ (x, m, Q) = [ (2π) det (Q) exp 1 ] 2 (x m)t Q 1 (x m). Dla dowolego λ R fukcję charakterystyczą zmieej losowej X możemy przedstawić w postaci } Ψ x (λ) = Ee iλx = exp {iλm λ2 2 σ2

10 dyskretych Rozkłady zmieeych losowych ciągłych ciągłych Rokład jedostajy a [a, b] gdzie a < b, atomiast f (x) = { 1 b a x [a, b] 0 x / [a, b] EX = a + b 2, DX = 1 (b a)2 12 Rokład wykładiczy { 1 f (x) = λ exp ( ) x λ x 0 0 x < 0 gdzie λ > 0, atomiast EX = λ, DX = λ 2

11 dyskretych Rozkłady zmieeych losowych ciągłych ciągłych Rokład Laplace a f (x) = 1 ( ) 2λ exp x µ λ gdzie λ > 0, µ R atomiast Rokład Cauchy;ego gdzie λ > 0, µ R EX = µ, DX = 2λ 2 f (x) = 1 π λ λ 2 + (x µ) 2

12 Niech rozkład badaej cechy X populacji zależy od iezaego parametru θ, który ależy oszacować w oparciu o elemetową próbę prostą X 1,..., X. Defiicja 1 Fukcję g (X 1,..., X ) będącą fukcją próby X 1,..., X azywamy statystyką. Widzimy że satystyka jest także zmieą losową, mającą także pewie rozkład zależy od postaci fukcji g () i od rozkładów zmieych X 1,..., X. Defiicja 2 Statystykę ˆθ (X 1,..., X ) określa am wartości iezaego parametru θ oraz azywamy ją estymatorem parametru θ. Wartość estymatora otrzymaą a podstawie jedej realizacji próby X 1,..., X azywamy oceą parametru θ.

13 Oczywiście dla parametru θ moża utworzyć wiele estymatorów ˆθ (X 1,..., X ), ale wraz ze zwiększeiem liczebości próbki powia wzrastać dokładość oszacowaia parametru θ. Defiicja 3 Estymator ˆθ azywamy estymatorem zgodym z parametrem θ, jeżeli dla dowolego ε > 0 ( ) lim P ˆθ θ < ε = 1 Defiicja 4 Estymator ˆθ azywamy estymatorem ieobciążoym parametru θ, jeżeli dla każdego E ˆθ = θ oraz rózicę B (θ) = E ˆθ θ azywamy obciążeiem estymatora.

14 Defiicja 5 W przypadku jeżeli lim B (θ) = lim E ˆθ θ = 0, to estymator ˆθ azywamy estymatorem asymptotyczie ieobciążoym parametru θ. Dla jedego parametru θ może istieć więcej iż jede estymotor ieobciążoy. Jeżeli ˆθ 1 i ˆθ ) 2 są dwoma) estymatorami ieobciążoymi parametru θ oraz D (ˆθ1 2 < D (ˆθ2 2 (gdzie D 2 () ozacza wariację estymatora) to mówimy że ˆθ 1 jest estymatorem efektywiejszym parametru θ iż ˆθ 2. Defiicja 6 Estymator ieobciążoy θ parametru θ, który ma ajmiejszą wariację wśród wszystkich ieobciążoych estymatorów wyzaczoych z elemetowych prób, azywamy estymatorem efektywym.

15 Wariacja dowolego ieobciążoego estymatora apełia astępującą ierówość zwaą ierówością Rao-Cramera D 2 (ˆθ ) 1 E [ θ l f (X, θ)] 2 gdzie f ozacza gęstość prawdopodobieństwa zmieej losowej X w przypadku zmieej typu ciągłego lub fukcję prawopodobieńtwa dla zmieej losowej typu skokowego. Jeżeli we wzorze zachodzi rówość wtedy estymator ˆθ jet estymatore efektywym. Defiicja 7 Wielkość E [ θ l f (X, θ)] 2 azywamy ilością iformacji Fishera zawartej w elemetowej próbie, a ierówość Rao-Cramera azywamy ierówością iformacyją.

16 Własości: 1. Wartość przecięta w próbce jest estymatorem ieobciążoym średiej ( ) E X 1 = E X i = 1 EX i = m atomiast V ar ( X) = V ar ( 1 2. Momet główy rzędu k jest estymatorem ieobciążoym ( 1 E m k = E ) X i = 1 2 V ar (X i ) = σ2 m k = 1 X k i ) = 1 X k i EX k i = EX k

17 3. W przypadku, gdy wartoś średia populacji µ ie jest zaa, to estymator wariacji S 2 S 2 = 1 ( Xi X ) 2 jest jestymatorem obciążoym wariacji w populacji σ 2, poieważ [ ES 2 1 ( = E Xi X ) ] [ 2 1 ( = E (Xi m) ( ] )) 2 X m [ 1 ( = E (X i m) 2 2 (X i m) ( ) ( ) ) ] 2 X m + X m = E = E = E [ 1 [ 1 [ 1 ] [ (X i m) 2 E 2 ( X m ) 1 ] (X i m) + E ] [ ( (X i m) 2 ) ] 2 2E X m + E (Xi m) 2 ] [ ( ) ] 2 E X m [ ( X m ) 2 ] = σ 2 V ar ( X), [ 1

18 a zatem ES 2 = σ 2 σ2 = ( 1) σ2 σ 2 Estymator wariacji S 2 1 S 2 1 = 1 1 ( Xi X ) 2 jest estymatorem ieobciążoym wariacji w populacji σ 2 przy iezaej wartości średiej µ w populacji.

19 4. W przypadku gdy wartość średia populacji µ jest zaa, to estymator wariacji S 2 S2 2 = 1 (X i m) 2 jest estymatorem ieobciążoym wariacji w populacji σ 2, [ ] [ ] ES 2 1 = E (X i m) 2 1 = E Xi 2 2m X i + m 2 = 1 EXi 2 2m EX i + m 2 = EX 2 2m 2 + m 2 = = EX 2 (EX) 2 = V ar (X) = σ 2

20 Niech rozkład badaej cechy X zależy od parametrów θ 1, θ 2,..., θ k. Na podstawie elemetowej próby prostej X 1,..., X, ( > k) tworzymy fukcję wiarygodośći L (θ 1, θ 2,..., θ k ) = f (X 1 ; θ 1, θ 2,..., θ k )... f (X ; θ 1, θ 2,..., θ k ) = f (X j ; θ 1, θ 2,..., θ k ), j=1 gdzie f () ozacza gęstość prawdopodobieństwa zmieej losowej X w przypadku zmieej typu ciągłego lub fukcję prawopodobieńtwa dla zmieej losowej typu skokowego. polega a wyzaczeiu estymatorów ˆθ 1, ˆθ 2,..., ˆθ k tak, aby fukcja wiarygodości L (θ 1, θ 2,..., θ k ) przyjęła wartość ajwiększą.

21 Fukcja l L (θ 1, θ 2,..., θ k ) osiąga wartość ajwiększą dla tych samych wartości parametrów co i fukcja L (θ 1, θ 2,..., θ k ). Zadaie polega max l L (θ 1, θ 2,..., θ k ). θ 1,θ 2,...,θ k Waruek koieczy istieia ekstremum jest postaci θ j l L (θ 1, θ 2,..., θ k ) = 0 dla j = 1,..., k (wartości podejrzae o ekstremum ˆθ 1, ˆθ 2,..., ˆθ k muszą spełiać te waruek). Jeżeli forma kwadratowa [ ] 2 l L (θ 1, θ 2,..., θ k ) θ i θ j i,j=1,...k w pukcie (ˆθ1, ˆθ 2,..., ˆθ ) k jest określoa ujemie, to (ˆθ1, ˆθ 2,..., ˆθ ) k jest rozwiązaiem zadaia.

22 W przypadku k = 1 (rozkład zmieej losowej X zależy tylko od jedego parametru θ), wtedy fukcja wiarygodości jest postaci L (θ) = f (X 1 ; θ)... f (X ; θ) = atomiast wartość ˆθ musi spełiać waruek l L (θ) = 0 θ oraz [ ] 2 l L (θ) θ2 θ=ˆθ < 0 f (X j ; θ) j=1

23 Uwaga 1 Jeżeli badaa cecha X zależy tylko od jedego parametru θ oraz istieje estymator efektywy ˆθ (X 1,..., X ) to jest o jedymym rozwiązaiem wyzaczoym za pomocą ajwiększej wiarygodości. Jeżeli badaa cecha X zależy więcej iż od jedego parametru to otzrymae stymatory za pomocą ajwiększej wiarygodości mogą być obciążoe. Ogólie, estymatory uzyskae metodą ajwiększej wiarygodości są estymatorami zgodymi, asymtotyczie ieobciążoymi i asymptotyczie efektywymi oraz mają rozkład asymptotyczie ormaly, ( tz. dla ) rozklad estymatora ˆθ 1 parametru θ jest N θ; E( θ l f)2

24 Przykład 1 Niech badaa cecha w populacji geeralej ma rozkład zero-jedykowy, P (X = x) = p x (1 p) 1 x gdzie 0 p 1 oraz x = 0 1. Na podstawie elemetowej próby x = (x 1,..., x ) korzystając z metody ajwiększej wiarygodości oszacować parametr p. Tworzymy fukcję wiarygodośći postaci L (x, p) = p xj (1 p) 1 xj. j=1

25 Logarytm aturaly z fukcji wiarygodości jest day wzorem l L (x, p) = atomiast pochoda [x j l p + (1 x j ) l (1 p)], j=1 l L (x, p) = p j=1 Przyrówując pochodą do zera otrzymujemy ˆp = 1 [ xj p 1 x ] j. 1 p x j. j=1

26 Metoda mometów polega a przyrówaiu pewej liczby mometow z próby (ajczęściej kolejych) do odpowiedich mometów rozkładu (będących fukcjami iezaych parametrów). W tym celu wykorzystujemy tyle mometów ile jest iezaych parametrów rozkładu, oraz rozwiązując otrzymay układ rówań otrzymujemy ocey tych parametrów. uzyskae metoda mometów a ogół ie są efektywe, iemiej jedak metoda mometów jest często używaa ze względu a swoją prostotę. Ocey uzyskae tą metodą ajczęściej wykorzystujemy jako pierwsze przybliżeie.

27 Przykład 2. Niech badaa cecha w populacji geeralej ma rozkład jedostajy a [a, b] { 1 f (x) = b a x [a, b] 0 x / [a, b] gdzie a < b Na podstawie elemetowej próby x = (x 1,..., x ) korzystając z metody mometów oszacować parametry a i b. Podstawowe momety dla rozkładu jedostajego a [a, b] wyoszą Rozwiązując układ rówań EX = a + b 2, DX = 1 (b a)2 12 a+b 2 = 1 otzrymujemy wielkości a i b. x j j= (b a)2 = 1 ( xj X ) 2 j=1

28 Przykład 3. Niech badaa cecha w populacji geeralej ma rozkład Lasplace a f (x) = 1 ( ) 2λ exp x µ λ gdzie λ > 0, µ R Na podstawie elemetowej próby x = (x 1,..., x ) korzystając z metody mometów oszacować parametry λ, µ. Podstawowe momety dla rozkładu Laplace a wyoszą EX = µ, DX = 2λ 2.

29 Rozwiązując układ rówań µ = 1 2λ 2 = 1 x j = X j=1 ( xj X ) 2 j=1 otzrymujemy ˆµ = 1 ˆλ = x j j=1 1 2 (x j ˆµ) 2 j=1