Estymacja. Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych. Wykład 7

Transkrypt

1 Metody probabilistycze i statystyka Estymacja Dr Joaa Baaś Zakład Badań Systemowych Istytut Sztuczej Iteligecji i Metod Matematyczych Wydział Iformatyki Politechiki Szczecińskiej

2 Metody probabilistycze i statystyka 20. Estymacja puktowa Estymacja puktowa metoda szacowaia pewego iezaego parametru rozkładu zmieej losowej X (cechy populacji), p. EX, D 2 X, a podstawie wyików próby losowej dla zmieej X (tj. a podstawie wartości pewej kokretej próbki) Estymator parametru θ rozkładu zmieej X to dowola statystyka T = T (X 1,, X ), której wartości przyjmujemy za oceę wielkości parametru θ (20.1) Uwagi a) Jeśli (x 1,, x ) jest dowolą próbką dla cechy X i t = T (x 1,, x ), to θ t b) Dla dowolego parametru θ moża określić wiele estymatorów (p. dla θ = EX moża rozważaćśredią arytmetyczą, geometryczą, harmoiczą, mediaę z próbki), ale zależy am, aby estymator spełiał pewe własości gwaratujące jego jakość Opracowała Joaa Baaś

3 Metody probabilistycze i statystyka Wykład 6 Estymatory zgode Estymator T to estymator zgody parametru θ, jeśli (20.2) ε> 0 ε> 0 ( T ) lim P θ ε = 0 ( T ) lim P θ < ε = 1 (20.3) Uwagi a) Zbieżość z waruków (20.2) jest zbieżością według prawdopodobieństwa lub zbieżością stochastyczą b) Dla estymatora zgodego ze wzrostem liczebości próbki wzrasta dokładość oszacowaia parametru θ c) Dla daego parametru θ moża utworzyć wiele estymatorów zgodych Opracowała Joaa Baaś

4 Metody probabilistycze i statystyka Wykład 6 Estymatory obciążoe i ieobciążoe Estymator T to estymator ieobciążoy parametru θ, jeśli (20.4) E( T ) = θ dla każdego N (20.5) Uwaga Estymator ieobciążoy szacuje parametr θ bez błędu systematyczego Jeżeli E(T ) istieje, ale E(T ) θ, to T azywamy estymatorem obciążoym parametru θ, zaś różicę E(T ) θ azywamy obciążeiem estymatora Estymator T to estymator asymptotyczie ieobciążoy parametru θ, jeśli (20.6) lim E( T ) θ = 0 Opracowała Joaa Baaś

5 Metody probabilistycze i statystyka Wykład 6 Estymatory efektywe Kolejym kryterium, umożliwiającym oceę estymatorów jest wariacja, która powia być jak ajmiejsza (20.7) Twierdzeie Jeśli estymator T parametru θ jest (asymptotyczie) ieobciążoy oraz 2 lim D ( T ) = 0, to T jest estymatorem zgodym T i T * dwa estymatory ieobciążoe parametru θ, mające skończoe wariacje D 2 (T ) i D 2 (T * ) Estymator T (20.8) jest estymatorem efektywiejszym iż estymator T *, jeśli D ( T ) < D ( T ) 2 2 * Estymator ajefektywiejszy (efektywy) estymator ieobciążoy T daego parametru θ, który ma ajmiejszą wariację spośród wszystkich ieobciążoych estymatorów parametru θ Opracowała Joaa Baaś

6 Metody probabilistycze i statystyka Wykład 6 Nierówość Rao-Cramera Dla prawie wszystkich rozkładów zmieych losowych (za wyjątkiem rozkładu jedostajego) wariacja dowolego ieobciążoego estymatora T parametru θ spełia tzw. ierówość Rao-Cramera: 2 1 (20.9) D ( T ) 2 E[ θ l f ( X, θ )] gdzie f jest gęstością zmieej losowej X typu ciągłego lub rozkładem prawdopodobieństwa zmieej losowej X typu skokowego E [ l f ( X, θ) ] 2 θ (20.10) Wiosek iformacja Fishera, zawarta w próbce Jeśli dla pewego estymatora ieobciążoego T parametru θ w waruku (20.9) zachodzi rówość, to estymator te jest ajefektywiejszy Opracowała Joaa Baaś

7 Metody probabilistycze i statystyka 21. Estymacja podstawowych parametrów rozkładu (21.1) Twierdzeie Jeśli istieje wartość oczekiwaa m = EX zmieej losowej X (cechy w populacji), to średia z próby 1 X = X 1 + X X ( ) jest zgodym i ieobciążoym estymatorem wartości oczekiwaej m = EX (21.2) Twierdzeie Jeśli zmiea losowa X ma rozkład ormaly N(m,σ) o zaej wartości σ, to średia z próby X jest ajefektywiejszym estymatorem wartości oczekiwaej m = EX (21.3) Uwaga Jeśli chcemy oszacować wartość oczekiwaą m cechy X w pewej populacji o iezaym rozkładzie, to a podstawie -elemetowej próbki (x 1,, x ) 1 obliczamy średią arytmetyczą x = ( x1 + x x ) i przyjmujemy m x Opracowała Joaa Baaś

8 Metody probabilistycze i statystyka Estymacja wariacji (21.4) Twierdzeie Jeśli istieje skończoa wariacja σ 2 = D 2 X zmieej losowej X, to statystyka 1 gdzie X = X 1 + X X, jest zgodym i asymptotyczie ieobciążoym estymatorem wariacji σ 2 (21.5) Twierdzeie Estymator 2 1 i=1 ( ) 2 i S = X X ( ) Sˆ = S = X X i= 1 ( ) 2 i jest estymatorem zgodym i ieobciążoym wariacji σ 2 Opracowała Joaa Baaś

9 Metody probabilistycze i statystyka Estymacja wariacji (21.6) Twierdzeie Jeżeli wartość oczekiwaa m = EX zmieej losowej X jest zaa, to statystyka 2 1 * i=1 ( ) 2 i S = X m jest estymatorem zgodym i ieobciążoym wariacji σ 2 (21.7) Twierdzeie Jeśli zmiea losowa X ma rozkład ormaly N(m,σ) 2 i m jest zae, to S * jest estymatorem ajefektywiejszym wariacji σ 2 Opracowała Joaa Baaś

10 Metody probabilistycze i statystyka Estymacja wskaźika struktury X ma charakter iemierzaly podstawowym parametrem populacji jest frakcja p elemetów wyróżioych przez tą cechę w populacji, zwaa wskaźikiem struktury badaej cechy populacji (częstość względa) Jeśli populacja jest -elemetowa, zaś m jej elemetów posiada badaą cechę, to p = m Jeśli w próbce -elemetowej z populacji, m elemetów posiada badaą cechę, to p m Opracowała Joaa Baaś

11 Metody probabilistycze i statystyka Estymacja wskaźika struktury Aby utworzyć model matematyczy rozkładu cechę jakościową zamieia się a ilościową dla dowolego elemetu populacji ω: Tak zdefiiowaa zmiea losowa ma rozkład 0-1 z parametrem p, tj. P (X = 1) = p, P ( X = 0) = q = 1 p Jeśli (x 1,, x ) jest próbką dla zmieej losowej X, odpowiadającą próbce elemetów (ω 1,, ω ), w której m elemetów ma wyróżioą cechę, to w ciągu tym jest m jedyek, a zatem x x = m W rezultacie 1 gdy ω posiada wyróżioą cechę X ( ω ) = 0 gdy ω ie posiada wyróżioej cechy p ( x... x ) Opracowała Joaa Baaś

12 Metody probabilistycze i statystyka Estymacja wskaźika struktury (21.8) Twierdzeie Średia arytmetycza z próby M 1 (... ) = X X jest zgodym, ieobciążoym i ajefektywiejszym estymatorem parametru p rozkładu 0-1 zmieej losowej X, tj. P (X = 1) = p, P ( X = 0) = q = 1 p Opracowała Joaa Baaś

13 Metody probabilistycze i statystyka Zestawieie estymatorów Tablica Podstawowe estymatory Parametr Estymator Własości estymatora Wartość oczekiwaa m = EX Wariacja σ 2 = D 2 X Wskaźik struktury p Współczyik zmieości ( 1... ) X X X 1 = + + mediaa z próby 2 1 * i=1 ( ) 2 i S = X m 2 1 i=1 ( ) 2 i S = X X M Sˆ 2 2 = 1 S 1 (... ) V = S X = X X zgody, ieobciążoy zgody, asymptotyczie ieobciążoy zgody, ieobciążoy zgody, asymptotyczie ieobciążoy zgody, ieobciążoy zgody, ieobciążoy ajefektywiejszy zgody Klasy rozkładów dla N(m,σ) estymator ajefektywiejszy dowoly dla N(m,σ) estymator ajefektywiejszy dowoly dowoly 0-1 dowoly Opracowała Joaa Baaś

14 Metody probabilistycze i statystyka Dziękuję za uwagę Opracowała Joaa Baaś