Od średniej w modelu gaussowskim do kwantyli w podstawowym modelu nieparametrycznym IMPAN 1.X.2009 Rozszerzona wersja wykładu: O ŚREDNIEJ STATYSTYCZNEJ Ryszard Zieliński XII Międzynarodowe Warsztaty dla Młodych Matematyków Rachunek Prawdopodobieństwa i Statystyka Kraków, 20 26 IX 2009 r.
WYNIKI OBSERWACJI X 1, X 2,..., X n
WYNIKI OBSERWACJI X 1, X 2,..., X n Model statystyczny: X i = µ + ε i, i = 1, 2,..., n
WYNIKI OBSERWACJI X 1, X 2,..., X n Model statystyczny: X i = µ + ε i, i = 1, 2,..., n 0.4 0.3 0.2 0.1 µ. -1 0 1 2 3 4 5
UŚREDNIENIE X = 1 n X j n j=1
UŚREDNIENIE X = 1 n X j n j=1 0.4 0.3 0.2 0.1 X. µ -1 0 1 2 3 4 5
UZASADNIENIE średnia X minimalizuje względem µ funkcję n j=1 (X i µ) 2
astronomia, metrologia, geodezja,... ROZKŁAD NORMALNY N(µ, σ 2 ) ϕ(x) = 1 σ 2π exp { 1 2 ( ) x µ 2 } σ
Funkcja charakterystyczna rozkładu normalnego N(µ, σ): φ X (t) = exp{iµt 1 2 σ2 t 2 } Funkcja charakterystyczna średniej X = n j=1 X j /n: φ X (t) = exp{iµt 1 ( ) σ 2 t 2 } 2 n
Funkcja charakterystyczna rozkładu normalnego N(µ, σ): φ X (t) = exp{iµt 1 2 σ2 t 2 } Funkcja charakterystyczna średniej X = n j=1 X j /n: φ X (t) = exp{iµt 1 ( ) σ 2 t 2 } 2 n Inne rozkłady?
Rozkłady o trochę tłuściejszych ogonach: 0.4 0.3 0.2 0.1.. -5-4 -3-2 -1 0 1 2 3 4 5
TŁUSTE OGONY - rozmiar finansowej odpowiedzialności ubezpieczyciela w związku z wypadkami losowymi jego klientów przy ubezpieczeniu OC, AC oraz od wypadków przy pracy
TŁUSTE OGONY - rozmiar finansowej odpowiedzialności ubezpieczyciela w związku z wypadkami losowymi jego klientów przy ubezpieczeniu OC, AC oraz od wypadków przy pracy - wielkość plików przesyłanych w internecie
TŁUSTE OGONY - rozmiar finansowej odpowiedzialności ubezpieczyciela w związku z wypadkami losowymi jego klientów przy ubezpieczeniu OC, AC oraz od wypadków przy pracy - wielkość plików przesyłanych w internecie - pojemność złóż ropy naftowej
TŁUSTE OGONY - rozmiar finansowej odpowiedzialności ubezpieczyciela w związku z wypadkami losowymi jego klientów przy ubezpieczeniu OC, AC oraz od wypadków przy pracy - wielkość plików przesyłanych w internecie - pojemność złóż ropy naftowej - rozmiary osiedli ludzkich
TŁUSTE OGONY - rozmiar finansowej odpowiedzialności ubezpieczyciela w związku z wypadkami losowymi jego klientów przy ubezpieczeniu OC, AC oraz od wypadków przy pracy - wielkość plików przesyłanych w internecie - pojemność złóż ropy naftowej - rozmiary osiedli ludzkich - tzw. zwroty w operacjach giełdowych
ROZKŁAD CAUCHY EGO (Lorenza, Breita-Wignera) Ca(µ, λ) g(y) = 1 π Funkcja charakterystyczna: λ λ 2 + (y µ) 2, G(y) = 1 2 + 1 π arctg y µ λ φ Y (t) = exp{iµt λt }
ROZKŁAD CAUCHY EGO (Lorenza, Breita-Wignera) Ca(µ, λ) g(y) = 1 π Funkcja charakterystyczna: λ λ 2 + (y µ) 2, G(y) = 1 2 + 1 π arctg y µ λ φ Y (t) = exp{iµt λt } Funkcja charakterystyczna średniej Y = n j=1 Y j /n:
ROZKŁAD CAUCHY EGO (Lorenza, Breita-Wignera) Ca(µ, λ) g(y) = 1 π Funkcja charakterystyczna: λ λ 2 + (y µ) 2, G(y) = 1 2 + 1 π arctg y µ λ φ Y (t) = exp{iµt λt } Funkcja charakterystyczna średniej Y = n j=1 Y j /n: φ Y (t) = exp{iµt λt }
ROZKŁAD CAUCHY EGO ROZKŁAD ŚREDNIEJ ARYTMETYCZNEJ Z PRÓBY JEST TAKI SAM JAK ROZKŁAD POJEDYNCZEJ OBSERWACJI
Ogólniej: SYMETRYCZNE ROZKŁADY α-stabilne exp{iµt λt α }
Ogólniej: SYMETRYCZNE ROZKŁADY α-stabilne exp{iµt λt α } ( exp{iµ t n λ t n α }) n = exp{iµt n 1/α 1 λt α } α=2 rozkład normalny; α=1 rozkład Cauchy ego
1.0 0.8 0.6 0.4 0.2 rozk lad pojedynczej obserwacji rozk lad średniej -1 0 1 2 3 4 5..
MEDIANA Mediana M minimalizuje względem µ funkcję n j=1 X i µ
MEDIANA Próba: X 1, X 2,..., X n Statystyki pozycyjne: X 1:n, X 2:n,..., X n:n X 1:n X 2:n... X n:n
MEDIANA Wyniki obserwacji: X 1, X 2,..., X 2n+1 Mediana z próby: X n+1:2n+1 (2n + 1)! ( nf (n!) 2 F (x)[1 F (x)]) (x)
1.6 1.4 1.2 1.0 n=25 0.8 0.6 0.4 n=5 0.2 n=1. -1 0 1 2 3 4 5 µ = 2.
Mediana z próby X 1, X 2,..., X n M n = 1 2 ( X n 2 :n + X n 2 +1:n ), jeżeli n jest parzyste, X [ n+1 2 ]:n, jeżeli n jest nieparzyste
Efektywność mediany w rozkładzie N(0, 1) e(n) = Var(X n) Var(M n )
Efektywność mediany w rozkładzie N(0, 1) e(n) = Var(X n) Var(M n ) n e(n) 1 1.000 2 1.000 3 0.743 4 0.838 5 0.697 6 0.776 7 0.679 8 0.743 9 0.669 10 0.723
Efektywność mediany w rozkładzie U(0, 1)
Efektywność mediany w rozkładzie U(0, 1) n e(n) 1 1.000 2 1.000 3 0.556 4 0.625 5 0.467 6 0.519 7 0.429 8 0.469 9 0.407 10 0.440
Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S
Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S Szacowanie µ w symetrycznym rozkładzie α-stabilnym (ogólniej?): Mediana z próby ±???
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n Efektywne konstrukcje w modelach z parametrem położenia
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n Efektywne konstrukcje w modelach z parametrem położenia Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n Efektywne konstrukcje w modelach z parametrem położenia Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Estymacja kwantyla?
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n Efektywne konstrukcje w modelach z parametrem położenia Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Estymacja kwantyla? Niesymetryczne F,
Mediana z próby parzystej jest najczęściej definiowana jako średnia arytmetyczna dwóch środkowych obserwacji Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka) c 1 X 1:n + c 2 X 2:n +... + c n X n:n Efektywne konstrukcje w modelach z parametrem położenia Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Estymacja kwantyla? Niesymetryczne F, V@R
Liniowy estymator nieobciążony o minimalnej wariancji: C = M 1 R ( ) ( ) 1 R T M 1 F R 1 (q) 1 E F X 1:n 1 R =......, M i,j = Cov F (X i:n, X j:n ) E F X n:n 1
Liniowy estymator nieobciążony o minimalnej wariancji: C = M 1 R ( ) ( ) 1 R T M 1 F R 1 (q) 1 E F X 1:n 1 R =......, M i,j = Cov F (X i:n, X j:n ) E F X n:n 1 Minimalna wariancja: Var L (q, n) = ( ) F 1 T ( ) (q) ( ) 1 R T M 1 F R 1 (q) 1 1
Liniowy estymator nieobciążony o minimalnej wariancji: C = M 1 R ( ) ( ) 1 R T M 1 F R 1 (q) 1 E F X 1:n 1 R =......, M i,j = Cov F (X i:n, X j:n ) E F X n:n 1 Minimalna wariancja: Var L (q, n) = ( ) F 1 T ( ) (q) ( ) 1 R T M 1 F R 1 (q) 1 1 Var L (q, n + 1) < Var L (q, n)???
Przykład: Estymacja kwantyla rzędu q rozkładu normalnego: (Var UMVU (q, 5),Var L (q, 5)) = 0.2000, 0.2000 0.5 0.2599, 0.2607 0.75 0.4164, 0.4190 0.9 = dla q = 0.9131, 0.9215 0.99 1.4583, 1.4732 0.999 2.0225, 2.0440 0.9999
Przykład: Estymacja mediany rozkładu Cauchy ego: c 3 X 3:n + c 4 X 4:n +... + c n 2 X n 2:n Liniowy estymator nieobciążony o minimalnej wariancji: C = M 1 R ( ) ( ) 1 R T M 1 0 R 1 E F X 3:n 1 R =...... M i,j = Cov F (X i:n, X j:n ) E F X n 2:n 1
BŁĄD OSZACOWANIA: Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S
BŁĄD OSZACOWANIA: Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S Szacowanie µ w symetrycznym rozkładzie α-stabilnym (ogólniej?): Mediana z próby ±??? Szacowanie µ w modelu z parametrem położenia L statystyka ±???
Duży model nieparametryczny : rodzina F wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach na prostej
Duży model nieparametryczny : rodzina F wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach na prostej Mediana z próby pochodzącej z rozkładu F jako estymator mediany m(f ) tego rozkładu
Duży model nieparametryczny : rodzina F wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach na prostej Mediana z próby pochodzącej z rozkładu F jako estymator mediany m(f ) tego rozkładu Twierdzenie. Dla każdego C > 0 istnieje taki rozkład F F, że Med F ( ) X n 2 :n + X n 2 +1:n 2 m(f ) > C
Duży model nieparametryczny : rodzina F wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach na prostej Mediana z próby pochodzącej z rozkładu F jako estymator mediany m(f ) tego rozkładu Twierdzenie. Dla każdego C > 0 istnieje taki rozkład F F, że Med F ( ) X n 2 :n + X n 2 +1:n 2 m(f ) > C TWIERDZENIE JEST PRAWDZIWE DLA WSZYSTKICH NIETRYWIALNYCH L-STATYSTYK!
Duży model nieparametryczny F Rodzina wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach Jeżeli X ma rozkład F z rodziny F i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) też ma rozkład z rodziny F
Duży model nieparametryczny F Rodzina wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach Jeżeli X ma rozkład F z rodziny F i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) też ma rozkład z rodziny F Jeżeli X ma rozkład F F z medianą m(f ) i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) ma rozkład z medianą g(m(f )).
Duży model nieparametryczny F Rodzina wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach Jeżeli X ma rozkład F z rodziny F i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) też ma rozkład z rodziny F Jeżeli X ma rozkład F F z medianą m(f ) i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) ma rozkład z medianą g(m(f )). Jeżeli X ma rozkład F F z kwantylem x q (F ) rzędu q i jeżeli g : R 1 R 1 jest przekształceniem monotonicznym, to zmienna losowa g(x ) rozkład z kwantylem rzędu q równym g(x q (F )).
Postulat pod adresem estymatora mediany (kwantyla): Jeżeli T jest nieobciążonym estymatorem mediany (kwantyla rzędu q) zmiennej losowej X, to g(t ) jest nieobciążonym estymatorem mediany (kwantyla rzędu q) zmiennej losowej g(x )
Postulat pod adresem estymatora mediany (kwantyla): Jeżeli T jest nieobciążonym estymatorem mediany (kwantyla rzędu q) zmiennej losowej X, to g(t ) jest nieobciążonym estymatorem mediany (kwantyla rzędu q) zmiennej losowej g(x ) Nieobciążony?
Estymacja kwantyla x q (F ) rzędu q rozkładu F. Konstrukcja medianowo nieobciążonego estymatora o maksymalnej koncentracji:
1 0.5 0 P {T x}........................... x q. x
Definiujemy π k (q) = P F {X k:n x q (F )} = n j=k Wybieramy k takie, że π k (q) 1 2 > π k+1(q) Obliczamy λ k = 1 2 π k+1(q) π k (q) π k+1 (q) ( ) n q j (1 q) n j j Medianowo nieobciążony estymator o maksymalnej koncentracji ma postać T = X J :n, P{J =k}=λ k, P{J =k +1}=1 λ k
Estymacja mediany (q = 1/2) π k ( 1 2 ) = 1 2 n n ( n ) j j=k 1 ( ), n = 2m + 1, 1 2 π m+1 = 2 1 2 1 ( 2m ), n = 2m 2 2m m X m+1, n = 2m + 1 Estymator = 1 (0,0.5] (R)X m + 1 (0.5,1) (R)X m+1, n = 2m R U(0, 1)
BŁĄD OSZACOWANIA Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S
BŁĄD OSZACOWANIA Szacowanie µ w rozkładzie normalnym: X ± 2 σ n lub X ± 2 S Szacowanie µ w symetrycznym rozkładzie α-stabilnym (ogólniej?): Mediana z próby ±??? Szacowanie µ w modelu z parametrem położenia: L statystyka ±??? Szacowanie kwantyla w podstawowym modelu nieparametrycznym: Nieobciążony estymator o maksymalnej koncentracji±???
PODSUMOWANIE
PODSUMOWANIE Rozkład normalny
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne)
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty Podstawowy model nieparametryczny: rodzina wszystkich rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty Podstawowy model nieparametryczny: rodzina wszystkich rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach Estymatory medianowo nieobciążone o maksymalnej koncentracji
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty Podstawowy model nieparametryczny: rodzina wszystkich rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach Estymatory medianowo nieobciążone o maksymalnej koncentracji Teoria ENMW, MSE, MAD,...
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty Podstawowy model nieparametryczny: rodzina wszystkich rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach Estymatory medianowo nieobciążone o maksymalnej koncentracji Teoria ENMW, MSE, MAD,... BŁĄD OSZACOWANIA
PODSUMOWANIE Rozkład normalny Symetryczne rozkłady α-stabilne (rozkłady symetryczne) Modele statystyczne z parametrem położenia: X = µ + ε, µ nieznane, ε F, F znane Modele statystyczne z parametrami położenia i skali, skala nieznana Model nieparametryczny: rodzina wszystkich rozkładów, które mają pierwszy (dwa pierwsze) momenty Podstawowy model nieparametryczny: rodzina wszystkich rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach Estymatory medianowo nieobciążone o maksymalnej koncentracji Teoria ENMW, MSE, MAD,... BŁĄD OSZACOWANIA ;)