Detekcja rozkładów o ciężkich ogonach

Detekcja rozkładów o ciężkich ogonach J. Śmiarowska, P. Jamer Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska 24 kwietnia 2012 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 1 / 40

Spis treści 1 Rozkłady o ciężkich ogonach Informacje wstępne Rodzina podwykładnicza Rozkłady typu Pareto 2 Detekcja rozkładów o grubych ogonach Analiza problemu Wykresy kwantylowe Empiryczna średnia nadwyżka J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 2 / 40

Definicja Rozkład o lekkim ogonie Niech X będzie nieujemna zmienna losowa o dystrybuancie F. Zmienna losowa X ma rozkład o lekkim ogonie przy x, jeśli ( A, b > 0) ( x 0 > 0) ( x x 0 ) F (x) Ae bx. Rozkład o ciężkim ogonie Nieujemna zmienna losowa X ma rozkład o ciężkim ogonie przy x, jeśli nie ma rozkładu o lekkim ogonie. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 3 / 40

Warunek równoważny Twierdzenie Zmienna losowa nieujemna X ma ciężki ogon wtedy i tylko wtedy, gdy ( t > 0) M X (t) =. Dowód: Pokażemy, że zmienna losowa ma lekki ogon wtedy i tylko wtedy, gdy ( t < t 0 ) M X (t) <. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 4 / 40

Warunek równoważny ( ) Z założenia mamy, że istnieja A, b, x 0 > 0 takie, że Zatem mamy ( ) M X (t) = E e tx = ( x x 0 ) F (x) Ae bx. 0 e tx df (x) = = [ e tx F (x) ] 0 + t F (x) e tx dx <, bo dla odpowiednio małych t : 0 0 e tx df (x) = [ lim x e tx F (x) ] [ lim x e tx Ae bx] [ = lim x Ae (t b)x ] = 0, 0 F (x) etx dx 0 Ae bx e tx dx = 0 Ae(t b)x dx <. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 5 / 40

Warunek równoważny ( ) Załóżmy nie wprost, że zachodzi ( t t 0 ) M X (t) <, ale zmienna losowa nie ma lekkiego ogona. Zatem ( A, b > 0) ( x 0 > 0) ( x x 0 ) F (x) > Ae bx. Wówczas M X (t) = [ e tx F (x) ] 0 + t F (x) e tx dx <, 0 ale dla t > b [ lim e tx F (x) ] [ lim e tx Ae bx] [ = lim Ae (t b)x] =. x x x Zatem M X (t) =, co prowadzi do sprzeczności. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 6 / 40

Twierdzenie Definicja Niech α F := lim sup x gdzie F (0 ) = 0, F - dystrybuanta. Twierdzenie ln F (x), x Załóżmy, że α F = 0, wówczas F ma ciężki ogon. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 7 / 40

Twierdzenie Dowód: Niech α F = 0. Wówczas Zatem po przeskalowaniu a stad ( ε > 0) ( x > 0 ) ( x x ) ln F (x) εx. ( x 0) F (x) ce εx, ( s ε) 0 e sx F (x) dx =. Z dowolności ε dostajemy, że F ma ciężki ogon. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 8 / 40

Przykłady Rozkład Lognormalny Rozkład Lognormalny Y e tx, X N (µ, σ 2) Policzmy k-ty moment Y : ( m k,y = E Y k) ( ) = E e ktx = M X (kt) = e µkt+ 1 2 σ2 k 2 t 2. Zatem k=0 m k,y k! t k =. Co jest równoważne temu, że nie istnieje M Y (t), t > 0. Zastosowanie: ubezpieczenia komunikacyjne. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 9 / 40

Przykłady Rozkład Weibulla Rozkład Weibulla X W (r, c), F (x) = e cx r, x > 0, c > 0. Bezpośrednio z definicji widać, że gdy r 1, to rozkład Weibulla ma lekki ogon, gdy r < 1, to rozkład Weibulla ma ciężki ogon. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 10 / 40

Przykłady Rozkład Pareto Rozkład Pareto X Par (α, c), ( c ) α F (x) =, x > c x Bezpośrednio z definicji widać, że rozkład ma ciężki ogon. Zastosowanie: ubezpieczenia przeciwpożarowe. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 11 / 40

Rodzina podwykładnicza Definicja Dystrybuanta F, F (0 ) = 0, jest podwykładnicza, jeśli Oznaczenie: F S. F 2 (x) lim = 2. x F (x) J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 12 / 40

Twierdzenie Twierdzenie Jeśli F S, to F ma ciężki ogon. Lemat Niech F S. Wówczas dla każdego x > 0 : 1 lim x F (x x ) F (x) 2 lim x x 0 = 1, F (x y) df (y) = 1. F (x) J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 13 / 40

Twierdzenie Dowód: Niech F S. Przyjmijmy m (x) := ln F (x). Wówczas z wcześniejszego twierdzenia wynika, iż wystarczy pokazać, że m (x) α F = lim sup = 0. x x Z lematu mamy, że dla każdego x > 0 : F (x x ) lim = 1. x F (x) Co dla każdego x > 0 daje nam ( ( lim ln F x x ) ln F (x) ) ( ( = lim m (x) m x x )) = 0. x x J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 14 / 40

Twierdzenie Zatem Wynika stad, że ( ε > 0) ( x 0 > 0) ( x x 0 ) m (x) m (x 1) < ε. m (x) m (x 1) + ε m (x 2) + 2ε... m (x n) + nε, gdzie x 0 x n < x 0 + 1. Możemy więc ogólniej napisać m (x) Ostatecznie z dowolności ε dostajemy sup m ( x ) + (x x 0 ) ε, x x 0. x 0 x x 0 +1 m (x) lim = 0. x x J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 15 / 40

Rozkłady typu Pareto Definicja Powiemy, że funkcja L : [0, ) (0, ) jest wolno zmieniajac a się funkcja przy x wtedy i tylko wtedy, gdy Oznaczenie: L R 0. Definicja ( t > 0) lim x L (tx) L (x) = 1 Dystrybuanta F jest typu Pareto z wykładnikeim α > 0, jeśli F (x) x α L (x) przy x, gdzie L jest funkcja wolno zmieniajac a się. Oznaczenie: F R α F L (x) x α, x, gdzie L R 0. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 16 / 40

Twierdzenie Twierdzenie Jeśli F R α, to F S. Dowód: Niech X, X 1, X 2 iid F R α. Niech x > 0. Wówczas dla dowolnego ε (0, 1) zdarzenie implikuje zdarzenie {X 1 + X 2 > x} {X 1 > (1 ε) x} {X 2 > (1 ε) x} {X 1 > εx X 2 > εx}. Wynika stad, że P (X 1 + X 2 > x) 2P (X > (1 ε) x) + (P (X > εx)) 2 P (X 1 + X 2 > x) 2F ((1 ε) x) + ( F (εx) ) 2 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 17 / 40

Twierdzenie Zatem F 2 (x) P (X 1 + X 2 > x) lim sup = lim sup 2 x F (x) x F (x) Z drugiej strony dla dowolnej dystrybuanty F mamy F 2 (x) F (x) x = 1 + 0 F (x y) df (y) 1 + F (x), F (x) co po przejściu do granicy daje nam F 2 (x) lim inf 2 x F (x) J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 18 / 40

Oznaczenia {U i : 1 i n} portfel roszczeń. X n = U 1 + U 2 +... + U n całkowita suma roszczeń. U (1), U (2),..., U (n) roszczenia uporzadkowane tak, że min U i = U (1) U (2)... U (n) = max U i. 1 i n 1 i n J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 19 / 40

Intuicje Wysokie roszczenie Roszczenie będziemy nazywać dużym, gdy łaczna suma roszczeń jest w znacznej mierze przez nie determinowana. Powyższe stwierdzenie znajduje wiele interpretacji. Przykładowo roszczenie możemy nazywać dużym, gdy jego wartość jest nietypowa, pojawia się rzadko. stosunek U (n) do X n jest duży. Czyli powiemy, że U (n) jest duże, gdy d = Z U (n)/x n ma większość masy prawdopodobieństwa w okolicy 1. stanowi ono duża część całkowitej sumy roszczeń X n. Czyli powiemy, że U (m) jest duże, gdy m min { k : U (k) > px n }, gdzie p to odpowiednio duża część całkowitej sumy roszczeń. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 20 / 40

Formalizm Podejście I Podejście I Całkowita suma roszczeń jest duża, ponieważ największe roszczenie jest duże. Czyli matematycznie P (X n > x) P ( U (n) > x ), x. Takie podejście prowadzi w naturalny sposób do podwykładniczej rodziny rozkładów S. Statystyczna weryfikacja hipotezy F = F U S jest jednak daleka od prostoty. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 21 / 40

Formalizm Podejście II Podejście II Opierajac się na jednym z wcześniejszych twierdzeń. Rozkłady o ciężkich ogonach możemy wykrywać w oparciu o warunek log (1 F (x)) α F = lim sup = 0. x x Statystycznie interesowałoby nas analizowanie warunku log (1 F n (U n k )) log n k lim sup = lim sup = 0, x U n k x U n k gdzie k /n 0. Jest on niestety nieweryfikowalny z uwagi na granicę we wzorze. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 22 / 40

Formalizm Podejście III Podejście III Możemy oprzeć nasze wnioskowanie na funkcji µ F (x) = E (U x U > x) = wiedzac, że zachodzi relacja lim µ F (x) = α F = 0. x x 1 F (y) 1 F (x) dy, Na potrzeby obliczeń powyższy wzór przekształcić można do postaci ( ) 1 n ( ) µ n U(n k) = U(j) U k (n k), k/n 0. j=n k+1 Nie jest jednak statystycznie oczywistym jak badać, czy powyższe wyrażenie zbiega do. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 23 / 40

Konkluzje Ściśle formalne, statystyczne postawienie problemu wykrywania rozkładów o ciężkich ogonach okazało się być zadaniem trudnym. Koniecznym jest poświęcenie formalizmu na rzecz prostoty. Skupimy się na porównywaniu ogonów rozkładów empirycznych z ogonami rozkładów wzorcowych. Dobrym rozkładem wzorcowym jest tutaj rozkład wykładniczy f (x) = λe λx I (0, ) (x), λ > 0. Powiemy, że rozkład F ma cięższy ogon niż rozkład wykładniczy, jeżeli 1 F (x) > ce ax, x 0, a, c > 0. Zachodzenie powyższej nierówności dla wszystkich a > 0 gwarantuje nam, że α F = 0. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 24 / 40

Idea Rozkład wykładniczy Rozważamy jako rozkład wzorcowy standardowy rozkład wykładniczy o dystrybuancie G Exp (1). Jesteśmy zainteresowani sprawdzeniem, czy dystrybuanta empiryczna wielkości roszczenia F ma ten sam rozkład co G z dokładnościa do parametru λ : F Exp (λ). Sprawdzenia powyższego dokonamy tworzac wykres kwantylowy funkcji kwantylwej Q G G oraz Q n F. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 25 / 40

Funkcja kwantylowa Definicja Niech F będzie dystrybuanta pewnego rozkładu prawdopodobieństwa. Wówczas mianem funkcji kwantylowej tego rozkładu określimy funkcję zdefiniowana następujaco Definicja Q F (y) = F 1 (y) = inf {x : F (x) y}. Niech F n będzie dystrybuanta empiryczna zbudowana na bazie próbki n elementowej. Niech U (1) U (2)... U (n) będzie wspomniana próbka po uporzadkowaniu. Empiryczna funkcja kwantylowa zbudowana na bazie powyższej próbki nazwiemy funkcję spełniajac a poniższy warunek Q n (y) = U (k) k 1 n < y k n. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 26 / 40

Wykres kwantylowy Rozkład wykładniczy Nanosimy na układ współrzędnych punkty ( ( ) ( )) k k Q G, Q n = n n ( 1λ log ( 1 k n ), U (k) ). Jeżeli nasze dane pochodza z rozkładu o ogonie zbliżonym do tego, jaki posiada rozkład wykładniczy, to na wykresie uzyskamy w przybliżeniu linię prosta. Parametr λ 1 wyraża nachylenie tej prostej. Jeżeli nasze dane pochodza z rozkładu o ogonie cięższym do tego, jaki posiada rozkład wykładniczy, wówczas funkcja rośnie szybciej niż linia prosta. Jeżeli nasze dane pochodza z rozkładu o ogonie lżejszym do tego, jaki posiada rozkład wykładniczy, wówczas funkcja rośnie wolniej niż linia prosta. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 27 / 40

Wykres kwantylowy Poprawka na ciagłość Zauważmy, że dla k = n zachodzi ( ) k Q G =. n Z tego względu, rysujac wykres kwantylowy, często zamiast punktów { } k n : 1 k n, nanosi się na niego punkty { } k n + 1 : 1 k n. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 28 / 40

Estymacja parametru rozkładu Jeżeli F ma w przybliżeniu rozkład wykładniczy o parametrze λ. Wówczas parametr ten możemy wyestymować z pomoca MNK: ( ) n ˆλ 1 k=1 U k (k)q G n+1 = ( )) 2. n k=1 (Q k G n+1 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 29 / 40

Siła zależności liniowej Możemy zbadać siłę zależności liniowej między Q G oraz Q n wykorzystujac empiryczny współczynnik korelacji: n ( k=1 u(k) u ) ( ( ) ) Q k G n+1 Q G r (u 1, u 2,..., u n ) = n ( ( ) ) 2 k=1 Q k G n+1 Q n ( G k=1 u(k) u ), 2 gdzie: u = 1 n n k=1 u k = 1 n n k=1 u (k), Q G = 1 ( ) n n k=1 Q k G n+1 = 1 n ) n k=1 (1 log k n+1. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 30 / 40

Dane ucięte Niech U Exp (λ). Wówczas ogonem dystrybuanty uciętego rozkładu wykładniczego nazwiemy funkcję F [0,a] (x) = P (U > x U > a) = Odpowiadajaca jej funkcja kwantylowa, to P (U > x) P (U > a) = e λ(x a), x > a. Q [0,a] (y) = a 1 log (1 y), 0 < y < 1. λ Estymatorem parametru a tak zdefiniowanego rozkładu jest punkt przecięcia wykresu kwantylowego z prosta y = 0. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 31 / 40

Inne rozkłady Przy tworzeniu wykresu kwantylowego, jako rozkład wzorcowy można rozważać oczywiście nie tylko rozkład wykładniczy. Rozkład normalny N ( µ, σ 2) ( ( ) ) : Φ 1 k n+1, U (k). Wyraz wolny prostej estymuje parametr µ. Współczynnik kierunkowy prostej estymuje parametr σ. ( ( ) ) Rozkład lognormalny: Φ 1 k n+1, log U (k). ( ( ) ) Rozkład Pareto Par (α, c) : log 1 k n+1, log U (k). Wyraz wolny prostej estymuje parametr log c. Współczynnik kierunkowy prostej estymuje parametr α 1. ( ( ( )) ) Rozkład Weibulla W (r, c) : log log 1 k n+1, log U (k). Wyraz wolny prostej estymuje parametr r 1 log c. Współczynnik kierunkowy prostej estymuje parametr r 1. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 32 / 40

Przykład 1 J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 33 / 40

Wzór empiryczny Rozważać będziemy funkcję średniej nadwyżki µ F (x) = x 1 F (y) 1 F (x) dy. Wyprowadzimy dla niej wzór empiryczny przy k takim, że k /n 0. = n k n 1 i=n k = 1 k µ n ( U(n k) ) = U(i+1) U (i) n j=n k+1 U (n k) (1 F n (y)) = 1 k 1 F n (y) 1 F n ( U(n k) )dy = n 1 i=n k U (j) ku (n k) = 1 k (n i) ( U (i+1) U (i) ) = n j=n k+1 ( U(j) U (n k) ). J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 36 / 40

Idea Zauważmy, że dla rozkładu wykładniczego z parametrem λ µ F (x) = λ 1 = const. Podobnie, jeśli µ F (x) = const, to F jest dystrybuanta rozkładu wykładniczego. ( ) Możemy więc stosujac empiryczna funkcję µ n U(n k) porównywać rozkłady wartości roszczeń z rozkładem wykładniczym. J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 37 / 40

Interpretacja Jeśli dystrybuanta F ma cięższy ogon niż dystrybuanta rozkładu wykładniczego. Wówczas jej empiryczna średnia nadwyżka { µn ( U(n k) ) : 1 < k n } będzie znajdowała się powyżej analogicznej funkcji dla rozkładu wykładniczego (będzie rosła). Jeśli dystrybuanta F ma lżejszy ogon niż dystrybuanta rozkładu wykładniczego. Wówczas jej empiryczna średnia nadwyżka { µn ( U(n k) ) : 1 < k n } będzie znajdowała się poniżej analogicznej funkcji dla rozkładu wykładniczego (będzie malała). J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 38 / 40

Wykresy J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 39 / 40

Dziękujemy za uwagę! J. Śmiarowska, P. Jamer (Politechnika Warszawska) Detekcja rozkładów o ciężkich ogonach 24 kwietnia 2012 40 / 40