MATEMATYKA STOSOWANA 8, 2007 Teresa Ledwia (Wrocław) O asymptotyczej efektywości estymatorów Streszczeie. W pracy przedstawiamy i dyskutujemy pojęcie asymptotyczej efektywości estymatorów w ujęciu Hájeka i Le Cama. Podajemy też ogólą kostrukcję pewej klasy asymptotyczie optymalych estymatorów dla parametrów z przestrzei euklidesowej. Pokrótce szkicujemy uogólieia dyskutowaych idei a przypadek semiparametryczy i pokazujemy, że techicze wyiki uzyskae w teorii asymptotyczie efektywej estymacji mogą być z powodzeiem wykorzystae w asymptotyczej teorii testowaia. Wybór materiału jest wysoce subiektywy i tylko w iewielkim stopiu oddaje złożoość rozpatrywaych współcześie zagadień oraz ogrom wyików, jakie uzyskao w tej tematyce. Tekst jest skrócoą wersją wykładu przygotowaego a zaproszeie Orgaizatorów Koferecji ze Statystyki Matematyczej Wisła 2005. Główym celem prezetacji jest pokazaie, że klasycze podejście do defiiowaia asymptotyczej efektywości ie sprawdziło się i przedyskutowaie tego jak, dla pewej klasy zagadień, w aturaly i elegacki sposób został te problem rozwiązay. Słowa kluczowe: asymptotycza efektywość, asymptotycza optymalość, fukcja wpływu, superefektywość, test wyikowy. 1. Klasycze podejście do asymptotyczej efektywości. Pierwsze, iezbyt formale, próby defiiowaia i udowadiaia asymptotyczej optymalości estymatorów pochodziły od Edgewortha (1908). Fisher (1922, 1925) zrobił istoty krok poprzez dużo bardziej formale rozważaia dla ogólej jedoparametrowej rodziy rozkładów. Choć jego wywody ie były całkiem ścisłe, prace te były bardzo istote. Wielu autorów (p. Doob 1934) formalizowało wywody Fishera. Większość tych formalizacji była zbliżoa do klasyczego dziś podejścia Craméra (1946). Dla kompletości prezetacji przedstawiamy poiżej wariat takiego rozwiązaia. Dla prostoty ograiczymy się do przypadku, gdy estymujemy parametr z prostej. Rozważamy model P = {P : Θ R}. Zakładamy, że rozkłady P posiadają gęstości p względem pewej σ-skończoej miary domiującej µ i iformacja Fishera [ ] 2 I = log p (x) p (x)µ(dx) R istieje oraz spełia I (0, ). [66]
O asymptotyczej efektywości estymatorów 67 Dla odróżieia klasyczego rozwiązaia od rozwiązań współczesych będziemy używać azwy v-efektywość a ujęcie klasycze. Taką azwę wprowadził Rao (1963). Tradycyjie rozważaia ograicza się do klasy {T } zgodych i asymptotyczie ormalych estymatorów parametru, to zaczy takich, że (1) (T ) D N(0,v()). Defiicja 1. Ciąg estymatorów {T } spełiający (1) z v() = 1/I azywamy v-efektywym. Sztadarowymi przykładami estymatorów v-efektywych były estymatory ajwiększej wiarogodości i estymatory jedokrokowe. Omówimy pokrótce oba te przykłady. 1.1. Klasycze założeia regularości o P = {P : Θ R, P µ}. Rozważmy założeia: (i) Θ jest zbiorem otwartym. (ii) Rozkłady P mają wspóly ośik A, który ie zależy od. (iii) Dla każdego x A gęstość p jest trzykrotie ciągle różiczkowala względem. (iv) Fukcja p (x)µ(dx) jest dwukrotie różiczkowala po pod zakiem całki. (v) I (0, ). (vi) Dla każdego 0 Θ istieją dodatia liczba c i fukcja M(x) (byćmoże obie zależe od 0 )takie,że 3 log p (x) 3 M(x), x A, ( 0 c, 0 + c) oraz M(x)p 0 (x)µ(dx) <. 1.2. Fukcja wiarogodości i estymatory ajwiększej wiarogodości. Dla wyików x 1,..., x iezależych obserwacji o rozkładzie P ozaczmy przez L() = log p (x i ) logarytm fukcji wiarogodości. Niech L ozacza pochodą L względem iiechestymator będzie rozwiązaiem rówaia (2) L ( )=0. Twierdzeie 1. Zakładamy, że P spełia (i) (vi). Jeśli, będące rozwiązaiem (2 ), jest zgodym estymatorem, to ( ) D N(0, 1/I ).
68 T. Ledwia Kwestia zgodości rozwiązaia rówaia (2) jest problemem ietrywialym. Waruki zgodości badali między iymi Le Cam (1953, 1970), Kiefer i Wolfowitz (1956) oraz Zacks (1971). Wiadomo, że są sytuacje, gdy zgodości ie ma. Dla uikięcia powyższych kłopotów zapropoowao astępujące przybliżoe rozwiązaie. 1.3. Estymatory jedokrokowe. Niech będzie rozwiązaiem rówaia (2) i iech będzie jakimś iym estymatorem. Przy założeiu (iii) fukcja wiarogodości L jest trzykrotie różiczkowala. Z wzoru Taylora dla L mamy 0=L ( )=L ( )+( )L ( )+R, gdzie R =( ) 2 L ( )/2, a jest puktem pośredim między i. Zdefiiujmy δ poprzez relację 0=L ( )+(δ )L ( ). Rozwiązaie δ azywamy jedokrokowym estymatorem opartym a. Oczywiście δ = L ( ) L ( ). Użyteczość tej kostrukcji wyika z poiższego twierdzeia i wiosku. Przed ich sformułowaiem przypomijmy, że ciąg estymatorów {T } parametru jest -zgody, jeśli ciąg zmieych losowych { (T )} jest ograiczoy według prawdopodobieństwa P. Twierdzeie 2. Niech będzie jakimś -zgodym estymatorem. Przy założeiach (i) (vi) estymator δ jest v-efektywy. Wiosek 1. Jeśli I jest ciągłą fukcją to, przy założeiach twierdzeia 2, estymator (3) δ 0 = + L ( ) = + 1 I 1 (X l i ), I gdzie l (x) = log p (x), jest v-efektywy. Fukcję l (x) będziemy azywać fukcją wyikową. 1.4. Superefektywość i problemy pochode. W 1953 r. Hodges podał przykład, który zachwiał bezkrytyczą wiarą w użyteczość i sesowość
O asymptotyczej efektywości estymatorów 69 defiicji v-efektywości. Miaowicie, Hodges zdefiiował ciąg estymatorów {S }, dla którego zachodzi (4) (S ) D N(0,v()), v() 1/I(), z ostrą ierówością dla pewego. Własość (4) azwao superefektywością. Przykład Hodgesa. Niech X 1,..., X będą iezależymi zmieymi losowymi o rozkładzie P = N(, 1) dla każdej zmieej. Zdefiiujmy S = XI{ X 1/4 } + a XI{ X < 1/4 }, gdzie I{A} ozacza idykator zdarzeia A, ax = X i/. Łatwopokazać, że (S ) D N(0,v()), gdzie v() =I{ 0}+a 2 I{ =0}. Oczywiście, biorąc odpowiedio małe a, możemy uczyić v() dowolie małym w pukcie = 0. Jest to jedak dość iluzoryczy zysk. Aby to zrozumieć, rozważmy zormalizowae ryzyko estymatora S dae wzorem R () =E (S ) 2, gdzie E ( ) ozacza wartość oczekiwaą zmieej liczoą przy rozkładzie P. Zaotujmy, że zormalizowae ryzyko estymatora X wyosi 1 dla każdego. ZpostaciR () (por. Lehma 1983, s. 408) wyika, że R () 1, jeśli 0,orazR () a 2,gdy = 0. Poadto, dla = 1/4 zachodzi R ( ), co implikuje sup R ().Dlaa = 0 i kilku wybraych rysuek 8.1 w książce va der Vaarta (2000) ilustruje, jak moco oscyluje zormalizowae ryzyko R () estymatora S w pobliżu puktu =0.Tak więc miejsza wariacja S w = 0 istotie rozregulowuje zachowaie ryzyka w otoczeiu =0. W ogólej sytuacji Le Cam (1953) i Huber (1966) pokazali, że dla R oraz R 2 superefektywość w pewym pukcie 0 powoduje iepożądae własości ryzyka w otoczeiu 0. Warto odotować, że dla R k, k 3, superefektywość ie musi mieć tak groźego wpływu a ryzyko, a superefektywe estymatory mogą mieć dobre własości. Kilka uwag a te temat zamieszczamy poiżej. Dla zwartości prezetacji zauważmy, że, przy dodatkowym założeiu o jedostajej całkowalości (T ) 2, v-efektywość estymatora T parametru R implikuje relację (5) lim E T 2 =1/I. Naturalym aalogoem (5) dla R k jest waruek (6) lim E T 2 =tr{i 1 },
70 T. Ledwia gdzie ozacza ormę euklidesową w R k atr{ } ślad macierzy. Dla ilustracji rozważmy teraz k wymiarowe wektory X i o rozkładzie N(0,I), I macierz idetyczościowa wymiaru k k i astępujący estymator Jamesa- Steia (1961) (7) T = X (k 2)X/( X ) 2, gdzie, jak poprzedio, X = X i/. Zormalizowae ryzyko tego estymatora ma postać (por. Lehma 1983, str. 306 i 294) E T 2 (k 2)2 = k [1 E ] X 2. k Zauważmy, że dla 0 zachodzi lim E X 2 = 0 i lim E T 2 = k =tr{i}. Poadto, dla X 1 N(, I) orazk 3, mamy 1 k 2+ 2 E 1 X 1 2 1 ( ) k k 2 k + 2 (por. Casella i Hwag 1982). Wobec tego, dla = 0 dostajemy lim E T 2 =2.Topokazuje, że T day wzorem (7) jest superefektywy w sesie defiicji (6). Z drugiej stroy przy k 3 zachodzi relacja E T 2 <k= E X 2,,. Tak więc, przy wymiarze k 3 oraz przy dowolych ustaloych i k, superefektywość zredukowała ryzyko v-efektywego estymatora X wcałej przestrzei parametrów. Tego typu zjawisko powoduje, że superefektywe estymatory są do dziś obiektem badań i okazują się użytecze w wielu sytuacjach. W literaturze w latach 60. i 70. ubiegłego wieku moża zaobserwować rozmaite reakcje a superefektywość. Wymieimy tu cztery urty badań. 1. Wykazywaie, że dla asymptotyczie ormalych estymatorów miara Lebesgue a zbioru puktów, w których ma miejsce superefektywość, wyosi 0 (Le Cam 1953, Bahadur 1964). Były to oczywiście iteresujące wyiki, ale przykład estymatora Jamesa-Steia pokazuje, że zbiór miary 0 ma zaczeie w praktyce. 2. Próby formułowaia waruków, przy których (T ) L,jedostajie względem wziętej ze zbiorów zwartych, gdzie L jest pewą zmieą losową (Rao 1963, Wolfowitz 1965). Wyiki te były a tyle wąskie, że ie rodziły adziei a uzyskaie wiosków istotych dla praktyki. 3. Ograiczeie rozważań do modeli i estymatorów T, dla których (T ) L lokalie jedostajie.
O asymptotyczej efektywości estymatorów 71 4. Ograiczeie rozważań do gładkich modeli i dowodzeie lokalych twierdzeń miimaksowych. Dwa ostatie pukty wiążą się ściśle z wyikami dowodzoymi przez Le Cama począwszy od 1953 r. i rozwiiętymi przez Hájeka w latach 1967 1972. Ich teoria rozwiązała pewą klasę problemów. Główym przesłaiem wyikającym z tej teorii i problemów związaych z superefektywością, których oa ie objęła, jest uwypukleie wagi badań pewych jedostajości przy porówywaiu estymatorów. 2. Asymptotycza optymalość estymatorów w ujęciu Hájeka Le Cama. Przypadek estymacji Θ R k. 2.1. Nowe waruki regularości. Prezetację podejścia Hájeka Le Cama zacziemy od przedstawieia wprowadzoego przez ich ujęcia waruków regularości. Ma oo dwie podstawowe zalety: pozwala a osłabieie klasyczych założeń oraz umożliwia aturale rozszerzeie teorii modeli parametryczych a modele semiparametrycze i ieparametrycze. Rozważmy model P = {P : Θ}, gdziep są określoe a pewej przestrzei (X, A), Θ jest zbiorem otwartym w R k,ap są absolutie ciągłe względem pewej σ-skończoej miary µ. Ozaczmy p = dp /dµ i wprowadźmy pomociczą defiicję. Defiicja 2. Mówimy, że fukcja p jest różiczkowala w sesie średiokwadratowym jeśli istieje wektor l =( l,1,..., l,k ) T fukcji mierzalych taki, że E l (X) =0 i E l (X) 2 < oraz [ (8) p+h p 1 ] 2 2 ht l p dµ = o( h 2 ), h 0. X Tu i poiżej wszystkie wektory są kolumowe, a góry wskaźik T ozacza traspozycję. Następa defiicja sprowadza regularość modelu P do średiokwadratowej różiczkowalości fukcji p. Defiicja 3. Jeśli dla gęstości p miar P, Θ, zachodzi waruek (8), to mówimy, że model P = {P : Θ} jest różiczkowaly w sesie średiokwadratowym w pukcie. Taki model azywać będziemy regularym. Fukcję l azywa się fukcją wyikową lub pochodą Helligera. Natomiast macierz I = E l (X)[ l (X)] T osi azwę macierzy iformacji. Przypomijmy, że jeśli dla każdego x z ośika gęstość p (x) byłaróżiczkowala względem, toprzyk = 1 fukcja wyikowa była zdefiiowaa jako l (x) = log p (x). Zauważmy, że dla s (x) = p (x) zachodzi ṡ (x) = s (x) = 1 2 l (x) p (x).
72 T. Ledwia Jest oczywiste, że akładając dalsze waruki gładkości a p możaby uzyskać dla każdego x zośikap astępującą relację (9) p+h (x) p (x) 1 2 ht l (x) p (x) =o( h ). Widać więc, że zamiast postulowaia kolejych założeń o gładkości p (por. rozdział 1.1), Hájek i Le Cam zapropoowali słabszy waruek staowiący o małości lewej stroy (9) w sesie średim. Poiższy lemat podaje proste waruki aalitycze wystarczające dla zachodzeia (8). Lemat 1. Niech P = {p : Θ R k } będzie rodzią gęstości względem miary µ a (X, A). Załóżmy, że 1. Θ jest zbiorem otwartym w R k. 2. Odwzorowaie s = p jest ciągle różiczkowale po, dla każdego x X. 3. Elemety macierzy ) T (ṗ )(ṗ I = p dµ, p p X gdzie ṗ = p są dobrze określoe i ciągłe po. Wówczas odwzorowaie p jest różiczkowale w sesie średiokwadratowym w pukcie ispełia(8 ) z l =ṗ /p. Uwaga 1. Jeślik = 1, to założeie 2 w lemacie 1 moża zastąpić słabszym warukiem: w otoczeiu, dlawszystkichx, p (x) jest absolutie ciągła względem. W szczególości, dla modelu p (x) =f(x ), z f będącą absolutie ciągłą fukcją swego argumetu i taką, że (f /f) 2 fdµ <, uzyskujemy średiokwadratową różiczkowalość z l (x) = f (x ) f(x ). Przykładem fukcji f spełiającej założeia uwagi 1, a ie spełiającej założeia 2 z lematu 1, jest fukcja f(x) =0.5exp{ x }. 2.2. Regularość estymatorów. Przykład Hodgesa pokazał, że warto myśleć o zagwaratowaiu stabilego zachowaia estymatorów w otoczeiu estymowaej wartości. W metodologii zapropoowaej przez Hájeka i Le Cama zrealizowao te postulat poprzez kotrolę zachowaia się estymatora w ściągających się wraz z otoczeiach. Mając a względzie rozmaite zastosowaia, warto rozważyć od razu ogóliejszy problem estymacji składowych fukcji Ψ : Θ R m, m k, Θ R k. Przypuśćmy, że dla pewego estymatora T parametru Ψ(), przy każdym
O asymptotyczej efektywości estymatorów 73 ustaloym h R k, dla obserwacji o rozkładzie P +h/, zachodzi [ ( T Ψ + h )] D L,h. W dalszej części iiejszego opracowaia ograiczymy rozważaia do estymatorów T, dla których L,h = L (według rozkładu) dla każdego h. Własość ta ozacza, że T stabilizuje się w sposób lokalie jedostajy. Takie estymatory azwiemy regularymi. Formalizuje to astępująca defiicja. Defiicja 4. Ciąg estymatorów {T } parametru Ψ() azywamy regularym w pukcie, jeśli dla każdego h R k,przyp +h/, zachodzi [ ( T Ψ + h )] D L, L G, gdzie G jest jakimś rozkładem, który zależy od, a ie zależy od h. Wiele estymatorów spełia powyższy wymóg regularości. Istieją też dobre i złe estymatory, które regulare ie są. Jako przykład mogą służyć estymatory Jamesa Steia i Hodgesa. Oba ie są regulare w 0 z odpowiedio wymiarowej przestrzei. 2.3. Formalizacja pojęcia asymptotyczej optymalości. Zaczijmy od wprowadzeia dodatkowego ozaczeia. Niech Ψ = (Ψ 1,..., Ψ m ) będzie różiczkowalą fukcją odwzorowującą Θ R k w R m, m k. Symbolem Ψ będziemy ozaczać macierz m k o elemetach postaci Ψ i / j, 1 i m, 1 j k. Wprowadzeie pojęcia asymptotyczej optymalości poprzedzimy kluczowym twierdzeiem Hájeka (1970) o splocie i wioskami z iego wypływającymi. Twierdzeie 3. Załóżmy, że Θ jest zbiorem otwartym w R k, amodel P = {P : Θ} jest różiczkowaly w sesie średiokwadratowym w pukcie. Poadto załóżmy, że macierz I jest ieosobliwa, a fukcja Ψ:Θ R m, m k, jest różiczkowala w pukcie. Niech {T } będzie ciągiem estymatorów parametrów Ψ() regularym w, z rozkładem graiczym G. Wówczas istieje miara probabilistycza M taka, że ( (10) G = N 0, Ψ ) I 1 Ψ T M. W szczególości, jeśli G ma macierz kowariacji Σ, to macierz Σ Ψ I 1 Ψ T jest ieujemie określoa. Waruek (10) moża ziterpretować astępująco. Przy P +h/ zachodzi [T Ψ( + h/ D ( )] Z + S,gdzieZ i S są iezależe, Z N 0, Ψ ) I 1 Ψ T,aS M. Stąd wyika, że regulary ciąg estymatorów
74 T. Ledwia w modelu regularym jest ((asymptotyczie) ajmiej rozproszoy, jeśli ma asymptotyczy rozkład N 0, Ψ ) I 1 Ψ T. Podobą iterpretację twierdzeia 3 uzyskuje się poprzez zastosowaie lematu Adersoa (1955). Lemat poprzedzamy pomociczą defiicją. Defiicja 5. Fukcję l : R m R + azywamy czaszokształtą, jeśli l(x) =l( x) oraz dla każdego c 0zbiór{x : l(x) c} jest wypukły. Lemat 2. Dla każdej czaszokształtej fukcji l a R m, każdej miary probabilistyczej M i każdej macierzy kowariacji Σ wymiaru m m zachodzi ld[n(0, Σ) M] ldn(0, Σ). R m Z twierdzeia o splocie, lematu Adersoa i własości słabej zbieżości wyika astępujące spostrzeżeie. ( Wiosek 2. Niech Z N 0, Ψ ) I 1 Ψ T. Przy założeiach twierdzeia 3, dla każdej czaszokształtej fukcji l a R m zachodzi lim if E +h/ l ( [ T Ψ R m ( + h )]) El(Z ). W szczególości lim if E l ( [T Ψ()] ) El(Z ). Twierdzeie ( 3 i wiosek 2 pokazują, że estymator o rozkładzie graiczym N 0, Ψ ) I 1 Ψ T jest ajbardziej skocetroway wokół Ψ(). Powyższe wyiki motywują astępującą defiicję. Defiicja 6. Rozważamy średiokwadratowo różiczkowaly model P = {P : Θ} z ieosobliwą macierzą iformacji I i problem estymacji różiczkowalej fukcji Ψ(). Mówimy, że ciąg regularych estymatorów {T } parametru Ψ() jest asymptotyczie optymaly dla estymacji Ψ() w pukcie, jeśli przy P zachodzi [T Ψ()] D N (0, Ψ ) I 1 Ψ T. ( Iego argumetu a to, że w regularych przypadkach rozkład N 0, Ψ ) I 1 Ψ T jest ajlepszym osiągalym wyikiem, dostarcza odpowiedie twierdzeie miimaksowe. Pierwszy ogóly rezultat tego typu podał Hájek w 1972 r. Dla ilustracji tego podejścia przytaczamy w miarę prosty wariat twierdzeia udowodioy przez va der Vaarta (2000). Twierdzeie 4. Załóżmy, że model P = {P : Θ R k } jest średiokwadratowo różiczkowaly w pukcie z ieosobliwą macierzą iformacji
O asymptotyczej efektywości estymatorów 75 I. Niech Ψ będzie różiczkowala w i iech {T } będzie dowolym ciągiem estymatorów. Wówczas dla dowolej czaszokształtej fukcji straty l zachodzi sup lim if S ( [ sup E +h/ l T Ψ( + h S h ]) ) ldn ( 0, Ψ ) I 1 Ψ T, gdzie pierwsze supremum jest brae po wszystkich skończoych podzbiorach S z R k. 2.4. Charakteryzacja estymatorów asymptotyczie optymalych. Poiższe twierdzeie gra kluczową rolę w kostrukcji estymatorów asymptotyczie optymalych. Jego sformułowaie pochodzi z ksiażki va der Vaarta (2000). Twierdzeie 5. Załóżmy, że Θ jest zbiorem otwartym, amodelp = {P : Θ R k } jest średiokwadratowo różiczkowaly w pukcie z ieosobliwą macierzą iformacji I. Niech Ψ będzie różiczkowala w i iech {T } będzie ciągiem estymatorów Ψ() takim, że (11) [T Ψ()] = 1 Ψ I 1 l (X i )+o P (1). Wówczas {T } jest regulary i asymptotyczie optymaly dla estymacji Ψ() w pukcie. Poadto, każdy asymptotyczie optymaly i regulary ciąg estymatorów parametru Ψ() ma reprezetację (11 ). Dla iego wysłowieia waruku (11) przypomimy dwa stadardowe pojęcia. Mówimy, że estymator T parametru Ψ() wmodelup jest asymptotyczie liiowy z fukcją wpływu h, h dp =0, h 2 dp <, jeśli (12) [T Ψ()] = 1 h (X i )+o P (1). Fukcję Ψ I 1 l ( ) azywa się efektywą fukcją wpływu dla parametru Ψ(). Tezę twierdzeia 5 moża więc streścić astępująco: każdy asymptotyczie optymaly i regulary ciąg estymatorów musi być asymptotyczie liiowy z efektywą fukcją wpływu. 2.5. Kostrukcja klasy estymatorów asymptotyczie optymalych wektora. Geeralie, charakteryzacja klasy estymatorów asymptotyczie optymalych wydaje się być problemem łatwiejszym iż kostruowaie takich estymatorów. Oczywiście, bardzo dużo w tej tematyce już zrobioo. Niestety,
76 T. Ledwia czasami wiedza ta ie jest łatwo dostępa. Poiżej podajemy pewą kostrukcję klasy estymatorów asymptotyczie optymalych dla problemu estymacji wektora. Poprawość takiej kostrukcji jest aszkicowaa w rozdz. 2.5 książki Bickela i iych (1993). Praca Schicka (2001) dostarcza precyzyjych arzędzi pozwalających udowodić poiższe twierdzeie w sposób samodziely. Podaa kostrukcja estymatorów asymptotyczie optymalych aśladuje estymatory jedokrokowe (por. (3)) i wykorzystuje trick Le Cama (1956), zway dyskretyzacją. Opis kostrukcji zacziemy od przypomieia a czym polega dyskretyzacja. Rozważamy model P = {P : Θ R k }, iezależe zmiee losowe X 1,..., X owartościachw(x, A) i rozkładzie P. Dla daej realizacji próby x 1,..., x kładziemy x =(x 1,..., x ). Niech będzie jakimś -zgodym estymatorem. Podzielmy Θ a kostki o boku c/,gdziec jest dowolym ustaloym wektorem w R k. Zdyskretyzowaa wersja estymatora jest zdefiiowaa astępująco: dla daej realizacji x, = (x) jestśrodkiem kostki, do której ależy (x). Dla wartości (x) leżących a brzegach kostek przyjmuje się jakąś dodatkową regułę określeia. Estymator ma dwie istote własości: jest -zgody oraz dla każdego M>0azbiorze{x : M} przyjmuje skończoą liczbę wartości, która zależy od c i M, ale ie zależy od. Przypomijmy teraz, że przy klasyczych założeiach regularości (i)- (vi) i ciągłości I estymator δ 0 postaci δ 0 = + 1 I 1 l (X i ), był v-efektywy dla estymacji, o ile był -zgody. Okazuje się, że przy odpowiedich założeiach regularości, estymator postaci (13) δ = + 1 I 1 l (X i ), gdzie jest zdyskretyzowaą wersją -zgodego estymatora parametru, jest asymptotyczie optymaly. Stosowe waruki regularości podaje poiższe twierdzeie. Twierdzeie 6. Załóżmy, że Θ jest zbiorem otwartym w R k, a rodzia P = {P : Θ}, domiowaa przez σ-skończoą miarę µ, jest różiczkowala w sesie średiokwadratowym w otoczeiu z pochodą l wpukcie. Załóżmy, że I jest ieosobliwa, a l jest ciągła w sesie Helligera w pukcie, to zaczy lim τ X l τ pτ l p dµ =0,
O asymptotyczej efektywości estymatorów 77 gdzie p = dp /dµ. Niech będzie -zgodym estymatorem, a jego dyskretą wersją. Wówczas estymator δ, day wzorem (13 ), jest asymptotyczie optymaly. Oczywiście, klasa estymatorów asymptotyczie optymalych jest dużo bogatsza iż (13). Przy odpowiedich założeiach, L-, M-, R-estymatory, estymatory bayesowskie i estymatory miimalej odległości są asymptotyczie optymale. Przykłady takich wyików moża zaleźć, p. w moografiach Bickela i iych (1993), Hubera (1981) oraz Ibragimowa i Hasmiskiego (1981). Poadto, warto zaotować, że przedstawioa teoria ie obejmuje wielu dobrych estymatorów. Powody są dwa: albo estymatory ie są regulare (jak p. estymator Jamesa-Steia) albo są regulare, ale ie są asymptotyczie ormale (jak p. estymator środka symetrii zapropooway przez Bickela i Hodgesa 1967). Pisząc w wielkim skrócie, większość dowodów optymalości sprowadza się do sprawdzeia czy estymator spełia waruek (11). Do aalizy tego waruku wrócimy w astępym rozdziale, w którym rozważamy waży przypadek Ψ( 1,..., k )=( 1,..., m ), m<k. Iaczej mówiąc, jest to przypadek estymacji ( 1,..., m ) przy parametrach zakłócających ( m+1,..., k ). Te przypadek jest istoty sam w sobie, ale rówież staowi wzorzec dla rozwiązań bardziej złożoych problemów semiparametryczych i ieparametryczych. 3. Asymptotycza optymalość estymatorów wektora parametrów R m przy parametrach zakłócających η R k m, m<k. Twierdzeie 5 podaje opis asymptotyczie optymalych estymatorów dla estymacji składowych dowolej fukcji Ψ : Θ R k R m, m k. Teraz rozważymy wyżej wspomiay szczególy przypadek fukcji Ψ. Zachowaie symbolu dla parametru estymowaego wymaga wprowadzeia owego ozaczeia. Niech γ =( T,η T ) T,gdzie =( 1,..., m ), η =( m+1,..., k ), m<k,γ=θ H, Θ R m, H R k m i rozważmy fukcję Ψ : Γ R m daą wzorem (14) Ψ(γ) =. Przepisując tezę twierdzeia 5 dla fukcji Ψ(γ), otrzymujemy waruek [T Ψ(γ)] = 1 Ψ γ Iγ 1 l γ (X i )+o Pγ (1). Używając termiologii z rozdziału 2 i kocetrując uwagę a fukcji (14), moża powiedzieć, że Ψ γ Iγ 1 l γ ( ) jest efektywą fukcją wpływu dla estymowaego parametru w obecości parametru zakłócającego η. Krótko będziemy tę fukcję ozaczać w astępujący sposób (15) l ( ) = l ( ; η) = Ψ γ Iγ 1 l γ ( ).
78 T. Ledwia Dla uzyskaia jawego wzoru a l ( ) dla fukcji (14) wprowadzimy pomocicze ozaczeia. ( ) ( ) ( ) ( ) l l I I l γ =, lγ =, I l γ = η, I η l 1 I I γ = η η I η I ηη I η I ηη. Po elemetarych rachukach otrzymujemy (16) l ( ) = Ψ γ Iγ 1 l γ ( ) =(I ) 1 l ( ), gdzie l ( ) = l ( ) I η Iηη 1 l η ( ), (17) I = ( I ) 1 = I I η Iηη 1 I η = E γ l (l ) T. Powyższe rozważaia motywują astępującą defiicję. Defiicja 7. Fukcję l określoą wzorem (17) azywamy efektywą fukcją wyikową dla wmodelup = {P,η : Θ,η H}. MacierzI zdefiiowaą także w (17) azywamy macierzą iformacji dla parametru. Warto zaotować prostą i użyteczą iterpretację geometryczą efektywej fukcji wyikowej l jako residuum rzutu pierwszej cześci fukcji wyikowej l γ (odpowiadającej szacowaemu parametrowi ) a przestrzeń liiową rozpiętą przez składowe drugiej części lγ (odpowiadającej parametrom zakłócającym η, por. (17)). Wykorzystując powyższy wiosek z twierdzeia 5, postać efektywej fukcji wpływu (16) oraz wyiki Schicka (2001), udowodioo astępujący aalogo twierdzeia 6. Twierdzeie 7. Załóżmy, że model P = {P γ : γ Θ H R m R k m }, Θ i H otwarte, jest średiokwadratowo różiczkowaly z pochodą l γ i ieosobliwą macierzą iformacji I γ = E γ lγ ( l γ ) T. Niech l (x) =l (x; η) będzie efektywą fukcją wyikową dla, a I = I (η) iech ozacza odpowiadającą jej macierz iformacji. Zakładamy, że l (x; η) jest ciągła w sesie Helligera względem obu zmieych i η. Niech i η będą -zgodymi (przy P γ ) estymatorami i η i iech oraz η ozaczają ich dyskrete wersje. Przy powyższych założeiach, estymator δ = + 1 ] 1 [I (η ) l (X i; η ) jest asymptotyczie optymalym estymatorem wmodelup. Twierdzeie 5 ilustruje rolę efektywej fukcji wpływu w optymalej estymacji. Zaotujmy, że efektywa fukcja wpływu w problemie estymacji z parametrami zakłócającymi pojawiła się po raz pierwszy w pracy Bartletta
O asymptotyczej efektywości estymatorów 79 (1953). Neyma (1954, 1959) odkrył kluczową rolę efektywej fukcji wyikowej w problemach testowaia. Obaj autorzy użyli l ( ) do wyelimiowaia wpływu parametrów zakłócających a rozkład asymptotyczy estymatorów i statystyk testowych. W szczególości praca Neymaa (1959) dotyczyła testowaia hipotez o jedowymiarowym parametrze przy iezaym wektorze parametrów zakłócających η. Bühler i Puri (1966) klasyczymi metodami uogólili wyiki Neymaa a ogóly przypadek R m, η R m k, używając ozaczeń z tego rozdziału aszego artykułu. Poiższe twierdzeie 8 pokazuje, że wyiki Schicka mogą być z powodzeiem wykorzystae w testowaiu i moża łatwo uzyskać elegacki aalogo wyiku Bühlera i Puriego (1966). 4. Testowaie w modelu P = {P,η : Θ R m,η H R k m }. Rozważmy problem testowaia hipotezy przeciwko alteratywie i zmieą losową [ 1 (18) W ( 0,η)= H 0 : = 0,η A : 0,η ] T [ [ ] 1 l 0 (X i ; η) I 1 0 (η) ] l 0 (X i ; η), gdzie l i I są zdefiiowae wzorem (17). Łatwo sprawdzić, że przy prawdziwości H 0,W ( 0,η) D χ 2 m, gdzie χ2 m ozacza zmieą losową o cetralym rozkładzie chi-kwardat z m stopiami swobody. Zmiea (18) jest prototypem (efektywej) statystyki wyikowej. Bühler i Puri (1966), przy szeregu aalityczych założeń typu Craméra (rozbudoway wariat waruków (i)-(vi) z rozdz. 1) udowodili, że jeśli w (18) zastąpimy iezay parametr η jakimś -zgodym estymatorem η, to rozkład graiczy W ( 0, η) będzie taki sam jak rozkład graiczy zmieej (18). Poiższe twierdzeie pokazuje, że, przy dużo słabszych założeiach, moża uzyskać taki sam efekt. Twierdzeie 8. Załóżmy, że model P = {P,η : Θ R m,η H R k m }, Θ i H otwarte, jest średiokwadratowo różiczkowaly z pochodą l γ i ieosobliwą macierzą iformacji I 0,η oraz efektywą fukcją wyikową l 0 (x; η) ciągłą względem η w sesie Helligera. Niech η będzie -zgodym (przy P 0,η) estymatorem η, a η iech będzie jego dyskretą wersją. Niech Î 0 będzie jakimś dodatio określoym i zgodym (przy P 0,η) estymatorem I 0 (η).
80 T. Ledwia Wówczas, przy prawdziwości hipotezy H 0 : = 0, zachodzi [ ] T [ 1 ] 1 ] l 0 (X i ; η [Î ) 1 0 l 0 (X i ; η ) D χ 2 m. 5. Uwagi 5.1. Estymacja i testowaie. Wyiki z rozdziałów 2 3 moża przeieść a bardzo ogóle modele semiparametrycze i ieparametrycze. Moografie Ibragimowa i Hasmiskiego (1981) oraz Bickela i iych (1993) zawierają bardzo obszery przegląd takich uogólień. Praca Stoe a (1975) może być rekomedowaa jako ilustracja rozwiązaia jedego z ajprostszych problemów semiparametryczej estymacji. Z kolei praca Choi i ii (1996) wskazała a możliwość stosowych uogólień kostrukcji Neymaa (1954, 1959). Ostatie lata przyiosły dalszy postęp w omawiaej dziedziie. W szczególości, sporo wysiłku poświęcoo modelom regresji (por. p. Schick 1997 oraz Klasse i Putter 2005). Na przykładzie pewego problemu testowaia o modelu regresji, Iglot i Ledwia (2006a,b) zilustrowali potecjał tkwiący w wykorzystaiu efektywych fukcji wyikowych. Przejście od przypadku parametryczego, który pokrótce przedstawioo w rozdziałach 2-4, do bardziej złożoych modeli wiąże się z oczywistą zmiaą przestrzei parametrów z parametrów liczbowych a fukcyje. To z kolei powoduje koieczość zastosowaia adekwatych metod różiczkowaia i rzutowaia. Wprowadzeie przez Hájeka i Le Cama różiczkowalości średiokwadratowej było bardzo pomoce w aturalym rozwiązaiu tego problemu. Rozdział 6 pracy Iglota i Ledwiy (2006b) zawiera prostą i czytelą iterpretację takiego rozszerzeia. Ostati rozdział iiejszej pracy poświęcimy kilku uwagom o związku regularości modeli i estymatorów z prawidłowym działaiem metody bootstrap. Jest to jeszcze jeda ilustracja kostatacji, że prawidłowe działaie statystyczych procedur wymaga pewych stabilości w otoczeiu modelowej sytuacji. 5.2. Bootstrap i regularość. Twierdzeie 3 jest wariatem wyiku Hájeka, udowodioego przy iemal miimalych założeiach, potrzebych do uzyskaia tezy. Le Cam zamiast estymatorów regularych w sesie defiicji 4 rozpatrywał ieco węższą klasę estymatorów ekwiwariatych, która ma lepsze statystycze umocowaie. Poiżej podajemy defiicję takiego estymatora. Tak jak w rozdziale 2.2 rozważamy problem estymacji składowych fukcji Ψ : Θ R m, m k, Θ R k. Defiicja 8. Ciąg estymatorów {T } parametu Ψ() azywamy lokalie asymptotyczie ekwiwariatym w pukcie, jeśli dla każdego h R k
O asymptotyczej efektywości estymatorów 81 i każdego {h } R k takiego, że h h, przyp +h /, zachodzi [ ( T Ψ + h )] D L, L G, gdzie G jest jakimś rozkładem, który zależy od, a ie zależy od h. Bezpośredio z defiicji widać, że asymptotycza lokala ekwiwariatość może być azwaa lokalą asymptotyczą odporością. Bera (1997) (patrz rówież Bera 2003, rozdział 5) pokazał, że istieje głęboki związek między lokalą asymptotyczą ekwiwariatością, twierdzeiem o splocie (w adekwatej wersji) i prawidłowym działaiem parametryczego bootstrapu. Praktyczą implikacją jego rezultatów jest kokluzja, że parametryczy bootstrap ie może działać w puktach, w których replikoway estymator ie jest lokalie asymptotyczie ekwiwariaty. W szczególości, pukty, w których ma miejsce superefektywość estymatora Hodgesa, Jamesa Steia i iych tego typu estymatorów, wykluczają poprawe działaie tamże parametryczego bootstrapu. Ią kokluzją Beraa (1997) jest propozycja praktyczej metody diagozowaia poprawości działaia metody bootstrap. Bera (1997) rozważa rówież zagadieie prawidłowego działaia ieparametryczego bootstrapu. Praca Bedarskiego i Florczaka (1999) zawiera także podobe wyiki w tym ostatim przypadku. Dziękuję doktorowi Waldemarowi Wołyńskiemu za zaproszeie do wygłoszeia tego wykładu, profesorowi Ryszardowi Zielińskiemu za zachętę do przygotowaia jego pisemej wersji, doktorowi habilitowaemu Jaowi Mieliczukowi za kostruktywe uwagi oraz recezetowi za uważą lekturę tekstu. Literatura [1] T. W. Aderso, The itegral of a symmetric uimodal fuctio over a symmetric covex set ad some probability iequalities, Proc. Amer. Math. Soc. 6 (1955), 170 176. [2] R.R.Bahadur,O Fisher s boud for asymptotic variaces, A. Math. Statist. 35 (1964), 1545 1552. [3] M. S. Bartlett, Approximate cofidece itervals II. More tha oe ukow parameter, Biometrika 40 (1953), 306 317. [4] T. Bedarski, W. Florczak, O local uiform bootstrap validity, Statist. Neerl. 53 (1999), 111 121. [5] R. Bera, Diagosig bootstrap success, A. Ist. Statist. Math. 49 (1997), 1 24. [6] R. Bera, The impact of the bootstrap o statistical algorithms ad theory, Statist. Sci. 18 (2003), 175 184. [7] P. J. Bickel, J. H. Hodges, The asymptotic theory of Galto s test ad a related simple estimate of locatio, A. Math. Statist. 38 (1967), 73 89. [8] P. J. Bickel, C. A. J. Klaasse, Y. Ritov, J. A. Weller, Efficiet ad Adaptive Estimatio for Semiparametric Models, Johs Hopkis Uiversity Press, Baltimore, 1993.
82 T. Ledwia [9] W. J. Bühler, P. S. Puri, O optimal asymptotic tests of composite hypotheses with several costraits, Z. Wahrsch. verw. Gebiete 5 (1966), 71 88. [10] G. Casella, T. J. Hwag, Limit expressio for the risk of James-Stei estimators, Caad. J. Statist. 10 (1982), 305 309. [11] S.Choi,W.J.Hall,A.Schick,Asymptotically uiformly most powerful tests i parametric ad semiparametric models, A. Statist. 24 (1996), 841 861. [12] H. Cramér, Mathematical Methods of Statistics, Priceto Uiversity Press, Priceto, 1946 (przekład polski: H. Cramér, Metody matematycze w statystyce, PWN, Warszawa 1958). [13] J. L. Doob, Probability ad statistics, Tras. Amer. Math. Soc. 36 (1934), 759 772. [14] F. Y. Edgeworth, O the probable errors of frequecy costats, J. Roy. Statist. Soc. 71 (1908), 381 397. [15] R. A. Fisher, O the mathematical foudatios of theoretical statistics, Philos. Tras. Roy. Soc. A 222 (1922), 309 365. [16] R. A. Fisher, Theory of statistical estimatio, Proc. Camb. Phil. Soc. 22 (1925), 700 725. [17] J. Hájek, A characterizatio of limitig distributios of regular estimates, Z. Wahrsch. verw. Gebiete 14 (1970), 323 330. [18] P. J. Huber, Strict efficiecy excludes superefficiecy, A. Math. Statist. 37 (1966), 1425. [19] P. J. Huber, Robust Statistics, Wiley, New York, 1981. [20] I. A. Ibragimow, R. Z. Hasmiski, Statistical Estimatio: Asymptotic Theory, Spriger, New York, 1981. [21] T. Iglot, T. Ledwia, Data drive score tests for homoscedastic liear regressio model: the costructio ad simulatios, w: Prague Stochastics 2006, M. Hušková, M. Jažura (red.), Matfyzpress, Prague, 2006a, 124 137. [22] T. Iglot, T. Ledwia, Data drive score tests for homoscedastic liear regressio model: asymptotic results, Probab. Math. Statist. 26 (the issue dedicated to the memory of K. Urbaik) (2006b), 41 61. [23] W. James, C. Stei, Estimatio with quadratic loss, w:proc.fourthberkeleysymp. Math. Statist. Prob., J. Neyma (red.), Uiv. Califoria Press, Berkeley 1961, 361 380. [24] J. Kiefer, J. Wolfowitz, Cosistecy of the maximum likelihood estimator i the presece of ifiitely may icidetal parameters, A. Math. Statist. 27 (1956), 887 906. [25] C. A. J. Klaasse, H. Putter, Efficiet estimatio of Baach parameters i semiparametric models, A. Statist. 33 (2005), 307 346. [26] L. Le Cam, O some asymptotic properties of maximum likelihood estimates ad related Bayes estimates, Uiv. Califoria Publ. Statist. 1 (1953), 277 330. [27] L. Le Cam, O the asymptotic theory of estimatio ad testig hypotheses, w: Proc. Third Berkeley Symp. Math. Statist. Prob., J. Neyma (red.), Uiv. Califoria Press, Berkeley 1956, 129 156. [28] L. Le Cam, O the assumptios used to prove asymptotic ormality of maximum likelihood estimates, A. Math. Statist. 41 (1970), 802 828. [29] E. L. Lehma, Theory of Poit Estimatio, Wiley, New York, 1983 (przekład polski: E. Lehma, Teoria estymacji puktowej, PWN, Warszawa, 1991). [31] J. Neyma, Sur ue famille de tests asymptotiques des hypothèses statistiqes composées, Trabajos de Estadistica 5 (1954), 161 168. [32] J. Neyma, Optimal asymptotic tests of composite statistical hypotheses, w: The Harald Cramér Volume, U. Greader (red.), Wiley, New York, 1959, 213 234.
O asymptotyczej efektywości estymatorów 83 [33] C. R. Rao, Criteria of estimatio i large samples, Sakhya 25 (1963), 189 206. [34] A. Schick, Efficiet estimates i liear ad oliear regressio with heteroscedastic error, J. Statist. Pla. Iferece 58 (1997), 371 387. [35] A. Schick, O asymptotic differetiability of averages, Statist. Probab. Lett. 51 (2001), 15 23. [36] C. Stoe, Adaptive maximum likelihood estimators of a locatio parameter, A. Statist. 3 (1975), 267 284. [37] A. W. va der Vaart, Asymptotic Statistics, Cambridge Uiv. Press, Cambridge, 2000. [38] J. Wolfowitz, Asymptotic efficiecy of the maximum likelihood estimator, Theory Probab. Appl. 10 (1965), 247 260. [39] S. Zacks, The Theory of Statistical Iferece, Wiley, New York, 1971. Istytut Matematyczy PAN Oddział Wrocław ul. Koperika 18, 51-617 Wrocław E-mail: ledwia@impa.pa.wroc.pl O asymptotic efficiecy of estimators Abstract. We preset ad discuss the otio of asymptotic efficiecy of estimators as itroduced by Hájek ad Le Cam. We give also some geeral costructio of a class of asymptotically efficiet estimators of Euclidea parameters. Moreover, we briefly idicate some geeralizatios of the discussed ideas to the case of semiparametric models. We show also that techical results obtaied i the asymptotic theory of efficiet estimatio ca be successfully used i asymptotic theory of testig. The selectio of the material is highly subjective ad to a little extet reflects complexity of several problems ad rage of results available i preset-day literature. The paper is a shorteed versio of ivited series of lectures preseted at the Coferece o Mathematical Statistics WISŁA 2005. Its mai purpose is to show that classic approach to defie efficiecy was ot satisfactory ad to discuss how, for some class of problems, this questio was solved i a atural ad elegat way. Key words: asymptotic efficiecy, asymptotic optimality, ifluece fuctio, superefficiecy, score test. (wpłyęło 10 listopada 2006 r.)