STATYSTYKA DANYCH SAMOSKORELOWANYCH

Transkrypt

1 Semarum Wydzału u Fzy Iformaty Stosowaej AGH 6 weta 00 STATYSTYKA DANYCH SAMOSKORELOWANYCH Adrzej Zęba

2 Pla:. Wstęp - formalzm stadardowy jego ograczea - matematyczy ops daych samosorelowaych. Teora aaltycza, gdy fucja autoorelacj jest zaa a pror 3. Przypade fucj autoorelacj estymowaej z aalzowaej próby losowej teora & MC 4. Koluzje podzęowaa

3 ad a: ajczęścej stosowae wzory statysty matematyczej: wy pomaru średa arytmetycza odchylee st. pojedyczego pomaru s ( ) epewość pomaru odchylee st. średej u ( ) s( ) s względy rozrzut estymatorów odchylea st. s( s) s s( s( )) s( ) ( )

4 Ww. estymatory są zgode, eobcążoe ajefetywejsze jeżel obserwacje są () rówoważe, () wzajeme esorelowae, () obarczoe błędem przypadowym o rozładze ormalym. Co robć, jeżel { } są sorelowae? (Pozostałe dwa założea obowązują.)

5 b. MATEMATYCZNY OPIS DANYCH SAMOSKORELOWANYCH

6 Cąg sorelowaych obserwacj { } moża opsywać przy użycu trzech formalzmów teor prawdopodobeństwa () realzacja welowymarowej zmeej losowej {X,X,,X } o rówoważych sładowych. Parametry: - wartość oczewaa µ, - odchylee st. σ, - macerz wsp. orelacj j Strutura macerzy autoorelacj, wyająca z założea rówoważośc, umożlwa zastąpee jej przez jedowymarową dysretą fucję autoorelacj: 0,,,., L M M M M L L K 3 3

7 () -elemetowa próba ze stacjoarego szeregu czasowego stacjoarość rówoważość modele szeregów czasowych, p.: autoregresyjy AR() średa ruchoma SMA a + ( a)u (u + u + + u - m )/m () { } wyem próbowaa (w rówych przedzałach czasu t) cągłego stacjoarego procesu stochastyczego (t)

8 Przyład: prosta średa ruchoma (SMA) 3 (a) µ 0, σ u u - lczby esorelowae µ + σ µ µ σ - lczby sorelowae u + u + u+ + u+ + u 5,6, 0,8 0,4 0,0-0,4-0,8 -, (b) µ 0, σ 5 / µ + σ µ µ σ -,

9 Fucje autoorelacj dla SMA, m 5: 0, 0,8 0,6 3 0,4 4 0, pozostałe 0 AR(): a,0 0,8 0,6 a 0,4 0, b 0,

10 . FORMALIZM DLA PRZYPADKU, GDY FUNKCJA AUTOKORELACJI JEST ZNANA a pror

11 Średa arytmetycza pozostaje ajlepszym estymatorem wartośc oczewaej bo: - jao zmea losowa jest lową ombacją zmeych X (ze współczyam c /) - twerdzee o wartośc oczewaej ombacj lowej zmeych losowych jest tae samo dla zmeych esorelowaych sorelowaych

12 Ad ZWIĄZEK MIĘDZY WARIANCJĄ I WARIANCJĄ ŚREDNIEJ. EFEKTYWNA LICZBA OBSERWACJI

13 Itucyje: a przyładze daych sorelowaych wygeerowaych jao średa ruchoma z m elemetów łatwo pojąć, że wzór σ σ e może obowązywać dla daych sorelowaych. Gdyby był słuszy, oblczee średej ruchomej z m elemetów, a astępe średej z tejże, dostarczało by cudowego tru a zmejszee epewośc pomaru do wartośc crca (m ) / razy mejszej! Teora prawdopodobeństwa: wzór a warację sumy oraz ombacj lowej jest dla zmeych sorelowaych y.

14 Wzór prawdłowy: Bo G. E. P., Jes G. M, Resel G. C.: Tme Seres Aalyss: Forecastg ad Cotrol, 3rd Ed. Pretce Hall 994 Wyprowadzee: średa to lowa ombacja zm. losowych: jej waracja: (σ / ) suma elemetów macerzy owaracj + σ σ ) ( ) ( c X c, σ σ σ σ j j j j j j j c c, ) ( 3 3 j

15 Wzór te zapsać moża wprowadzając pojedyczy parametr efetywa lczba obserwacj eff., eff σ σ ) ( + eff ) / ( ) ( σ σ +

16 Własośc eff - lczba rzeczywsta z przedzału [, ) orelacje dodate or. ujeme - próbowae procesu stochastyczego: (w ustaloym przedzale, Δt 0) eff cost Przyład: model SMA(5), 60 eff,33

17 Wy poszuwań lteraturowych, 009: - reduced umber of coordates (Bartels 935) - effectve umber of depedet observatos (Bayley & Hammersley 946) - equvalet umber of depedet data (Bagrov 969) - equvalet umber of ucorrelated samples (Lubma 969) - effectve depedet sample sze (Leth 973) - effectve sample sze (Taubehem 974) - equvalet umber of depedet observatos (Prestley 98) - equvalet depedet process effectve umber (Ze 998) - effectve umber of ucorrelated observatos (Dorozhovets & Warsza 007)

18 Ad NIEOBCIĄŻONE ESTYMATORY WARIANCJI

19 Wyprowadzee dla daych esorelowaych: () defujemy estymator waracj: s b ( ) () oblczamy wart. oczewaą ( ) (7 lje algebry): E s b σ σ ( ) () dla daych esorelowaych σ () σ / (v) obcążee estymatora s b E(s b ) (/) σ (v) czy orecyjy (/) /( ) (v) estymator s b możymy przez czy orecyjy uzysując eobcążoy estymator waracj: s ( )

20 Wyprowadzee dla daych sorelowaych: () defujemy estymator waracj: s b ( ) () oblczamy wart. oczewaą ( ) (7 lje algebry): E s b σ σ ( ) () dla daych sorelowaych σ () σ / eff (v) obcążee estymatora s b E(s b ) (/ eff ) σ (v) czy orecyjy (/ eff ) eff /( eff ) (v) estymator s b możymy przez czy orecyjy uzysując eobcążoy estymator waracj: s a eff eff ( )

21 Wzór te: s a eff ( ( eff ) ) s poday był bez wyprowadzea w pracy: Bayley ad Hammersley, The Effectve Number of Idepedet Observatos a Autocorrelated Tme-Seres. J. Roy. Stat. Soc. Suppl. 8, (946) zapomay (?) przez 60 lat.

22 Poadto: - wzory a obcążee estymatorów macerzy owaracj podał T.W. Aderso: The Statstcal Aalyss of Tme Seres. Wley, New Yor, 97, ale e wyorzystał do wyprowadzea eobcążoego estymatora waracj, - Şe (998): wyprowadzee dla modelu ARMA() ( ) Waracja średej sa sa ( ) (AZ, PPM 008): ( ) eff eff

23 Kowecja GUM: epewość pomaru typu A jest perwastem wadratowym z eobcążoego estymatora waracj zatem epewość pomaru dla obserwacj sorelowaych: u( ) s( ) ( ( eff ) )

24 Ad DOKŁADNOŚĆ OCENY NIEPEWNOŚCI

25 Próba los. esorelowaa: u(s)/s (ν) / gdze ν - Próba samosorelowaa: u(s a )/s a (ν eff ) / gdze ν eff - efetywa lczba stop swobody (róża od eff, własość: 0 < ν eff < ) Bayley & Hammersley 946: wzór dołady: wzory dla oreśloych model: Prestley 98, Taubehem 974, Fortus 999) Wzór przyblżoy, poprawy efet uproszczea wzoru doładego (AZ 009) + eff ν ) ( ) ( Σ Σ Σ Σ + Σ Σ Σ Σ + Σ + Σ ν eff

26 Publacja: A. Zęba EFFECTIVE NUMBER OF OBSERVATIONS AND UNBIASED ESTIMATORS OF VARIANCE FOR AUTOCORRELATED DATA AN OVERVIEW Metrology ad Measuremet Systems, Vol. 7, r (00), str. 3-6 obejmuje podae do tego mejsca wy, Formalzm moża stosować bezpośredo do aalzy daych, jeżel zamy fucję autoorelacj (z metod typu B) Jest putem wyjśca do oblczeń wyorzystujących tylo zbór obserwacj { } tj. pełej metody typu A przedstawoych w dalszej częśc referatu.

27 3. ESTYMOWANIE eff I ESTYMATORÓW WARIANCJI WYŁACZNIE Z PRÓBY LOSOWEJ

28 Zasada tworzea estymatora eff : parametr: estymator: eff + ( ) ˆ eff + c ( ) r (a) ograczee sumowaa do wsaźa c (b) zastąpee fucj { } przez jej estymator, tu: {r } oblczoy z tejże próby losowej { }

29 Stadardowy estymator fucj autoorelacj r ( )( ( + ) ),0 Estmates {r } of ACF r 0,8 0,6 0,4 0,.96 s(r ) b) a) AR(), a c) 0,0-0, -0,4-0,

30 Metoda ostatej statystycze ezerowej r (LSN) N. F. Zhag, Calculato of the ucertaty of the mea of autocorrelated measuremets, Metrologa (006) S76-S8 eff parametr: estymator: + ( ) ˆ eff + c ( ) r Sumowae ograczoe a wartośc odstępu c odpowadającemu ostatej ezerowej wartośc r dla prawdopodobeństwa objęca 95% { r.96 s( r )} ma > c gdze s( r ) + j r

31 Metoda perszego przejśca przez zero (FTZ): eformale: Dorozhovets Warsza, 007 sformułowae metody& badae własośc metodą MC Zęba & Ramza, PPM 09: graczy odstęp c wyzacza perwsze przejśce fucj autoorelacj przez zero, formale c { ( r > 0 r 0) } + m < Koecze założee: wszyste eujeme Własośc: - 0 < eff < dla ażdych daych - mejsze obcążee rozrzut

32 Badae estymatorów eff metodą Mote Carlo, 60: Sumowae: a) wszystch wyrazów: c b) obcęte a: c /4 c) do ostatego r statystycze ezerowego (LSN) d) do perszego przejśca {r } przez zero (FTZ) a) / / eff theor. g(/ eff ) c) AR(), a b) d) 0 0,00 0,05 0,0 0,5 / eff

33 Ie opcje dla estymatora ACF: estymator stadardowy przyczyy obcążea: - erówa lczebość sum - użyce średej zamast wartośc oczewaej z gwazdą : z usuętym obcążeem od erówej lczebośc sum + c c r 0 ) ( ) )( ( + c c r * 0 * * ) ( ) )( (

34 Opa z podręcza: Prestley, Spectral aalyss ad tme seres, Elsever 98 γ 0 σ SMA, m 5 5 γ W stoce: 0 E[c ] E[c *]

35 T.W. Aderso: The Statstcal Aalyss of Tme Seres. Wley, 97. po uporządowau: σ + eff ( * ) γ O(/ ) E c Obcążee polega a przesuęcu fucj {c *} o stały sład

36 Oblczee obcążea umożlwa jego ompesację. wy: + eff c + + c c ( r c + ) / 0 + / a) b) + r / eff theor. ( / 0 + eff ) r * + / + eff c > c - g(/ eff ) 5 0 c) AR(), a ,00 0,05 0,0 0,5 0,0 0,5 0,30 / eff

37 ESTYMATORY ODCHYLENIA STANDARDOWEGO BADANE METODĄ MC

38 g(s/σ),0,5,0 u() AR() SMA s a 5 bas of u(): SMA -36% AR() -5% g(s/σ) 3,0,5,0,5 60 bas of u(): SMA % AR() % 0,5,0 0,0 0,0 0,5,0,5,0,5 s/σ 0,5 0,0 0,0 0,5,0,5,0,5 6 s/σ Odchylee stadardowe: pojedyczego pomaru s a średej czyl u() g(s/σ /σ) bas of u(): SMA +3% AR() 0% (ν eff oblczae metodą FTZ) 0 0,0 0,5,0,5,0,5 s/σ

39 Wos z symulacj MC: - potwerdzee przydatość formalzmu dla osób eufych w stosuu do owych wzorów - algorytm pracuje róweż dla zupełe małej lczebośc próby wbrew wyssaej z palca regule (ag. rule of thumb) że mmala wartość 50 (podręcz Bo et al.) - rozrzuty estymatorów odchylea stadardowego w przyblżeu rówe ν eff - rozrzut dla odchylea stadardowego średej węszy, ale e bardzej ż dwa razy - obcążee estymatorów pomjale w porówau z rozrzutem

40 4. PODSUMOWANIE

41 Koluzja całoścowa Opracowao algorytmy będące ścsłym odpowedem wzorów dla esorelowaej zmeej gaussowsej umożlwają oblczee epewośc typu A dla daych samosorelowaych Uporządowae tematu & owe wy w tym dzale statysty matematyczej

42 Zagadea otwarte: - przydatość formalzmu do różych daych rzeczywstych - oblczae epewośc rozszerzoej - obserwacje erówoważe - egaussowse fucje rozładu - procesy stochastycze e posadające ustaloej waracj - dopasowae prostej ych fucj do daych sorelowaych - td., tp.

43 Podzęowaa: Zygmut Warsza za sprację fo Polsm metrologom pozaym a oferecjach, Podstawowe Problemy Metrolog Sympozjach Nepewośc Pomaru Aomow recezec Metrolog za uporczywą rytyę, tóra umożlwła lepsze zrozumee tematu przez autora zapobegła przedwczesym publacjom Potr Ramza oblczea MC & współpraca

44 Dzęuję za uwagę