FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin., Oeconomica 2015, 323(81)4,

Transkrypt

1 FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Sein., Oeconomica 205, 323(8)4, Joanna PERZYŃSKA WYBRANE MIERNIKI TRAFNOŚCI PROGNOZ EX POST W WYZNACZANIU PROGNOZ KOMBINOWANYCH SELECTED MEASURES OF THE EX POST FORECAST ACCURACY IN DETERMINING COMBINED FORECASTS Kaedra Zasosowań Maemayki w Ekonomii, Zachodniopomorski Uniwersye Technologiczny w Szczecinie, ul. Klemensa Janickiego 3, Szczecin, joanna.perzynska@zu.edu.pl Summary. The aricle raises he problem of evaluaion of he accuracy of he quaniaive forecass by seleced measures of ex-pos errors and also shows how o use hem o deermine he combined forecass. An illusraion of heoreical consideraions is empirical example, which ses he individual and combined forecass of microeconomic variable characerized by he presence of seasonal flucuaions. Weighs of combined forecass are esimaed by opimizaion relaive ex-pos measures (MAPE and wmape) and he classic mehod of variance-covariance. The sudy indicaes ha, in he prevalence of moderae seasonal flucuaions, classic measure is a beer crierion for assessing forecas accuracy han he weighed measure. In addiion, mos of forecass combinaion obained by minimizing he measure wmape has a higher accuracy han individual forecass and combinaion deermined by oher mehods. Słowa kluczowe: prognozy kombinowane, średni absoluny błąd procenowy, wagi prognoz, wahania sezonowe, ważony średni absoluny błąd procenowy. Key words: combined forecass, mean absolue percenage error, seasonal flucuaions, weighed mean absolue percenage error, weighs of forecas. WSTĘP Wyznaczenie prognozy wymaga wykonania wielu czynności składających się na ogólny schema zw. posępowania prognosycznego. Poszczególne eapy powinny być realizowane w określonej kolejności począwszy od sformułowania zadania prognosycznego, na ocenie rafności prognozy kończąc (zob. Dimann 2003; Prognozowanie gospodarcze 2005). Trafność prognoz ilościowych określa się głównie za pomocą mierników błędów ex pos. Najczęściej wykorzysywany jes miernik względny MAPE. Należy jednak zwrócić uwagę, że jes on wrażliwy na wahania sezonowe prognozowanej zmiennej, zwłaszcza e o silnym naężeniu. W akim przypadku Szmuksa-Zawadzka i Zawadzki (202) do oceny rafności prognoz proponują sosowanie ważonego miernika względnego wmape (zob. również Oeserreich 205). Informacje o kszałowaniu się błędów ex pos prognoz indywidualnych można akże wykorzysać do szacowania wag prognoz kombinowanych. W arykule przedsawiony zosanie przykład empiryczny, w kórym zosaną wyznaczone prognozy zmiennej charakeryzującej się wysępowaniem wahań sezonowych o umiarkowanym naężeniu. Wagi prognoz kombinowanych

2 26 J. Perzyńska oszacowane zosaną meodą opymalizacji obu mierników względnych oraz klasyczną meodą wariancji kowariancji. W oku badań zweryfikowana zosanie hipoeza mówiąca o ym, że prognozy orzymane w wyniku opymalizacji miernika wmape charakeryzują się większą rafnością niż prognozy indywidualne oraz prognozy kombinowane, wyznaczane za pomocą pozosałych meod. METODY Po przeprowadzeniu pomiaru rzeczywisej warości prognozowanej zmiennej wyznacza się zrealizowany błąd prognozy (błąd ex pos), a jego warość oblicza się dla każdego okresu / / momenu na podsawie wzoru: e = y f () gdzie: y realizacja prognozowanej zmiennej Y w okresie / momencie ( = n +, n + 2,..., n + j), f warość prognozy zmiennej Y na okres / momen. Na podsawie błędów prognoz ex pos, oszacowanych dla kolejnych okresów, wyznacza się błędy średnie, charakeryzujące przedział empirycznej weryfikacji prognoz za pomocą jednej liczby (zob. Zeliaś 997; Załuska 2000; Kwiakowska-Cioucha i Załuska 2002; Diman 2003). Najczęściej sosowaną syneyczną miarą jakości prognoz ex pos jes miernik względny: n = + j y f MAPE 00% (2) j = n+ y Jes o zw. średni absoluny błąd procenowy (mean absolue percenage error). Informuje on, o ile procen średnio prognozy odchylają się od rzeczywisych warości prognozowanej zmiennej. Cechuje go ławość zrozumienia i inerpreacji uzyskanych wyników oraz duża przydaność decyzyjna (Armsrong i Collopy 992). Miernik en jes jednak wrażliwy na małe warości prognozowanej zmiennej, przy akim samym module warości zrealizowanego błędu ex pos, wysępującego w liczniku wzoru (2), wyżej ocenia prognozy przeszacowane niż niedoszacowane. Aby uniknąć ego problemu w przypadku prognozowanej zmiennej z wahaniami sezonowymi, Szmuksa-Zawadzka i Zawadzki (202) proponują sosowanie ważonego miernika względnego: n+ j n+ j wmape = y f y 00% (3) = n+ = n+ Oba mierniki względne można również wykorzysać do oceny rafności prognoz kombinowanych, a akże do wyznaczenia ich wag. Prognoza kombinowana ma posać średniej ważonej: f ct λ f = m i= i it gdzie: i =, 2,..., m (m 2), m liczba prognoz składowych prognozy kombinowanej, f it i-a prognoza indywidualna zmiennej Y na okres / momen T (T > n), λ i waga i-ej prognozy indywidualnej (0 λ i ). (4)

3 Wybrane mierniki rafności prognoz 27 Klasyczna meoda szacowania wag prognozy (4) meoda wariancji-kowariancji (VC), zaproponowana przez Baesa i Grangera (969), a uogólniona przez Grangera i Newbolda (974), polega na minimalizacji wariancji błędu prognozy kombinowanej (4). Szacując macierz wariancji kowariancji Σ na próbie, orzymujemy esymaor wekora współczynników kombinacji o posaci: ˆ ˆ Σ i λ = (5) i' Σ ˆ i gdzie: Σˆ ij = T = i T k e e (6) j [ λ ] ' λ 2 λm [ K ] ' λ = K, i =, j =, 2,..., m, e it błąd ex pos prognozy f it. Kaźmierska-Zaoń i Zaoń (200) zaproponowali, aby wagi prognozy kombinowanej oszacować w procesie minimalizacji warości jej błędu ex pos lub opymalizacji innego przyjęego kryerium. W przedsawionym w cyowanej pracy przykładzie empirycznym zasosowano między innymi meodę minimalizacji miernika względnego MAPE. Zadanie opymalizacji jednokryerialnej dla prognozy f ct można zapisać w posaci: k( f ( )) c λ min lub max (7) λ λ przy warunkach: 0 λi ( i m λ = i i= gdzie: =, 2,..., m) k funkcja celu (kryerium oceny jakości prognozy kombinowanej), f c (λ) wygasła prognoza kombinowana na okres / momen o nieznanych wagach λ i, = n +, n + 2,..., T, λ wekor szukanych wag, n liczba obserwacji wykorzysanych do budowy indywidualnych modeli prognosycznych. Warunki ograniczające (8) definiują zbiór dopuszczalnych decyzji (warości poszukiwanych wag). Decyzje należące do ego zbioru są oceniane na podsawie warości funkcji celu, kórą sanowi wybrane kryerium oceny jakości prognozy kombinowanej. Argumenem funkcji celu jes prognoza kombinowana, będąca średnią ważoną wygasłych prognoz indywidualnych. Jeżeli jako kryerium przyjmiemy MAPE lub wmape, o rozwiązanie zadania opymalizacji polegać będzie na wyznaczeniu warości wag λ i, prognozy kombinowanej, dla kórych funkcja celu (7) osiąga minimum: T m y λif = i= T = y m i= λ f i i i y T = λ, min λ,..., λ y 2 m λ, min λ,..., λ 2 m (8) (9) (0)

4 28 J. Perzyńska MATERIAŁ Modelowaniu predykywnemu i prognozowaniu poddano koszy całkowie produkcji energii elekrycznej i cieplnej (KCE) w elekrowni B. Szereg czasowy warości zmiennej KCE obejmował 60 miesięcy. Kszałowanie się prognozowanej zmiennej przedsawiono na rys KCE [ys.zł] PLN] [mies.] [mies] Rys.. Kszałowanie się zmiennej KCE Prognozowana zmienna charakeryzuje się wysępowaniem rendu oraz wahań sezonowych. W abeli zesawiono oceny wskaźników sezonowości zmiennej KCE, wyznaczone dla okresu esymacyjnego =, 2,..., 36, przy założeniu muliplikaywnego charakeru wahań sezonowych. Tabela. Oceny wskaźników sezonowości [%] zmiennej KCE w okresie esymacyjnym =, 2,..., 36 Miesiąc Wskaźnik sezonowości Miesiąc Wskaźnik sezonowości Miesiąc Wskaźnik sezonowości I 95,93 V 90,4 IX 92,0 II 03,4 VI 92,90 X 02,86 III 06,07 VII 02,7 XI 03,28 IV 95,5 VIII 94,42 XII 2,93 Eksremalne oceny wskaźników sezonowości zmiennej KCE przypadają na grudzień (maksimum) i maj (minimum); różnica pomiędzy nimi wynosi 3,79 punku procenowego, co świadczy o umiarkowanym naężeniu wahań sezonowych prognozowanej zmiennej. PROCEDURA BADAWCZA Proces modelowania i prognozowania zmiennej KCE przebiegał w pięciu eapach. W pierwszym eapie, na podsawie danych pochodzących z okresu esymacyjnego obejmującego 36 obserwacji ( =, 2,..., 36), oszacowano modele należące do sześciu klas;

5 Wybrane mierniki rafności prognoz 29 są o: klasyczne (K) oraz hierarchiczne (K2) modele szeregu czasowego ze sałą i zmienną sezonowością, klasyczne (K3) i hierarchiczne (K4) modele przyczynowo-opisowe ze zmieniającymi się sezonowo paramerami, modele Hola-Winersa (K5) oraz szuczne sieci neuronowe (K6). Dla każdej klasy modeli oszacowano po kilkanaście równań różniących się: analiyczną posacią rendu, rodzajem wahań sezonowych, zmiennymi objaśniającymi, wielkościami sałych wygładzania lub srukurą sieci neuronowych. Zmiennymi objaśniającymi w modelach przyczynowo-opisowych były: wielkość produkcji energii cieplnej w elekrowni B (w GJ) i przychody z jej sprzedaży (w ys. zł), a akże wielkość produkcji energii elekrycznej w elekrowni B (w MWh) oraz przychody z jej sprzedaży (w ys. zł). W drugim eapie na podsawie oszacowanych modeli wyznaczono prognozy ex pos zmiennej KCE dla okresu dwunasomiesięcznego ( = 37, 38,..., 48), a nasępnie obliczono ich średnie błędy procenowe MAPE oraz wmape. Analizując rafność prognoz oraz sopień dopasowania modeli i isoność ich paramerów srukuralnych, z każdej klasy wybrano po jednym równaniu o najlepszych właściwościach predykywnych. W rzecim eapie, po wydłużeniu okresu esymacyjnego o 2 obserwacji ( =, 2,..., 48), sześć wybranych równań ponownie oszacowano. Na ich podsawie wyznaczono indywidualne prognozy ex pos zmiennej KCE na osanie 2 miesięcy (T = 49, 50,..., 60); oznaczono je odpowiednio: f T,f2T,...,f6T. W kolejnych eapach badań sanowiły one prognozy składowe prognoz kombinowanych. W czwarym eapie wyznaczono wagi prognoz kombinowanych zawierających od 2 do 6 prognoz składowych (m = 2, 3, V, 6). Zasosowano klasyczną meodę wariancji kowariancji (VC) oraz meody opymalizacji jednokryerialnej minimalizacji MAPE (M) oraz wmape (M2). Do oszacowania wag wykorzysano warości resz modeli indywidualnych w wydłużonym okresie esymacyjnym. W piąym eapie wyznaczono prognozy kombinowane zmiennej KCE na osanie 2 miesięcy (T = 49, 50,..., 60) i dokonano oceny ich rafności na podsawie średnich względnych błędów MAPE oraz wmape. PREZENTACJA I ANALIZA WYNIKÓW BADAŃ Zgodnie z przedsawioną powyżej procedurą dokonano wyboru sześciu modeli indywidualnych i wyznaczono na ich podsawie prognozy ex pos zmiennej KCE na osanie 2 miesięcy (T = 49, 50,..., 60). Oceny przecięnych względnych błędów prognoz indywidualnych zesawiono w ab. 2. Tabela 2. Oceny błędów prognoz indywidualnych [%] Prognoza indywidualna MAPE wmape f T,80,88 f 2T,80,66 f 3T 0,5 0,35 f 4T 0,50 0,52 f 5T 09,84 0,2 f 6T 08,26 08,85 f jt prognoza indywidualna na okres T, wyznaczona na podsawie modelu Kj (j =, 2, V, 6).

6 30 J. Perzyńska Najniższe oceny błędów MAPE orzymano dla prognoz indywidualnych wyznaczonych za pomocą szucznej sieci neuronowej (8,26%) i modelu adapacyjnego (9,84%). Błędy prognoz oparych na predykorach przyczynowo-opisowych (0,5% i 0,50%) były ylko nieznacznie mniejsze od błędów prognoz orzymanych na podsawie modeli szeregu czasowego (,80%). Na zmniejszenie ich dokładności miała wpływ bardzo duża skala wahań sezonowych zmiennych objaśniających. Podobne wnioski można wyciągnąć z analizy warości ważonego miernika wmape, należy jednak zwrócić uwagę na o, że ylko w jednym przypadku (dla hierarchicznego modelu szeregu czasowego) ocena ego błędu jes niższa, w porównaniu z miernikiem klasycznym. Orzymane prognozy indywidualne sanowiły prognozy składowe prognoz kombinowanych. Oceny średnich względnych błędów prognoz kombinowanych zesawiono w ab. 3 i 4; dodakowym indeksem dolnym (po przecinku) oznaczono numery prognoz indywidualnych uwzględnionych w danej prognozie kombinowanej f ct. Tabela 3. Oceny błędów MAPE prognoz kombinowanych (w [%]) f ct M M2 VC f ct M M2 VC f ct M M2 VC f ct,2,80,80,80 f ct, 34 0,3 0,3 0,2 f ct,245 0,52 0,52 2,22 f ct,3 0,5 0,5 0,5 f ct, 35 0,5 0,5 2,9 f ct,246 0,5 0,8,29 f ct,4 0,52 0,52 0,76 f ct, 36 08,20 08,02 09,69 f ct,256 0,05 05,9 0,92 f ct,5,80,80 2,08 f ct, 45 0,52 0,52,99 f ct,345 0,3 0,3 2,7 f ct,6 08,98 04,03 0,40 f ct, 46 09,55 04,62,74 f ct,346 08,8 06,59 09,72 f ct,23 0,5 0,5 0,5 f ct, 56 09,92 05,39,5 f ct,356 08,66 04,23 0,56 f ct,24 0,29 0,29 0,24 f ct, 234 0,3 0,3 0, f ct,456 09,47 07,97 2,8 f ct,25 08,23 08,09 08,73 f ct, 235 0,5 0,5,98 f ct,2345 0,3 0,3,93 f ct,26 04,73 04,96 08,42 f ct, ,20 07,48 09,65 f ct, ,37 08,37 09,68 f ct,34 0,3 0,3 0,2 f ct, 245 0,02 09,95 0,22 f ct, ,34 04,42 0,8 f ct,35 0,5 0,5,93 f ct, ,93 04,59 0,82 f ct, ,23 04,94 0,43 f ct,36 08,3 07,9 09,76 f ct, ,0 05,27 07,28 f ct, ,52 08,0 0,64 f ct,45 09,59 09,59 0,04 f ct, 345 0,3 0,3,89 f ct2345 0,3 0,3 2,8 f ct,46 08,08 03,47 09,85 f ct, ,20 08,04 09,79 f ct, ,47 08,50 09,69 f ct,56 08,76 08,60 08,8 f ct, ,20 08,04 0,75 f ct ,44 08,06 0,35 f ct,23 0,5 0,5 0,5 f ct, ,96 06,96 09,54 f ct, , 08,32 2,4 f ct,24 0,52 0,52 0,69 f ct, 234 0,3 0,3 0,3 f ct, ,44 08,63 0,22 f ct,25,80 09,62 2,08 f ct, ,73 0,5 2,22 f ct, ,44 08,45 0,08 f ct,26 08,39 06,46 0,9 f ct, ,07 08,2 09,64 f ct, ,9 08,8 0,6 Analizując informacje przedsawione w ab. 3, można zauważyć, że najniższe oceny błędów prognoz ex pos orzymano dla meody M2 polegającej na minimalizacji ważonego średniego błędu względnego wmape. Na uwagę zasługują zwłaszcza kombinacje f ct,6, f ct,46, f ct,46, f ct,246, f ct,256, f ct,356, f ct,2356, oraz f ct,2456, w przypadku kórych oceny błędów prognoz orzymanych meodą M2 są o ponad 4 punky procenowe niższe niż w przypadku pozosałych meod. W wyróżnionych kombinacjach prognozami składowymi są zarówno prognozy indywidualne o największych błędach (wyznaczone na podsawie klasycznych lub hierarchicznych modeli szeregów czasowych), jak i pozosałe prognozy o mniejszych błędach. W każdej z ych kombinacji wysępuje najbardziej rafna prognoza wyznaczona za pomocą szucznej sieci neuronowej połączenie jej z prognozami o większych błędach pozwoliło na wyznaczenie prognozy kombinowanej o znacznie wyższej rafności. Zdecydowanie najwyższe oceny błędów ex pos orzymano dla prognoz kombinowanych wyznaczonych meodą wariancji kowariancji.

7 Wybrane mierniki rafności prognoz 3 Tabela 4. Oceny błędów wmape prognoz kombinowanych [%] f ct M M2 VC f ct M M2 VC f ct M M2 VC f ct,2,88,88,88 f ct, 34 0,33 0,33 0,5 f ct,245 0,60 0,60 2,25 f ct,3 0,35 0,35 0,35 f ct, 35 0,35 0,35 2,2 f ct,246 0,22 0,25,32 f ct,4 0,60 0,60 0,79 f ct, 36 08,35 08,7 09,69 f ct,256 0,08 05,87 0,98 f ct,5,88,88 2,8 f ct, 45 0,60 0,60,99 f ct,345 0,33 0,33 2,2 f ct,6 09,00 04,0 0,46 f ct, 46 09,59 04,55,77 f ct,346 08,34 06,63 09,73 f ct,23 0,35 0,35 0,35 f ct, 56 09,96 05,35,8 f ct,356 08,83 04,32 0,58 f ct,24 0,32 0,32 0,24 f ct, 234 0,33 0,33 0,5 f ct,456 09,5 07,97 2,89 f ct,25 08,5 08,02 08,93 f ct, 235 0,35 0,35,99 f ct,2345 0,33 0,33,97 f ct,26 04,79 04,93 08,22 f ct, ,35 07,58 09,66 f ct, ,52 08,54 09,78 f ct,34 0,33 0,33 0,02 f ct, 245 0,04 09,98 0,23 f ct, ,50 04,50 0,0 f ct,35 0,35 0,35,95 f ct, ,93 04,50 0,86 f ct, ,20 04,86 0,33 f ct,36 08,47 08,06 09,79 f ct, ,0 05,49 07,32 f ct, ,69 08,6 0,66 f ct,45 09,6 09,6 0,2 f ct, 345 0,33 0,33,95 f ct2345 0,33 0,33 2,24 f ct,46 08,05 03,55 09,88 f ct, ,35 08,20 09,89 f ct, ,63 08,66 09,74 f ct,56 09,27 09,3 08,82 f ct, ,35 08,20 0,79 f ct ,50 08,2 0,35 f ct,23 0,35 0,35 0,35 f ct, ,92 06,92 09,56 f ct, ,2 08,33 2,48 f ct,24 0,60 0,60 0,79 f ct, 234 0,33 0,33 0,7 f ct, ,5 08,79 0,25 f ct,25,88 09,64 2,3 f ct, ,73 0,35 2,3 f ct, ,60 08,6 0,28 f ct,26 08,39 06,39 0,2 f ct, ,23 08,32 09,65 f ct, ,35 08,34 0,6 Wnioski, wynikające z analizy wyników przedsawionych w ab. 4, są analogiczne do przedsawionych powyżej również i w ym przypadku najwyższą rafnością charakeryzują się prognozy kombinowane z wagami wyznaczonymi w procesie minimalizacji ważonego średniego błędu względnego wmape. Należy jednak zwrócić uwagę, że podobnie jak w przypadku prognoz indywidualnych miernik ważony daje wyższe oceny błędów prognoz. Trafność wyznaczonych prognoz kombinowanych porównano również z rafnością prognoz indywidualnych; w związku z powyższymi uwagami wykorzysano w ym celu miernik MAPE. W abeli 5 zesawiono odseki prognoz kombinowanych o błędach równych lub mniejszych od najmniejszego błędu ich prognoz składowych. Tabela 5. Odseki prognoz kombinowanych o błędach nie większych od najmniejszego błędu prognoz składowych Meoda m = 2 m = 3 m = 4 m = 5 m = 6 m = 2 6 M 66,7 50,0 46,7 6,7 00,0 49, M2 80,0 70,0 80,0 83,3 00,0 75,4 VC 46,7 20,0 6,7 0,0 0,0 2, Analizując informacje zaware w osaniej kolumnie ab. 5, można swierdzić, że najwyższe (przekraczające 75%) odseki orzymano dla meody M2. Oznacza o, iż większość prognoz kombinowanych, wyznaczonych przy wykorzysaniu meody polegającej na minimalizacji miernika ważonego wmape, charakeryzuje się wyższą rafnością niż ich prognozy składowe. Dla poszczególnych warości m odseki wyższe od 50% (co oznacza, iż ponad połowa prognoz kombinowanych charakeryzuje się większą rafnością niż prognozy składowe) orzymano dla meody M przy 2 oraz 6 prognozach składowych, oraz we wszyskich przypadkach dla meody M2. Dla meody VC odseki były najniższe i wyniosły średnio 2,%.

8 32 J. Perzyńska PODSUMOWANIE Przeprowadzone badania wykazały, że w syuacji wysępowania wahań sezonowych o umiarkowanym naężeniu miernik klasyczny (średni absoluny błąd procenowy MAPE) zapewnia uzyskanie mniejszych błędów ex pos prognoz (indywidualnych oraz kombinowanych) niż przy zasosowaniu do oceny ich rafności miernika ważonego wmape. Większość prognoz kombinowanych, orzymanych w wyniku minimalizacji ważonego średniego absolunego błędu procenowego wmape, charakeryzuje się wyższą rafnością niż prognozy indywidualne oraz prognozy kombinowane, wyznaczone za pomocą meody minimalizacji klasycznego miernika MAPE lub meody wariancji kowariancji. PIŚMIENNICTWO Armsrong J., Collopy F Error measures for generalizing abou forecasing mehods: empirical comparisons. Iner. J. Forecas. 8, Baes J., Granger C The combinaion of forecass. Opera. Res. Quar. 20, Dimann P Prognozowanie w przedsiębiorswie. Kraków, Oficyna Ekonomiczna. Granger C., Newbold P Experience wih forecasing univariae ime series and he combinaion of forecass. J. Royal Sa. Soc. A 37, Kaźmierska-Zaoń M., Zaoń W Muli-crieria combined forecass. Economerics 28, Kwiakowska-Cioucha D., Załuska U Mierniki błędów prognoz ex pos eoria i zasosowania. Prz. Sa. 49(3), Oeserreich M Applicaion of descripive models o forecasing seasonal ime series wih gaps. Economerics (47), Prognozowanie gospodarcze. Meody i zasosowania Red. M. Cieślak, Warszawa Wydaw. Nauk. PWN. Szmuksa-Zawadzka M., Zawadzki J O miernikach dokładności prognoz ex-pos w prognozowaniu zmiennych o silnym naężeniu sezonowości. Me. Iloś. Bad. Ekon. 3(), Załuska U Błędy prognoz ex pos wskazówki aplikacyjne. Pr. Nauk. AE Wroc. 838, Zeliaś A Teoria prognozy. Warszawa, PWE.