KRÓTKIE WPROWADZENIE DO WIZUALIZACJI I ANALIZY FUNKCJONALNEJ DANYCH EKONOMICZNYCH

Transkrypt

1 KRÓTKIE WPROWADZENIE DO WIZUALIZACJI I ANALIZY FUNKCJONALNEJ DANYCH EKONOMICZNYCH Danel Kosorowsk Katedra Statystyk, UEK w Krakowe Posedzene Rady Wydzału Zarządzana Kraków,

2 PLAN REFERATU 1. Wprowadzene przykłady zagadneń ekonomcznych prowadzących do funkcjonalnej analzy danych (FAD). 2. Podstawowe pojęca zagadnena FAD charakterystyk opsowe danych funkcjonalnych, wybór bazy, przekształcene danych dyskretnych do postac funkcyjnej. 3. Funkcjonalne główne składowe PKB per capta oraz przychód z oblgacj w krajach UE Funkcjonalne korelacje kanonczne - PKB per capta w krajach UE15 vs. PKB per capta w krajach A Funkcjonalna regresja perspektywa nowych kerunków badań. 6. Podsumowane.

3 WPROWADZENIE Często dane rozpatrywane w ekonom mają bezpośredno bądź pośredno postać funkcj. Weźmy dla przykładu: - badana śceżek rozwoju przedsęborstw, trajektor rozwoju ekonomcznego państw bądź regonów (makroekonomczne modele wzrostu, badane faz rozwoju przedsęborstwa, cyklu życa produktu funkcjonalne PCA). - analzy zwązków pomędzy oczekwaną stopą zwrotu z nwestycj fnansowej a wahanem przebegu tej stopy zwrotu w przeszłośc bądź burzlwoścą trajektor dzsaj a taką charakterystyką w przeszłośc funkcjonalna regresja). - analza zwązków pomędzy śceżkam rozwoju (kształtem całej trajektor) dla różnych państw, przedsęborstw (funkcjonalne korelacje kanonczne). - szacowane funkcj gęstośc, regresj dla danych panelowych (danych tworzących skupska), grafologa, dagnostyka medyczna, statystyczna teora kształtu (rozpoznawane przedmotów zachowań nebezpecznych na podstawe transmsj z kamer mejskego montorngu).

4 PRZYKŁADY Trajektore przyrostu PKB per capta w krajach EU15 oraz A12 w latach

5 Funkcjonalny wykres pudełkowy stopa nflacj w krajach UE w latach (dane Eurostat). Wykres typu tęcza stopa nflacj w krajach UE w latach (dane Eurostat).

6 Oszacowane gęstośc prawdopod. dla przychodu centralnej częśc gospodarstw domowych w roku 2005 w ujęcu województw RP (dane GUS). Wydatk vs. dochody gospodarstw domowych w ujęcu województw RP. Prosta regresja neparametryczna dla danych panelowych (dane GUS).

7 Wynagrodzene vs. lata nauk oszacowane jądrowe rodzny warunkowych gęstośc prawdopodobeństwa.

8 Oszacowana bezwarunkowej gęstośc prawd. dla procesu SETAR(1,1), dane zawerały do 5% obserwacj odstających. Funkcjonalny wykres pudełkowy dla oszacowań bezwarunkowej gęstośc prawd. dla procesu SETAR(1,1), dane zawerały do 5% obserwacj odstających.

9 Ponerzy funkcjonalnej analzy danych Jm Ramsay & Bernard Slverman

10 POZYCJE KLASYCZNE FDA 1. Appled Functonal Data Analyss, Second Edton, J. O. Ramsay and B. W. Slverman, Sprnger-Verlag, Functonal Data Analyss by J. O. Ramsay and B. W. Slverman. Book publshed by Sprnger-Verlag, Functonal Data Analyss wth R and Matlab by J. O. Ramsay, G. Hooker and S. Graves. Book publshed by Sprnger-Verlag, AKTUALNE KIERUNKI POSZUKIWAŃ FDA 1. Inference for Functonal Data wth Applcatons, Horvath, Lajos, Kokoszka, Potr, Seres: Sprnger Seres n Statstcs, Vol. 200, 2012, XIV 2. Nonparametrc Functonal Data Analyss Theory and Practce, Frédérc Ferraty, F., P. Phlppe Veu, Sprnger, 2006 FDA w POLSCE 1. Krzyśko, M., Góreck, T., Deręgowsk, K. (2012), Jądrowa Funkcjonalna Analza Składowych Głównych spotkane PTS o. w Poznanu. 2. Szereg zastosowań FAD w analze sygnałów zespoły z AGH PW. 3. Odporna FAD w ocene skutecznośc poltyk regonalnych dzałań samorządów lokalnych Kosorowsk n. (2012), (2013).

11 CELE FAD z PERSPEKTYWY WYKORZYSTYWANYCH TECHNIK - przekształcene dyskretnych obserwacj do postac funkcj (funkcje obserwujemy w dyskretnych chwlach) w tak sposób, aby dalsza analza była możlwe najprostsza. - wzualzacja danych uwypuklająca nteresujące nas cechy zjawsk. - analza wzorców źródeł zmennośc danych. - analza zwązków zmennym np. za pomocą regresj skalar vs. zmenna funkcjonalna bądź zmenna funkcjonalna vs. zmenne funkcjonalne. - porównana zjawsk, estymacja charakterystyk, wnoskowane statystyczne. CELE FAD z PERSPEKTYWY CELU ANALIZY - analza eksploracyjna (technk odkrywana nowych cech zjawsk). - analza konfrmacyjna (udzelene odpowedz na konkretne pytana). - analza predykcyjna (tworzene schematów prognostycznych dla zjawsk).

12 PRZYKŁAD ZASTOSOWANIA FAD w EKONOMII Analzujemy dane hstoryczne dotyczące produktu krajowego brutto per Capta w dolarach amerykańskch w roku 2005 oraz rocznej stopy wzrostu produktu krajowego brutto per Capta w latach dla dwóch grup państw: EU15 A12. Źródło danych: ERS Internatonal Macroeconomc Data Set EU15: Austra, Belga-Luksemburg, Belga, Luksemburg, Dana, Fnlanda, Francja, Nemcy, Grecja, Irlanda, Włochy, Holanda, Portugala, Hszpana, Szwecja, Welka Brytana A12: Bułgara, Cypr, Republka Czeska, Estona, Węgry, Łotwa, Ltwa, Malta, Polska, Rumuna, Słowacja, Słowena

13

14 PRZEKSZTAŁCENIE DYSKRETNYCH OBSERWACJI do POSTACI FUKCJI Przypuśćmy, że obserwujemy obekt w j tym momence czasowym, gdze 1,..., K, j 1,..., J, ze względu na cechę X, tzn. obserwujemy Chwle, w których obserwujemy różne obekty mogą różnć sę pomędzy obektam tzn. np. 1,..., K, 1,..., J cągłym funkcjam czasu j t t t t Nasze dane to { t,x } j j x j., gdze. W takej sytuacj wygodnej jest posługwać sę xt (), t [0, T] wygodnej jest posługwać sę danym funkcjonalnym. W ekonom naturalnym jest rozpatrywać dane funkcjonalne z perspektywy K nezależnych realzacj x ( t), 1,..., K; t [ 0,T ] pewnego procesu losowego (ekonometra fnansowa, badana procesów ekonomcznych).

15 Jednakże wperw musmy przekształcć dane dyskretne { } funkcjonalnych x ( t), 1,..., K; t [ 0,T ] Aby skorzystać z technk FAD musmy je przekształcć wartoścam x () t. t,x j j do danych x w funkcje z, możemy tu stosować np. nterpolację bądź wygładzane. Surowe dane Przekształcone dane

16 WYBÓR BAZY Jednym z podstawowych kroków FAD jest wybór systemu bazowego (bazy), tzn. układu funkcj k, 1,...,L, który służy do wyrażena funkcj kombnacj lnowej jej elementów (na ogół funkcj ortonormalnych) xt () jako L T x( t) c ( t) ( t) k 1 k k c, t [ 0,T ], gdze c1, c2,..., c k to współczynnk. W przypadku dobrze znanych szeregów Fourera można przyjąć: ( t ) 1 1, ( t) sn( t ) 2, ( t) cos( t) 3, ; 2 /T. Występują tu dwa parametry: lczbę funkcj bazowych oraz okres T.

17 Przykład bazy Fourera. Przykłady baza złożonej ze sklejek.

18 W przypadku zastosowań ekonomcznych (netypowa okresowość zjawska, bądź jej brak) rozsądne jest wykorzystać tzw. bazę złożoną ze sklejek. Sklejk to funkcje złożone z (na ogół różnych) welomanów na dzedzne podzelonej na odcnk. Bazę złożoną ze sklejek konstruujemy poprzez podzał obszaru określonośc funkcj na podprzedzały postać welomanu zmena sę wraz z przejścem do następnego podprzedzału. Stopeń układu sklejek odpowada najwyższej potędze welomanu rząd welomanu jest o jeden wyższy nż jego stopeń. Tworzene systemu sklejek: należy wskazać krańce podprzedzałów (ang. break ponts). należy wskazać stopeń wykorzystywanych welomanów. należy wskazać cąg węzów punktowych ogranczeń dla wykorzystywanych welomanów (ang. knots) w szczególnośc ogranczenam są oczywśce zaobserwowane dane.

19 REPREZENTACJA OBIEKTU FUNKCJONALNEGO W BAZIE Współczynnk c1, c2,..., c l reprezentacj L T x( t) c ( t) c ( t) k 1 k k, dobera sę dla każdej funkcj oddzelne często z wykorzystanem kryterum najmnejszych kwadratów (NK) tzn. tak aby zmnmalzować funkcję T SSE ( x-φc) ( x - Φc), gdze c ( c0, c1,..., c ) T L oraz jest macerzą zawerającą L ( t ) j. Czym kerujemy sę przy wyborze bazy, wyborze reprezentacj funkcj w baze? Lczba elementów bazy często wyberana jest z wykorzystanem kryterum nformacyjnego AKAIKE bądź bayesowskego kryterum nformacyjnego. Najperw kryterum stosujemy do poszczególnych funkcj następne lczymy np. średną ze wskazanych lczb elementów bazy dla poszczególnych funkcj.

20 TWORZENIE OBIEKTU FUNKCJONALNEGO Przypuśćmy, że ustalono L funkcj bazowych, analzujemy zbór danych składający sę z N funkcj. Podstawowy obekt FAD to macerz wymaru L K zawerająca współczynnk badanych funkcj w ustalonej baze. Okazuje sę, że zwykła analza składowych głównych tej macerzy jest równoważna z analzą głównych składowych funkcjonalnych dla procesów skończene wymarowych defnowanych dalej por. Krzyśko n. (2012). xt () x ( ),..., ( ) 1 t xk t [ D x( t)] 2 2 Dla funkcj kwadrat drugej pochodnej funkcj x w punkce t nazywa sę jej krzywzną. Można przykładowo wprowadzć ogranczene na swego rodzaju marę neporządnośc funkcj (ang. roughness) scałkowany kwadrat drugej pochodnej całkowtą krzywznę. PEN x D x t dt, ( ) 2 ( ) 2 Ogranczene co do roughness 2 2 ( ) j ( j) ( ) j F c y x t D x t dt x t c t, to parametr gładkośc funkcj. T gdze ( ) ( ) 2 2,

21 CHARAKTERYSTYKI OPISOWE DLA DANYCH FUNKCJONALNYCH x () t 1,..., K Dysponujemy próbą krzywych bądź funkcj,, dopasowanych do danych, (przypomnjmy funkcje obserwujemy w dyskretnych chwlach stąd koneczność dopasowywana). Możemy zdefnować podstawowe charakterystyk opsowe dla danych funkcjonalnych. 1 x( t) x( t) N, średna funkcjonalna z próby, 1 s( t) x( t) x( t) N 1 2, warancja funkcjonalna z próby, 1 v( s, t) x( s) x( s) x( t) x( t) N 1 próby., kowarancja funkcjonalna z

22 Średna trajektora przyrostu PKB per capta w krajach EU15 oraz A12 w latach

23 Zmenność trajektor przyrostu PKB per capta w krajach EU15 oraz A12 w latach

24 Kowarancja funkcjonalna dla trajektor przyrostu PKB per capta w krajach EU15 oraz A12 w latach (wykresy perspektywczne).

25 Kowarancja funkcjonalna dla trajektor przyrostu PKB per capta w krajach EU15 oraz A12 w latach (wykresy konturowe).

26 EKSPLORACJA ZMIENNOŚCI DANYCH FUNKCJONALNYCH Próbnk (sonda) zwązany z funkcją wagową () t jest narzędzem służącym podkreślenu zmennośc na pewnym obszarze dla danych funkcjonalnych sondy są zmenne ważonym lnowym kombnacjam wartośc funkcj. Nech będze funkcją wagową, sondę stosujemy do funkcj następujący sposób: ( x) ( t) x( t) dt. xt () w Pewen szczególny przypadek próbnka funkcj wagowej to odpowednk pojęć wartośc własnej wektora własnego.

27 EKSPLORACJA ZMIENNOŚCI DANYCH FUNKCJONALNYCH CD. Dysponujemy obserwacjam funkcjonalnym funkcję kowarancj x () s oraz x () t 1 v( s, t) x( s) x( s) x( t) x( t) N 1 Iloczynem krzyżowym oraz korelacją funkcjonalną 1 c( s, t) x( s) x( t) N, r( s, t) v( s, t), v( s, s) v( t, t), oszacowanem CELEM FUNKCJONALNYCH SKŁADOWYCH GŁÓWNYCH JEST ZNALEZIENIE TAKIEGO PRÓBNIKA a tym samym TAKIEJ FUNKCJI WAGOWEJ, KTÓRA ODKRYWA (UWYPUKLA) NAJWAŻNIEJSZĄ Z NASZEGO PUNKTU WIDZENIA ZMIENNOŚĆ DANYCH.

28 W FDA STAWIAMY PYTANIE dla jakej funkcj wagowej osąga najwyższą możlwą wartość? ( x ) ( t) x ( t) dt (klasyczne PCA dla jakego wektora, warancja kombnacj lnowej zmennych przyjmuje wartość maksymalną) Nakładamy ogranczene co do zachowana sę, STAWIAMY SOBIE ZA CEL, 2 ( t) dt 1 (odpowedn postulat dla wektorów własnych) 2 max ( x ), pod warunkem 2 ( t) dt 1, to analogon wartośc własnej ; to analogon funkcj własnej.

29 Tak jak w welowymarowej PCA, nerosnący cąg wartośc własnych k może zostać skonstruowany teracyjne nakładamy ogranczene aby nowa funkcja własna polczona w kroku l, była ortogonalna do tych polczonych we wcześnejszych krokach j ( t) ( t) dt 0 l, j 1,..., l 1, 2 ( t) 1 l. Można na proces znajdywana wartośc własnych spojrzeć: Szukamy funkcj własnych j funkcj kowarancj v( s, t) jako rozwązana funkcjonalnej postac równana charakterystycznego (ang. functonal egenequaton ) v( s, t) j( t) dt j j( s ).

30 Rozwązując take zagadnene własne uzyskujemy jednocześne najbardzej efektywną bazę welkośc l w tym sense, że całkowta suma kwadratów błędu T PCASSE x ( t) x( t) c ( t) dt osąga mnmum z wykorzystanem empryczne funkcje ortogonalne) l funkcj bazowych 2, () t (są to tzw. Podobne jak w przypadku klasycznych składowych głównych można rozważać rozmate przekształcena orygnalnych obserwacj za pomocą polczonej bazy 1,..., l np. tzw. prncpal component scores c ( x x ) ( t) x ( t) x( t) dt j j j.

31 PRZYKŁAD NR 1 FPCA dla przyrostów PKB per capta w EU15 A12

32

33

34

35 FPCA DLA EU 15 wartośc własne

36 FPCA DLA A12 wartośc własne

37 Rotacja VARIMAX dla FPCA? EU15 A12

38 PRZYKŁAD NR 2 Mesęczne welkośc stóp zwrotu z 10-letnch oblgacj rządowych państw europejskch (ne tylko UE), w podzale na strefę z walutą państwową Euro oraz pozostałe (dane 01/ /2011), dane Europejskego Banku Centralnego.

39

40 FUNKCJONALNA KOWARIANCJA WYKRES PERSPEKTYWICZNY

41 FUNKCJONALNA KOWARIANCJA WYKRES KONTUROWY

42 FPCA STREFA EURO FPCA POZOSTAŁE PAŃSTWA UE

43 FPCA STREFA EURO ROTACJA VARMAX FPCA POZOSTAŁE PAŃSTWA UE ROTACJA VARMAX

44 WYBÓR LICZBY SKŁADOWYCH GŁÓWNYCH w FPCA W welowymarowym PCA, kontrolujemy pozom dopasowana do danych poprzez wybór lczby składowych głównych. W przypadku funkcjonalnych PCA także możemy modulować pozom dopasowana poprzez kontrolowane charakterystyk gładkośc (ang. roughness ) dla estymowanej funkcj własnej np. poprzez modulowane defncj ortogonalnośc funkcj: 2 2 j( t) k( t) dt D j( t) D k( t) dt 0, gdze to parametr modyfkujący, D 2 () t t odpowada krzywźne funkcj w punkce t. druga pochodna funkcj w punkce

45 EKSPORACJA FUNKCJONALNEJ KOWARIANCJI poprzez ANALIZĘ KORELACJI KANONICZNYCH Bardzo często w ekonom staramy sę zbadać sposoby, w jake dwa zbory funkcj (krzywych, trajektor, śceżek wzrostu) ( x, y ) warancję (są współzmenne)., 1,..., N; dzelą FAD oferuje w tym zakrese m. n. funkcjonalne korelacje kanonczne. Dwa zbory zmennych zostały wycentrowane tzn. funkcje zastąpono poprzez reszty y y ; zakładamy, że x y x x 0. oraz x y oraz

46 Defnujemy mody warancj dla x - ów oraz y - ów w kategorach funkcj próbnkowych (sond) oraz, które defnują całk ( t) x ( t) dt oraz ( t) y ( t) dt Za kryterum współzmennośc funkcj przyjmujemy kwadrat korelacj kanoncznej R 2 (, ) Uzyskane w ten sposób N par, które odpowadają wspólne składowe. reprezentuje wspólne warancje, za

47 Współczynnk korelacj kanoncznej R 2 (, ) ( t) x ( t) dt ( t) y ( t) dt 2 2 ( t) x ( t) dt ( t) y ( t) dt 2, Tak jak w przypadku zwykłych korelacj kanoncznych, funkcje wagowe oraz są wyspecyfkowane poprzez znalezene par wag (sond), które optymzują kryterum kanoncznych R 2 (, ). Możemy polczyć nerosnący cąg kwadratów korelacj R, R,..., Rk sond które są do sebe ortogonalne. poprzez polczene kolejnych kanoncznych wartośc

48 Przyrost PKB per capta w krajach EU15 A12 dwe perwsze zmenne kanonczne. współczynnk kanoncznych korelacj R1=1.0; R2=1.0; R3=0.97; R4= 0.95; R5=0.65; R6= 0.57; R7= 0.12

49 Współrzędne państw EU15 oraz A12 w przestrzen dwóch perwszych zmennych kanoncznych zm 1 zm 2 zm 1 zm 2 Austra_R Bulgara BL_R Cyprus Belgum_R Czech.Republc Luxembourg_R Estona Denmark_R Hungary Fnland_R Latva France_R Lthuana Germany_R Malta.and.Gozo Greece_R Poland Ireland_R Romana Italy_R Slovaka Netherlands Slovena

50 PODSUMOWANIE I NOWE PERSPEKTYWY BADAŃ EKONOMICZNYCH 1. Współczesna ekonoma podejmuje zagadnena oraz bada zjawska, które ne stnały powedzmy lat temu. 2. Strumenowe przetwarzane danych, rynk fnansowe, centra handlowe, montorowane centrum masta za pomocą systemu kamer, roboty nternetowe, zarządzane centrum handlowym, sec telekomunkacyjne 3. Funkcjonalna regresja np. w zagadnenu czy pozom rozwoju ekonomcznego państwa ma zwązek z jego trajektorą wzrostu GDP DZIĘKUJĘ