Spis treści Wstęp... 9 Podstawowe oznaczenia stosowane w książce... 13 1. PODEJŚCIE SYMBOLICZNE W BADANIACH EKONOMICZ- NYCH... 15 1.1. Uwagi dotyczące przyjętych w rozdziale konwencji nomenklaturowych. 15 1.2 Podejście jakościowe a podejście ilościowe... 16 1.3. Celowość stosowania podejścia symbolicznego w badaniach ekonomicznych... 31 2. DANE SYMBOLICZNE... 35 2.1. Typy zmiennych symbolicznych... 35 2.2. Tablica danych symbolicznych, obiekt symboliczny, zmienna symboliczna... 37 2.3. Typy zależności między zmiennymi symbolicznymi... 38 2.4. Obiekty symboliczne pierwszego i drugiego rzędu oraz obiekty syntetyczne... 39 2.5. Obiekty symboliczne boolowskie i probabilistyczne... 41 2.6. Tworzenie obiektów symbolicznych z komputerowych baz danych... 42 2.7. Ścieżki analizy danych symbolicznych... 43 2.8. Podstawowe techniki analizy danych symbolicznych... 44 2.9. Wizualizacja danych symbolicznych... 45 2.10. Klasyfikacja metod podejścia symbolicznego... 48 3. MIARY ODLEGŁOŚCI I MIARY ZALEŻNOŚCI DLA DANYCH SYMBOLICZNYCH... 51 3.1. Miary odległości dla danych symbolicznych... 51 3.2. Miara dopasowania dla obiektów symbolicznych... 62 3.3. Podstawowe statystyki i miary zależności dla danych symbolicznych opisanych zmiennymi różnych typów... 63 4. METODY PODEJŚCIA SYMBOLICZNEGO BADANIA STRUK- TURY ZBIORU DANYCH SYMBOLICZNYCH... 66 4.1. Analiza skupień... 66
6 Spis treści 4.1.1. Procedura analizy skupień... 66 4.1.2. Metody doboru zmiennych... 68 4.1.3. Metody klasyfikacji... 71 4.1.4. Ustalenie liczby klas... 79 4.1.5. Ocena, interpretacja i profilowanie klas... 82 4.1.6. Generowanie symulacyjnych zbiorów danych symbolicznych... 83 4.1.7. Zastosowanie klasyfikacji dynamicznej danych zawierających obiekty symboliczne probabilistyczne w badaniu struktury gospodarki chińskiej... 88 4.1.8. Zastosowanie metod klasyfikacji danych symbolicznych w badaniu segmentacyjnym systemów informatycznych zarządzania przedsiębiorstwem klasy ERP na rynku polskim... 97 4.2. Skalowanie wielowymiarowe... 108 4.3. Analiza głównych składowych... 117 4.3.1. Aspekty obliczeniowe analizy głównych składowych dla danych symbolicznych... 117 4.3.2. Zastosowanie analizy głównych składowych i klasyfikacji dynamicznej danych symbolicznych opisanych zmiennymi symbolicznymi interwałowymi w badaniu innowacyjności krajów Unii Europejskiej... 127 4.3.3. Interpretacja wyników badań... 132 4.4. Samoorganizujące się mapy Kohonena... 135 5. METODY PODEJŚCIA SYMBOLICZNEGO OPISU ZALEŻNO- ŚCI DLA DANYCH SYMBOLICZNYCH... 140 5.1. Analiza dyskryminacyjna... 140 5.1.1. Wieloraka analiza dyskryminacyjna... 140 5.1.2. Analiza dyskryminacyjna oparta na estymatorach intensywności... 143 5.1.3. Wykorzystanie analizy dyskryminacyjnej opartej na estymatorach intensywności dla danych symbolicznych zawierających boolowskie obiekty symboliczne w filtrowaniu wiadomości e-mail... 146 5.2. Drzewa klasyfikacyjne... 150 5.2.1. Drzewa klasyfikacyjne oparte na optymalnym podziale... 150 5.2.2. Bayesowskie drzewa klasyfikacyjne... 155 5.2.3. Warstwowe drzewa klasyfikacyjne... 156 5.2.4. Podejście wielomodelowe... 158 5.2.5. Wykorzystanie metody konstrukcji drzewa klasyfikacyjnego dla danych symbolicznych w ocenie wiarygodności kredytobiorców... 161 5.3. Analiza regresji... 168 5.3.1. Analiza regresji dla zmiennych symbolicznych interwałowych... 170 5.3.2. Nieliniowa analiza regresji typu MLP... 171
Spis treści 7 ZAKOŃCZENIE... 175 Załącznik A. Oprogramowanie komputerowe pakiet symbolicda... 181 Załącznik B. Zbiory danych symbolicznych wykorzystane w badaniach... 183 Literatura... 198 Spis rysunków... 215 Spis tabel... 217 Summary... 219
Wstęp Nowe wyzwania, które rewolucja technologiczna z przełomu XX i XXI wieku postawiła przed naukami społecznymi, w tym przed ekonomią, powodują konieczność redefiniowania istniejących i tworzenia nowych metod badawczych. Z jednej strony dostępne do analizy są zbiory (bazy) danych o niespotykanych przed rewolucją informacyjną rozmiarach liczonych w setkach tysięcy, milionach czy nawet dziesiątkach milionów obiektów. Z drugiej zaś strony zdolności obliczeniowe współczesnych komputerów pozwalają na dużo bardziej precyzyjną analizę, której celem jest nie tylko znajdowanie wyników liczbowych, ale również wykrywanie reguł, związków logicznych i wzorców w analizowanych danych, co dotychczas leżało raczej w sferze interpretacji badań niż było ich integralną częścią. Te dwa czynniki wyznaczają kierunki rozwoju nowoczesnych metod analizy danych. Pod koniec XX wieku jedną z najważniejszych prób odpowiedzi na te wyzwania był rozwój metod analizy danych symbolicznych w ramach podejścia symbolicznego wyróżniających się spośród znanych wcześniej metod analizy danych ekonomicznych m.in.: 1. Możliwością odwzorowywania modelowanych zjawisk ekonomicznych na dane symboliczne reprezentujące nie tylko liczby, ale również dane tekstowe, przedziały liczbowe, listy kategorii oraz rozkłady dyskretne zmiennych. Operowanie na takich danych nie jest wprawdzie zastrzeżone dla podejścia symbolicznego i można znaleźć przykłady rozszerzania znanych metod wielowymiarowej analizy statystycznej na niestandardowe formaty danych, ale dopiero podejście symboliczne tworzy całościowy i spójny zestaw narzędzi służących do operowania na tego typu wartościach. 2. Możliwością definiowania reguł logicznych i hierarchicznych zależności dla danych wykorzystywanych w metodach tego podejścia. 3. Rozszerzoną postacią wyników badań. Rezultatem wielu metod podejścia symbolicznego jest wykrycie i zapisanie w postaci reguł symbolicznych zależności logicznych w modelowanym wycinku rzeczywistości. 4. Brakiem ograniczeń wielkości analizowanych danych pierwotnych. Metody podejścia symbolicznego, wykorzystujące agregację danych pierwotnych w obiekty symboliczne drugiego rzędu (obiekty symboliczne w sensie Arystotelesa-Didaya), nie nakładają w praktyce żadnych ograniczeń na rozmiar danych wejściowych często pochodzących z komputerowych baz danych. Agregacja danych nie jest wprawdzie cechą unikalną podejścia symbolicznego, ale położenie dużego nacisku na prawidłowość procesu agregacji oraz rozszerzona forma danych wynikowych powodują, że w trakcie tego procesu utrata informacji jest minimalizowana.
10 Wstęp Głównym celem pracy jest opracowanie na podstawie literatury i badań własnych spójnej i całościowej koncepcji danych symbolicznych, metod i narzędzi ich analizy, przetwarzania i interpretacji wyników oraz przeprowadzenie oceny zastosowania podejścia symbolicznego w badaniach społeczno-ekonomicznych. Cel główny pracy zostanie osiągnięty przez realizację celów cząstkowych, którymi są: przedstawienie podstaw koncepcyjnych podejścia symbolicznego, związanych z nim pojęć tablicy danych symbolicznych, obiektu symbolicznego i zmiennej symbolicznej oraz określenie cech wspólnych i cech dystynktywnych z powszechnie używanymi w ekonomii podejściami: ilościowym i jakościowym, zaproponowanie systematyki metod podejścia symbolicznego i przedstawienie szczegółów implementacyjnych najważniejszych spośród tych metod, przedstawienie zastosowań podejścia symbolicznego w analizie zjawisk ekonomicznych dla rzeczywistych, skompletowanych przez autora zbiorów danych symbolicznych. Celowi głównemu oraz celom pomocniczym pracy jest podporządkowana jej struktura. Praca składa się z pięciu rozdziałów uzupełnionych wstępem, zakończeniem, spisem wykorzystanej literatury przedmiotu oraz załącznikami. Rozdział pierwszy zawiera propozycję umiejscowienia podejścia symbolicznego w ekonomii. Przedstawiono w nim charakterystykę dwu najważniejszych podejść w analizie danych ekonomicznych podejścia ilościowego i podejścia jakościowego oraz wyróżniono cechy podejścia symbolicznego odróżniające je od podejścia zarówno jakościowego, jak i ilościowego i stanowiące o tym, że podejście symboliczne można traktować jako nową podgałąź analizy danych ekonomicznych. W rozdziale drugim przedstawione są najważniejsze zagadnienia analizy danych symbolicznych. Zdefiniowano w nim pojęcia zmiennej symbolicznej, tablicy danych symbolicznych i obiektu symbolicznego, omówiono typy zależności między zmiennymi symbolicznymi, zdefiniowano pojęcia obiektów symbolicznych boolowskich i probabilistycznych, pojęcia obiektów symbolicznych pierwszego rzędu, drugiego rzędu i syntetycznych obiektów symbolicznych oraz przedstawiono różnicę między polską a zagraniczną (w większości anglojęzyczną i francuskojęzyczną) terminologią dotyczącą tego typu obiektów symbolicznych. Zaproponowano rozróżnienie na dwie ścieżki analizy danych symbolicznych, a także dokonano zestawienia technik wykorzystywanych w podejściu symbolicznym. Ponadto w rozdziale dokonano klasyfikacji metod analizy danych symbolicznych w zależności od typu badania oraz od wykorzystywanych w badaniu zmiennych opisujących tablicę danych symbolicznych. W rozdziale trzecim scharakteryzowano miary odległości wykorzystywane w odniesieniu do danych symbolicznych. Konstrukcja miar odległości dotyczących danych symbolicznych wymaga uwzględnienia dwóch istotnych trudności niewystępujących w przypadku tradycyjnej macierzy danych: braku zdefiniowania dla danych symbolicznych podstawowych operatorów matematycznych oraz faktu, że
Wstęp 11 obiekty symboliczne są zazwyczaj charakteryzowane przez zmienne symboliczne różnych typów, z różnymi realizacjami, połączonymi zależnościami różnych typów. W rozdziale przedstawiono konstrukcję uwzględniających te ograniczenia najważniejszych miar odległości dla danych symbolicznych. Opisano w nim również częściowe i pełne miary dopasowania obiektów symbolicznych oraz najważniejsze statystyki i miary zależności dla jednej lub wielu zmiennych symbolicznych. Rozdział czwarty przedstawia metody podejścia symbolicznego badania struktury zbioru danych symbolicznych. Scharakteryzowano w nim procedurę analizy skupień dla danych symbolicznych, przedstawiono ograniczenia tej procedury wynikające z postaci danych symbolicznych oraz zaproponowane modyfikacje metod doboru zmiennych, właściwego podziału na partycje oraz konstrukcji indeksów oceny jakości klasyfikacji, a także przedstawiono problemy dotyczące definiowania skupień dla danych symbolicznych. W rozdziale tym opisano również metody redukcji wymiarowości danych symbolicznych: analizę składowych głównych, skalowanie wielowymiarowe i samoorganizujące się mapy Kohonena. Opisy metod uzupełnione są badaniami wykorzystującymi metody podejścia symbolicznego badania struktury zbioru (tablicy danych symbolicznych). Są to badania struktury gospodarki chińskiej z wykorzystaniem klasyfikacji dynamicznej obiektów symbolicznych probabilistycznych drugiego rzędu odpowiadających prowincjom i miastom wydzielonym Chińskiej Republiki Ludowej, badanie poziomu i struktury innowacyjności w Unii Europejskiej z zastosowaniem klasyfikacji dynamicznej obiektów symbolicznych drugiego rzędu opisanych zmiennymi symbolicznymi interwałowymi oraz badanie segmentacyjne stosowanych w Polsce zintegrowanych systemów informatycznych zarządzania przedsiębiorstwami klasy ERP z zastosowaniem klasyfikacji boolowskich obiektów symbolicznych pierwszego rzędu. Rozdział piąty przedstawia metody podejścia symbolicznego badające zależności między zmiennymi. W grupie metod analizy dyskryminacyjnej przedstawiono wieloraką analizę dyskryminacyjną oraz analizę dyskryminacyjną opartą na estymatorach intensywności, a także opis autorskiego programu Symbolic Kernel Discriminant Analysis Spam Filter, służącego do filtrowania niezamawianej poczty elektronicznej w środowisku programu pocztowego MS Outlook za pomocą analizy dyskryminacyjnej opartej na estymatorach intensywności. W grupie metod analizy dyskryminacyjnej przeprowadzanej za pomocą drzewa klasyfikacyjnego zaprezentowano algorytmy konstrukcji drzew klasyfikacyjnych opartych na optymalnym podziale, bayesowskich drzew klasyfikacyjnych oraz warstwowych drzew klasyfikacyjnych oraz opisano badanie oceny wiarygodności kredytobiorców banku wykorzystujące metodę konstrukcji drzewa klasyfikacyjnego dla danych symbolicznych opartego na optymalnym podziale. Rozdział zawiera również charakterystykę metod analizy regresji w odniesieniu do danych symbolicznych opisanych zmiennymi symbolicznymi interwałowymi oraz nieliniowej analizy regresji typu Multilayer Perceptron.
12 Wstęp Integralną częścią niniejszej rozprawy jest pakiet programistyczny środowiska R symbolicda zawierający implementację większości prezentowanych metod i algorytmów podejścia symbolicznego w tym popularnym środowisku statystycznym. Załącznik A zawiera charakterystykę pakietu symbolicda. Pierwotnie załącznik ten miał zawierać również kod źródłowy funkcji pakietu, które posłużyły do wykonania badań opisanych w książce, ale ze względu na to, że tak jak w przypadku każdego innego złożonego programu komputerowego podlega on ciągłym zmianom, został on umieszczony na stronie internetowej Katedry Ekonometrii i Informatyki Uniwersytetu Ekonomicznego we Wrocławiu (http://wgrit.ae.jgora.pl/keii/ symbolicda/index.html), dzięki czemu czytelnik będzie miał zawsze dostęp do jego najbardziej aktualnej wersji. W Załączniku B przedstawione są zbiory danych symbolicznych wykorzystane w badaniach z rozdziałów czwartego i piątego. Autor pragnie podziękować prof. Tadeuszowi Kuflowi i prof. Pawłowi Luli za bardzo dokładne przeanalizowanie koncepcji i formy tego opracowania, a także za cenne, konstruktywne uwagi, które wpłynęły na ostateczny kształt monografii. W trakcie całego procesu powstawania pracy, na różnych jej etapach, autor zawsze mógł liczyć na konsultacje z prof. Eugeniuszem Gatnarem (mimo Jego napiętego harmonogramu), za co chciałby w tym miejscu wyrazić podziękowania. Szczególne zaś wyrazy wdzięczności należą się prof. Markowi Walesiakowi, który był spiritus movens tego przedsięwzięcia, oraz wszystkim koleżankom i kolegom z Katedry Ekonometrii i Informatyki Uniwersytetu Ekonomicznego we Wrocławiu. Bez ich wartościowych uwag wygłaszanych w trakcie wielogodzinnych katedralnych seminariów poświęconych analizie danych symbolicznych i podejściu symbolicznemu w badaniach ekonomicznych ta książka miałaby na pewno inną postać.