Ma³gorzaa NYCZ INTELIGENTNE METODY ODKRYWANIA WIEDZY Z BAZ DANYCH 1. Wprowadzenie Wed³ug P. G. Shapiro, pioniera w zakresie odkrywania wiedzy z baz danych, odkrywanie wiedzy jes nierywialnym procesem uzyskiwania nowej dla u ykownika wiedzy z ju isniej¹cych w przedsiêbiorswie baz danych, a wiêc akiej, kóra ju siê w bazach danych znajdowa³a (wiedza jawna), ale uprzednio nie by³a znana, uœwiadomiona czy dosrze ona [24]. Mog¹ o byæ przyk³adowo wczeœniej niedosrze one zale noœci, wzorce czy relacje. Bazy danych s¹ zazwyczaj bardzo du e, rzêdu gigabajów czy wiêksze. Wymaga o u ycia specjalisycznych narzêdzi, pozwalaj¹cych szybko wykryæ z³o one zwi¹zki pomiêdzy danymi. Wiedza o coœ wiêcej ni informacja, o srukura, a wiêc specyficzne korelacje, prawid³owoœci saysyczne lub inne zale noœci, kóre daj¹ siê wypowiedzieæ w jêzyku maemayki lub w dowolnym jêzyku nauralnym. Nie³awo jes do nich dorzeæ, gdy niekiedy nie podejrzewa siê nawe ich isnienia. Mog¹ one mieæ realn¹ waroœæ liczon¹ w milionach z³oych, na przyk³ad, jeœli doycz¹ wa nych dla jakiegoœ sekora zachowañ rynkowych. Ich uchwycenie mo e oznaczaæ umiejênoœæ przewidzenia przysz³oœci, a ym samym uzyskanie znacz¹cej przewagi nad konkurencj¹. Zazwyczaj ka da organizacja gromadzi na dyskach swoich kompuerów dane, kóre w zale noœci od podejœcia, mog¹ mieæ albo waroœæ czyso hisoryczn¹, albo e pos³u yæ do ciekawych analiz, na przyk³ad markeingowych, kórych kosz mo e ulec obni eniu o bardzo isony sk³adnik - nak³ady na samo zebranie danych. Eksrahuj¹c informacjê z baz danych, wiemy dok³adnie czego szukamy. Tworzenie z³o onych, przekrojowych raporów mo e byæ nawe bardzo skomplikowane echnicznie, lecz zawsze jes procedur¹ dobrze okreœlon¹ - rapor sanowi odpowiedÿ na precyzyjnie zadane pyanie, w rodzaju poka wszyskich klienów, kórzy w ubieg³ym miesi¹cu zamówili owary na ³¹czn¹ sumê ponad 10 ysiêcy z³oych i zalegaj¹ z p³anoœci¹. Isoa eksploracji danych polega naomias na ym, e nie porafimy zadaæ konkrenego pyania. Ineresuje nas ylko, czy w naszej bazie s¹ jakieœ prawid³owoœci. Miejsce pozyskiwania wiedzy w procesie podejmowania decyzji przedsawia rysunek 1. Analizy daa mining s¹ pomocne w ransformacji surowych danych, poprzez kolejne eapy absrakcji a do wiedzy, kóra umo liwia podejmowanie decyzji. W aplikacjach operacyjnych wykorzysuje siê dane (zbiór faków i/lub zdarzeñ). Wykorzysuj¹c hurowniê danych, generowane s¹ informacje, kóre pozwalaj¹ na wyci¹ganie isonych wniosków. Wnioski e, uwzglêdnione przez decydena podczas podejmowania przez niego decyzji, mog¹ przyczyniæ siê do podjêcia lepszej decyzji, ni gdyby decyden ich nie zna³. Aby odkrywanie wiedzy z baz danych by³o mo liwe, musz¹ byæ spe³nione warunki: w organizacji ma miejsce masowe gromadzenie danych pamiêci (gromadzone dane pojawiaj¹ siê w aplikacjach na przesrzeni czasu), organizacja posiada wysoko-wydajne maszyny wieloprocesorowe (gdy zazwyczaj wykonuje siê obliczenia dla du ej grupy rekordów, czêso dla wszyskich rekordów ze zbiorów), w organizacji znajduj¹ siê pracownicy odpowiednio wykwalifikowani, umiej¹cy obs³u yæ daa mining. Odkrywanie wiedzy z baz danych jes procesem cyklicznym. Nie koñczy siê w momencie wdro enia rozwi¹zania. To, czego nauczymy siê w rakcie procesu i na podsawie wdro onego rozwi¹zania, mo e przynieœæ nowe, czêso bardziej konkrene pyania biznesowe. Zebrane doœwiadczenia przynios¹ korzyœci przy kolejnych projekach pozyskiwania wiedzy. Najw³aœciwsze, szczególnie z punku widzenia z³o onoœci, zadania, jakie sawia przed sob¹ odkrywanie wiedzy z baz danych, jes przedsawienie go w posaci procesu, kóry porz¹dkuje podsawowe grupy czynnoœci (por. [6]). Pozwala równie na zakreœlenie ram obejmuj¹cych ca³oksza³ problemayki zwi¹zanej z odkrywaniem wiedzy z baz danych. Meody odkrywania wiedzy z baz danych wymagaj¹ wykonania czynnoœci: gromadzenia danych, czyszczenia (miêdzy innymi obs³ugi b³êdnych lub brakuj¹cych danych), inegracji (³¹czenia danych pochodz¹cych z ró nych Ÿróde³), selekcji (wybrania isonych danych ze wzglêdu na analizowany problem), ransformacji (nadania odpowiedniej reprezenacji wyselekcjonowanym danym), Rys. 1. Miejsce odkrywania wiedzy w procesie podejmowania decyzji Srona 70 Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
dr¹ enia (polegaj¹cego na wykorzysaniu ineligennych meod przewarzania danych celem uzyskania miêdzy innymi regu³, schemaów, zale noœci), weryfikacji (inerpreacji wyników), prezenacji wiedzy (zasosowanie wizualizacji i reprezenacji wiedzy u ykownikowi). Odkrywanie wiedzy z baz danych o proces mudny i czêso przerasaj¹cy mo liwoœci percepcyjne cz³owieka, dlaego auomayzacja pewnych operacji (grup czynnoœci) nale- y do jej niepodwa alnych za³o eñ. Jednak, w jakim sopniu proces odkrywania wiedzy mo e byæ niezale ny od u ykownika, nie jes jasne. Coraz czêœciej zauwa a siê, e udzia³ cz³owieka w ka dym eapie procesu odkrywania wiedzy mo e znacznie zwiêkszyæ jego efekywnoœæ. Eksploracje danych przeprowadzano od dawna; nie jes o zaem coœ, co by siê wi¹za³o jedynie ze szuczn¹ ineligencj¹. Wykonywano je po o, aby uzyskaæ nowe informacje czy e now¹ wiedzê z danych. Wiedzê z baz danych mo emy pozyskiwaæ ró nymi meodami. Jedne meody odkrywania wiedzy wywodz¹ siê z nauk biologicznych, inne ze saysyki i logiki maemaycznej, jeszcze inne z nauki o jêzyku (lingwisyka). Niekóre meody saysyczne czy maemayczne s¹ wykorzysywane w procesie odkrywania wiedzy. Przy klasyfikacji meod odkrywania wiedzy mo na jako wyró nik braæ pod uwagê ró ne czynniki, jak na przyk³ad sopieñ czy sposób przeprowadzania wnioskowania (indukcyjne, dedukcyjne czy abdukcyjne) b¹dÿ ze wzglêdu na zawaroœæ ineligencji. Ponado, nale y zwróciæ uwagê, e o ile meody saysyczne eliminuj¹ przypadki skrajne ( n¹ po skrzyd³ach ), co oznacza, e s¹ one odrzucane, o meody ineligenne wywodz¹ce siê ze saysyki akie przypadki zachowuj¹, albowiem byæ mo e bêd¹ one w przysz³oœci zal¹ kiem nowej grupy. Przedsawiona poni ej klasyfikacja ze wzglêdu na zawaroœæ ineligencji dzieli meody odkrywania wiedzy na klasyczne, meody ineligenne oraz meody mieszane. 2. Klasyfikacja meod odkrywania wiedzy z baz danych Klasyfikacjê meod odkrywania wiedzy z baz danych mo - na ró nie przedsawiaæ, na przyk³ad bior¹c pod uwagê poziom ineligencji zawarej w meodzie. I ak, mo na meody odkrywania wiedzy z baz danych podzieliæ na meody saysyczne i maemayczne, meody zawieraj¹ce elemen ineligencji wywodz¹ce siê z maemayki i saysyki, nauk biologicznych i z nauk o jêzyku oraz meody mieszane, kóre sk³adaj¹ siê z przynajmniej dwóch meod (rys. 2). Przedmioem naszego zaineresowania s¹ meody ineligenne, maj¹ce swe Ÿród³a w ró nych uprzednio znanych naukach, jak saysyka i maemayka, nauki biologiczne oraz nauki o jêzyku. Rys. 2. Klasyfikacja meod odkrywania wiedzy Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 71
3. Ineligenne meody odkrywania wiedzy 3.1. Meody odkrywania wiedzy wywodz¹ce siê ze saysyki i maemayki Ineligenne meody odkrywania wiedzy wywodz¹ce siê ze saysyki i maemayki o przyrosowe meody indukcyjne, dedukcyjne, abdukcyjne oraz inne, kóre nie mieszcz¹ siê w ych wy ej wymienionych, a ze wzglêdu na ich wagê rzeba o nich wspomnieæ, jak np. meoda rozmyego odkrywania wiedzy czy ineligenna meoda emporalna. Srona 72 3.1.1. Meoda przyrosowa Poniewa gospodarka egzysuje w œrodowisku zmieniaj¹cym siê w czasie, isnieje zaporzebowanie na meody ucz¹ce, kóre bior¹ pod uwagê en fak. Za³o enie o uwzglêdniaj¹ meody zwane czêso w lieraurze algorymami uczenia przyrosowego (ang. incremenal learning) [8]. Koncepcja uczenia przyrosowego powsa³a w odpowiedzi na coraz bardziej z³o one i zmienne œrodowisko dzia³ania sysemów szucznej ineligencji. Je eli sysem aki ma efekywnie rozwi¹zywaæ problemy œwiaa rzeczywisego, o musi byæ adapacyjny, dopasowywaæ siê do czêsych zmian. Jednoczeœnie w warunkach rzeczywisych czêso niemo liwe jes czekanie z podjêciem decyzji na du ¹ iloœæ obserwacji, kóre mog¹ e w momencie uczenia byæ niekomplene. Uczenie przyrosowe jes szczególnym przypadkiem procesu uczenia, w kórym sysem nie czeka przed sworzeniem pojêcia na wszyskie przypadki prezenowane w ci¹gu ucz¹cym. Wrêcz przeciwnie po ka dym przypadku sysem sara siê dokonaæ jak najlepszego uogólnienia. Jednoczeœnie z ka dym kolejnym przypadkiem sysem udoskonala nabywan¹ wiedzê. Proces uczenia ma charaker ci¹g³y, a nabywana wiedza jes rozwijana na podsawie informacji, jakich dosarczaj¹ kolejne analizowane przypadki. Meodê przyrosow¹ mo na podzieliæ na dwie grupy. Wydaje siê, e najbardziej adekwana jes klasyfikacja, proponowana m.in. przez D. Fishera [7]. Dzieli ona meody przyrosowe sosuj¹c do nich klasyfikacjê sosowan¹ do sandardowych meod uczenia na meody uczenia nadzorowanego i meody uczenia bez nadzoru. Implemenowanie algorymów uczenia przyrosowego w ró - nych dziedzinach nie ma jeszcze zby d³ugiej hisorii. Doychczas, implemenuj¹c algorym przyrosowy, koncenrowano siê bardziej na badaniu poprawnoœci dzia³ania algorymu i na jego osi¹gniêciach wzglêdem algorymów radycyjnych, ni na dziedzinie zasosowañ. Dlaego spoykane w lieraurze wyniki esów doycz¹ najczêœciej nauk medycznych, ze wzglêdu na o, e dane z ej dziedziny s¹ obfie i bardzo dobrze nadaj¹ siê do esowania. Jako inne zasosowania algorymów z uczeniem przyrosowym proponowano nasêpuj¹ce: Rozwi¹zywanie syuacji szachowych (D.H. Fischer i J.C. Schlimmer esowali algorym STAGGER na ci¹gu ucz¹cym Quinlana) [7]. Inerakywne pozyskiwanie wiedzy. Problemy z pozyskiwaniem wiedzy od ekspera s¹ znane od dawna. H. Bareiss i M.E. Porer zaproponowali sysem z uczeniem przyrosowym, s³u ¹cy do inerakywnego pozyskiwania wiedzy. Jes o PROTOS [1], dzia³aj¹cy w obszarze audiologii klinicznej. Budowana przezeñ baza wiedzy ma srukurê DAG (Direced Acyclic Graph acykliczny graf skierowany). Równie J.C. Schlimmer i D.H. Fischer [7] zajmowali siê ym zagadnieniem, planuj¹c akie rozszerzenie algorymu COBWEB, aby budowa³ on bazy wiedzy DAG. Pozyskiwanie wiedzy z eksów. Opisany w pracy [12] sysem SYNDIKATE wykorzysuje echniki uczenia przyrosowego do dynamicznego ulepszania zbioru szablonów eksowych, u ywanych do worzenia eksowych baz wiedzy na podsawie dokumenów echnicznych. Sysemy monioruj¹ce. W pracy [18] zaproponowano wykorzysanie sieci neuronowych z przyrosowymi algorymami uczenia do moniorowania pracy urz¹dzeñ medycznych. Celem akiego rozwi¹zania jes wykrywanie oraz idenyfikacja defeków w rakcie pracy sysemu, przy zachowaniu poprzedniej wiedzy. Auor cyowanej pracy proponuje zasosowanie sieci ILFN (ang. Incremenal Learning Fuzzy Neuron Nework). Jes o sieæ wykorzysuj¹ca do reprezenacji przesrzeni wejœciowej neurony z funkcj¹ gaussowsk¹; o samoorganizuj¹cy klasyfikaor, mog¹cy nabywaæ now¹ wiedzê bez zapominania sarej. Mo e on wykrywaæ nowe klasy wzorców i uakualniaæ swoje paramery w rakcie pracy sysemu monioruj¹cego. Jes o zaem algorym uczenia on-line bez porzeby posiadania informacji a priori. Ponado, dziêki zasosowaniu logiki rozmyej sieæ ILFN mo e podejmowaæ decyzje rozmye (miêkkie) lub warde oraz klasyfikowaæ problemy zarówno separowane, jak i nieseparowalne liniowo. Roboyka. W pracy [25] zaprezenowano meodê przyrosowego uczenia w czasie rzeczywisym jako szczególnie u yeczn¹ w problemayce serowania roboami auonomicznymi w wielowymiarowej przesrzeni wejœciowej. Jeœli chodzi o szeroko pojêe zarz¹dzanie, o w zasadzie brakuje w lieraurze przyk³adów zasosowañ algorymów uczenia przyrosowego. Wydaje siê jednak, e uczenie akie mo na by wykorzysaæ przyk³adowo w akich celach, jak uczenie sysemu eksperowego w drodze konwersacji z cz³owiekiem, generowanie diagnoz/eksperyz, nadzorowanie w czasie rzeczywisym procesu produkcyjnego (sysem wyposa ony w umiejênoœæ uczenia przyrosowego na bie ¹co analizowa³by nap³ywaj¹ce sygna³y), badania markeingowe (sysem ucz¹cy siê mo e analizowaæ nap³ywaj¹ce, np. z biur regionalnych, sprawozdania doycz¹ce wielkoœci sprzeda y, jej srukury, preferencji klienów, zachowañ konkurencji ip., wspomagaj¹c ym samym analizê markeingow¹ i umo liwiaj¹c szybkie reagowanie na zmiany zachowania rynku isonego). 3.1.2. Meody indukcyjne Odkrywanie wiedzy za pomoc¹ meod indukcyjnych mo e odbywaæ siê przyrosowo albo nieprzyrosowo, zale nie od sposobu przyswajania wiedzy w czasie. Meoda indukcyjnego odkrywania wiedzy w sposób przyrosowy oznacza, e niejako z góry s¹ opracowane sposoby przeksza³cania pozyskanej wiedzy, a w przypadku indukcyjnego odkrywania wiedzy w sposób nieprzyrosowy uczenie nasêpuje ylko raz i na ym koniec. Przyk³adem indukcyjnej meody Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
przyrosowej s¹ drzewa decyzyjne. Odkrywanie wiedzy za pomoc¹ drzew decyzyjnych polega na sopniowym podziale zbioru obieków na podzbiory, a do osi¹gniêcia ich jednorodnoœci ze wzglêdu na przynale noœæ do klas. Drzewo sk³ada siê z korzenia, z kórego wychodz¹ co najmniej dwie krawêdzie do wêz³ów le ¹cych na ni szym poziomie. Z ka dym wêz³em zwi¹zane jes pyanie o waroœæ cech, kóre posiada obiek i kóre przenosz¹ siê w dó³ odpowiedni¹ krawêdzi¹. Wêz³y, z kórych ju nie wychodz¹ adne krawêdzie, o liœcie reprezenuj¹ce klasy. D¹ ymy do ego, aby drzewo mia³o minimaln¹ liczbê wêz³ów, wówczas orzymane regu³y bêd¹ prossze. Wp³yw na efekywnoœæ algorymu worzenia drzew decyzyjnych ma sposób podzia³u zbioru obieków w wêz³ach drzewa (pojedynczych cech lub kombinacji liniowych), czyli miara jakoœci podzia³u (miary jednorodnoœci, miary zró nicowania) [19, s. 202-208]. Wiêkszoœæ podejœæ do budowy drzew decyzyjnych odnosi siê do wyników uzyskiwanych przez ID3 i jego póÿniejszych wersji C4.5 i C5. Na liœcie opisuj¹cej sysemy wykorzysywane do odkrywania wiedzy sysem C4.5 zaliczany jes do bardziej popularnych i lepszych sysemów generowania drzew decyzyjnych [24]. J. R. Quinlan rozwin¹³ algorym CLS (ang. Concep Learning Sysem) [13], sosuj¹c w ID3 podejœcie opare na eorii informacji. Trakuje on drzewo decyzyjne jako Ÿród³o informacji, gdy dla ka dego obieku generuje wiadomoœæ, do jakiej klasy nale y en obiek [14, s. 15]. Iloœæ informacji mo na mierzyæ na wiele sposobów. Niemniej za najpopularniejsze uwa a siê podejœcie zaproponowane przez C. Shannona, wed³ug kórego informacja przenoszona przez pewien komunika jes zwi¹zana z iloœci¹ nieokreœlonoœci, jak¹ dany komunika usuwa. Liczba klas, do kórych mog¹ byæ zaliczane obieky, jes rakowana jako liczba mo liwych komunikaów generowanych przez drzewo decyzyjne. Iloœæ informacji zawarej w ym komunikacie mierzona jes za pomoc¹ enropii. Enropia jes o œrednia iloœæ informacji okreœlonej na zbiorze prawdopodobieñsw wszyskich mo liwych realizacji pewnego zdarzenia. Gdy liczba mo liwych komunikaów wynosi n, iloœæ informacji zawarej w komunikacie generowanym przez Ÿród³o wyra a siê w nasêpuj¹cy sposób [23, s. 353]: n liczba komunikaów, p i prawdopodobieñswo wys¹pienia i-ego komunikau. Waroœæ ej miary zale y od prawdopodobieñswa wys¹pienia ró nych komunikaów. Osi¹ga ona waroœæ maksymaln¹ w przypadku, gdy prawdopodobieñswa wys¹pienia wszyskich komunikaów s¹ równe, a jes równa zeru ylko w akim przypadku, gdy prawdopodobieñswo wys¹pienia jednego z komunikaów przyjmuje waroœæ równ¹ jednoœci. Na podsawie enropii Quinlan zdefiniowa³ kryerium korzyœci gain(x), decyduj¹ce o wyborze arybuów do kolejnych wêz³ów. Mierzy ono przyros informacji, jaki uzyskuje siê przy wyborze arybuu X do danego wêz³a. Wyliczane jes za pomoc¹ nasêpuj¹cej formu³y: Rozwi¹zanie zadania decyzyjnego mo na uo samiaæ z wygenerowaniem zesawu regu³ decyzyjnych umo liwiaj¹cych przewidywanie klas obieków na podsawie waroœci arybuów warunkowych. Zbiór regu³ decyzyjnych wyznaczany jes na podsawie informacji dosarczanych przez skoñczony zbiór reningowy sk³adaj¹cy siê z obieków o znanych waroœciach arybuów. Waroœci niekórych arybuów warunkowych dla pewnych obieków mog¹ byæ nieznane. Mówi siê wedy o brakuj¹cych waroœciach. B³¹d klasyfikacyjny w przypadku du ych baz danych jes szacowany zwykle na podsawie liczby b³êdnych sklasyfikowañ przypadków ze zbioru esowego. Isniej¹ ró ne algorymy realizacji drzew decyzyjnych, jak np. Algorym ProbRough, Algorym C4.5, Algorym T2, Sysem Rosea, Algorym CN2, CART, Ques czy OC1 [21]. Z algorymami worz¹cymi drzewa decyzyjne zwi¹zane s¹ nasêpuj¹ce problemy: kóre z cech (arybuów) nale y wygain(x) = E(C) E x (C),, (1) (2) C zbiór ucz¹cy, E(C) enropia zbioru C, mierzy przeciên¹ iloœæ informacji porzebnej do zidenyfikowania klasy w zbiorze C, a wylicza siê j¹ w nasêpuj¹cy sposób:, (3) freq(klasa j,c) liczba przypadków w C nale ¹cych do klasy j, C liczba przypadków w zbiorze C. E x (C) oczekiwana waroœæ informacji dla poddrzewa powsa³ego w wyniku podzia³u zbioru C na podzbiory odpowiadaj¹ce waroœciom, jakie przyjmuje arybu X: Pierwonie algorym ID3 pracowa³ jedynie na arybuach przybieraj¹cych waroœci nominalne. W wyniku kolejnych modyfikacji J. R. Quinlan w 1993r. zaproponowa³ ulepszony algorym pod nazw¹ C4.5. Jes on wersj¹ algorymu Quinlana, poszerzon¹ o obs³ugê brakuj¹cych waroœci oraz liczb ci¹g³ych. Dodakowo, oprócz mo liwoœci generowania drzewa decyzyjnego, algorym en wzbogacono o funkcjê generowania regu³ klasyfikacyjnych. Zmodyfikowane zosa³o równie kryerium wyboru arybuów do kolejnych wêz³ów. W miejsce poprzedniego kryerium zosa³ wprowadzony wskaÿnik korzyœci gain raio(x), wyliczany w nasêpuj¹cy sposób: spli_info(x) mierzy informacjê uzyskiwan¹ przez podzia³ zbioru wed³ug waroœci cechy X, a wylicza siê j¹ w nasêpuj¹cy sposób:.,. (4) (5) (6) Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 73
braæ do podzia³u zbioru obieków, kiedy zakoñczyæ podzia³ zbioru obieków, w jaki sposób przydzielaæ obieky znajduj¹ce siê w liœciu drzewa do pewnej klasy. 3.1.3. Meody dedukcyjne Baza danych uwa ana jes za bazê ineligenn¹, je eli wykazuje nasêpuj¹ce cechy: ma akywn¹ naurê, co oznacza, e nie czeka, aby orzymaæ dane ze œrodowiska, przechowuje regu³y i sosuje je po o, by baza danych nabra³a akywnego charakeru oraz ma mo liwoœæ przechowywania wiêzów inegralnoœci cenralnie w samej bazie danych [3]. Za dedukcyjny sysem bazy danych mo emy uznaæ sysem posiadaj¹cy zdolnoœci definiowania regu³ (dedukcyjnych), na podsawie kórych mo na wywnioskowaæ dodakowe informacje, opieraj¹c siê na fakach zgromadzonych w bazie danych [5]. Regu³y s¹ specyfikowane za pomoc¹ jêzyka deklaraywnego. Jêzyka, w kórym specyfikuje siê co ma byæ uzyskane, a nie jak o uzyskaæ. Mechanizm dedukcyjny (maszyna wnioskuj¹ca) w sysemie mo e dedukowaæ nowe faky, bazuj¹c na inerpreacji ych e regu³. Sosowany w dedukcyjnej bazie danych model jes w pewnym sensie (chodzi o domenê) zwi¹zany z modelem relacyjnym. Model danych jes zarazem œciœle zwi¹zany z logik¹, programowaniem logicznym i jêzykiem Prolog b¹dÿ jego odmianami (np. Daalog czy Saelog). W sysemie dedukcyjnych baz danych przyjêo dwa za³o- enia: za³o enie œwiaa domkniêego, za³o enie negacji jako niepowodzenia. Za³o enie domkniêoœci œwiaa mówi o ym, e jedynymi prawdziwymi swierdzeniami na ema obszaru analizy s¹ pozyywne asercje dla ego obszaru analizy wszyskie inne s¹ fa³szywe. Za³o enie negacji jako niepowodzenia swierdza, e jeœli nie mo emy udowodniæ prawdziwoœci formu³y Q, o powinniœmy przyj¹æ, e formu³a no(q) jes prawdziwa. Za³o enie œwiaa domkniêego nie pozwala nam jednak u ywaæ negaywnych faków w celu wywnioskowania dalszych faków. W œwiecie rzeczywisym czêso wa ne jes, aby wyra aæ regu³y, kórych przes³anki zawieraj¹ negaywn¹ informacjê. Baza danych, kóra zawiera zbiór pozyywnych (zn. niezanegowanych) asercji, jes równowa na konwencjonalnej bazie danych bazie faków. Mówimy, e baza danych, kóra zawiera faky i regu³y, jes dedukcyjn¹ baz¹ danych. Jes ona dedukcyjna, poniewa za pomoc¹ regu³ mo emy z niej wyprowadziæ dane wirualne dane nieprzechowywane w bazie faków. Dedukcyjna baza danych nie jes ju baz¹ danych w œcis³ym ego s³owa znaczeniu, jes ona bli - sza pojêciu bazy wiedzy. Dedukcyjn¹ bazê danych (DBD) definiuje siê jako bazê sk³adaj¹c¹ siê z rzech skoñczonych zbiorów. S¹ nimi zbiór faków (F), zbiór regu³ dedukcyjnych (R) oraz zbiór wiêzów inegralnoœci (I): Srona 74 DBD = {F,R,I}. Pojedynczy fak mo e byæ rakowany jako aom. Mówimy, e predyka, kórego relacja jes jawnie deklarowana przez asercje, jes czêœci¹ eksensjonalnej bazy danych. Mówimy, (7) e predyka definiowany przez regu³y jes czêœci¹ inensjonalnej bazy danych [3]. Regu³a dedukcyjna jes przedsawiana w posaci wyra enia: P L 1 Ù... Ù L n przy n ³ 1, P aom, L 1 Ù... Ù L n lierale reprezenuj¹ce warunki. Ka dy z lierali L i jes albo aomem pozyywnym (niezanegowanym), albo aomem zanegowanym. Wiêzy inegralnoœci s¹ domkniêymi regu³ami pierwszego rzêdu (ang. closed firs order formula), kóre dedukcyjna baza danych spe³nia. Wiêzi okreœla siê jako negacjê wyra- enia: L 1 Ù... Ù L n przy n ³ 1, gdzie ka dy z L i (i = 1...n) jes aomem niezanegowanym albo aomem zanegowanym. Uwa a siê, e dedukcyjny model danych ma na ogó³ wiêksze mo liwoœci ni relacyjny model danych. Przewagê dedukcyjnej bazy danych nad konwencjonaln¹ relacyjn¹ baz¹ danych mo na wykazaæ, rozwa aj¹c pojêcie przewarzania zapyañ rekurencyjnych [5]. W dedukcyjnej bazie danych wykorzysywane s¹ dwojakiego rodzaju specyfikacje: faky oraz regu³y. Faky odzwierciedlaj¹ œwia rzeczywisy, regu³y zaœ okreœlaj¹ wirualne relacje, kóre nie s¹ przechowywane, a kóre mog¹ zosaæ uworzone na podsawie faków przez mechanizm wnioskuj¹cy na podsawie specyfikacji regu³. Logika mo e byæ zasosowana do baz danych, np. jako model danych. W ramach akiego modelu danych wyró niæ mo na srukury danych, operaory oraz regu³y inegralnoœci. Wszyskie e rzy elemeny s¹ reprezenowane w en sam jednorodny sposób jako aksjomay w jêzyku logiki. 3.1.4. Meody abdukcyjne W meodzie abdukcyjnej CBR (ang. Case Based Reasoning) zachodzi wnioskowanie na podsawie przypadków, gdzie rozwi¹zanie nowego problemu nasêpuje poprzez odwo³anie siê do rozwi¹zañ podobnych problemów w przesz³oœci. Zasadnicza ró nica miêdzy CBR a alernaywnymi meodami szucznej ineligencji polega na ym, e CBR jes w sanie rozwi¹zywaæ problemy bez porzeby odwo³ywania siê do wiedzy ogólnej [10]. Funkcjonowanie CBR mo na opisaæ poprzez scharakeryzowanie czerech podsawowych elemenów, kórymi s¹ [16]: wyszukanie najbardziej podobnego przypadku lub przypadków, adapacja rozwi¹zania z przypadków wyszukanych, weryfikacja zaproponowanego rozwi¹zania, zapamiêanie rozwi¹zania, je eli przewiduje siê jego u ycie do rozwi¹zywania nowych problemów. Rozwi¹zanie nowego problemu (przypadku) nasêpuje poprzez wyszukanie przypadków podobnych w bazie przypadków i zaadapowanie ich rozwi¹zañ do nowego problemu. Tak orzymane rozwi¹zanie powinno byæ zweryfikowane poprzez odwo³anie siê do wiedzy dziedzinowej, ekspera lub odpowiednich esów. Je eli orzymane roz- (8) (9) Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
wi¹zanie nie ma swojego odpowiednika w bazie przypadków, o jes ono wraz z opisem przypadku zapamiêywane. Cykl pracy meody wnioskowania na podsawie przypadków przedsawia rysunek 3. Akwizycja wiedzy jes procesem rudnym i pracoch³onnym. W przypadku CBR wymaga siê jedynie, aby eksper poda³ przyk³ady rozwi¹zañ konkrenych zadañ i okreœli³ cechy deerminuj¹ce rozwi¹zanie. Meoda jes bardzo przydana w dziedzinach, gdzie brakuje jednoznacznych regu³ posêpowania czy okreœlonej eorii problemu. Wyjaœnianie wygenerowanej propozycji rozwi¹zania w sysemach sosuj¹cych meodê CBR sprowadza siê do przedsawienia u ykownikowi pe³nego opisu wyszukanego przypadku. Jes o z regu³y przekonywaj¹ce dla u ykownika, niemniej brak u charakerysycznego dla sysemów eksperowych objaœniania drogi dojœcia do rozwi¹zania. Cech¹ charakerysyczn¹ CBR jes auomayczne rozbudowywanie bazy przypadków, dziêki czemu sysem jes w sanie generowaæ rozwi¹zania w syuacji zmian w œwiecie zewnêrznym. W klasycznych sysemach eksperowych ka da zmiana wymaga rêcznej akualizacji regu³ lub wprowadzenia nowych. Tak wiêc CBR jes w sanie korygowaæ swoje b³êdy poprzez adapacjê nowych, poprawnie rozwi¹zanych przypadków. Meoda a znajduje szerokie zasosowania w wielu obszarach. Przyk³ad prakycznego wykorzysania CBR mo na znaleÿæ np. w pracy [2, s. 34-43]. Ineligenne meody odkrywanie wiedzy z baz danych Rys. 3. Cykl pracy meody wnioskowania na podsawie przypadków 3.2. Inne meody odkrywania wiedzy wywodz¹ce siê z maemayki 3.2.1. Meoda rozmya Meody rozmyego odkrywania wiedzy bazuj¹ na logice rozmyej (ang. fuzzy logic). Wnioskowanie rozmye, podobnie jak eoria zbiorów rozmyych, w wielu przypadkach pozwala na opisywanie œwiaa w sposób bardziej odpowiadaj¹cy rzeczywisoœci ni logika binarna. Pozwala ono sformalizowaæ fak niepewnoœci i niedok³adnoœci przes³anek oraz niepewnoœci wniosków. Implikacja mo e mieæ ró ny sopieñ spe³nienia przes³anek i wskuek ego ró ny sopieñ spe³nienia konkluzji. Klasyczna meoda rozmyego odkrywania wiedzy (wnioskowania rozmyego) sk³ada siê z rzech czêœci: bloku rozmywania (fuzyfikacji), bloku wnioskowania (inferencji) oraz bloku wyosrzania (defuzyfikacji). Elemeny meody rozmyego odkrywania wiedzy przedsawia rysunek 4. Na wejœciu sysemu, w bloku rozmywania, pojawiaj¹ siê konkrene waroœci, np. dochód = 3 000 z³. Ta waroœæ podlega rozmywaniu poprzez obliczenie sopnia przynale noœci do zbiorów sosowanych w sysemie. Sopieñ zakywizowania ych zbiorów sanowi podsawê do póÿniejszego wnioskowania. W bloku wnioskowania oceniany jes sopieñ spe³nienia przes³anek ka dej regu³y, okreœlany jes ksza³ zbiorów rozmyych poszczególnych konkluzji, a nasêpnie konkluzje e s¹ agregowane w jeden wynikowy zbiór rozmyy. Inegralnym elemenem bloku wnioskowania jes baza regu³. Baza a ma zazwyczaj posaæ zbioru przes³anek oraz okreœlonej dla nich konkluzji. Regu³y operuj¹ okreœlonymi charakerysycznymi sanami zmiennych wejœciowych zwykle kilkoma dla ka dej zmiennej (np. niski, œredni, wysoki), naomias wyjœcie o jedna zmienna, opisana równie kilkoma charakerysycznymi waroœciami. Zawê enie opisu zmiennych wejœciowych i wyjœciowych do kilku zbiorów w adnym sopniu nie ogranicza ani mo liwych waroœci wejœcia, Rys. 4. Elemeny meody rozmyego odkrywania wiedzy Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 75
ani waroœci, kóre pojawiaj¹ siê na wyjœciu wyniku wnioskowania. W bloku wyosrzania rozmy¹ decyzjê nale y zamieniæ na jedn¹, konkren¹ waroœæ, np. zdolnoœæ kredyowa na poziomie 24 ys. z³. Meodê wyosrzania wybiera siê w zale - noœci od charakeru podejmowanych decyzji, a ak e od posaci uzyskiwanej rozmyej konkluzji. Meody rozmye maj¹ kilka isonych zale, z kórych dla celów wydobywania u yecznej wiedzy najwa niejsze s¹: regu³owe modelowanie i wnioskowanie, zazwyczaj mniejsza liczba regu³ ni w konwencjonalnych sysemach regu³owych, mo liwoœæ auomaycznego uczenia sysemu. Auomayczne uczenie jes kluczow¹ operacj¹ w procesie odkrywania wiedzy, gdy w³aœnie na ym eapie wyszukiwane s¹ najlepsze regu³y i okreœlane s¹ paramery sysemu wnioskuj¹cego. Odkrywanie wiedzy z danych jes realizowane poprzez zasosowanie odpowiednich algorymów poszukuj¹cych lub ucz¹cych. Uczenie sysemów rozmyych jes najczêœciej realizowane za pomoc¹ rozmyych sieci neuronowych, z wykorzysaniem analizy skupieñ (grupowanie, klasering) oraz poprzez poszukiwania opymalnych paramerów opare na algorymach geneycznych. 3.2.2. Meoda emporalna Mo na wyró niæ dwa podsawowe podejœcia do meod wnioskowania po czasie (emporalnych): podejœcie opare na modelach (np. szeregi czasowe por. meody klasyczne) oraz podejœcie opare na jêzykach emporalnych, czyli przeznaczonych specjalnie do opisu rzeczywisoœci zmiennej w czasie i wykorzysuj¹ce echniki auomaycznego wnioskowania. Przyk³adem implemenacji jes jêzyk akcji emporalnych TAL (Temporal Acion Language) (por. [4 oraz 15, s. 542-546]). Podsawowe cechy TAL o pojêcie i noacja czasu niezale na od akcji, mo liwoœæ definiowania zale noœci przyczynowych w oddzieleniu od definicji akcji oraz mo liwoœæ opisu inerakcji wspó³bie nych. TAL sk³ada siê z dwóch poziomów, kórymi s¹: jêzyk powierzchniowy, u ywany do opisu scenariuszy (wiêcej informacji w [4, 15]) oraz jêzyk bazowy (inaczej jêzyk logiki zdarzeñ), bêd¹cy uporz¹dkowan¹ logik¹ predykaów I rzêdu. Warswa jêzyka bazowego (logika zdarzeñ) zawiera m.in. predykay emporalne (definicje predykaów mo na znaleÿæ np. w [15]). Warswa jêzyka powierzchniowego sk³ada siê z wyra eñ emporalnych, wyra eñ waroœciuj¹cych, wyra eñ aomicznych, swierdzeñ narracyjnych oraz dodakowych makrooperaorów i skróów. Jêzyk powierzchniowy nie ma formalnej semanyki, posiada naomias formaln¹ sk³adniê. Ca³oœæ wnioskowania formalnego jes przeprowadzana po prze³umaczeniu opisu dokonanego w jêzyku powierzchniowym na opis w jêzyku bazowym. Opis (specyfikacja) scenariusza zdarzeñ w jêzyku TAL sk³ada siê z opisu ypów, definicji i opisu akcji, specyfikacji ograniczeñ dziedzinowych, specyfikacji zale noœci emporalnych [19, s. 209-210]. Przedsawiona meoda emporalna odkrywania wiedzy jes ineresuj¹ca, ale jak na razie nie zdoby³a jeszcze szerokiego uznania wœród u ykowników. Srona 76 3.3. Meody wywodz¹ce siê z nauk biologicznych Wa n¹ grupê meod odkrywania wiedzy worz¹ meody wywodz¹ce siê z nauk biologicznych w ym sensie, e powsa³y z obserwacji zachowania siê organizmów ywych w przyrodzie, jak np. praca mózgu (sieci neuronowe), ewolucja chromosomów (algorymy geneyczne) czy zachowania siê mrówek przy wyborze œcie ki poruszania siê (meody mrówkowe ). Najczêœciej sosowane s¹ dwie pierwsze meody i o one zosan¹ poni ej króko scharakeryzowane. 3.3.1. Sieci neuronowe Sieci neuronowe mog¹ byæ sosowane do odkrywania wiedzy z baz danych w syuacji, gdy rudno jes sformalizowaæ regu³y doycz¹ce danej dziedziny (np. na podsawie sesji gie³dowych mo emy prognozowaæ za pomoc¹ sieci spadek czy wzros poszczególnych spó³ek). Szuczne neurony mo na rakowaæ jako elemenarne procesory o nasêpuj¹cych w³asnoœciach [17]: Ka dy neuron orzymuje wiele sygna³ów wejœciowych i wyznacza na ich podsawie swoj¹ odpowiedÿ, zn. jeden sygna³ wyjœciowy. Z ka dym oddzielnym wejœciem neuronu zwi¹zany jes paramer zwany wag¹ (ang. weihg). Wyra a on sopieñ wa noœci informacji docieraj¹cych ym wejœciem. Sygna³ wchodz¹cy okreœlonym wejœciem jes najpierw przemna any przez wagê danego wejœcia. Tak wiêc w dalszych obliczeniach uczesniczy ju w formie zmodyfikowanej: wzmocnionej (jeœli waga > 1) lub s³umionej (jeœli 0 < waga < 1), lub nawe przeciwsawnej w sosunku do sygna³ów z innych wejœæ, gdy waga jes ujemna (zw. wejœcie hamuj¹ce). Po przemno eniu przez wagi sygna³y wejœciowe s¹ sumowane, daj¹c w efekcie pewien pomocniczy sygna³ wewnêrzny, kóry bywa okreœlany jako ³¹czne pobudzenie neuronu. Do ak uworzonej sumy sygna³ów dodaje siê niekiedy pewien dodakowy sk³adnik niezale ny od sygna³ów wejœciowych nazywany progiem. Suma ak przeworzonych sygna³ów mo e byæ rakowana bezpoœrednio jako sygna³ wyjœciowy. I w wielu sieciach o wysarcza. Naomias w sieciach o bogaszych mo liwoœciach sygna³ wyjœciowy neuronu jes obliczany za pomoc¹ pewnej, bardzo czêso nieliniowej, zale noœci miêdzy ³¹cznym pobudzeniem a sygna³em wyjœciowym. Zale noœæ sygna³u wyjœciowego od ³¹cznego pobudzenia, zwana charakerysyk¹ neuronu, pozwala w ka dej chwili jednoznacznie okreœliæ sygna³ wyjœciowy neuronu. W szucznym neuronie (rys. 5) mo na wydzieliæ dwa bloki, jakimi s¹ blok sumowania å oraz blok akywacji F. Sygna³ wyjœciowy orzymuje siê poprzez przeworzenie ³¹cznego pobudzenia w bloku akywacji. Przewarzanie w bloku akywacji mo e byæ zale nie od porzeb opisane ró nymi funkcjami. Funkcja akywacji mo e byæ funkcj¹ liniow¹, progow¹ lub sigmoidaln¹. Sieci neuronowe mog¹ byæ ró nie klasyfikowane. Do najczêœciej sosowanych nale y podzia³ na dwie klasy, jakimi s¹ sieci jednokierunkowe (ang. feedforward), w srukurze kórych nie ma sprzê eñ zwronych, oraz sieci Hopfielda, zawieraj¹ce sprzê enia zwrone. Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
Rys. 5. Budowa szucznego neuronu Topologia sieci jednokierunkowych mo e byæ ró na. Naj- ³awiej rozparywaæ sieci o uk³adzie warswowym, czyli gdzie neurony pogrupowane s¹ w warswy, a po³¹czenia wysêpuj¹ ylko miêdzy warswami bezpoœrednio ze sob¹ s¹siaduj¹cymi. Takie sieci s¹ najbardziej rozpowszechnione. Po³¹czenia miêdzy neuronami s¹siednich warsw mog¹ byæ ró ne, ale czêso sosowany jes uk³ad ka dy z ka - dym. G³ównym przes³aniem do sosowania akiego uk³adu jes nadzieja, e w procesie uczenia wagi po³¹czeñ zbyecznych z punku widzenia rozwi¹zywanego zadania zosan¹ usawione na zero, co w prakyce przerwie nieporzebne po- ³¹czenia. Wœród warsw sieci mo na wyró niæ warswê wejœciow¹, warswy ukrye oraz warswê wyjœciow¹. Warswa wejœciowa ma najczêœciej elemeny o jednym wejœciu. Jes o swego rodzaju uk³ad receporów odbieraj¹cych sygna³y wejœciowe i po wsêpnym ich przeworzeniu (np. normalizacji czy filracji) przesy³aj¹cych je do elemenów warswy nasêpnej. Warswa wyjœciowa produkuje sygna³y wyjœciowe z ca³ej sieci. Warswa wejœciowa jes nazywana warsw¹ zerow¹ sieci, s¹d e sieæ maj¹ca ylko warswê wejœciow¹ i wyjœciow¹ jes czêso nazywana sieci¹ jednowarswow¹. Sieæ, kóra ma rozwi¹zywaæ bardziej z³o one zadania, powinna mieæ poza warsw¹ wejœciow¹ i wyjœciow¹ jeszcze jedn¹ lub kilka warsw ukryych. Przyk³ad sieci neuronowej przedsawia rysunek 6. Problem doboru liczby warsw jes wa ny. Jeœli bêdzie za ma³o warsw ukryych (np. sieci jednowarswowe), o sieæ mo e mieæ za ma³y poencja³ i nie bêdzie w sanie wy³owiæ, uogólniæ i zapamiêaæ cech, kóre s¹ jej przekazywane w rakcie procesu uczenia. Jeœli sieæ bêdzie mia³a z kolei za du o warsw ukryych, o isnieje niebezpieczeñswo uczenia siê na pamiêæ. Liczba po³¹czeñ miêdzy neuronami pozwala na akie usawienie wag, e zapamiêywany Rys. 6. Sieæ neuronowa jes ka dy elemen ci¹gu ucz¹cego, nie s¹ odnajdywane adne ogólne cechy. Sieæ aka dzia³a bezb³êdnie dla ci¹gu ucz¹cego, ale jes bezradna wobec jakiegokolwiek elemenu spoza ci¹gu. Odkrywana wiedza znajduje siê w ci¹gu ucz¹cym (zbiorze przyk³adów zebranych do procesu uczenia sieci), kóry sanowi bazê danych (np. w przypadku udzielenia kredyu wnioski kredyowe z informacjami na ema sp³acania kredyu). Mo liwe s¹ dwa wariany uczenia sieci: z nauczycielem (sieci podaje siê sygna³y wejœciowe i odpowiednie oczekiwane waroœci wyjœcia; zbiór przyk³adów zebranych do procesu uczenia sieci nazywa siê ci¹giem ucz¹cym) oraz sieci bez nauczyciela (sieci podaje siê szereg przyk³adów danych bez informacji na ema oczekiwanego wyjœcia; sieæ sama powinna zbudowaæ sensowny algorym dzia³ania, polegaj¹cy zazwyczaj na wykryciu klas wœród przedsawianych sygna³ów wejœciowych). Do ypowych zadañ rozwi¹zywanych przez sieci neuronowe mo na zaliczyæ m.in.: Predykcja sieæ jes wykorzysywana do ego, aby na podsawie okreœlonych danych wejœciowych przewidywaæ okreœlone dane wyjœciowe. Podobieñswo sieæ zawiera pojedynczy elemen wyjœciowy o akywacji przyjmuj¹cej waroœci z pewnego przedzia³u. Waroœæ wyjœcia informuje na ile podobny jes obraz podany na wejœciu do obrazu uœrednionego po doychczasowych prezenacjach. Analiza czynników g³ównych sieæ posiada wyjœcie wieloelemenowe, a ka dy z elemenów wyjœciowych odpowiada za jeden z zw. czynników g³ównych. San akywnoœci ka dego elemenu wyjœciowego jes miar¹ nasycenia prezenowanego obrazu danym czynnikiem g³ównym. Klasyfikacja sieæ zawiera wieloelemenowe wyjœcie o waroœciach binarnych. Po podaniu sygna³u na wejœciu uakywnia siê jeden i ylko jeden elemen wyjœciowy. Sygna³ wejœciowy zosaje wiêc podporz¹dkowany okreœlonej klasie reprezenowanej przez akywny elemen wyjœcia, Kodowanie wekor wyjœciowy sieci jes zakodowan¹ wersj¹ wekora wejœciowego. Filracja sygna³ów na wyjœciu sieci pojawia siê sygna³ wejœciowy oczyszczony z szumów i zak³óceñ. Opymalizacja sieci neuronowe doskonale nadaj¹ siê do poszukiwania rozwi¹zañ opymalnych. Okreœlenie wejœcia i wyjœcia zale y od konkrenej realizacji. 3.3.2. Meody ewolucyjne Spoœród wielu ró nych meod ewolucyjnych na szczególn¹ uwagê zas³uguj¹ meody geneyczne, w lieraurze okreœlane mianem algorymów geneycznych (AG) (ang. GA Geneic Algorihm), wywodz¹ce siê od mechanizmu ewolucji chromosomów dokonuj¹cego siê w naurze. Nauralna selekcja powoduje, e sysemy lepiej przysosowane (a wiêc posiadaj¹ce lepsze chromosomy) prze ywaj¹ i przekazuj¹ swój genoyp poomswu, naomias osobniki gorzej przysosowane gin¹, a wraz z nimi ginie ich maeria³ geneyczny. Jednym z obszarów poencjalnych zasosowañ, w kórych algorymy geneyczne oferuj¹ alernaywn¹ i efekywn¹ sraegiê poszukiwania Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 77
jes symboliczne uczenie siê regu³ i wzorców z baz danych. Znajduj¹ one zasosowanie zarówno w uczeniu z nadzorem, jak i w uczeniu bez nadzoru. Wiêkszoœæ isniej¹cych sysemów maszynowego uczenia odkrywa regu³y klasyfikacyjne na podsawie wsêpnie sklasyfikowanych przyk³adów (uczenie na podsawie przyk³adów (ang. CBR - Case Based Reasoning)). Sysemy e maj¹ k³opoy, kiedy dane s¹ redundanne i zak³ócone. Algorymy geneyczne wykorzysuj¹ operacje krzy owania i muacji. S¹ adapacyjnymi meodami przeszukiwania, kórych efekywnoœæ przewy sza wiele losowych i lokalnych algorymów przeszukiwania (por. [9]). Œcis³¹ definicjê algorymu geneycznego zawaro w pracy [11, s.192-193]. Wed³ug ej definicji klasycznym algorymem geneycznym nazywa siê algorym przeszukiwania przesrzeni rozwi¹zañ, chromosom zaœ jes wekorem bêd¹cym rozwi¹zaniem dopuszczalnym problemu P: X = (x 1,...x n ) Î D(P), (10) P problem opymalizacyjny z funkcj¹ celu F, D(P) zbiór rozwi¹zañ dopuszczalnych problemu P, a populacja rozwi¹zañ dopuszczalnych problemu P dla ieracji jes podzbiorem: kóre z prawdopodobieñswem zadanym z góry dokonuje losowej wymiany sk³adowych rozwi¹zañ X i i X j wzglêdem sk³adowej k: X i = (x 1,...,x n ), X j = (v 1,...v n ), X i +1 = (x 1,...,x k, v k+1,...,v n ), X j +1 = (v 1,...,v k, x k+1,...,x n ). K k (X i, X j +1 ), (17) Klasyczny algorym geneyczny przedsawia rysunek 7. Idenyfikacja grup lub klas podobnych obieków w wielowymiarowej przesrzeni nie jes zagadnieniem nowym. Przez wiele la wykorzysywano radycyjne meody grupowania, jednak wykonywanie ego ypu zadañ jes bardzo ograniczone ze wzglêdu na kombinaoryczny charaker ych zadañ. Algorymy geneyczne, jako rodzina odpornych i efekywnych sposobów przeszukiwania, mog¹ byæ u yeczne w rozwi¹zywaniu kombinaorycznych zagadnieñ zwi¹zanych z grupowaniem, gdzie deerminisyczne algorymy nie s¹ w sanie sprawdziæ wszyskich mo liwych rozwi¹zañ w dopuszczalnym czasie. S() = {X 1,...,X m } S() Ì D(P), (11) zaœ funkcja przysosowania U rozwi¹zania X i Î S() jes waroœci¹ normy z funkcji celu dla ego rozwi¹zania: U(X i ) = F(X i ), (12) U(X i ) ³ 0 X i Î S(). Norma. jes definiowana heurysycznie i dla najprosszego przypadku wynosi: F(X i ) = F(X i ). (13) Operaor muacji jes przeksza³ceniem: M k : D(P) D(P), (14) kóre dokonuje z prawdopodobieñswem zadanym z góry, losowej zmiany k-ej sk³adowej rozwi¹zania X i : M k (X i ) = X i +1, (15) X i = (x 1,...,x k,...,x n ) +1 X i = (x 1,..., x k,...,x n ). Operaor krzy owania K k jes o przeksza³cenie: K k : D(P) x D(P) D(P) x D(P), Srona 78 (16) Rys. 7. Klasyczny algorym geneyczny [11] Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
3.4. Meody odkrywania wiedzy wywodz¹ce siê z nauki o jêzyku 3.4.1. Meody odkrywania wiedzy z eksów Wiedza wyra ana w jêzyku nauralnym zawara w dokumenach eksowych jes s³abo wykorzysywana b¹dÿ w ogóle nie jes wykorzysywana przez sysemy informayczne, mimo e dokumeny eksowe czêso przybieraj¹ formê elekroniczn¹ b¹dÿ mog¹ byæ do ej posaci przeksza³cone dziêki skanerom i narzêdziom ypu OCR (ang. Opical Characer Recogniion opyczne rozpoznawanie znaków w przypadku dokumenów drukowanych) lub ICR (ang. Inelligen Characer Recogniion ineligenne rozpoznawanie znaków dla dokumenów pisanych odrêcznie). Niew¹pliwie po ¹dane jes wykorzysanie wiedzy zawarej w ych dokumenach w procesie odkrywania wiedzy. Dzia³ania w zakresie przewarzania jêzyka nauralnego (ang. NLP Naural Language Processing) obejmuj¹ kilka poziomów, akich jak [10, s. 213]: fonologia rozpoznawanie i generowanie mowy, leksyka idenyfikacja jednosek leksykalnych (paragrafy, zdania, s³owa) i opisanie ich za pomoc¹ znaczników czêœci mowy, morfologia rozpoznawanie sufiksów, prefiksów, fleksyjnych form s³ów, analiza z³o onych wyra eñ oraz przeksza³canie s³ów z formy, w jakich wys¹pi³y, do posaci podsawowej, synakyka obejmuj¹ca zadania idenyfikacji fragmenów zdañ przez przypisywanie ról do poszczególnych s³ów z uwzglêdnieniem regu³ gramaycznych jêzyka i gramayk¹, wed³ug kórej s³owa maj¹ byæ ³¹czone w analizowanym jêzyku; dzia³ania e s¹ pomocne przy schemaach onologicznych i wyszukiwaniu konkrenych danych, semanyka obejmuje reprezenacjê wiedzy, usuwanie niejednoznacznoœci sensu s³ów, rozszerzenie reprezenacji wiedzy o synonimy i s³owa pokrewne, dyskurs poziom semanyki wprowadza analizê eksu g³ównie na poziomie zdania, poziom dyskursu bierze pod uwagê koneks, opieraj¹c siê na doœwiadczeniu i analizie ca³ej narracji, pragmayka wprowadza rozwi¹zania wszyskich wypowiedzi, niejednoznacznoœci, obejmuje inerpreacjê inencji, inuicji, wyjaœniania wyra eñ morfologicznych za pomoc¹ wiedzy zdroworozs¹dkowej, co sprowadza siê po prosu do przeksza³cania informacji w wiedzê. Meody odkrywania wiedzy z eksów wspomagaj¹ akie zadania jak: grupowanie zbli onych emaycznie dokumenów, okreœlanie zwi¹zków miêdzy reœci¹ dokumenów a pracownikami firmy oraz przekazywanie wiedzy i jej upowszechnianie. Proces auomaycznego odkrywania wiedzy z dokumenów eksowych okreœlany jes najczêœciej mianem eksploracji dokumenów (ang. DM Documen Mining). W lieraurze przedmiou erminy eksploracja eksu (ang. TM Tex Mining) oraz akwizycja wiedzy z baz eksowych (ang. KDT Acquisiion Knowledge from Texual Daabases) rakowane s¹ jako okreœlenia zamienne do eksploracji dokumenów. Zaem podsawowe zadania sk³adaj¹ce siê na odkrywanie wiedzy z eksów o idenyfikacja i pozyskiwanie Ÿróde³ wiedzy oraz wydobywanie wiedzy. W lieraurze z zakresu meodologii nauk, naukoznawswa i informacji naukowej mo na spokaæ dwa ujêcia analizy eksu: 1. Analizê logiczn¹ polegaj¹c¹ na wyró nianiu i ocenie elemenów eksu, kóre s¹ rezulaem akich operacji, jak uzasadnianie wierdzeñ, konsruowanie pojêæ, klasyfikowanie i porz¹dkowanie. Operacje e s¹ dobrze okreœlone w logice oraz meodologii nauk, maj¹ sformu³owane na ich gruncie kryeria poprawnoœci. 2. Analizê informacyjn¹ czyli zespó³ operacji przeksza³caj¹cych eks, w wyniku kórych orzymuje siê informacje o reœci eksu. Charakerysykê meod analizy eksu ze wzglêdu na wyró nione kryeria ich opisu przedsawia abela 1. Tab. 1. Meody analizy eksu Auomayzacja przewarzania eksów w jêzyku nauralnym prowadzona jes w dwóch kierunkach, jako: analizy wypowiedzi (eksu mówionego lub pisanego), synezy wypowiedzi (eksu mówionego lub pisanego). Zapis wiedzy w jêzyku nauralnym czy np. w HTML nie jes wysarczaj¹co dobry do auomaycznego przewarzania wiedzy. S¹d d¹ enie do opracowania jêzyków sformalizowanego zapisu wiedzy oraz narzêdzi do auomaycznej ranslacji eksów z jêzyka nauralnego czy dokumenów hipereksowych na jêzyk reprezenacji wiedzy. Nadzieje w ym wzglêdzie s¹ wi¹zane z onologiami jako sformalizowanymi modelami wiedzy [10, s. 215]. 4. Porównanie efekywnoœci wybranych meod odkrywania wiedzy z baz danych Przeprowadzony zosa³ nasêpuj¹cy eksperymen badawczy, maj¹cy na celu porównanie efekywnoœci wybranych meod odkrywania wiedzy z bazy danych. Baz¹ danych by³a rzeczywisa czeska baza danych bankowych, zaczerpniêa z Inerneu [22]. Do przeprowadzenia eksperymenu Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 79
wybrana zosa³a klasyfikacja. To samo zadanie klasyfikacji klienów banku zosa³o przeprowadzone z u yciem ró - nych narzêdzi i na podsawie orzymanych wyników dokonano synezy porównawczej. Kryerium oceny pozyskanej wiedzy w ym przypadku o procen poprawnie zaklasyfikowanych przypadków do grup. Na porzeby eksperymenu przeprowadzonego na porzeby niniejszej pracy zosa³y wybrane nasêpuj¹ce narzêdzia: pakie SPSS - narzêdzie saysyczne, algorym Quinlana C4.5 obs³uguj¹cy drzewa decyzyjne, pakie Ineligen Miner obs³uguj¹cy sieci neuronowe, Oracle 9i Daa Mining (regu³y asocjacyjne). Obszar badañ ograniczy³ siê do przeprowadzenia klasyfikacji, w kórej przyjêo nauralnie wysêpuj¹ce grupy klienów, a mianowicie klienów, kórzy wziêli kredyy z uwzglêdnieniem ich podzia³u na nasêpuj¹ce grupy: sp³acili zaci¹gniêy kredy, nie sp³acili kredyu, mimo i min¹³ ermin, wywi¹zuj¹ siê na bie ¹co ze swoich zobowi¹zañ, nie wywi¹zuj¹ siê ze swoich zobowi¹zañ w erminie. W badaniu brano pod uwagê ró ne czynniki wp³ywaj¹ce byæ mo e na sp³acanie (lub nie) zaci¹gniêych kredyów, jak np. region, w jakim mieszkaj¹ klienci, zamo noœæ jego mieszkañców, iloœæ pope³nianych przesêpsw, poziom bezrobocia oraz czy klien sp³aca³ doychczas kredyy erminowo. Porównanie uzyskanych wyników klasyfikacji za pomoc¹ narzêdzia saysycznego, sieci neuronowej, drzew decyzyjnych oraz u ywaj¹c Oracle Daa Mining zosa³y zebrane w abeli 2. Na e wyniki isony wp³yw mia³a esowa baza danych. Wydaje siê, e na porzeby odkrywania wiedzy z ej bazy danych najmniej u yeczne by³y sieci neuronowe, poniewa prawie co rzeci przypadek by³ b³êdnie zaklasyfikowany (29%). Z kolei meody saysyczne, drzewa decyzyjne oraz meody oraclowe wykazywa³y znacz¹co wiêksze proceny przypadków poprawnie zaklasyfikowanych do poszczególnych klas. Przy czym œrednio 91% dok³adnoœæ jes ju imponuj¹ca (drzewa decyzyjne), zaœ 84% uzyskane za pomoc¹ analizy dyskryminacyjnej czy 89% orzymane za pomoc¹ regu³ asocjacyjnych jes równie wynikiem do zaakcepowania. Znaj¹c orzymane wyniki eksperymenu, rodzi siê szereg pyañ odnoœnie mo liwoœci uogólnienia rezulaów. Czy jes uprawnione swierdzenie, e drzewa decyzyjne s¹ najlepsze do prakycznego zasosowania pozyskiwania wiedzy w przedsiêbiorswie, poniewa da³y najlepszy wynik? Czy mo na uogólniæ swierdzenie, e narzêdzia saysyczne, ze wzglêdu na fak, e dzia³aj¹ realizuj¹c meody znane od la, s¹ najbardziej odpowiednie do pozyskiwania wiedzy Ineligenne meody odkrywanie wiedzy z baz danych Tab. 2. Zesawienie porównawcze wyników uzyskanych w przeprowadzonym eksperymencie z danych numerycznych? Czy inne zadania pozyskiwania wiedzy: wielopoziomowe uogólnianie danych (ang. mulilevel daa generalizaion), odkrywanie podobieñsw w oparciu o wzorce (ang. paern similariy search), odkrywanie schemaów œcie ek (ang. mining pah raversal paerns) z równie dobrymi efekami mo na zawsze sosowaæ do orzymania u yecznej wiedzy? Czy mo na z góry przewidzieæ, kóre z narzêdzi bêdzie najbardziej efekywne w okreœlonej syuacji decyzyjnej? Jak nale y zachowaæ siê przy podejmowaniu decyzji o zakupie oprogramowania do realizacji daa mining, co wybraæ z bogaej ofer rynkowej w syuacji konkrenego przedsiêbiorswa? Czy w ogóle mo liwe jes udzielenie sensownej odpowiedzi na e i podobne pyania? Jak widaæ, zapyañ jes wiele, ale odpowiedzi nie s¹ ani ³awe, ani jednoznaczne, przynajmniej na dzisiejszym eapie rozwoju cywilizacyjnego. 5. Podsumowanie Przedsawione ineligenne meody odkrywania wiedzy z baz danych s¹ sosowane w prakyce w ró nym sopniu, zale nie od ego, jak dopracowane s¹ poszczególne meody. I ak np. sieci neuronowe, algorymy geneyczne, meody rozmye, meody indukcyjne i dedukcyjne s¹ mo na powiedzieæ szeroko sosowane, a meody emporalne oraz e wywodz¹ce siê z nauk o jêzyku nie doczeka³y siê jeszcze powszechnego u ykowania. Jednak e nale y oczekiwaæ, e maj¹c na uwadze rosn¹c¹ waroœæ wiedzy w dzisiejszej rzeczywisoœci, ineligenne odkrywanie wiedzy z baz danych bêdzie powszechniej sosowane w przedsiêbiorswach, dosarczaj¹c decydenom u yecznej wiedzy. Lieraura: [1] Baborski A.: Odkrywanie wiedzy dla sysemów informacyjnych zarz¹dzania, Business Informaion Sysems BIS 98, Inernaional Conference, Poznañ 1998. [2] Barnuœ B., Knosala R.: Zasosowanie meody Case Based Reasoning do szacowania koszów wywarzania w fazie projekowania, [w:] Kompuerowo Zinegrowane Zarz¹dzanie, red. R. Knosala, om I, Oficyna Wydawnicza Polskiego Towarzyswa Zarz¹dzania Produkcj¹, Opole 2008. [3] Beynon-Davis P.: Sysemy baz danych, WNT, Warszawa 1998. [4] Dohery P., Gusafsson J.: Delayed Effecs of Acions = Direc Effecs + Causal Rules [online]. Linköping Elecronic Aricles in Compuer and Informaion Science, Vol. 3, nr 1, 1998. Dosepny w Inernecie: hp:// www.ep.liu.se/ea/cis/1998/001/ [5] Elmasri R., Navahe S. B.: Fundamenals of Daabase Sysems, Addison-Wesley, 2000. [6] Fayyad M. U.: Ediorial in: Daa Mining and Knowledge Discovery, Inernaional Journal, vol. 1, issue 1, 1997. Srona 80 Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010)
[7] Fisher D. H., Schlimmer J. C.: Models of Incremenal Learning. A Coupled Research Proposal [online], Vanderbil Universiy, Technical Repor CS-88-05. [Dosêp 10.04.2005]. Dosêpny w Inernecie: hp:// cswww.vuse.vanderbil.edu/~dfisher/courses/cs362/ incl/proposal/proposal.hml [8] Galan V., Tyburcy R.: Wprowadzenie do przyrosowego uczenia, [w:] Pozyskiwanie wiedzy. Maeria³y konferencyjne, red. A. Baborski, Wydawnicwo AE, Wroc³aw 1997. [9] Goldberg D.: Algorymy geneyczne i ich zasosowania, Wydawnicwo Naukowo-Techniczne, Warszawa 1995. [10] Go³uchowski J.: Technologie informayczne w zarz¹dzaniu wiedz¹ organizacji, Prace Naukowe Wydawnicwo Akademii Ekonomicznej w Kaowicach, Kaowice 2005. [11] Gwiazda T. D.: Opima_AG. Opymalizaor Problemów Zarz¹dzania i Biznesu, Wydawnicwa Naukowe Wydzia³u Zarz¹dzania Uniwersyeu Warszawskiego, Warszawa 1999. [12] Hahn U., Romacker M.: Conen managemen in he SYNDIKATE sysem How echnical documens are auomaically ransformed o ex knowledge bases, Daa & Knowledge Engineering vol. 35, No. 2, November 2000. [13] Hun E. B., Marin J., Sone P. J.: Experimens in inducion, Academic Press, 1966. [14] Iwañski C., Szkau³a G.: Wybrane meody uczenia maszynowego dla worzenia regu³ klasyfikacji obieku, PAN IBS, Warszawa 1992. [15] Karlsson L., Gusafsson J., Dohery P.: Delayed Effecs of Acions. Proc. ECAI-98: 13 h European Conference on Arificial Inelligence, Brighon, John Wiley and Sons Ld., 1998. [16] Kempa A.: Modelowanie procesów biznesowych z wykorzysaniem meody case-based reasoning, [w:] Sudia i Maeria³y Polskiego Sowarzyszenia Zarz¹dzania Wiedz¹, red. J. Kacprzyk, L. Drelichowski, PSZW, Bydgoszcz 2005. [17] Larose D. T.: Odkrywanie wiedzy z danych. Wprowadzenie do eksploracji danych, PWN, Warszawa 2006. [18] Meesad P.: Paern Classificaion by an Incremenal Learning Fuzzy Neural Nework, [online]. Niepublikowana praca dyplomowa, King Mongku s Insiue of Technology Norh Bankgok, Bangkok, Tajlandia, 1994 i Faculy of he Graduae College, Oklahoma Sae Universiy, grudzieñ 1998. [Dosêp 29.12.1998]. Dosêpny w Inernecie: hp://kminb05.kminb.ac.h/ ~pym/ilfn.hml [19] Nycz M. (red.): Generowanie wiedzy dla przedsiêbiorswa. Meody i echniki, Wyd. AE im O. Langego, Wroc³aw 2004. [20] Nycz M.: Pozyskiwanie wiedzy mened erskiej. Podejœcie echnologiczne, Wyd. AE im. O. Langego, Wroc³aw 2008. [21] Perner P., Perou M. (eds): Machine Learning and Daa Mining in Paern Recogniion, Firs Inernaional Workshop, MLDM 99. Leipzig, Germany, Sepember 16-18, 1999. [22] PKDD 99 Discovery Challenge. A Collaboraive Effor in Knowledge Discovery from Daabases [online]. Informacje o bazie. Dosêpny w Inernecie: hp:// lisp.vse.cz/pkdd99/chall.hm [23] Quinlan J.R.: Inducion of Decision Trees, Machine Learning no 1, 1986. [24] Shapiro P.G.: Sofware: Tools for Daa Mining and Knowledge Discovery, [Dosêp 20.03.1998]. Dosêpny w Inernecie: hp://info.ge.com/~kdd [25] Vijayakumar S., Schaal S.: Fas and Efficien Incremenal Learning for High-dimensional Movemen Sysems, [w:] Proceedings Inernaional Conference on Roboics and Auomaion (ICRA2000), San Francisco, California, vol. 2, 2000. INTELLIGENT METHODS OF KNOWLEDGE DISCOVERY FROM DATABASES Absrac: Knowledge is more han informaion; i is he srucure so i means specific correlaions, saisics rules or oher dependencies ha can be shown in mahemaics language or any oher naural ones. I is no easy o achieve hem because very ofen we do no even suspec ha hey exis. They can have a real value ha calculaed in eve in millions zloys e.g. when hey depic some imporan marke behaviors for a paricular secor. Each organizaion usually collecs on is discs which, depending on a given approach, be have eiher hisorical value or can be used wihin an ineresing analysis, e.g. marke analysis. According o P.G. Shapiro, he pioneer of knowledge discovery from daabases, he process of knowledge discovery from daabases is no a rivial one of obaining new, useful for user new knowledge which has been hidden among daa and i bas no be known, conscious, seen by he user. The aricle has been devoed o inelligen mehods of knowledge discovery from daabases. I consiss of five pars. Brief inroducion presens he subjec of his paper: definiion and sages of knowledge discovery from daabases as well as is locaion wihin a decision making process. Nex par presens he classificaion of knowledge discovery mehods. In he hird par he characerisics of inelligen mehods has been presened.i has been done in he following shape: inelligen mehods coming from mahemaics and saisics, from biological sciences and hen from linguisics. Par four covers he resuls of experimen carried ou o compare he efficiency of some inelligen mehods in he classificaion ask realizaion. Shor summary ends he paper. Dr hab. in. Ma³gorzaa NYCZ, prof. UE Kaedra Sysemów Szucznej Ineligencji Insyu Informayki Ekonomicznej Wydzia³ Zarz¹dzania, Informayki i Finansów Uniwersye Ekonomiczny we Wroc³awiu malgorzaa.nycz@ue.wroc.pl Zarz¹dzanie Przedsiêbiorswem Nr 1 (2010) Srona 81