GŁUSZEK Adam 1 GORZAŁCZANY Marian B. 2 RUDZIŃSKI Filip 3 Opymalizacja przy pomocy roju cząsek bazy reguł klasyfikaora rozmyego WSTĘP Na przesrzeni osanich kilkunasu la obserwujemy inensywny rozwój w zakresie meod przewarzania, przesyłania i przechowywania informacji. Jes o niewąpliwie spowodowane olbrzymią i coraz szybciej wzrasającą ilością danych, pochodzących prakycznie ze wszyskich obszarów ludzkiej działalności. Jednym z ważniejszych kierunków w ym obszarze badań jes opracowywanie nowych i doskonalenie już isniejących algorymów odkrywania wiedzy w danych (ang. knowledge discovery/daa mining) [1, 9, 1, 11], zwłaszcza w celu budowy sysemów eksperckich, służących wspomaganiu podejmowania decyzji. Szereg działających sysemów eksperckich wykorzysuje meody szucznej ineligencji (ang. arificial inelligence), a szczególnie, sanowiącej jej ważną składową, ineligencji obliczeniowej (ang. compuaional inelligence) [1, 6, 9, 11, 12, 13]. Ineligencja obliczeniowa jes połączeniem kilku współpracujących komponenów. Są o przede wszyskim szuczne sieci neuronowe, sysemy rozmye oraz algorymy ewolucyjne. Dzięki akiemu podejściu, sysemy ineligencji obliczeniowej mają zdolność uczenia się z przykładów, uogólniania nabyej wiedzy oraz są w sanie łumaczyć generowane przez siebie decyzje. Wszyskie e cechy są bardzo pożądane w przypadku sysemów eksperckich. Bardzo efekywnym rozwiązaniem w zakresie konsrukcji sysemów eksperckich jes zasosowanie klasyfikaora rozmyego [3, 4, 5, 11, 12], działającego w oparciu o bazę rozmyych reguł warunkowych, zbudowanych na podsawie danych, opisujących rozważany problem decyzyjny. Baza reguł akiego klasyfikaora może być opymalizowana za pomocą algorymów przeszukiwania przesrzeni rozwiązań o charakerze lokalnym (np. meoda największego spadku), bądź globalnym (np. algorym geneyczny). Niniejszy arykuł prezenuje zasosowanie algorymu opymalizacji przy pomocy roju cząsek do opymalizacji bazy reguł klasyfikaora rozmyego. Opymalizacja rojem cząsek PSO (ang. Paricle Swarm Opimizaion) o algorym należący do obszaru zwanego ineligencją rojową (ang. swarm inelligence) [2, 7, 8], przedsawiony w swej pierwonej formie przez Kennedy ego i Eberhara w 1995 roku [7]. Jego działanie opiera się na obserwacjach zasad rządzących zachowaniami osobników worzących zorganizowane populacje np. sad paków, rojów owadów, ławic ryb, kolonii mrówek ip. Osobniki żyjące w ego ypu populacjach wchodzą między sobą w mniej lub bardziej złożone inerakcje, a akże poddawane są wpływom oaczającego je środowiska. Dodakowo, posiadają one pewne cechy, kóre można określić mianem kogniywnych, jak np. zdolność zapamięywania swoich położeń i powrou do obszarów o sprzyjających właściwościach (np. źródeł pokarmu, kryjówek, czy lęgowisk). W efekcie, populacja jako całość ma endencję do wyszukiwania coraz bardziej odpowiadającego jej środowiska byowania. Opymalizacja rojem cząsek PSO wykorzysuje uproszczony model numeryczny, w kórym populację rakuje się jako rój, a poszczególne osobniki jako jego cząski [2, 7, 8]. Położenia cząsek w przeszukiwanej przesrzeni sanowią poencjalne rozwiązania rozważanego problemu. W rakcie kolejnych ieracji cząski przemieszczają się do nowych położeń, symulując adapację roju do 1 Poliechnika Święokrzyska, Wydział Elekroechniki, Auomayki i Informayki, Al. 1-lecia P.P. 7, 25-314 Kielce. Tel: +48 41 34-24-19, E-mail: a.gluszek@u.kielce.pl 2 Poliechnika Święokrzyska, Wydział Elekroechniki, Auomayki i Informayki, Al. 1-lecia P.P. 7, 25-314 Kielce. Tel: +48 41 34-24-217, E-mail: m.b.gorzalczany@u.kielce.pl 3 Poliechnika Święokrzyska, Wydział Elekroechniki, Auomayki i Informayki, Al. 1-lecia P.P. 7, 25-314 Kielce. Tel: +48 41 34-24-19, E-mail: f.rudzinski@u.kielce.pl 396
środowiska. Po zakończeniu działania algorymu cząska o najlepszym znanym położeniu sanowi rezula przeprowadzanego za pomocą algorymu PSO procesu przeszukiwania przesrzeni rozwiązań. Meoda opymalizacji rojem cząsek PSO jes częso porównywana do inspirowanych nauralną ewolucją obliczeń ewolucyjnych (ang. evoluionary compuaions), obejmujących m.in. algorymy geneyczne, sraegie ewolucyjne, czy programowanie geneyczne. Pomiędzy ymi meodologiami rzeczywiście isnieją liczne podobieńswa. Jako najważniejsze z nich można wymienić: przynależność do klasy meod sochasycznych, operowanie na populacji poencjalnych rozwiązań, a nie na pojedynczym punkcie poszukiwania, wykorzysywanie warości funkcji celu, bez konieczności wyznaczania jej pochodnych. Zasadniczą różnicą jes naomias fak, że w przypadku algorymu opymalizacji rojowej nie są wykorzysywane operaory ewolucyjne (krzyżowanie i muacja) oraz nie ma procesu selekcji, a poszczególne cząski dokonują wymiany posiadanej wiedzy, a nie zawarego w nich maeriału geneycznego. Informacje na ema przeszukiwanej przesrzeni, porzebne do poprawy położenia cząsek w kolejnych krokach algorymu PSO pochodzą z dwóch źródeł. Po pierwsze, przechowywane są w poszczególnych cząskach, jako najlepsze osiągnięe przez nie w przeszłości położenia, co czasami bywa określane jako komponen poznawczy roju. Po drugie, pochodzą od najlepszego osobnika w całym roju, co sanowi zw. komponen socjalny. Możliwe jes akże wykorzysanie najlepszych znanych położeń cząsek roju znajdujących się w lokalnie zdefiniowanym sąsiedzwie (parz np. [2, 8]). W przypadku algorymów ewolucyjnych wiedza na ema przeszukiwanej przesrzeni przekazywana jes kolejnym pokoleniom przez osobniki rodzicielskie na drodze selekcji i krzyżowania. W rozdziale pierwszym niniejszej pracy przedsawiono króko zagadnienie projekowania i opymalizacji bazy reguł klasyfikaora rozmyego na podsawie przykładowych danych, a akże zaprezenowano ogólny schema funkcjonowania algorymu PSO. W rozdziałach drugim i rzecim, zaprezenowano zasosowanie proponowanego podejścia do problemu klasyfikacji dwóch zbiorów danych, pochodzących ze znanej bazy UCI Machine Learning Reposiory [14] zw. Iris Daa oraz Glass Idenificaion Daa. Orzymane wyniki porównano dodakowo z rezulaami uzyskanymi za pomocą alernaywnych meod opymalizacji lokalnej (algorym największego spadku) i globalnej (algorym geneyczny). 1 PROJEKTOWANIE I OPTYMALIZACJA BAZY REGUŁ KLASYFIKATORA ROZMYTEGO NA PODSTAWIE DANYCH Rozparujemy klasyfikaor rozmyy o n wejściach (arybuach) x 1, x2,..., xn ( xi Xi, i 1,2,..., n ) i jednym wyjściu y ( y Y ); X i i Y oznaczają przesrzeń rozważań (danych), odpowiednio dla i-ego wejścia oraz wyjścia klasyfikaora. Reguły rozmye, określające sposób działania klasyfikaora i sanowiące jego bazę wiedzy są syneyzowane z danych uczących i mają nasępującą posać: JEŚLI ( x 1 jes A 1 ) I I ( x jes r n A ) TO (y jes B ), (1) nr r gdzie A ir, i 1,2,..., n, oznaczają określenia słowne wysępujące w r-ej regule, r 1,2,..., R. Określenia e są formalnie reprezenowane z wykorzysaniem zbiorów rozmyych oznaczanych, dla większej przejrzysości, w idenyczny sposób, zn. Air F( Xi), i 1,2,..., n, gdzie F ( Xi ) oznacza rodzinę wszyskich zbiorów rozmyych zdefiniowanych w przesrzeni X i. Przesrzeń zmiennej wyjściowej y jes zbiorem L eykie klas (możliwych decyzji klasyfikaora), czyli Y y1, y2,, y L. Formalnie poszczególne eykiey klas są reprezenowane przez zbiory rozmye o charakerze singleonowym B j F(Y ), j 1,2,..., L, kórych funkcje przynależności mają nasępującą posać: 1, gdy y y j B y, (2) j, gdy y y j 3961
przy czym F (Y ) oznacza rodzinę wszyskich zbiorów rozmyych zdefiniowanych w przesrzeni Y. Zbiory B r wysępujące w poszczególnych regułach (1) jako ich nasępniki są więc odpowiednio wybranymi zbiorami B j. Wejścia klasyfikaora rozmyego opisywane są z wykorzysaniem rzech ypów zbiorów rozmyych reprezenujących określenia słowne Małe (zbiory ypu M), Średnie (zbiory ypu S) i Duże (zbiory ypu D). Ich funkcje przynależności mają formę funkcji gaussowskich, przy czym dla zbiorów skrajnych (ypu M i D) przyjmują one jednosronnie warość sałą równą 1 (parz rysunki 2 i 4). W omawianym przypadku odpowiedź klasyfikaora uzyskiwana jes z zasosowaniem zw. modelu Mamdaniego [6, 9, 11, 12, 13] z -normą ypu minimum, reprezenującą łączniki logiczne I w regułach (1) oraz z -konormą ypu maximum wykorzysywaną do połączenia cząskowych relacji rozmyych dla poszczególnych reguł w jedną relację rozmyą reprezenującą całą bazę reguł rozmyych. Dla numerycznych danych wejściowych x ( x, x,,..., ) odpowiedź klasyfikaora ma posać zbioru rozmyego B F( Y ) reprezenowanego przez funkcję przynależności 1 2 x n gdzie ( y) max ( y) max min[, ( )], (3) y B r Br r 1,2,..., R Br r 1,2,..., R min(,,..., ) min[ ( x ), ( x ),..., ( x )], (4) r 1r 2r nr A1 r 1 A2 r 2 Anr n przy czym r jes sopniem akywacji r-ej reguły przez dane wejściowe x, naomias 1 r, 2r,..., nr są sopniami akywacji poszczególnych arybuów (zmiennych) wejściowych w ej regule. Zbiór B ma w isocie charaker rozkładu możliwości nad zbiorem klas - dla każdej eykiey klasy określona jes liczba z przedziału [,1], oznaczająca sopień przynależności do ej klasy dla bieżącego zesawu arybuów wejściowych. W przypadku konieczności podjęcia nierozmyej decyzji o klasyfikacji (np. podczas pracy klasyfikaora rozmyego jako sysemu eksperckiego) wybiera się klasę y j, kórej odpowiada maksymalna warość funkcji przynależności w zbiorze B. Dokładniejsze informacje odnośnie formalnego opisu i działania regułowych klasyfikaorów rozmyych można znaleźć np. w [3, 4, 5, 11, 12, 13]. Do zaprojekowania i opymalizacji bazy reguł rozmyych proponowanego klasyfikaora wykorzysywane są dane uczące w posaci K zesawów par ypu wejście-wyjście: K L { x k, B k } k 1, (5) gdzie x k ( x1 k, x2 k,..., xnk ) jes k-ym zesawem arybuów wejściowych, a B k F(Y ) rozmyym zbiorem singleonowym reprezenującym eykieę klasy y k odpowiednią dla x k. Indeks k jes numerem zesawu danych ypu wejście-wyjście, a K jes liczbą akich zesawów danych. W pierwszym eapie konsruowania rozważanego regułowego klasyfikaora rozmyego, na podsawie danych uczących (5), worzona jes jego począkowa baza reguł rozmyych ypu (1). W ym celu wykorzysuje się znany algorym generacji reguł z danych określany częso jako meoda look-up able [15]. W rakcie procesu uczenia modyfikowane są paramery (konkrenie punky cenralne i szerokości) funkcji przynależności zbiorów rozmyych ypu M, S i D, opisujących wejścia klasyfikaora, ak aby minimalizować przyjęą funkcję celu, kóra ma posać błędu średniokwadraowego Q: K L 1 2 Q [ B ( y j ) B ( y j )], (6) KL k k 1 j 1 k 3962
gdzie ( y) jes funkcją przynależności zbioru rozmyego będącego odpowiedzią klasyfikaora na B k wejściową próbkę danych uczących x k, a B (y) jes funkcją przynależności rozmyego zbioru k singleonowego reprezenującego pożądaną właściwą odpowiedź sysemu na ę próbkę. K jes liczbą próbek w zbiorze uczącym, a L liczbą eykie klas dla danego zagadnienia klasyfikacji. Idea zasosowania algorymu PSO do opymalizacji bazy reguł klasyfikaora rozmyego wynika bezpośrednio z jego właściwości. Każda cząska reprezenuje opymalizowaną bazę reguł przykładowego klasyfikaora. W kolejnych ieracjach algorymu dokonywana jes ocena i akualizacja położeń poszczególnych cząsek roju zawierających informacje o konkurujących ze sobą bazach reguł. Po zakończeniu działania algorymu cząseczka o najlepszym położeniu zosaje "zdekodowana" i sanowi najlepsze uzyskane w oku poszukiwań rozwiązanie. W algorymie opymalizacji rojem cząsek PSO [2, 7, 8], symulowany rój jes reprezenowany przez zbiór cząsek S s 1, s 2,, s J. W danej chwili czasu, każda cząska s j, j 1,2,..., J, ma przypisaną pozycję p j i prędkość v j. Pozycja p j cząski s reprezenuje poencjalne rozwiązanie j rozważanego problemu opymalizacji z funkcją celu Q. Najlepsza pozycja p j (zn. z minimalną warością Q( p j ) ) osiągnięa przez cząskę s j we wszyskich poprzedzających akualną chwilach czasowych oznaczana jes jako b j. Analogicznie, najlepsza pozycja znaleziona do chwili bieżącej przez kórąkolwiek z cząsek należących do roju oznaczana jes jako g j. Algorym PSO, w pierwszym kroku, przypisuje wszyskim cząskom roju losowe położenia w rozważanej przesrzeni poszukiwań, a akże nadaje im małe losowe prędkości począkowe. Nasępnie, prędkości i położenia cząsek są ieracyjnie modyfikowane z wykorzysaniem zw. równań akualizacji: v j ω v U b p ) U ( g p ), (7) 1 j 1 1( j j 2 2 j j 1 1 p j p j v j, (8) gdzie jes paramerem nazywanym współczynnikiem bezwładności (lub momenum), i są 1 2 zw. współczynnikami przyspieszenia, a U 1 i U 2 są diagonalnymi macierzami zawierającymi na swoich głównych przekąnych, generowane w każdej ieracji, liczby losowe o rozkładzie równomiernym należące do przedziału [,1). Algorym kończy działanie po spełnieniu warunku zarzymania, kórym zwykle jes wykonanie usalonej liczby ieracji lub osiągnięcie zakładanej zadowalającej warości funkcji celu. 2 PRZYKŁAD ZASTOSOWANIA KLASYFIKATORA ROZMYTEGO Z BAZĄ REGUŁ OPTYMALIZOWANĄ ROJEM CZĄSTEK DANE BIOLOGICZNE (IRIS DATA) Zbiór danych Iris Daa pochodzący z bazy UCI Machine Learning Reposiory [14] sanowi doskonale znany wzorzec, wykorzysywany przy ocenie różnorodnych echnik klasyfikacji danych. Zbiór składa się ze 15 przypadków należących do rzech klas, będących podgaunkami kwiaów z rodzaju irys (Iris Seosa, Iris Versicolor, Iris Virginica). Każdy rekord zawiera czery numeryczne arybuy wejściowe, opisujące długość i szerokość płaków kielicha oraz korony kwiau. Oryginalne dane zosały podzielone na dwie równe części sanowiące zbiór danych uczących i esowych. Każdy arybu wejściowy zosał opisany przez pięć równomiernie rozmieszczonych zbiorów rozmyych M, S1, S2, S3, D (parz rysunek 2). Dla akiego podziału wygenerowano wsępną bazę wiedzy liczącą 33 warunkowe reguły rozmye ypu (1). Proces uczenia przeprowadzono przy pomocy algorymu PSO zawierającego rój 1 cząsek z warościami współczynników przyśpieszenia 1 i 2 równymi 1,2 oraz przy maksymalnej liczbie ieracji równej 5. Współczynnik bezwładności był liniowo 3963
zmniejszany w rakcie uczenia z począkowej warości.5 do końcowej warości. Rysunek 1 prezenuje przebieg funkcji celu Q (6) dla najlepszej oraz uśrednionej cząski w funkcji liczby ieracji algorymu PSO, zaś rysunek 2 końcowe posacie funkcji przynależności zbiorów rozmyych opisujących wejścia x 1, x2, x3, x4 klasyfikaora. Po zakończeniu procesu uczenia błąd Q (6) wynosił,11 dla danych uczących i,17 dla esowych, naomias liczba poprawnie sklasyfikowanych obieków o odpowiednio 75 (1%) i 71 (94,67%)..3 Funkcja celu Q.25.2.15 najlepsza cząska uśredniona cząska.1 5 1 15 2 25 3 35 4 45 5 Numer ieracji Rys. 1. Przebieg warości funkcji celu Q (6) w rakcie procesu uczenia (Iris Daa). a.) b.) 1. Mała Średnia1 Średnia2 Średnia3 Duża 1. Mała Średnia1 Średnia2 Średnia3 Duża.5.5 c.). 4. 5. 6. 7. 8. Zmienna wejściowa x 1 d.). 2. 2.5 3. 3.5 4. 4.5 Zmienna wejściowa x 2 1. Mała Średnia1 Średnia2 Średnia3 Duża 1. Mała Średnia1 Średnia2 Średnia3 Duża.5.5.. 2. 4. 6. 8. Zmienna wejściowa x 3...5 1. 1.5 2. 2.5 Zmienna wejściowa x 4 Rys. 2. Końcowe posacie funkcji przynależności zbiorów rozmyych opisujących zmienne wejściowe: x 1 (a), x 2 (b), x 3 (c), x 4 (d) klasyfikaora (Iris Daa). W celu porównania efeków działania algorymu PSO z innymi możliwymi do zasosowania w omawianym zagadnieniu rozwiązaniami, dokonano uczenia wsępnie uzyskanej bazy reguł rozmyych za pomocą dwóch alernaywnych meod. Pierwszą z nich był gradienowy algorym największego spadku ze sałym krokiem. Krok algorymu wybrano, aby zapewnić mu sabilność i możliwie szybką 3964
zbieżność. W rakcie uczenia wykonano 5 ieracji dalsze działanie algorymu nie przynosiło znaczącej poprawy warości funkcji celu Q (6). Drugim zasosowanym podejściem było użycie klasycznego algorymu geneycznego. W rozważanym przypadku przyjęo nasępujące paramery algorymu geneycznego: rozmiar populacji równy 5 osobników, liczba pokoleń (generacji) równa 5, prawdopodobieńswo krzyżowania równe,7, prawdopodobieńswo muacji równe,5. Zasosowano również odmianę eliarnej sraegii wyboru populacji osobników, gwaranującą zachowanie najlepszego rozwiązania w rakcie działania całego algorymu. Rezulay uzyskane przez algorym PSO oraz meody alernaywne prezenuje abela 1. Tab.1. Dokładność i końcowa warość funkcji celu Q (6) klasyfikaorów z bazą reguł opymalizowaną wybranymi meodami (Iris Daa) Meoda opymalizacji bazy reguł Liczba ieracji/pokoleń Końcowa warość funkcji celu Q Końcowa warość funkcji celu Q Poprawne decyzje (zbiór uczący) Poprawne decyzje (zbiór esowy) (zbiór uczący) (zbiór esowy) Opymalizacja rojem cząsek PSO 5,11,17 75 (1%) 71 (94,67%) Klasyczny algorym geneyczny 5,28,36 72 (96%) 72 (96%) Algorym największego spadku 5,71,72 71 (94,67%) 71 (94,67%) Orzymane wyniki pokazują, że zaproponowane w niniejszym arykule podejście jes skuecznym narzędziem służącym do opymalizacji bazy reguł klasyfikaora rozmyego. Proces opymalizacji bazy reguł rozmyych rwał zaledwie 5 ieracji, a uzyskane końcowe warości funkcji błędu i dokładność realizowanej w oparciu o e reguły klasyfikacji należy uznać za bardzo dobre. Alernaywne meody uzyskały nieznacznie gorsze rezulay, ale wymagały znacznie dłuższego procesu uczenia, rwającego aż 5 ieracji/pokoleń. 3 PRZYKŁAD ZASTOSOWANIA KLASYFIKATORA ROZMYTEGO Z BAZĄ REGUŁ OPTYMALIZOWANĄ ROJEM CZĄSTEK DANE TECHNICZNE (GLASS IDENTIFICATION DATA) Zbiór danych Glass Idenificaion Daa również pochodzi z bazy UCI Machine Learning Reposiory [14]. Zadanie klasyfikacji polega w ym przypadku na zidenyfikowaniu ypu odłamków szkła pozosawionych na miejscu przesępswa. Każda próbka opisana jes przez 9 arybuów, kórymi są indeks refrakcyjny i zawarość ośmiu różnych pierwiasków chemicznych w badanym szkle szczegółowy opis danych można znaleźć w [14]. Oryginalna baza danych zawiera 214 pozycji, z kórych każda odpowiada jednemu z sześciu ypów szkła. Zadaniem proponowanego klasyfikaora rozmyego jes rozpoznanie szkła okiennego, należącego do ypu floa processed lub non-floa processed. Podsawą budowy klasyfikaora są 163 pozycje z oryginalnej bazy danych, podzielone na zbiór uczący (82 próbki) oraz esowy (81 próbki) z zachowaniem oryginalnych proporcji liczebności obu klas. Każdy arybu wejściowy zosał opisany przez rzy równomiernie rozmieszczone zbiory rozmye M, S, D (parz rysunek 4). Dla akiego podziału wygenerowano wsępną bazę wiedzy liczącą 31 warunkowych reguł rozmyych ypu (1). Proces uczenia przeprowadzono przy pomocy algorymu PSO zawierającego rój 1 cząsek z warościami współczynników przyśpieszenia 1 i 2 równymi 1,2 oraz przy maksymalnej liczbie ieracji równej 1. Współczynnik bezwładności był liniowo zmniejszany w rakcie uczenia z począkowej warości,4 do końcowej warości. Rysunek 3 prezenuje przebieg funkcji celu Q (6) dla najlepszej oraz uśrednionej cząski w funkcji liczby ieracji algorymu PSO, zaś rysunek 4 końcowe posacie funkcji przynależności zbiorów rozmyych opisujących wybrane wejścia ( x 1, x2, x4, x6) klasyfikaora. Po zakończeniu procesu uczenia błąd Q (6) wynosił,8 dla danych uczących i,13 dla danych esowych, naomias liczba poprawnie sklasyfikowanych obieków o odpowiednio 69 (84,15%) i 55 (67,9%). 3965
.3 Funkcja celu Q.25.2.15.1 najlepsza cząska uśredniona cząska.5 2 4 6 8 1 Numer ieracji Rys. 3. Przebieg warości funkcji celu Q (6) w rakcie procesu uczenia (Glass Idenificaion Daa). a.) b.) 1. Mała Średnia Duża 1. Mała Średnia Duża.5.5 c.). 1.515 1.52 1.525 1.53 1.535 Zmienna wejściowa x 1 d.). 1.5 11.5 12.5 13.5 14.5 Zmienna wejściowa x 2 1. Mała Średnia Duża 1. Mała Średnia Duża.5.5..5 1. 1.5 2. Zmienna wejściowa x 4...25.5.75 1. 1.25 Zmienna wejściowa x 6 Rys. 4. Końcowe posacie funkcji przynależności zbiorów rozmyych opisujących zmienne wejściowe: x 1 (a), x 2 (b), x 4 (c), x 6 (d) klasyfikaora (Glass Idenificaion Daa). W celu porównania efeków działania algorymu PSO z innymi możliwymi do zasosowania w omawianym zagadnieniu rozwiązaniami, dokonano uczenia wsępnie uzyskanej bazy reguł rozmyych za pomocą dwóch alernaywnych meod. Pierwszą z nich był gradienowy algorym największego spadku ze sałym krokiem. Krok algorymu wybrano, aby zapewnić mu sabilność i możliwie szybką zbieżność. W rakcie uczenia wykonano 5 ieracji dalsze działanie algorymu nie przynosiło znaczącej poprawy warości funkcji celu Q (6). Drugim zasosowanym podejściem było użycie klasycznego algorymu geneycznego. W rozważanym przypadku przyjęo nasępujące paramery algorymu geneycznego: rozmiar populacji równy 5 osobników, liczba pokoleń (generacji) równa 5, prawdopodobieńswo krzyżowania równe,7, prawdopodobieńswo muacji równe,5. Zasosowano również odmianę eliarnej sraegii wyboru populacji osobników, gwaranującą zachowanie najlepszego rozwiązania w rakcie działania całego algorymu. Rezulay uzyskane przez algorym PSO oraz meody alernaywne prezenuje abela 2. 3966
Tab.2. Dokładność i końcowa warość funkcji celu Q (6) klasyfikaorów z bazą reguł opymalizowaną wybranymi meodami (Glass Idenificaion Daa). Meoda opymalizacji bazy reguł Liczba ieracji/pokoleń Końcowa warość funkcji celu Q Końcowa warość funkcji celu Q Poprawne decyzje (zbiór uczący) Poprawne decyzje (zbiór esowy) (zbiór uczący) (zbiór esowy) Opymalizacja rojem cząsek PSO 1,8,134 69 (84,15%) 55 (67,9%) Klasyczny algorym geneyczny 5,13,146 62 (75,6%) 48 (59,26%) Algorym największego spadku 5,155,142 35 (42,68%) 37 (45,68%) Orzymane wyniki pokazują, że zaproponowane w niniejszym arykule podejście jes skuecznym narzędziem służącym do opymalizacji bazy reguł klasyfikaora rozmyego. Proces opymalizacji bazy reguł rozmyych rwał zaledwie 1 ieracji, a uzyskane końcowe warości funkcji błędu i dokładność realizowanej w oparciu o e reguły klasyfikacji należy uznać za bardzo dobre. Alernaywne meody uzyskały gorsze rezulay i dodakowo wymagały znacznie dłuższego procesu uczenia, rwającego aż 5 ieracji/pokoleń. Szczególnie słabo wypadło działanie algorymu największego spadku, ale nie jes o zaskakujące, gdyż klasyfikacja zbioru Glass Idenificaion należy do zadań sosunkowo rudnych dla wszyskich algorymów uczenia maszynowego. WNIOSKI Arykuł prezenuje zasosowanie, należącego do obszaru zw. ineligencji rojowej, algorymu opymalizacji rojem cząsek PSO do opymalizacji bazy reguł klasyfikaora rozmyego. Sysemy rozmye, wykorzysywane jako klasyfikaory, mogą również pełnić rolę sysemów eksperckich. Szczególnie ważną kwesią jes przy ym sworzenie i opymalizacja bazy reguł rozmyych na podsawie przykładowych danych, opisujących konkrene zagadnienie. W ym celu sosowane są głównie meody z obszaru zw. ineligencji obliczeniowej, zwłaszcza z zakresu algorymów ewolucyjnych. Przedsawione w niniejszej pracy podejście sanowi zaem pewną alernaywę dla wykorzysywanych doychczas bardziej konwencjonalnych meod. W rozdziale pierwszym niniejszej pracy przedsawiono króko zagadnienie projekowania i opymalizacji bazy reguł opisującej działanie klasyfikaora rozmyego na podsawie przykładowych danych, a akże zaprezenowano ogólny schema funkcjonowania algorymu PSO. W kolejnych rozdziałach, zaprezenowano zasosowanie proponowanego podejścia do problemu klasyfikacji dwóch zbiorów danych, pochodzących ze znanej bazy UCI Machine Learning Reposiory [14] zw. Iris Daa oraz Glass Idenificaion Daa. Wyniki porównano z rezulaami uzyskanymi za pomocą meod alernaywnych algorymu największego spadku oraz algorymu geneycznego. Orzymane wyniki pokazują, że zaproponowane w niniejszym arykule podejście jes skuecznym narzędziem służącym do opymalizacji bazy reguł klasyfikaora rozmyego. Proces opymalizacji bazy reguł rozmyych był bardzo szybki, uzyskane końcowe warości funkcji błędu niskie, a dokładność klasyfikacji danych uczących i esowych wysoka. Alernaywne meody poradziły sobie gorzej i charakeryzowały się znacznie dłuższym procesem uczenia. Należy przy ym podkreślić, że klasyfikacja zbioru Glass Idenificaion Daa należy do zadań sosunkowo rudnych dla wszyskich algorymów uczenia maszynowego i jes dla nich wymagającym esem jakości. Powierdza o wyraźnie niższa niż w przypadku zbioru Iris Daa dokładność klasyfikacji, uzyskana przez wszyskie rozważane algorymy. Sreszczenie Sysemy rozmye wykorzysywane są częso jako sysemy eksperckie, w ym sysemy klasyfikacji danych. Szczególnie ważną kwesią jes w ym przypadku sworzenie i opymalizacja bazy reguł rozmyych na podsawie danych, opisujących konkrene zagadnienie. W ym celu sosowane są głównie meody z obszaru zw. ineligencji obliczeniowej (ang. compuaional inelligence), zwłaszcza z zakresu algorymów ewolucyjnych. Pierwsza część niniejszego arykułu prezenuje zasosowanie, należącego do obszaru zw. ineligencji rojowej, 3967
algorymu opymalizacji rojem cząsek PSO (ang. Paricle Swarm Opimizaion) do opymalizacji bazy reguł klasyfikaora rozmyego. W drugiej części arykułu przedsawiono zasosowanie proponowanego podejścia do problemu klasyfikacji dwóch zbiorów danych, pochodzących ze znanej bazy UCI Machine Learning Reposiory (zw. Iris Daa i Glass Idenificaion Daa). Uzyskane wyniki porównano z rezulaami działania meod alernaywnych algorymu największego spadku oraz klasycznego algorymu geneycznego. Paricle swarm opimizaion of he fuzzy classifier rule base Absrac Fuzzy sysems are ofen used as exper sysems including daa classificaion sysems. Very imporan issue is designing and opimizaion of heir fuzzy rule bases from available paern daa. For his purpose, mehods from he area of compuaional inelligence (especially evoluionary algorihms) are usually applied. The firs par of his paper presens an applicaion of he paricle swarm opimizaion algorihm for opimizing rule base of he fuzzy classifier. Paricle swarm opimizaion belongs o he class of swarm inelligence algorihms. Swarm inelligence echniques use he collecive behaviors of many simple agens which inerac wih each oher and wih heir environmen. The second par of he paper describes he applicaion of he presened mehod for he classificaion of wo well-known daa ses from UCI Machine Learning Reposiory (Iris Daa and Glass Idenificaion Daa). The proposed approach is also compared wih wo alernaive mehods gradien descen and geneic algorihm. BIBLIOGRAFIA 1. Engelbrech A.P., Compuaional Inelligence An Inroducion, J.Wiley&Sons, Chicheser, UK, 27. 2. Engelbrech A.P., Fundamenals of Compuaional Swarm Inelligence. J.Wiley&Sons, Chicheser, UK, 25. 3. Gorzałczany M.B., Rudziński F., A modified Pisburg approach o design a geneic fuzzy-rule based classifier from daa. W L. Rukowski, R. Scherer, R. Tadeusiewicz, L.A. Zadeh, J. Żurada (Red.), Arificial Inelligence and Sof Compuing ICAISC 21, seria wydawnicza Lecure Noes in Arificial Inelligence 6113, Springer-Verlag, Berlin, Heidelberg, sr. 88-96, 21. 4. Gorzałczany M.B., An inerval-valued fuzy inference mehod some basic properies, Fuzzy Ses and Sysems (Norh-Holland, Elsevier Science Publ.) 31, sr. 243-251, 1989. 5. Gorzałczany M.B., A mehod of inference in approximae reasoning based on inerval-valued fuzzy ses. Fuzzy Ses and Sysems (Norh-Holland, Elsevier Science Publ.) 21, sr. 1-17, 1987. 6. Kacprzyk J., Mulisage Fuzzy Conrol, J.Wiley&Sons, New York, 1997. 7. Kennedy J, Eberhar R., Paricle Swarm Opimizaion. Proc. of IEEE Inernaional Conference on Neural Neworks, IEEE Press, Piscaaway, NJ, 1995. 8. Kennedy J, Eberhar R., Swarm Inelligence. Morgan Kaufman, San Francisco, CA, 21. 9. Kosko B., Neural Neworks and Fuzzy Sysems, Prenice-Hall, Englewood Cliffs, 1992. 1. Larose D.T., Odkrywanie wiedzy z danych, PWN, Warszawa, 26. 11. Nauck D., Klawonn F., Kruse R.: Foundaions of Neuro-Fuzzy Sysems. J.Wiley&Sons, Chicheser, UK, 1997. 12. Pedrycz W., Fuzzy Conrol and Fuzzy Sysems, J.Wiley&Sons, New York, 1989. 13. Rukowska D., Piliński M., Rukowski L., Sieci neuronowe, algorymy geneyczne i sysemy rozmye, PWN, Warszawa-Łódź, 1997. 14. UCI Machine Learning Reposiory [hp://archive.ics.uci.edu/ml]. Irvine, CA, Universiy of California, School of Informaion and Compuer Science. 15. Wang L.-X., Mendel J.M., Generaing fuzzy rules by learning from examples. IEEE Trans. on Sysems, Man and Cyberneics 22(6), sr. 1414-1427, 1992. 3968