OPINIA. O pracy doktorskiej mgr. inż. Krzysztofa ZANIEWSKIEGO pt. "Konstrukcja i testowanie automatów rozmytych za pomocą technik metaheurystycznych"

Transkrypt

1 ipkm Prof. dr hab. Wojciech MOCZULSKI Prof. zw. w Politechnice Śląskiej wojciech.moczulski polsl.pl Gliwice, 16 maja 2014 OPINIA O pracy doktorskiej mgr. inż. Krzysztofa ZANIEWSKIEGO pt. "Konstrukcja i testowanie automatów rozmytych za pomocą technik metaheurystycznych" Opinię opracowano na zlecenie Dyrektora Instytutu Badań Systemowych PAN z dnia (znak BA /12/2014). 1 Wstęp Współczesne systemy informatyczne stają się coraz bardziej złożone, a do ich opracowania powoływane są liczne zespoły programistyczne. Ponadto dane, przetwarzane przez te systemy, są często nieprecyzyjne, wieloznaczne, błędne, a nawet niekompletne. Przetwarzanie takich danych wymaga rozwoju specjalnych metod i środków, wśród których szczególne znaczenie mają metody i środki sztucznej inteligencji. Rozwój tych metod ma miejsce w wielu ośrodkach naukowych, wśród których szczególną rolę pełni Instytut Badań Systemowych PAN, powszechnie znany zwłaszcza ze swoich dokonań teoretycznych i zastosowań metodyki zbiorów i systemów rozmytych. Instytut realizuje swoją misję także poprzez kształcenie naukowców, którzy w swoich badaniach podejmują się rozwiązywania ambitnych problemów związanych z szeroko rozumianą tematyką tzw. obliczeń miękkich (ang. 80ft computing). Od wielu lat śledzę badania prowadzone w Instytucie w.zakresie zastosowań zbiorów i systemów rozmytych. Rozprawa Pana Mgra inż. Krzysztofa Zaniewskiego, wykonana pod opieką naukową Pana Profesora Witolda Pedrycza, Członka Korespondenta Polskiej Akademii Nauk, stanowi doniesienie naukowe o przykładowych badaniach z zakresu zastosowań metodyki zbiorów rozmytych do budowy automatów rozmytych, z jednoczesnym wykorzystaniem podstawowych metaheurystyk obliczeń miękkich. Pracy tej dotyczy niniejsza opinia. 2 Opis rozprawy Rozprawa składa się z dziesięciu rozdziałów. Wraz z wykazem literatury liczy 142 stronice. Instytut Podstaw Konstrukcji Maszyn Institute of Fundamentais of Machinery Design Wydział Mechaniczny Technologiczny Faculty of Mechanical Engineering Politechnika Śląska Silesian University of Technology ul. Konarskiego 18a PL GLIWICE Tel.: ( ) Fax: ( )

2 Rozdział 1. stanowi wprowadzenie do rozprawy. Przedstawiono w nim genezę badań podjętych przez Autora, sformułowano cel i tezy pracy oraz opisano jej zakres. W rozdziale 2. Autor cytuje definicję automatu skończonego, a także dokonuje przeglądu literatury w zakresie pojęcia automatu rozmytego i najważniejszych sposobów jego konstruowania. Podaje przykładowe zastosowania automatów rozmytych oraz dyskutuje ograniczenia tych automatów, spowodowane specyfiką ich działania. Omawia także sposoby testowania automatów rozmytych opisane w dostępnej literaturze. Rozdział 3. poświęcono omówieniu wybranych zagadnień teorii zbiorów rozmytych. Zestawiono znane definicje t-norm i s-konorm, a także omówiono podstawowe metody grupowania rozmytego, ze szczególnym uwzględnieniem algorytmu FCM. Rozdział 4. opisuje najważniejsze metaheurystyki, takie jak: symulowane wyżarzanie, algorytm genetyczny, algorytm przeszukiwania zachłannego, algorytm roju cząstek oraz zwykły algorytm losowy. Kolejny Rozdz. 5. wprowadza interesujący relacyjny sposób opisu automatów rozmytych. Autor pokusił się także o wprowadzenie własnej definicji automatu rozmytego, w której wprowadzono próg aktywacji dla krawędzi grafu reprezentującego model automatu rozmytego. Przedstawiono również taksonomię automatów rozmytych, biorąc pod uwagę możliwość wystąpienia binarnych lub rozmytych stanów, a także binarnych lub rozmytych wejść poszczególnych typów automatów rozmytych. Rozdz. 6. o tytule "Budowa koncepcji z wykorzystaniem metod grupowania rozmytego", nie w pełni korespondującym z jego treścią, opisuje zastosowanie metody FCM do konstrukcji wektorów wejściowych i wyjściowych automatu rozmytego. Ze względu na potrzebę wykorzystania automatu w zadaniach predykcji, w których wymaga się wyjścia o wartościach rzeczywistych, opisano także sposób degranulacji ziarn informacji. Przedstawiono również podstawowe możliwości zastosowania automatu rozmytego do predykcji wartości szeregów czasowych jedno- i wielowymiarowych, a także jako systemu decyzyjnego. Rozdz. 7. o stosunkowo dużej objętości, ma duże znaczenie merytoryczne. Opisano w nim procedury konstruowania automatu rozmytego na podstawie odpowiednio przygotowanych zestawów trenujących. Problem sformułowanojako zadanie optymalizacji, w którym przedmiotem optymalizacji są macierze R i G określające relacje będące podstawą działania automatu. Ze względu na złożony problem optymalizacyjny do jego rozwiązania zastosowano kilka metaheurystyk, wytypowanych ze zbioru opisanego w Rozdz. 4. Stosowane podejście jest dwuetapowe: w pierwszym etapie optymalizowana jest liczba stanów automatu, a w etapie drugim optymalizowane sa macierze definiujące relacje, stanowiące podstawę działania automatu. Do wykorzystania w eksperymencie wytypowano trzy podstawowe metaheurystyki: symulowanego wyżarzania (zwykłą i ulepszoną) oraz algorytm optymalizacji metodą roju cząstek. Ponadto przedstawiono plan eksperymentu symulacyjnego, w którym obiektem badań był wzorcowy automat pięciostanowy, a do konstrukcji automatów posłużono się techniką inżynierii wstecznej. Weryfikacji poddano dwie strategie doboru zestawu treningowego. Pierwsza z nich polega na losowym wygenerowaniu kompletnego zestawu treningowego. Strategia ulepszona polega zaś na stopniowym generowaniu zestawu, przy czym startowy zestaw treningowy jest mniej liczny, a następnie dodaje się do niego takie wektory, które pochodzą ze zbioru testującego automat i jednocześnie zostały sklasyfikowane z nadmiernym błędem. Rozdział zawiera obszerną dyskusję uzyskanych wyników. a także sformułowanie zmodyfikowanej funkcji dopasowania, o lepszych własnościach w porównaniu z funkcją stosowaną w przeprowadzonych eksperymentach numerycznych. Kolejny Rozdz. 8. dotyczy metod testowania automatów skończonych i rozmytych. Doktorant wykorzystał w tym celu trzy metody zaczerpnięte z literatury. Do generowania przypadków testowych w formie najkrótszych unikalnych sekwencji wejścia i wyjścia wykorzystano metaheu 2

3 rystyki takie, jak PSO i algorytm hybrydowy (kombinacja algorytmu zachłannego i algorytmu genetycznego). Zaproponowana funkcja dopasowania bierze pod uwagę zarówno unikalność danej sekwencji, jak i jej długość, przy czym wpływ obu tych czynników może być ważony. Przeprowadzono dyskusję doboru wag przy budowanie funkcji dopasowania (wagi dobrano bazując na intuicji). Szczegółowo przedyskutowano wyniki uzyskane dla obu metaheurystyk. Wreszcie Rozdz. 9. opisuje koncepcje testowania automatu rozmytego i stanowi wstępny zarys sposobu rozwiązania tego problemu. Ta część pracy wydaje się być jedynie wstępnym zarysem metody testowania. Moim zdaniem, opis ten można było pominąć w redakcji pracy, a jedynie zasygnalizować tę koncepcję jako kierunek dalszych badań. Nie przedstawiono dostatecznie wyczerpującej weryfikacji zaproponowanych metod. Z podsumowania rozprawy wynika, że problematyka ta będzie rozwijana w dalszych badaniach prowadzonych przez Doktoranta. Rozprawę kończy stosunkowo krótkie podsumowanie, w którym oprócz omówienia najciekawszych wyników pracy Autor wymienia najważniejsze swoje dokonania, a także opisuje wybrane kierunki przyszłych badań, związanych z tematyką recenzowanej rozprawy. Nie zamieszczono tutaj w sposób formalny wniosków (z ew. podziałem na wnioski ogólne i szczegółowe, jak się to zwykle robi), do których Doktorant doszedł w wyniku przeprowadzonych badań. Wniosków tych trzeba się doszukiwać w treści krótkich podsumowań, kończących każdy z rozdziałów. W szczególności brak formalnych wniosków potwierdzających tezy pracy. Zestawienie bibliografii zawiera 125 pozycji, z czego tylko jedną autorstwa Doktoranta. Uporządkowanie literatury odpowiada kolejności zacytowania w pracy, co utrudnia np. wyszukanie cytowanych pozycji autorstwa Doktoranta. Układ pracy nie budzi większych zastrzeżeń, choć niektóre rozdziały można by ze sobą połączyć (np. Rozdz. 8. i 9. powinny być połączone, albo Rozdz. 8.1 powinien stać się pełnoprawnym rozdziałem). Pewnym niedostatkiem jest brak streszczeń - wydaje się konieczne zamieszczenie co najmniej streszczenia w językach polskim i angielskim. 3 Uwagi dotyczące doboru tematu, celu, tez i zakresu rozprawy Tytuł pracy "Konstrukcja i testowanie automatów rozmytych za pomocą technik metaheurystycznych" jest węższy, niż faktyczny zakres rozprawy. Znaczna część rozprawy dotyczy bowiem automatów skończonych. Cele pracy zostały sformułowane przez Doktoranta na s. 8. Dotyczą one zaproponowania (cytowane za Autorem): nowego sposobu konstrukcji automatu rozmytego, koncepcji konstrukcji symboli automatu za pomocą metod grupowania rozmytego, uogólnionego modelu automatu rozmytego, techniki testowania automatu rozmytego, efektywnej metody generowania unikalnych sekwencji wejścia/wyjścia do testowania automatu skończonego. Oceniam, że wybrane cele są wartościowe i dotyczą opracowania nowych podstaw teoretycznych i metod, a więc są oryginalne. We "Wstępie" (s. 8) sformułowano także sześć tez, dotyczących: 3

4 możliwości skonstruowania specyfikacji automatu za pomocą technik metaheurystycznych, możliwości wykorzystania metod grupowania rozmytego do konstruowania symboli wejściowych i wyjściowych automatu, zalet algorytmów hybrydowych w porównaniu z klasycznymi metaheurystykami (wodniesieniu do generowania unikalnych sekwencji wejściowych), możliwości testowania automatu rozmytego. Oceniam, że wytypowano zbyt wiele tez, spośród których np. dwie ostatnie tezy są trywialne. Mimo tego, sformułowane tezy umożliwiły zaplanowanie obszernych badań naukowych, które pozwoliły na wykazanie słuszności tych tez z zastosowaniem indukcji niezupełnej. Zakres rozprawy jest obszerny, gdyż obejmuje szerokie badania literaturowe, opracowanie odpowiednich definicji, metod konstruowania automatów, metod ich testowania i wielu koncepcji. Szczególnie wartościowe są obszerne badania weryfikacyjne, które wymagały opracowania odpowiednich planów, a także opracowanie wyników, ich analizy i podsumowania. 4 Ocena merytoryczna Podjęta przez Doktoranta tematyka badań jest złożona. Cel pracy jest aktualny i poznawczo ważny, a opracowana metoda posiada duże znaczenie utylitarne. Dlatego wysoko oceniam znaczenie podsumowanych w rozprawie doktorskiej badań dla rozwoju metodologii modelowania systemów i obliczeń miękkich. 4.1 Elementy oryginalne Na podstawie lektury rozprawy i lektury podsumowania pracy (r. 10) oceniam, że naj ważniejszymi jej oryginalnymi elementami są: 1. Koncepcje automatów rozmytych z rozmytymi stanami oraz rozmytymi symbolami wejść i wyjść. 2. Wykorzystanie grupowania rozmytego (FCM) do konstruowania symboli wejściowych i wyjściowych automatu. 3. Koncepcja konstrukcji automatu rozmytego za pomocą metaheurystyk oraz inżynierii wstecznej. 4. Metody generowania unikalnych sekwencji wejścia/wyjścia. 4.2 Uwagi dyskusyjne 1. W Sekcji 5.3 wprowadzono alternatywną definicję automatu rozmytego, której istota polega na tym, że przejście po danej krawędzi grafu reprezentującego automat rozmyty może nastąpić wtedy, gdy poziom aktywacji symbolu wejściowegojest większy lub równy progowi aktywacji tej krawędzi. Funkcja aktywacji tej krawędzi ma charakter skokowy, a więc ostry. Czy warto rozpatrywać inne przebiegi funkcji aktywacji krawędzi, jak np. funkcję sigmoidalną, albo trapezową - charal<:terystyczne dla opisu zbiorów rozmytych? Jakie własności miałby wtedy taki automat rozmyty? 4

5 2. (s64d2-1) Metaheurystyki wykorzystywane przez Doktoranta do budowy automatów rozmytych mają charakter losowy, a więc wyniki uzyskane przy ich zastosowaniu są losowe. Czy jest wystarczające przeprowadzenie weryfikacji poprawności działania metod oraz porównanie i wartościowanie wyników uzyskanych z zastosowaniem tych metod jedynie na podstawie trzech eksperymentów? 3. (s67 rys22) Na wykresie przedstawiono wyniki porównania dla automatów o różnej liczbie stanów, przy czym każdy wynik dotyczy tylko jednego przypadku. Wartości funkcji przystosowania stanowi błąd, obliczony dla automatu skonstruowanego za pomocą metaheurystyki (np. algorytmu genetycznego) z wbudowanym czynnikiem losowym. Czy takie porównania i wnioskowanie o przewadze określonej konfiguracji nad drugą (przy wartościach błędu równych np i ) są istotne? 4. (Rozdz. 9) Testowanie automatu rozmytego poprzez sprowadzenie tego automatu do automatu skończonego (a więc zrezygnowanie z aparatu rozmytego) oceniam jako niedoskonałość metody. Wydaje się, że idea testowania automatu rozmytego mogłaby bazować na podobieństwie sekwencji automatu testowanego i automatu idealnego. Jak Doktorant ocenia takie rozwiązanie? 4.3 Wybrane uwagi szczegółowe (s30d7-6) Selekcja w algorytmie genetycznym nie polega na prymitywnym "odrzuceniu słabiej przystosowanych osobników". (s44d10-9) RP, R9 nie są wektorami liczb rzeczywistych, lecz odpowiednio p- i g-wymiarowymi przestrzeniami rzeczywistymi. (s51d10 i wiele innych) Sformułowanie "seria czasowa" będące prostym tłumaczeniem ang. time series jest wyjątkowo niefortunne. (s56d9) Zwykle pożądane wartości "wskaźnika jakości" kojarzą się z wartościami jak największymi (bo wysoka jakość jest najlepsza). Nazwanie błędu (który chcemy minimalizować) wskaźnikiem jakości wydaje się być niefortunne. (s66d10 i wiele innych) Określenia "automat większy", "automat mniejszy", "wyniki słabsze" itp. nie powinny wystapić w rozprawie doktorskiej. (s73 rys31-32 i in.) W pracy nie stosuje się obiektywnych metod porównywania przebiegów wyjść automatu, ograniczając się do oceny wizualnej różnic pomiędzy tymi przebiegami. Taka ocena jest nieobiektywna, warto wykorzystaćnp. metody stosowane przy identyfikacji systemów (zob. np. T. Soderstrom, P. Stoica, Identyfikacja systemów. 1997). (s74g3 i in.) Zamiast "mały zestaw treningowy" powinno być "mało liczny", zamiast "duży zestaw treningowy" - np. "zestaw o dużej liczebności przykładów". (s76-76 rys34-35) Jak interpretowaćbrak ciągłości wykresów przedstawionych funkcji przynależności do symbolu wyjściowego? (s98d2) Sformułowanie"algorytm roju cząstek jest słabszy niż losowe generowanie sekwencji" jest niefortunne. (s99g3-4) Prawdopodobnie chodzi o miliony iteracji? (s101 wz38 i opis s ) Wzór i opis stanowią powtórzenie wzoru (37) i opisu ze s. 93 dla Wl = W2 = 1. (s103d4-3) Sformułowania"czas liniowy", "czas kwadratowy" są niepoprawne. 5

6 5 Wniosek końcowy Podjęty i rozwiązany przez Doktoranta w sposób oryginalny problem badawczy ma istotne znaczenie dla rozwoju zastosowań metod sztucznej inteligencji. Doktorant wykazał się ogólną wiedzą teoretycznąw dyscyplinie "Informatyka" oraz wymaganą umiejętnościązaplanowania i samodzielnego przeprowadzenia badań naukowych. Biorąc powyższe pod uwagę stwierdzam, że opiniowana rozprawa doktorska Mgr. inż. Krzysztofa Zan~ewskiego pt. "Konstrukcja i testowanie automatów rozmytych za pomocą technik metaheurystycznych" spełnia wymagania Art. 13 p.1 Ustawy z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz stopniach i tytule w zakresie sztuki (Dziennik Ustaw nr 65, poz. 595) i może zostać dopuszczona do publicznej obrony przed Radą Naukową Instytutu Badań Systemowych PAN w dyscyplinie "Informatyka". 6