Załącznik 2A do Wniosku o przeprowadzenie postępowania habilitacyjnego w dziedzinie nauk technicznych w dyscyplinie informatyka AUTOREFERAT dr Piotr Duda Politechnika Częstochowska Wydział Inżynierii Mechanicznej i Informatyki Instytut Inteligentnych Systemów Informatycznych Częstochowa, 2018
1. Dane Osobowe Imię i Nazwisko: Piotr Duda Adres: e-mail: Politechnika Częstochowska, Wydział Inżynierii Mechanicznej i Informatyki, Instytut Inteligentnych Systemów Informatycznych, ul. Armii Krajowej 36, 42-200 Częstochowa piotr.duda@iisi.pcz.pl nr tel.: +48 504 667 493 2. Posiadane dyplomy i stopnie naukowe 2015 - Stopień doktora nauk technicznych w dyscyplinie informatyka (obroniony z wyróżnieniem), Politechnika Częstochowska, Wydział Inżynierii Mechanicznej i Informatyki, Tytuł rozprawy: Data stream classification algorithms ( Algorytmy klasyfikacji danych strumieniowych ) 2009 - Tytuł zawodowy magistra nauk matematycznych, Uniwersytet Śląski, Wydział Matematyki, Fizyki i Chemii 3. Informacje o dotychczasowym zatrudnieniu w jednostkach naukowych/ artystycznych. 2015 obecnie: adiunkt naukowy, Politechnika Częstochowska, Wydział Inżynierii Mechanicznej i Informatyki, Instytut Inteligentnych Systemów Informatycznych. 2010 2015: doktorant, Politechnika Częstochowska, Wydział Inżynierii Mechanicznej i Informatyki, Katedra Inżynierii Komputerowej (od 2012 Instytut Inteligentnych Systemów Informatycznych). 4. Wskazanie osiągnięcia* wynikającego z art. 16 ust. 2 ustawy z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz o stopniach i tytule w zakresie sztuki (Dz. U. 2016 r. poz. 882 ze zm. w Dz. U. z 2016 r. poz. 1311.): 4.1 Tytuł osiągnięcia naukowego Problemy klasyfikacji i regresji w analizie niestacjonarnych strumieni danych. 4.2 Publikacje wchodzące w skład osiągnięcia naukowego 1) Piotr Duda, Maciej Jaworski, Leszek Rutkowski, 2018, Convergent Time-Varying Regression Models for Data Streams: Tracking Concept Drift by the Recursive Parzen-
Based Generalized Regression Neural Networks, International Journal of Neural Systems, Vol. 28, Issue 02, 1750048, IF=4,58, udział: 80% 2) Piotr Duda, Maciej Jaworski, Leszek Rutkowski, 2018, Knowledge discovery in data streams with the orthogonal series-based generalized regression neural networks, Information Sciences, Vol. 460 461, pp. 497-518, IF=4,305, udział=80% 3) Lena Pietruczuk, Leszek Rutkowski, Maciej Jaworski, Piotr Duda, 2016, A method for automatic adjustment of ensemble size in stream data mining, Neural Networks (IJCNN), 2016 International Joint Conference on, IEEE, pp. 9-15, udział=10% 4) Lena Pietruczuk, Leszek Rutkowski, Maciej Jaworski, Piotr Duda, 2017, How to adjust an ensemble size in stream data mining?, Information Sciences, Vol. 381, pp. 46-54, IF=4,305, udział=10% 5) Piotr Duda, Maciej Jaworski, Leszek Rutkowski, 2017, On ensemble components selection in data streams scenario with reoccurring concept-drift, in prc. of 2017 IEEE Symposium Series on Computational Intelligence (SSCI), IEEE, pp. 1821-1827, udział=80% 6) Piotr Duda, 2018, On Ensemble Components Selection in Data Streams Scenario with Gradual Concept-Drift, Lecture Notes in Computer Science, Springer, Vol. 10842, pp 311-320, udział=100% 7) Piotr Duda, Lena Pietruczuk, Maciej Jaworski, Adam Krzyzak, 2016, On the Cesàro- Means-Based Orthogonal Series Approach to Learning Time-Varying Regression Functions, Lecture Notes in Computer Science, Springer, Vol. 9693, pp. 37-48, udział=70% 8) Piotr Duda, Maciej Jaworski, Leszek Rutkowski, 2018, Online GRNN-Based Ensembles for Regression on Evolving Data Streams. In: Huang T., Lv J., Sun C., Tuzikov A. (eds) Advances in Neural Networks ISNN 2018. ISNN 2018. Lecture Notes in Computer Science, vol 10878., pp 221-228, Springer, udział=80% Tabela 1: Podsumowanie cyklu publikacji wchodzących w skład osiągnięcia naukowego Publikacja Udział Udział pozostałych Impact Punkty habilitanta współautorów Factor [1] 80% 10%, 10% 4,58 40 [2] 80% 10%, 10% 4,305 45 [3] 10% 70%,10%, 10% - 15 [4] 10% 70%,10%, 10% 4,305 45 [5] 80% 10%, 10% - 15 [6] 100% - - 15 [7] 70% 10%, 10%, 10% - 15 [8] 80% 10%, 10% - 15 4.3 Omówienie celu naukowego ww. prac i osiągniętych wyników wraz z omówieniem ich ewentualnego wykorzystania. Wraz ze wzrostem liczby wytwarzanych danych, zwiększa się zapotrzebowanie na coraz sprawniejsze algorytmy umożliwiające ich analizę. Jednym z problemów, którym zajmują się
współcześnie badacze jest analiza tzw. strumieni danych. W podejściu tym zakładamy, że dane są generowane i odczytywane na bieżąco. Oznacza to, że nie jesteśmy w stanie przewidzieć jakie dane zostaną przesłane do sytemu nawet w najbliższej przyszłości. Pociąga to za sobą szereg konsekwencji, takich jak np. niemożliwość ustalenia wielkości zbioru uczącego. W efekcie projektant systemu analizującego ten typ danych musi wziąć pod uwagę pewne ograniczania, nie uwzględniane w przypadku klasycznych metod uczenia maszynowego. Można wskazać trzy najistotniejsze ograniczenia kładzione na algorytmy przetwarzające strumienie danych, tj.: - dane nie mogą być stale przechowywane. Wobec nieznanej wielkości strumienia należy założyć, że jest on dowolnie duży. Algorytm musi być w stanie w jak najkrótszym czasie zagregować informacje zawartą w bieżącej danej włączając ją w uczony model. Optymalnie dana powinna zostać przetworzona tylko raz, przed pojawieniem się kolejnej; - algorytm musi w być w stanie udzielić odpowiedzi w dowolnym momencie. W przypadku systemów, w których dane mogą być produkowane nieustannie, nie możemy założyć a priori tempa przychodzenia danych. Z tego powodu należy minimalizować czas jaki algorytm potrzebuje do przetworzenia danych. Należy unikać czasochłonnych technik uczenia jak np. uczenie epokowe czy techniki ewolucyjne; - rozkład przychodzących danych może zmieniać się w czasie analizowania strumienia. Różnice te mogą dotyczyć zarówno zmiennych objaśniających, jaki i zmiennej objaśnianej. Zjawisko niestacjonarności danych w kontekście strumieni danych nazywa się conceptdriftem. Problem zaprojektowania systemu cechującego się odpowiednio szybką i dokładną reakcją na zaistniałą niestacjonarność jest szczególnym wyzwaniem dla badaczy. Wymaga on, aby algorytm był w stanie przebudować estymowany model w dowolnym momencie i dostosować się do zaistniałych zmian. Główny nacisk w przedstawianych pracach został położony na techniki uczenia nadzorowanego, tj. klasyfikację i regresję. Cechą wspólną wszystkich prac zaliczonych do osiągnięcia jest rozważanie systemów działających w niestacjonarnym środowisku. 1) Convergent Time-Varying Regression Models for Data Streams: Tracking Concept Drift by the Recursive Parzen-Based Generalized Regression Neural Networks Główny nacisk w omawianej pracy został położony na teoretyczną analizę nieparametrycznych metod regresji z wykorzystaniem probabilistycznych sieci neuronowych opartych o tzw. jądra Parzena. Metody nieparametryczne pozwalają na estymację szerszego spektrum typu funkcji niż metody parametryczne. Jest to szczególnie istotne w analizie strumieni danych wobec dowolności zmian jakie mogą zachodzić w strumieniu. Zastosowano tu metodę regresji opartej na jądrach Parzena. Pozwala ona na przyrostowe uczenie estymatora. Oznacza to, że stosowana metoda nie wymaga przechowywania uprzednio zgromadzonych danych. Zamiast tego, w każdym ustalonym wcześniej punkcie w którym
chcemy badać wartość regresji, wartość estymatora jest obliczana jedynie na podstawie nowo przybyłej danej oraz poprzednio ustalonej wartości. W pracy rozważane są dwa rodzaje niestacjonarności. - W pierwszym przypadku zadaniem jest estymacja stacjonarnej funkcji regresji, wobec występowania niestacjonarnego szumu w danych przychodzących do systemu. Niestacjonarność szumu jest wyrażona poprzez zmiany w rozkładzie prawdopodobieństwa z jakiego szum jest generowany. W szczególności zakładamy, że zmianom może ulec wariancja rozkładu (dopuszczamy, że może ona dążyć do nieskończoności). W omawianej pracy, kolejno w twierdzeniach 1 i 2, przedstawione są warunki jakie muszą być spełnione, aby zapewnić zbieżność prezentowanego estymatora według prawdopodobieństwa oraz z prawdopodobieństwem 1. - W drugim przypadku rozważanym zadaniem jest estymacja niestacjonarnej funkcji regresji, wobec występowania niestacjonarnego szumu w danych przychodzących do systemu. W omawianej pracy, kolejno w twierdzeniach 3 i 4, przedstawione są warunki jakie muszą być spełnione, aby zapewnić zbieżność prezentowanego estymatora według prawdopodobieństwa oraz z prawdopodobieństwem 1. Praca zawiera również szereg przykładów (przykłady od 1 do 6) prezentujących kryteria wyborów parametrów w przypadku wystąpienia różnych rodzajów niestacjonarności (przyrostowej, powtarzającej się, mieszanej). W ramach oceny działania proponowanych algorytmów przeprowadzono szereg symulacji w oparciu o dane syntetyczne, demonstrujących zgodność otrzymywanych rezultatów z przedstawioną analizą teoretyczną. Dodatkowo porównano omawiane algorytmy z klasycznym estymatorem regresji dostosowanym do niestacjonarnego środowisko poprzez zastosowanie mechanizmu okien przesuwnych oraz metody zapominania. Praca przedstawia również możliwość zastosowania omawianych metod do rzeczywistych zadań takich jak, śledzenia zależności pomiędzy zmieniającymi się kursami wymiany walut. 2) Knowledge discovery in data streams with the orthogonal series-based generalized regression neural networks Ta praca dotyczy zastosowania szeregów ortogonalnych jako narzędzia do estymacji funkcji regresji w niestacjonarnym środowisku. Stosując estymator oparty na jądrach Parzena, użytkownik jest w zmuszony badać wartość w każdym interesującym go punkcie z osobna. W przypadku zastosowania szeregów ortogonalnych możliwe jest przyrostowe aktualizowanie jedynie pewnych parametrów, które umożliwiają wyliczenie wartości estymowanej funkcji w dowolnym punkcie dziedziny. W artykule analizowane są dwa typy niestacjonarności: niestacjonarność zaszumienia danych oraz zmieniająca się funkcja regresji. Kolejno w twierdzeniach 1 i 2 wykazana jest zbieżność
(według prawdopodobieństwa oraz z prawdopodobieństwem jeden) estymatora w przypadku zmiennego zaszumienia, a w twierdzeniach 3 i 4 zbieżność (według prawdopodobieństwa oraz z prawdopodobieństwem jeden) do zmieniającej się funkcji. Praca zawiera również przykłady pokazujące jak w przypadku konkretnych typów zmian dobierać parametry modelu. Poza analizą teoretyczną znaczenie każdego z tych parametrów zostało również sprawdzone eksperymentalnie. 3) A method for automatic adjustment of ensemble size in stream data mining Praca porusza problem tworzenia klasyfikatorów w kontekście strumieni danych. Jedną z najpopularniejszych w literaturze oraz skutecznie działającą w praktyce metod jest tworzenie zespołów klasyfikatorów. Ogólny schemat działania takich metod przebiega w następujących krokach: - na podstawie próbki, ostatnio przybyłych ze strumienia danych, uczony jest klasyczny klasyfikator (zwany słabym klasyfikatorem), - nowo utworzony słaby klasyfikator może zostać włączony do modelu, - dla każdej nowo przybyłej danej klasa nadawana jest jako zagregowana odpowiedź wszystkich komponentów zespołu. Dla badaczy ciągle otwartym problem pozostaje ustalenie odpowiedniego kryterium decydującego kiedy nowo utworzony słaby klasyfikator powinien zostać włączony do zespołu, a kiedy z niego usunięty. W omawianej pracy zaproponowana algorytm ASE (The Automatically Adjusting Size of Ensemble Algorithm), który decyzję o włączeniu lub nie włączaniu nowego komponentu do zespołu podejmuje na podstawie zaproponowanego testu statystycznego. Przyjęte kryterium zapewnia, że nowy komponent wniesie istotny wkład w działanie zespołu nie tylko dla bieżącej paczki danych, ale również dla całego strumienia. W celu umożliwienia algorytmowi dostosowywania się do zachodzącego concept-driftu zaproponowano również test decydujący kiedy dany komponent zespołu powinien być usunięty. Test wskazuje na usunięcie słabego klasyfikatora jeżeli jego pozostawienie w zespole pogarsza w sposób znaczący działanie zespołu dla całego strumienia. Omawiane testy zostały przedstawione w pracy w postaci twierdzeń 1 i 2. Działanie algorytmu ASE zostało sprawdzone eksperymentalnie dla różnych typów conceptdriftu (nagły oraz stopniowy) w różnym stopniu nasilenia. Otrzymane wyniki zostały porównane z innymi popularnymi algorytmami klasyfikacji danych strumieniowych. 4) How to adjust an ensemble size in stream data mining? Praca ta jest rozszerzeniem pracy A method for automatic adjustment of ensemble size in stream data mining. Ponownie poruszany jest temat doboru komponentów do zespołu w celu klasyfikacji danych strumieniowych. Zaproponowano algorytm DEEA (The Dynamically
Expanded Ensemble Algorithm ) w którym kolejno tworzone komponenty to drzewa decyzyjne. Przedstawione jest kryterium pozwalające określić użytkownikowi w jakim stopniu nowo utworzony słaby klasyfikator ma wpłynąć na dokładność całego zespołu. Zaproponowano również nowe kryterium ważenia odpowiedzi uzyskanych z każdego komponentu. Zamiast utrzymywać jedną wagę dla całego komponentu zaproponowano, aby każdy liść posiadał własną. Działanie algorytmu zostało potwierdzone poprzez przeprowadzenie licznych eksperymentów na danych rzeczywistych, a otrzymane wyniki zostały porównane z najpopularniejszymi algorytmami przetwarzania danych strumieniowych. 5) On ensemble components selection in data streams scenario with reoccurring concept-drift Szczególnym typem niestacjonarności rozważanym w pracach dotyczących analizy danych strumieniowych jest występowanie powtarzającego się concept-driftu. Mówimy o tym typie niestacjonarności w przypadku gdy wiemy, że dane będą generowane z kilku rozkładów danych zmieniających się między sobą co jakiś, nieokreślony czas. Przykładem takiego zjawisko może być sezonowość w danych. Omawiany artykuł dostosowuje algorytm ASE do działania w takim środowisku. Jednym z kluczowych mechanizmów każdego algorytmu zespołowego, jest sposób podejmowania decyzji o usunięciu komponentu z zespołu. W algorytmie ASE, każdy jeden komponent zespołu jest usuwany, jeżeli jego udział w podejmowaniu decyzji ma negatywny wpływ na działanie całego zespołu. W przypadku powtarzających się zmian rozkładów danych może to spowodować trwałe usunięcie z zespołu wiedzy, którą chcielibyśmy przechować w celu wykorzystania jej w przyszłości. W celu rozwiązania tego problemu zaproponowano algorytm ASE-TC (Automatically Adjusting Size of Ensemble Algorithm with Temporal Changes), który modyfikuje kryterium usunięcia komponentu z zespołu. W omawianej pracy zaproponowano dodanie dodatkowego testu. W szczególności, porównywany jest rozkład odpowiedzi zespołu oraz pojedynczego komponentu. W tym celu wykorzystywana jest dywergencja Kullbacka- Leiblera (KLD). Jeżeli otrzymana wielkość KLD jest większa niż założony przez użytkownika próg (oznaczony λ) wówczas, badany komponent nie zostanie usunięty z zespołu. Działanie algorytmu zostało przebadane eksperymentalnie pod względem wielkości wykorzystywanych paczek danych do uczenia komponentów, wielkość założonego progu λ oraz głębokości drzew wykorzystywanych jako słabe klasyfikatory. Otrzymana dokładność klasyfikacji została również porównana z innymi popularnymi metodami zespołowymi. 6) On ensemble components selection in data streams scenario with gradual conceptdrift
Jednym z czterech najpopularniejszych typów niestacjonarności omawianych w kontekście danych strumieniowych jest stopniowy concept-drift. Mówimy o tym typie niestacjonarności jeżeli częstotliwość pojawiania się danych generowanych z danego rozkładu zmniejsza się stopniowo, natomiast dane pochodzące z nowego rozkładu pojawiają się coraz częściej. Celem opisywanej pracy była próba usprawnienia działania algorytmu ASE, w przypadku występowania stopniowego concept-driftu Algorytm ASE dopuszcza włączenie nowego słabego klasyfikatora jedynie, jeżeli polepsza on w znaczącym stopniu działanie całego zespołu. Ocena skuteczności działania zespołu odbywa się na tzw. zasadzie prequential evaluation. Oznacza to, że nowo utworzony klasyfikator będzie oceniany dopiero na podstawie kolejnej (względem tej na której był uczony) paczki danych. Możliwa jest zatem sytuacja w której jedna paczka danych będzie zawierała w większości dane pochodzące z nowego rozkładu, a w kolejnej paczce danych będą przeważały dane ze starego rozkładu. W takiej sytuacji algorytm ASE nie pozwoli na zachowanie wiedzy, która może okazać się użyteczna w przyszłości. W celu rozwiązania tego problemu zmodyfikowano kryterium dodawania komponentów do zespołu, poprzez dodanie nowego testu. Porównywany jest w nim rozkład odpowiedzi zespołu oraz pojedynczego komponentu na podstawie odległości Hellingera. Otrzymana wielkość porównywana jest z wartością progową wskazaną przez użytkownika. Działanie algorytmu zostało przebadane eksperymentalnie pod względem wielkości wykorzystywanych paczek danych do uczenia komponentów, wysokości założonego progu oraz głębokości drzew wykorzystywanych jako słabe klasyfikatory. 7) On the Cesàro-Means-Based Orthogonal Series Approach to Learning Time-Varying Regression Functions W tym artykule została zaproponowana nieparametryczna metoda śledzenie niestacjonarnej funkcji regresji oparta o metodę tzw. średnich Cesaro. Metoda ta pozwala na badanie zbieżności szerszego spektrum szeregów ortogonalnych niż klasyczne metody. W artykule przedstawiona jest zbieżność proponowanego algorytmu według prawdopodobieństwa. Przeprowadzono również symulacje numeryczne z wykorzystaniem szeregów Furiera, w szczególności, z użyciem tzw. jąder Fejera. Przeprowadzone symulacje potwierdziły zgodność analizy teoretycznej z oczekiwanymi rezultatami. 8) Online GRNN-Based Ensembles for Regression on Evolving Data Streams Analizowane w poprzednich pracach metody śledzenia niestacjonarnej funkcji regresji umożliwiają śledzenie szerokiego spektrum zmian, nie są jednak w stanie skutecznie zareagować na natychmiastową zmianę rozkładu danych. W celu usprawnienia ich działania zaproponowano stworzenia zespołu uogólnionych regresyjnych sieci neuronowych. Zaproponowany algorytm E-GRNN (Online GRNN-Based Ensembles) inicjuje po otrzymaniu określonej liczby danych nowy estymator regresji. Wraz z napływem danych uaktualniane są wszystkie komponenty zespołu. Po zebraniu całej paczki danych komponenty zespołu
podlegają ocenie. Odpowiedź zespołu zostaje ustalona jako średnia ważona wszystkich estymatorów zgromadzonych w zespole. Wagi dla poszczególnych składowych zespołu ustalane są jako odwrotność miary zwanej częścią niewyjaśnionej wariancji. Przeprowadzone symulacje wykazały, że zastosowanie metody zespołowej polepsza uzyskiwane wyniki. 5. Omówienie pozostałych osiągnięć naukowo - badawczych. Łączny dorobek publikacyjny habilitanta, z okresów przed i po uzyskania stopnia doktora, stanowi 35 publikacji. W Tabeli 1 przedstawiono rozkład liczby publikacji na publikacje poszczególnych typów. Tabela 2: Wszystkie opublikowane publikacje Rodzaj publikacji Liczba publikacji Publikacje zamieszczone w czasopismach Journal Citation Reports 8 Pozostałe publikacje z bazy Web of Sience 19 Pozostałe publikacje 7 Razem 34 Dane bibliograficzne: Liczba cytowani: 398 ( 325 bez autocytowań) h-index: 12 5.1 Dorobek naukowo badawczy przed uzyskaniem stopnia naukowego doktora. W mojej pracy badawczej przed uzyskaniem stopnia naukowego doktora zajmowałem się przede wszystkim zagadnieniem klasyfikacji statycznych danych strumieniowych (bez występowania concept-driftu). Wraz z zespołem wykryliśmy błąd w jednym z najpopularniejszych algorytmów analizy takich danych nazwanym drzewami Hoeffdinga. Metoda ta pozwalała na tworzenie drzew decyzyjnych z statycznych strumieni danych. Autorzy oryginalnej pracy, która posiadała setki cytowani, pokazują jak konstruować drzewa decyzyjne bez konieczności wielokrotnego przetwarzania tych samych elementów. Kluczowym elementem algorytmu było kryterium doboru atrybutu do dokonania podziału w węźle drzewa decyzyjnego. Zaproponowano tam tzw. kryterium Hoeffdinga, które było matematycznie uzasadniane z wykorzystaniem nierówności Hoeffdinga. Wykazaliśmy, jako pierwsi na świecie, że zaproponowana metoda nie może być łączona z najpopularniejszymi miarami jakości podziału, jak przyrost informacji, czy indeks Giniego. W cyklu prac opublikowanych w czołowych czasopismach, takich jak IEEE Transaction on Knowledge and Data Engineering i Information Sciences przedstawiliśmy własne kryteria, które mogą z powodzeniem zastąpić kryterium Hoeffdinga. Tematyka ta była następnie przedmiotem mojej rozprawy doktorskiej pt. Data stream classification algoritms (pol. Algorytmy klasyfikacji danych strumieniowych ). W rozprawie doktorskiej badano problem uzasadnionego wyboru atrybutów do dokonywania podziałów w kolejnych węzłach drzewa
decyzyjnego przy potencjalnie nieskończonym zbiorze uczącym. Zaproponowane metody pozwalają na sprawdzenie, czy atrybut najlepszy dla dostępnej próbki danych jest również najlepszy dla całego strumienia danych. Decyzja jest podejmowana na poziomie istotności ustalonym przez użytkownika. Stwierdzenie, że atrybut jest najlepszy do dokonania podziału oznacza, że wartość miary jakości podziału jest najwyższa spośród wszystkich atrybutów. W pracy analizowane są trzy miary jakości podziału: przyrost informacji, zysk indeksu Giniego oraz zmniejszenie błędu klasyfikacji. Tematyka rozprawy jest silnie związana z algorytmem drzew Hoeffdinga, który jest jednym z najpopularniejszych narzędzi analizy danych strumieniowych. Metody przedstawione w pracy pozwalają uzupełnić lukę, powstałą po wykryciu niepoprawności uzasadnienia oryginalnego algorytmu drzew Hoeffdinga. W pracy przedstawione zostały trzy nowe metody uzasadniające dobór odpowiedniego atrybutu do dokonania podziału w węźle. Pierwsza metoda pozwala porównywać wartości miar jakości podziału dla dwóch atrybutów w oparciu o nierówność McDiarmida. W drugiej metodzie decyzja jest podejmowana na podstawie rozkładów wartości miar jakości podziałów dla dwóch atrybutów, przybliżanych rozkładami normalnymi. Trzecia metoda pozwala na wyznaczenie przedziałów ufności dla miar jakości podziału wszystkich atrybutów oraz wskazuje optymalny atrybut, gdy te przedziały stają się rozłączne. Zaproponowane metody, połączone z ideą drzew Hoeffdinga, pozwoliły na stworzenie algorytmów generujących drzewa decyzyjne ze strumieni danych. W zależności od zastosowanej metody są to, odpowiednio, drzewa McDiarmida, drzewa Gaussa oraz drzewa przedziałowe. Wszystkie algorytmy zostały ze sobą porównane zarówno teoretycznie, jak i eksperymentalnie. Jak wykazały przeprowadzone symulacje, zaproponowane rozwiązania mogą być z powodzeniem stosowane do analizy danych strumieniowych. 5.2 Dorobek naukowo badawczy po uzyskaniu stopnia naukowego doktora Na dorobek publikacyjny habilitanta po uzyskaniu stopnia doktora składa się 13 prac, z czego 8 z nich wchodzi w skład przedstawianego osiągnięcia naukowego Tabela 3: Publikacje opublikowane po uzyskaniu stopnia doktora Rodzaj publikacji Liczba publikacji Publikacje zamieszczone w czasopismach Journal Citation Reports 4 Pozostałe publikacje z bazy Web of Sience 6 Pozostałe publikacje 3 Razem 13 Do najistotniejszych osiągnięć, które współtworzyłem po uzyskaniu stopnia naukowego doktora, a nie są częścią przedkładanego osiągnięcia, zaliczam następujące artykuły
Maciej Jaworski, Piotr Duda, Leszek Rutkowski, New Splitting Criteria for Decision Trees in Stationary Data Streams, IEEE transactions on neural networks and learning systems 29.6 (2018): 2516-2529. Praca ta kontynuuje zganienia poruszane w mojej rozprawie doktorskiej. W artykule poruszany jest problem uczenia drzew decyzyjnych na podstawie strumieni danych. Praca zawiera głęboką analizę znaczenia wyboru konkretnej miary jakości podziału. Rozróżnione są w niej dwa typy kryteriów wyboru najlepszego atrybutu do dokonania podziału w węźle drzewa decyzyjnego. Pierwszy typ to kryteria zapewniające, z określonym prawdopodobieństwem, że atrybut wybrany przez te kryteria maksymalizuje miarę jakości podziału. Kryteria drugiego typu zapewniają, że wskazany atrybut będzie również najlepszy dla całego strumienia. Praca wprowadza trzy nowe kryteria (dwa pierwszego typu oraz jedno drugiego typu), oraz dodatkowo tzw. kryteria hybrydowe (wykorzystujące równocześnie różne miary jakości podziału). W szczególności, przedstawiona jest w niej miara jakości podziału oparta o błąd klasyfikacji. W literaturze miara ta jest stosunkowo rzadko przytaczana w kontekście drzew decyzyjnych. Zauważyliśmy jednak, że posiada ona cechy szczególnie korzystne w analizie strumieni danych. Kluczowym problemem w konstrukcji drzew decyzyjnych ze strumieni danych jest minimalizacja liczby danych koniecznych do podjęcia decyzji o wyborze najlepszego atrybutu. Drzewa tworzone przy pomocy miary opartej na błędzie klasyfikacji posiadają tą własność, że na początku rozrost drzewa jest bardzo szybki, po czym zostaje on zablokowany. Dzieje się tak ponieważ zastosowanie tej miary nie daje możliwości dokonania podziału, który jedynie porządkowałby dane, a nie zwiększał w sposób znaczący dokładności klasyfikatora. Wobec tego zaproponowaliśmy połączenie kryterium porównującego przydatność atrybutu na podstawie miary opartej na błędzie klasyfikacji z kryterium wykorzystującym zysk indeksu Giniego. Wykazano eksperymentalnie, że ciągle najpopularniejsze kryterium Hoeffdinga, nie ma uzasadnienia nawet jako kryterium heurystyczne. W tym celu porównano dokładności osiągane przez drzewa Hoeffdinga oraz drzewa uzyskane poprzez arbitralne zmniejszenie stałej w kryterium Hoeffdinga. Maciej Jaworski, Piotr Duda, Leszek Rutkowski, Patryk Najgebauer, Miroslaw Pawlak, Heuristic Regression Function Estimation Methods for Data Streams with Concept Drift, Lecture Notes in Computer Science, Springer, Cham, Vol. 10246, pp 726-737. Praca dotyczy śledzenia funkcji regresji w niestacjonarnym środowisku. W szczególności przedmiotem pracy była analiza heurystycznych metod umożliwiających zastosowanie probabilistycznych sieci neuronowych w celu estymacji regresji wobec występowania concept-driftu. W tym celu przebadano dwie metody, tj. okna przesuwne i mechanizm zapominania. Metoda okien przesuwnych jest powszechnie stosowana w analizie strumieni danych. Polega ona na przechowywaniu w pamięci jedynie pewnej liczby ostatnio przybyłych danych. Oznacza to, że wraz z napływem nowej danej jest ona zachowywana w pamięci
kosztem najstarszej danej w obecnym oknie. Probabilistyczne sieci neuronowe posiadają własności umożliwiającą aktualizowanie ich dana po danej, wobec tego nie wymagają one ciągłego przeuczania modelu. Zmiany ograniczone są jedynie do wprowadzenia usunięcia informacji związanej z najstarszą daną i dodania nowej. Mechanizm zapominania polega na wymnażaniu, wraz z każdą kolejną daną, wcześniejszych wartość przez pewną stałą z przedziału od 0 do 1. W konsekwencji znaczenie starych danych jest stale zmniejszane, a dominującą rolę zachowują aktualne dane. Niewielka modyfikacja klasycznych probabilistycznych sieci neuronowych umożliwia wprowadzenie do nich mechanizmu zapominania. Maciej Jaworski, Piotr Duda, Leszek Rutkowski, On applying the Restricted Boltzmann Machine to active concept drift detection, in proc. of 2017 IEEE Symposium Series on Computational Intelligence (SSCI), IEEE, pp. 3512-3519. W tym artykule badaliśmy możliwości zastosowania restrykcyjnej maszyny Boltzmanna jako detektora concept-driftu. Zadanie wykrywania concep-dryftu jest jednym z częściej poruszanych problemów analizy danych strumieniowych. Dobrze działający detektor musi optymalizować dwa kryteria. Po pierwsze musi być w stanie zaalarmować system w jak najkrótszym czasie od wystąpienia niestacjonarności w strumieniu. Po drugie musi minimalizować liczbę fałszywych alarmów, czyli sytuacji w których detektor informuje system o zaistniałej zmianie pomimo, że w rzeczywistości ona nie nastąpiła. Restrykcyjne maszyny Boltzmanna zawierają wiedzę o rozkładzie danych treningowych, wobec czego mogą one być wykorzystane do sprawdzenia, czy nowo przybyła dane pochodzą z poprzednio nauczonego rozkładu, czy też nie. W celu porównania rozkładu nowych danych z wyuczonym rozkładem zastosowano dwie miary, tj. energię swobodną oraz błąd rekonstrukcji. Wyniki symulacji wykazały przydatność proponowanej metody zarówno w przypadku występowania nagłych zmian, jak i stopniowych. Maciej Jaworski, Piotr Duda, Leszek Rutkowski, 2018, Concept Drift Detection in Streams of Labelled Data Using the Restricted Boltzmann Machine, in proc. of IEEE International Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, Brazylia Celem pracy jest ulepszenie działania ograniczonej maszyny Boltzmana w celu detekcji concept-driftu. W tym celu do klasycznego schematu ograniczonej maszyny Boltzmana dodano trzecią wartą typu softmax, która jest połączona jedynie z warstwą ukrytą. Zauważono również, że sieć pozwala na przechowywanie informacji o klasie elementów (nie jest konieczne tworzenie osobnej sieci dla każdej z klas). Sieć jest uczona poprzez zmodyfikowaną metodę Contrastive Divergence, umożliwiającą nauczenie wag pomiędzy warstwą ukrytą, a warstwą softmax. W celu śledzenia zmian zastosowano dwie miary energię swobodną oraz błąd rekonstrukcji, które połączono z metodę okien przesuwnych. Piotr Duda, et al., 2016, On the Application of Orthogonal Series Density Estimation for Image Classification Based on Feature Description, Knowledge, Information and Creativity
Support Systems: Recent Trends, Advances and Solutions. Advances in Intelligent Systems and Computing, Springer, Cham, vol 364, pp. 529-540 Praca ta dotyczyła wykorzystania nieparametrycznych metod estymacji gęstości do selekcji punktów kluczowych obrazów w celu ich klasyfikacji. Tematyka klasyfikacji obrazów, bazując na treści w nich zawartej, jest ciągle gorącym tematem w literaturze naukowej. Jednym z podejść pozwalających analizować treści zawarte na obrazie była detekcja punktów kluczowych obrazu oraz ich deskryptorów. W pracy uwzględniono punkty kluczowe generowane przez jedne z najpopularniejszych dedykowanych do tego algorytmów SIFT i SURF. W zależności od parametrów tych algorytmów generowana jest pewna liczba punktów kluczowych. Dla każdego obrazu liczba ta może być inna. Obraz zawiera zarówno punkty kluczowe obiektu charakterystycznego dla klasy, jak i punkty kluczowe innych obiektów stanowiących zaszumienie. Idea proponowanego algorytmu polegała na porównywaniu rozkładów wartości deskryptorów punktów kluczowych obrazów danej klasy z deskryptorami punktów kluczowych rozważanego obrazu. Dla każdej klasy ustalany jest, w sposób automatyczny, próg determinujący jaka część wartości wygenerowanych deskryptorów musi się zgadzać z deskryptorami danej klasy w zbiorze uczącym. 5.3 Inne osiągnięcia naukowo badawcze po uzyskaniu stopnia doktora 5.3.1 Recenzje W czasie od obrony doktoratu wykonywałem recenzje do różnych czasopism. IEEE Transaction on Knowledge and Data Engineering, 2015-2018: 2 recenzje, Expert Systems with Applications, 2015-2018: 3 recenzje, Entropy, 2018: 1 recenzja, IEEE Transaction on Neural Networks and Learning Systems, 2017-2018: 2 recenzje, Pattern Recognition Letters, 2017-2018: 1 recenzja Information System, 2017: 1 recenzja 5.3.2 Udział w projektach a) Nowe podejście do modelowania w niestacjonarnym środowisku, 2015, Opus, Narodowe Centrum Nauki, wykonawca 5.3.3 Udział w konferencjach naukowych a) IEEE International Joint Conference on Neural Networks (IJCNN), Vancouver, Kanada, 2016 b) The 15 th International Conference on Artificial Intelligence and Soft Computing, Zakopane, Polska, 2016; c) The 16 th International Conference on Artificial Intelligence and Soft Computing Zakopane, Polska, 2017; d) The 2017 IEEE Symposium Series on Computational Intelligence, Honolulu, Stany Zjednoczone Ameryki Północnej, 2017; e) The 17 th International Conference on Artificial Intelligence and Soft Computing, Zakopane, Polska, 2018; f) 15 th International Symposium on Neural Networks, Mińsk, 2018
g) IEEE International Joint Conference on Neural Networks (IJCNN), Rio de Janeiro, Brazylia, 2018. 5.3.4 Wykaz dorobku dydaktycznego Inteligencja obliczeniowa, wykład; Podstawy sieci komputerowych Programowanie stron internetowych 5.3.5 Pozostałe a) Pomoc przy organizacji konferencji International Conference on Artificial Intelligence and Soft Computing w latach 2012, 2013, 2014, 2015, 2016, 2017, 2018; b) Współorganizacja sesji specjalnej Workshop: Stream Data Mining" w ramach konferencji The 16th International Conference on Artificial Intelligence and Soft Computing ICAISC 2017; c) Udział w spotkaniach "Polskiej grupy badawczej systemów uczących się" (SIG-ML) od 2013 roku; d) Współorganizacja VI spotkania grupy SIG-ML, Częstochowa, 14 kwietnia 2016 e) Członek Polskiego towarzystwa sieci neuronowych od 2018; f) Udział w komisji rekrutacyjnej na Wydziale Inżynierii Mechanicznej i Informatyki, Politechniki Częstochowskiej 2015-2018; g) Promotor pomocniczy doktoranta Piotra Woldana, który otworzył przewód 21 czerwca 2018 roku na Wydziale Inżynierii Mechanicznej i Informatyki, tytuł rozprawy: Hybrydowe struktury uczenia głębokiego, wsparte technologią NLP w zastosowaniu do systemów rekomendacyjnych.