UNIWERSYTET MARII CURIE-SKŁODOWSKIEJ W LUBLINIE Wydział Ekonomiczny Lublin, 18.05.2015 r. Dr hab. Zbigniew Pastuszak, prof. nadzw. Uniwersytet Marii Curie-Skłodowskiej w Lublinie Wydział Ekonomiczny Instytut Zarządzania Zakład Systemów Informacyjnych Zarządzania Recenzja rozprawy doktorskiej mgr Agnieszki Janas pt. Komputerowe wspomaganie doskonalenia baz wiedzy systemów konwersacyjnych w oparciu o analizę treści rozmów biznesowych napisanej pod kierunkiem prof. dr. hab. Jerzego Gołuchowskiego 1. Podstawa prawna Podstawą przygotowania recenzji jest pismo Dziekana Wydziału Informatyki i Komunikacji Uniwersytetu Ekonomicznego w Katowicach z dn. 31 marca 2015 r. i dołączona do pisma monografia o przywołanym tytule. Punkt odniesienia w opracowanej recenzji stanowi artykuł 13. (ust. 1, 2) Ustawy z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz o stopniach i tytule w zakresie sztuki (Dz. U. Nr 65 z 2003 r., poz. 595, z późn. zm.). 2. Ocena problematyki rozpatrywanej w pracy Treść recenzowanej rozprawy lokuje się w niezmiernie istotnym z punktu widzenia rozwoju społeczeństwa informacyjnego w Polsce obszarze interakcji: człowiek-komputer, i wpisuje się w rozwijane od kilkudziesięciu lat prace badawcze zmierzające do lepszego zrozumienia problemów występujących w procesach współpracy użytkowników i systemów informatycznych. W odniesieniu do realnych procesów gospodarczych można stwierdzić, że zaprezentowane w rozprawie rozważania stanowią nowe spojrzenie na rozwój systemów zarządzania relacjami z klientem (CRM), przyczyniając się do automatyzacji procesów pozyskiwania, przetwarzania i generowania wiedzy o tych relacjach. Jest to zagadnienie niezmiernie istotne dla współczesnych przedsiębiorstw, zainteresowanych pozyskiwaniem wiedzy o potrzebach klientów, pochodzącej z różnorodnych źródeł, i umożliwiającej optymalizację kosztów wykorzystania technologii informacyjnych w procesach zarządzania. Fakt odniesienia się Autorki do tej tematyki wpisuje prowadzone rozważania w obszar zainteresowania nauk ekonomicznych, a skoncentrowanie się na analizie mikroekonomicznej relacji występujących w systemach konwersacyjnych (SK) w układzie: przedsiębiorstwo-klient oraz wykorzystanie w rozprawie dedukcji, jako podstawowego narzędzia pl. Marii Curie-Skłodowskiej 5, 20-031 Lublin, www.umcs.lublin.pl tel: +48 81 537 54 62, fax: +48 81 537 54 62 e-mail: z.pastuszak@umcs.lublin.pl
badawczego, pozwala na stwierdzenie, że Autorka posługuje się rozwiązaniami typowymi dla dyscypliny nauki o zarządzaniu. W efekcie praca o takiej tematyce może być przedmiotem przewodu doktorskiego w jednostce naukowej posiadającej uprawnienia naukowe w dziedzinie nauk ekonomicznych, w dyscyplinie nauki o zarządzaniu. Tworzenie i wykorzystanie systemów konwersacyjnych nie jest zagadnieniem nowym. Różnorodne koncepcje zmierzające do antropomorfizacji systemów informatycznych, w szczególności nawiązujące do schematu komunikacji Romana Osipowicza Jakobsona i odwołujące się do właściwego zdefiniowania i utrzymania interakcji nadawcy i odbiorcy, w tym szczególnym przypadku, gdy jedną ze stron jest system komputerowy, rozwijane są od lat 60. XX wieku. Udało się w tym czasie stworzyć różnorodne rozwiązania eliminujące szereg problemów komunikacyjnych związanych z aktywnością czynnika ludzkiego i brakami czynnika informatycznego, ale dynamiczne zmiany ich otoczenia, oddziaływanie środowiska zewnętrznego, i ciągły rozwój marketingu relacyjnego powodują, że tematyka relacji człowiek-komputer i rozwoju systemów konwersacyjnych, jest ciągle aktualne i stosunkowo nowa. Tym bardziej, że relacje te odwołują się do ciągle ewoluujących narzędzi, wymagających tworzenia coraz nowszych baz wiedzy (BW). Umiejętność zasilania baz wiedzy systemów konwersacyjnych w nową wiedzę, doskonalenia dialogu, poprawy trafności odpowiedzi, synchronizacji kontaktów na różnych etapach obsługi przedi potransakcyjnej klienta, są zagadnieniem ciągle nowym i poruszanym w polskiej literaturze stosunkowo rzadko. Skoncentrowanie się Autorki na zagadnieniu komputerowego wspomagania doskonalenia baz wiedzy systemów konwersacyjnych w oparciu o analizę treści rozmów biznesowych jest potwierdzeniem umiejętności wyboru aktualnej tematyki badawczej, posiadania dziedzinowej wiedzy umożliwiającej stworzenie autorskiej metody, rozwijającej wybrany obszar badawczy, oraz umiejętności prowadzenia własnej pracy badawczej nad wybraną tematyką. Takie podejście spełnia wymogi stawiane autorom rozpraw doktorskich przez Ustawę i umożliwia realizację dalszych etapów przewodu doktorskiego. 3. Uwagi szczegółowe. Ocena merytoryczna zawartości rozprawy Zanim przedstawię szczegółowe uwagi merytoryczne do recenzowanej dysertacji, skoncentruję się na kilku drobnych uwagach o charakterze warsztatowym. Bardzo rzadko recenzenci otrzymują do recenzji prace o tak wyjątkowo wysokiej jakości merytorycznej, przy jednoczesnym zachowaniu wysokiego poziomu jakości składu tekstu, stylistyki, interpunkcji i doboru narzędzi wizualizacyjnych. Co prawda Doktorantka nie ustrzegła się drobnych błędów interpunkcyjnych i usterek w procesie składu tekstu jest to szczególnie widoczne w sekcji wykazu literatury, gdzie nie wyjustowano tekstu, a część pozycji została umieszczona bez zachowania kolejności alfabetycznej (np. s. 175: Bień Bieniek Bień Bledose Biernacki, itd.), ale w trakcie czytania pracy trudno doszukać się bardzo popularnych ostatnio w pracach doktorskich potocznych i niezrozumiałych sformułowań, błędów składu i korekty technicznej, błędów interpunkcyjnych i in. Tak wysoka jakość warsztatowa pracy upoważnia do stwierdzenia, że zarówno Autorka pracy, jak i jej Promotor bardzo rzetelnie podeszli do przygotowania rozprawy zarówno w sensie technicznym, jak i merytorycznym, o czym piszę w dalszej części recenzji. Przechodząc do analizy merytorycznej treści poszczególnych rozdziałów należy stwierdzić, że praca jest spójna, ciąg wywodów Doktorantki jest logiczny, a formułowane wnioski cząstkowe bazują na prezentowanych rozważaniach i potwierdzają sprawność Autorki w posługiwaniu się zastosowanymi narzędziami i metodami badawczymi. Autorka posługuje się także sprawnie wybranymi metodami prostej analizy efektywności procesów, a zaprezentowana autorska metodyka doskonalenia baz wiedzy systemów konwersacyjnych w oparciu o analizę treści rozmów biznesowych, zawiera klarowny opis procedury postępowania, bez istotnych zastrzeżeń metodologicznych. Dodatkowo Autorka stworzyła własną koncepcję pomiaru i oceny jakości baz wiedzy systemu konwersacyjnego na podstawie analizy treści 2
rozmów, opierając się na posiadanej wiedzy ekonomicznej oraz umiejętnie wykorzystując dostępne metody agregowania i analizy danych źródłowych. Doktorantka, odwołując się do dorobku różnorodnych autorów zagranicznych i krajowych ulokowała tematykę swojej pracy na styku kilku obszarów badań, w tym: zwiększenia trafności odpowiedzi udzielanych przez systemy konwersacyjne i doskonalenia zarządzania dialogiem, modelowania dialogu w celu zwiększenia wydajności prowadzonych przez SK rozmów, tworzenia narzędzi pozwalających na sprawniejsze budowanie SK oraz tworzenia baz wiedzy SK, analizy dzienników konwersacji i rozwoju narzędzi wspierających proces doskonalenia BW SK w oparciu o analizę treści rozmów. Wykazała się tym samym sprawnością w prowadzeniu analizy i syntezy literatury przedmiotu, choć w moim przekonaniu analizę tę należałoby wzbogacić przynajmniej o próbę odwołania do dorobku np. Jamesa Allena z Department of Computer Science, University of Rochester, NY (wskaźnik cytowań wg Harzing s Publish or Perish na podstawie Google Scholar blisko 90 000), Erica Horvitza z Adaptive Systems and Interaction Microsoft Research (wskaźnik cytowań ponad 31 000), czy Stephanie Seneff ze Spoken Language Systems Group przy Massachussets Institute of Technology (wskaźnik cytowań blisko 9 000), których prace poświęcone były m.in. architekturze systemów konwersacyjnych i baz danych SK, niepewności, użyteczności i błędom występującym w bazach danych SK, czy też np. narzędziom rozwoju architektury systemów konwersacyjnych, w tym GALAXY-II, opartemu na architekturze klient-server, umożliwiającej wykorzystanie dialogów języka mówionego do rozwoju autorskich aplikacji systemów konwersacyjnych. Autorka postawiła następującą tezę rozprawy: Analiza treści rozmów biznesowych (przebiegu konwersacji) z wykorzystaniem informatycznych metod (komputera) dostarcza wartościowej wiedzy, w oparciu o którą możliwe jest systematyczne doskonalenie BW SK (s. 8). Do merytorycznego brzmienia tej tezy odniosę się w końcowej części recenzji, natomiast obecnie stwierdzam, że teza ta została przez Doktorantkę dowiedziona w przeprowadzonych badaniach, analizach i prezentacjach. Autorka osiągnęła także założone cele, w tym: a) cel poznawczy, jakim było w szczególności rozpoznanie anomalii w bazach wiedzy SK, problemów projektowania, tworzenia, aktualizowania i rozbudowywania BW SK oraz ustalenie metod i narzędzi wykorzystywanych w doskonaleniu BW SK, b) cel metodologiczny opracowanie metod doskonalenia BW SK na podstawie analizy treści rozmów biznesowych, c) oraz cel utylitarny, tj. przedstawienie prototypu systemu wspierającego proces doskonalenia BW SK na podstawie analizy treści rozmów biznesowych, implementującego zaproponowane metody doskonalenia BW SK. Analizując zawartość rozprawy należy stwierdzić, że zarówno użyte metody badań, wykorzystany w procesie badawczym materiał źródłowy, badania empiryczne treści rozmów 46. SK dostępnych na polskich stronach WWW oraz 3. baz zawierających treści rozmów pozyskanych od rozmówców utworzonego SK SAGA, a także skonstruowany na podstawie proponowanych w pracy metod system ZUZA, wspomagający doskonalenie BW SK zapisanych w języku AIML, świadczą o sprawności Autorki w posługiwaniu się dostępnymi źródłami wiedzy oraz umiejętnością jej wykorzystania do realizacji własnych celów badawczych. Świadczą one o osiągnięciu przez Doktorantkę podstawowej samodzielności naukowej; są spójne ze sobą, i przyczyniają się realizacji założonych celów pracy oraz dostarczają dowodów naukowych na poparcie postawionej tezy pracy. Ewidentnym przykładem własnego wkładu Autorki do rozwoju nauki o zarządzaniu jest zaproponowana procedura doskonalenia BW, obejmująca: przygotowanie bazy wiedzy, wstępną analizę bazy, jej doskonalenie, uruchomienie systemu z udoskonaloną bazą wiedzy oraz ocenę postępów prac 3
udoskonalających i sformułowanie założeń metodycznych przyczyniających się do doskonalenia bazy wiedzy obejmujących m.in. analizę lingwistyczną, ocenę wiarygodności pobranych danych, metody wykrywania anomalii w BW SK, eliminacji konfliktów między kategoriami, itd. Dodatkowym walorem naukowym rozprawy jest także zaproponowanie przez Autorkę sposobu oceny jakości bazy wiedzy systemu konwersacyjnego z wykorzystaniem takich parametrów jak: odsetek udzielonych odpowiedzi, odsetek używanych reguł, liczba nieadekwatnych reakcji, czas trwania rozmowy i liczba przeprowadzonych rozmów, skuteczność systemu konwersacyjnego mierzona odsetkiem adekwatnych odpowiedzi, czy liczba powtórzeń reakcji systemu konwersacyjnego i wypowiedzi rozmówców. Autorka dokonała dodatkowo weryfikacji użyteczności zaproponowanych metod doskonalenia baz wiedzy systemów konwersacyjnych opartego na analizie treści rozmów biznesowych, umiejętnie wyciągnęła wnioski z tej analizy, zaprezentowała logiczny wywód teoretyczny oraz stworzyła system komputerowy wspomagający doskonalenie BW SK, co tworzy z dysertacji opracowanie kompletne w sensie metodycznym i utylitarnym. Wskazała także obszary do prowadzenia dalszych badań (further research), co świadczy o doskonałej znajomości poruszanej tematyki i umiejętności identyfikacji możliwości rozwoju zaproponowanych rozwiązań. Recenzowana rozprawa (o objętości 206 stron zasadniczego tekstu wraz z wykazem literatury, spisami tabel i rysunków oraz załącznikiem w postaci szablonu projektowego systemu konwersacyjnego) ma przejrzystą i poprawną strukturę. Otwiera ją rozbudowany wstęp do problematyki badawczej (8 stron), w którym zamieszczono m.in. uzasadnienie podjęcia tematu, postawiono problem badawczy, określono cele i tezę dysertacji, metody i narzędzia badawcze, a także scharakteryzowano strukturę pracy. Treść rozprawy podzielono na 4 rozdziały, z których 2 mają charakter teoretyczny (rozdziały 1 i 2 łącznie 90 stron), a rozdziały 3 i 4 przejawiają charakter praktyczny, odwołują się do podmiotu badań i obejmują najistotniejszą część pracy, jaką jest prezentacja metod doskonalenia baz wiedzy systemów konwersacyjnych oraz weryfikacji użyteczności zaproponowanych metod doskonalenia baz wiedzy systemów konwersacyjnych opartego na analizie treści rozmów biznesowych. Konkludując, Doktorantka wie, gdzie leży problem badawczy; wie, co zamierza badać; wie także, jak to należy zrobić. Potwierdzają to zarówno sposób prowadzenia analizy, ciąg logicznych wywodów Autorki, sposób analizy wyników przeprowadzonych badań oraz spójność koncepcji zaproponowanej metody doskonalenia baz wiedzy systemów konwersacyjnych opartego na analizie treści rozmów biznesowych. Analiza treści rozprawy nasuwa kilka pytań o charakterze zarówno ogólnym, jak i szczegółowym: 1) Jaka jest efektywność ekonomiczna systemu konwersacyjnego opartego na analizie treści rozmów biznesowych; w jaki sposób, i przy wykorzystaniu wskaźników ekonomicznych (w kategorii kosztów i przychodów), można oszacować sens stworzenia, wdrożenia, utrzymania i rozwoju takiego systemu w praktyce działalności gospodarczej przedsiębiorstwa? 2) Przedstawione założenia metodyki doskonalenia baz wiedzy w oparciu o analizę treści rozmów biznesowych (procedura doskonalenia baz wiedzy rys. 7, s. 94), odwołują się do algorytmu weryfikacji struktury bazy wiedzy, zapewniającego poprawę jakości tej bazy. Autorka ad hoc przyjmuje ustalaną w algorytmie hierarchię postępowania, tj. przejście od usuwania błędów w kodzie poprzez usunięcie reguł nadmiarowych i sprzecznych, następnie usunięcie zapętleń, po utworzenie brakujących reguł. Czy przestawienie kolejności działań związanych z eliminacją reguł nadmiarowych, reguł sprzecznych i zapętleń może mieć wpływ na końcowy wynik weryfikacji struktury bazy wiedzy w aspekcie poprawy jej jakości? 3) O ile część parametrów zaproponowanych do oceny jakości BW SK jest stosunkowo łatwa do określenia, o tyle część z nich np. liczba powtórzeń reakcji systemu konwersacyjnego i wypowiedzi rozmówców jest relatywnie trudna w pomiarze z powodu np. dużej liczby kombinacji możliwych 4
wypowiedzi w trakcie konwersacji użytkownika i systemu konwersacyjnego. Czy, a jeśli tak, to w jaki sposób i ew. z wykorzystaniem jakich narzędzi, można zautomatyzować pomiar parametrów określających jakość BW SK? 4) Autorka, kończąc prezentację wniosków 1-5 w podrozdziale 4.5 (ss. 167-168) formułuje konkluzję, że: Komputerowo wspomagana analiza treści rozmów biznesowych wspiera proces doskonalenia BW SK. Czy stwierdzenie to, stanowiące jednocześnie dowód postawionej w pracy tezy nie jest truizmem? Czy istnieją argumenty, które mógłby przeczyć takiemu stwierdzeniu; czy można podać argumenty przemawiające za jego przeciwieństwem, tj., że: komputerowo wspomagana analiza treści rozmów nie wspiera procesu doskonalenia BW SK? 4. Wniosek końcowy Rozprawa doktorska powinna być potwierdzeniem dostrzegania przez Autorkę problemu badawczego i umiejętności jego rozwiązania. Autorka taką umiejętność posiada. Zaproponowała autorską metodę komputerowego wspomagania doskonalenia baz wiedzy systemów konwersacyjnych w oparciu o analizę treści rozmów biznesowych oraz przeprowadziła wiarygodne, poprawne metodycznie analizy, prowadzące do wniosku końcowego, potwierdzającego przyjętą tezę badawczą. Konkludując: praca pod względem metodycznym została napisana w sposób poprawny, treść dysertacji świadczy o istotnym poziomie wiedzy Autorki w zakresie analizy i badania wybranego obszaru interakcji człowiek-komputer i funkcjonowania komputerowych systemów konwersacyjnych oraz o dobrej znajomości literatury przedmiotu, na którą Autorka się powołuje, dysertacja zawiera elementy oryginalne, będące wkładem Doktorantki w rozwój wiedzy na temat budowy i doskonalenia baz wiedzy systemów konwersacyjnych znajdujących zastosowanie w działalności organizacji gospodarczych, w tym również metod pomiaru jakości baz wiedzy i tworzenia narzędzi komputerowych wspomagających doskonalenie jakości tych baz. Uwzględniając powyższe uwagi uznaję, że recenzowana rozprawa doktorska mgr Agnieszki Janas spełnia wymogi stawiane rozprawom doktorskim w obowiązującej Ustawie o tytule naukowym i stopniach naukowych z dnia 14 marca 2003 r.; artykuł 13; ustępy 1-2 (DZ.U. Nr 65/2003 r., poz.595, z późn. zm.), tj. w szczególności stanowi oryginalne rozwiązanie problemu naukowego, wykazuje ogólną wiedzę teoretyczną Kandydatki w dyscyplinie nauki o zarządzaniu oraz umiejętność samodzielnego prowadzenia pracy naukowej. Dlatego rekomenduję Wysokiej Radzie Wydziału Informatyki i Komunikacji Uniwersytetu Ekonomicznego w Katowicach przedstawienie rozprawy do publicznej obrony. 5