Recenzja rozprawy doktorskiej mgr inż. Szymona Lechwara

Transkrypt

1 Katowice, r. Recenzja rozprawy doktorskiej mgr inż. Szymona Lechwara pt. Opracowanie wizyjnego klasyfikatora wad powierzchni związanych z występowaniem zgorzeliny w procesie walcowania blach na gorąco Recenzja została opracowana za zlecenie Rady Wydziały Inżynierii Metali i Informatyki Przemysłowej AGH w Krakowie, uchwała z dnia r. Ocena wyboru tematu, tezy i celu pracy Praca dotyczy ważnej i aktualnej problematyki zastosowania metod sztucznej inteligencji (SI), które coraz powszechniej stają się w pełni użytecznymi i profesjonalnymi narzędziami informatycznymi. W szczególności wzrasta ilość ich praktycznych zastosowań w różnych dziedzinach. Ukierunkowanie opiniowanej pracy na zastosowanie SI do klasyfikowania wad powierzchni blach walcowanych na gorąco, jest zgodne z kierunkami badań prowadzonych na świecie. Ogromna ilość prac naukowych pojawiająca się na świecie w obszarze, zarówno teorii jak i zastosowań, metod sztucznej inteligencji świadczy o aktualności i ważności tej problematyki, ale także o tym że wiele zagadnień jest wciąż otwartych i oczekujących na rozwiązanie. Praca doktorska mgr inż. Szymona Lechwara mieści się w tym nurcie badawczym. Podjęta przez niego tematyka jest niewątpliwie ważna zarówno pod względem poznawczym, jak i utylitarnym. W związku z tym wybór tematu i przyjęty zakres rozprawy uważam za właściwy. Teza dysertacji została wyrażona w sposób jawny. Autor twierdzi, że zastosowanie hybrydowej klasyfikacji z wykorzystaniem metod sztucznej inteligencji pozwoli na znaczącą poprawę jakości klasyfikacji wad typu zgorzelina występujących w badanym procesie. Tak postawiona teza pracy nie budzi zastrzeżeń. Przedstawione przez autora wybrane wyniki klasyfikacji za pomocą systemu ASIS (tab.6.1) wskazują na niską jakość klasyfikacji systemowej. Dlatego jest prawie pewne, ze zastosowanie dodatkowego klasyfikatora poprawi jakość klasyfikacji.

2 Autor formułuje również dwa główne cele pracy, tj.: opracowanie hybrydowego klasyfikatora, porównanie obecnego stanu oceny jakości powierzchni blach i taśm do stanu po zastosowaniu opracowanego klasyfikatora. Z pewnością można stwierdzić, że zrealizowano cel dotyczący analizy porównawczej jakości klasyfikacji, natomiast pozostałe jedynie częściowo (opracowanemu klasyfikatorowi daleko do optymalności). Mimo przedstawionych uwag, co do stopnia realizacji celów pracy należy stwierdzić, że ich treść dobrze oddaje zakres rozprawy. Ocena wartości naukowej pracy Pierwsza część pracy (rozdz. 1 i 2) została poświecona opisowi stanu obecnego problematyki kontroli jakości blach i taśm oraz omówiono podstawy teoretyczne powstawania zgorzeliny w procesie walcowania stali na gorąco. Skoncentrowano się tu na opisie systemu ASIS do wizyjnej kontroli jakości powierzchni blach i taśm. Rozdział 2 przedstawia zagadnienia wykorzystania metod sztucznej inteligencji w przetwarzaniu i analizie obrazów. Autor prezentuje dobre rozeznanie literaturowe i jasno omawia podstawy teoretyczne rozpoznawania obrazów. Omawiana jest również problematyka wykorzystania metod sztucznej inteligencji w systemach typu ASIS, ze szczególnym uwzględnieniem klasyfikacji wad typu zgorzelina. Na podstawie wniosków wyciągniętych w tej części pracy możliwe było sformułowanie tezy oraz celów pracy prezentowanych w rozdziale 3. Ta część pracy napisana jest dość dobrze i syntetycznie. Dobór i wykorzystanie źródeł jest właściwe. W rozdziale 4 opisano przyjęta metodykę badań. Przedstawiono procedurę budowy systemu hybrydowej klasyfikacji. Przeanalizowano występowanie braków danych, występowanie cech o małej zmienności, postępowanie z wartościami odstającymi oraz transformacje zmiennych wejściowych. Omówiono metodykę wydobywania danych z bazy systemu ASIS oraz sposób przygotowania ciągów uczących. Dokonano przeglądu i wyboru oprogramowania wspomagającego proces klasyfikacji. Opracowana metodyka badań jest poprawna, a wybrane oprogramowanie jest jednym z najczęściej stosowanych do tego typu badań na świecie. Druga część pracy (rozdz. 5-8) zawiera wyniki badań własnych doktoranta. Autor najpierw, z ogromnej liczny różnych wad powierzchni klasyfikowanych przez system ASIS, wybiera osiem oddzielnych klas wad typu zgorzelina. 7 klas podlegało bezpośredniej klasyfikacji w pojedynczym akcie decyzyjnych, a ósma klasa, zgorzelina pasmowa, miała być 2

3 klasyfikowana wieloetapowo, wg. algorytmu zaproponowanego przez autora. Tak więc, opracowany system miał rozpoznawać tylko siedem typów wad. Dla opracowania modelu klasyfikacyjnego dokonano selekcji cech (840 cech przypisywał do każdego obrazu system ASIS). Przyjęto, że cechy których odchylenie standardowe było mniejsze lub równe 0,08 były nadmiarowe. Usuwanie zmiennych na podstawie odchylenia standardowego nie jest właściwą metodą, gdyż odchylenie standardowe jest funkcją liniowo zależną od skali. Byłoby lepiej, gdyby najpierw dokonano normalizacji atrybutów, ale niestety w ramach wstępnej redukcji cech nie dokonano żadnych przekształceń i transformacji. W kolejnym kroku usunięto silnie skorelowane cechy o korelacji większej lub równej 0,95. Nie wiadomo jednak, czy usunięte zostały obydwie skorelowane cechy, czy jedna z nich. Cała ta operacja nie jest jednak w ogóle potrzebna, gdyż dalej autor dokonuje redukcji wymiarowości zagadnienia, w której to metodzie cechy silnie skorelowane zostaną automatycznie usunięte. Autor do redukcji wymiarowości stosuje metodę PCA. Wyniki na rys.29 mają potwierdzać odrzucenie przez autora metody redukcji wymiarowości w oparciu o grupowanie cech. Wniosek taki trudno jest uzasadnić w oparciu o zamieszczone wyniki. Trudno bowiem potwierdzić lub odrzucić tę hipotezę, gdy na wykresie brak informacji o występujących odchyleniach standardowych. Może się bowiem okazać, że widoczne różnice są jedynie błędami procesu testowania. Tym bardziej, że przy tak niskim poziomie klasyfikacji (ok. 50%) odchylenia standardowe mogą być duże. Jeśli autor chciał już koniecznie odrzucić metody redukcji wymiarowości lepiej byłoby do porównania rezultatów zastosować podejście oparte na testowaniu hipotez statystycznych. Poza tym, jeśli chcemy porównać dokładności uzyskane na zredukowanych cechach z oryginalnymi (str.86) powinny być przeprowadzone testy na wszystkich 840 cechach, gdyż przez arbitralną selekcję autor mógł usunąć cechy istotne. Najważniejsza niejasność wynika z braku informacji, czy autor przeprowadził normalizację cech przed ich grupowaniem. W sposób istotny wpłynie to na późniejsze działanie klasyfikatora. Przeprowadzona w rozdz i dalszych selekcja cech wymaga dodatkowych wyjaśnień. Po pierwsze, sposób podziału zbioru danych na część treningową i testową może istotnie wpłynąć na dokładność klasyfikacji. Autor stwierdza, że przydzielono cechom odpowiednie wagi, brak jednak informacji, czy zrobiono to tylko na części treningowej, czy na całym zbiorze danych, przed dokonaniem podziału. Ta różnica ma istotny wpływ na jakość wyników. Duże zastrzeżenia budzi selekcja cech przeprowadzona z wykorzystaniem algorytmu SVM (rozdz.6.4.3). Przyjęcie c=0.0 i γ=0.0 powoduje, że funkcja jądrowa (autor 3

4 przyjął gaussowską) jest stała ( 1) i brak jest regularyzacji. C jest stałą, zadaną przez użytkownika, zmieniającą udział błędu uczenia w stosunku do wielkości wektora wag. Wzrost c karze duże błędy, więc w konsekwencji prowadzi do poprawy dokładności klasyfikacji. Przyjęcie c=0 powoduje, że możliwa jest minimalizacja wektora wag przy dużych błędach. Brak również, w dalszym ciągu pracy, informacji przy jakich wartościach wymienionych parametrów był stosowany SVM w podejściu filter. Zastrzeżenia budzi także przyjęcie w podejściu wrapper 13 cech (80% dokładności), skoro przy 18 cechach dokładność wynosi 92%. Selekcję cech w podejściu filter przeprowadzono na wszystkich przykładach uczących, natomiast powinna być wykonana tylko na danych treningowych (prowadzi to do przeszacowania wyników). Optymalizacja parametru ε (rozdz.6.5.1), to także przykład niewłaściwego zastosowania algorytmu SVM. Epsilon to kryterium stopu procesu optymalizacji. Ustawianie tego parametru na duże wartości (do 2000) oznacza, że algorytm praktycznie natychmiast skończy swoje działanie. W całej pracy nie można się doszukać informacji, czy dane były znormalizowane. Ten element będzie miał bardzo duży wpływ na jakość predykcji SVM, bo jeśli atrybuty nie były znormalizowane do wyniki są mało wiarygodne. Całość badań przeprowadzonych z wykorzystaniem algorytmu SVM wskazuje na wiele braków i niejasności i wymaga dodatkowych wyjaśnień. Selekcja cech przeprowadzona z wykorzystaniem modeli ANN i DT budzi podobne zastrzeżenia jak w przypadku modelu SVM. Jednym z najważniejszych parametrów architektury sztucznych sieci neuronowych jest liczba neuronów ukrytych. Autor podobnie jak w przypadku SVM przyjmuje dyfoltowe wartości występujące w oprogramowaniu RapidMiner, nie próbując nawet optymalizować ich. Jeśli wyniki przedstawione na rys.31 uzyskano robiąc selekcję na całym zbiorze danych, a model klasyfikacyjny sprawdzając jedynie na danych testowych, to oznacza że wyniki te są przeszacowane. Autor myli także bias (str.90, 97) z neuronami wejściowymi (jeśli mamy 6 cech to mamy również 6 neuronów wejściowych). Tzw. węzeł progowy to nic innego jak wyraz wolny lub bias w neuronach sieci neuronowej. Autorzy RapidMinera dodali wyraz wolny w postaci dodatkowego neuronu, na wejściu którego zawsze jest wartość równa 1. W rozdz autor optymalizuje liczbę cykli uczenia. Liczba cykli może być jedynie dodatkowym warunkiem zakończenia uczenia, po osiągnięciu odpowiedniej dokładności. Przecież jeśli przyjmiemy zbyt małą liczbę epok uczenia (cykli), to sieć w ogóle się nie nauczy, a jeśli zbyt dużą to nastąpi przeuczenie (ang. overtraining). Potwierdzają to wyniki z rys.36. Widoczne różnice to efekt zwykłych fluktuacji i wyboru punktu startu sieci, a nie wpływu zmian parametrów modelu. 4

5 Z kolei stosowanie selekcji cech z wykorzystaniem drzew decyzji ma niewielkie zastosowanie praktyczne, gdyż drzewa decyzji same wybierają podzbiór cech na etapie budowy drzewa. Drzewa decyzji należą do tak zwanych metod wbudowanych selekcji cech, gdzie selekcja cech jest wbudowana w model uczący się. Również przyjęte w rozdz podejście budzi zastrzeżenia. Nazwane przez autora min. wzmocnienie (ang. min. gain) oznacza, że nowy węzeł zostanie wygenerowany, gdy zysk informacyjny z jego powstania będzie większy, niż wartość tego parametru. Ustawianie go na 0 lub100 raczej nie ma sensu. Interesujące byłoby raczej wyjaśnienie osiągniętego wyniku, że dla jedynie 2 cech wejściowych jakość i precyzja klasyfikacji wyniosła 88.4% (str.106). Co to za cechy i jak wyglądało drzewo? Ogólnie uwagi dotyczące drzew decyzji jako klasyfikatorów można przedstawić następująco. Drzewa decyzji mogą jedynie robić cięcia na pojedynczych cechach - tak samo działają też drzewa wzmacniane. Powoduje to, że jeśli dane których używał autor są typu obraz (zdjęcie) (lub cechy wyekstrahowane ze zdjęcia) to drzewa są kiepskim klasyfikatorem (do danych typu obraz używa się modeli "patrzących" na wiele atrybutów razem np. SVM, MLP, knn itp.). Dzieję się tak dlatego, że w danych tego typu zwykle konieczne jest wystąpienie wielu wartości jednocześnie, aby decyzja była jednoznaczna. Robiąc podział na jednym naraz atrybucie, nie jesteśmy tego w stanie wyłapać. Co więcej, różnice na pojedynczym atrybucie mogą być wynikiem błędów pomiarowych, co spowoduje że drzewo przy zastosowaniu standardowych kryteriów ma problem, aby wybrać dobry atrybut do wykonania cięcia. Zbudowane modele DT wyglądają na przeuczone. Nie przeprowadzono żadnych badań stabilności drzew. Drzewa są zwykle niezbyt stabilnymi klasyfikatorami (wymiana, czasem 1 wektora uczącego może prowadzić do zupełnie innego drzewa). Ocena opracowania redakcyjnego rozprawy Rozprawa została napisana w układzie typowym dla prac doktorskich. Na całość składa się 130 stron zasadniczego tekstu pracy, podzielonego na 8 rozdziałów, w tym 43 rysunki i spis literatury (nienumerowany). Dodatkowo pracę uzupełniono o trzy załączniki zawierające częściowe wyniki klasyfikacji. Redakcja rozprawy jest staranna, zamieszczone rysunki są dobrej jakości. Rozprawa zawiera niewiele błędów o charakterze edycyjnym. Na kilka jednak uchybień chce zwrócić uwagę, gdyż mogą one rzutować na dalsze publikacje autora: autor często powołuje się na wczesne prace z jakiegoś obszaru, w których pojawiały się po raz pierwszy pewne idee (np. Pearson 1901), (Pareto, 1935), natomiast w praktyce korzysta ze znacznie późniejszych, powstałych na ich podstawie opracowań, 5

6 często używane żargonowe sformułowanie ręczna (klasyfikacja, dobór i in.), przecież jednak nie w znaczeniu manualna, ale w znaczeniu nie automatyczna, używanie skrótów np.: model ANN, model DT itp. które pochodzą od nazw angielskich, a równocześnie obok pisanie pełnych nazw po polsku. Podsumowanie rozprawy i wnioski w ogólności potwierdzają uzyskane wyniki. Należy zgodzić się z autorem, że klasyfikator został zbudowany. Było to głównym celem pracy i przedmiotem pierwszej części tezy. Trudniej już zgodzić się, że jest to najlepszy z możliwych do zbudowania klasyfikatorów. Jak przedstawiono wyżej, autor nie przeprowadził optymalizacji badanych rozwiązań. W najlepszym razie można przyjąć, że opracowano pewien zarys metodyki hybrydowej klasyfikacji wad typu zgorzelina. Przeprowadzona natomiast w rozdz. 7 implementacja pozwoliła na wykonanie weryfikacji jakości klasyfikacji systemu hybrydowej klasyfikacji i porównanie stanu możliwości oceny wadliwości pasma przed i po wdrożeniu opisywanych w pracy rozwiązań. Uzyskane wyniki potwierdzają postawioną tezę pracy i drugi z celów pracy. Podsumowując chciałbym stwierdzić, że praca mimo pewnych braków, niedociągnięć i uproszczonej analizy modelowej wnosi pewne nowe elementy do problematyki inteligentnego modelowania procesów metalurgicznych. Doktorant wykazał przygotowanie, szczególnie od strony praktycznej, do modelowania procesów technologicznych związanych z metalurgią. Dla zrealizowania postawionej tezy poprawnie zaplanował badania, opracował modele i rozwiązał je. Umożliwiło mu to dokonanie analizy badanego procesu technologicznego. Ocena końcowa pracy Wykonana praca stanowi wkład Doktoranta w poznanie zjawisk i modelowanie z wykorzystaniem metod sztucznej inteligencji procesów metalurgicznych. Doktorant rozwiązał podjęte zadania badawcze. Opiniowana praca spełnia wymagania stawiane rozprawom doktorskim przez odnośne ustawy i na tej podstawie wnioskuje o dopuszczenie mgr inż. Szymona Lechwara do publicznej obrony rozprawy przed Radą Wydziału Inżynierii Metali i Informatyki Przemysłowej AGH w Krakowie. 6