Zadanie 3.: Klasyfikacje

Transkrypt

1 Informatyka, studia dzienne, inż. I st. semestr VI Inteligentna Analiza Danych 2/2 Prowadzący: dr inż. Arkadiusz Tomczyk wtotek, 8:3 Data oddania: Ocena: Marek Rogalski 5982 Paweł Tarasiuk 52 Zadanie 3.: Klasyfikacje. Cel Celem zadania jest szersze poznanie zachowania perceptronu wielowarstwowego w przypadku pracy na danych zredukowanych i przetransformowanych. Większą uwagę należy zwrócić na dobór cech za pomocą których uczy się sieć. Ich dobór oraz wstępne przetwarzanie mogą polegać na redukcji ilości cech poprzez eliminację wybranych atrybutów bądź redukcję z pomocą sieci wielowarstwowego perceptronu uczonego w trybie autoasocjacji. Kolejnym ważnym elementem jest wizualizacja granic decyzyjnych wytrenowanego klasyfikatora. Ma to na celu zobrazowanie podziału przestrzeni klasyfikacyjnej dokonywanej przez klasyfikator. 2. Zmiany w projekcie W celu osiągnięcia założonego efektu, w kodzie, oraz układzie projektu poczyniliśmy szereg zmian. Obejmowały one korekty błędów, oraz wprowadzanie nowych funkcjonalności w postaci: Rozszerzenie kroniki nauki sieci o bardziej szczegółową prezentację błędów czynionych przez sieć w kolejnych epokach. Dodanie możliwości automatycznego zakończenia nauki sieci dzięki wprowadzeniu obsługi zbioru walidacyjnego. 42 SVN:

2 Dodanie możliwości nauki sieci w trybie autoasocjacji, a następnie redukcji zbioru atrybutów do zbioru wyjść warstwy ukrytej sieci. Przygotowanie narzędzi pomagających w wizualizacji obszarów decyzyjnych wytrenowanego klasyfikatora. Wprowadzone zmiany nie naruszają wcześniej ustanowionej architektury programu. Wciąż funkcjonuje program w języku C++ realizujący model wielowarstwowego perceptronu. Informacje zwracane przez program kontrolowane są poprzez parametry podawane w wierszu poleceń. Poza programem działa zestaw skryptów w języku Python zajmujących się przetwarzaniem wstępnym, oraz zarządzaniem plikami tworzonymi przez program. Generowaniem wykresów sterują skrypty progarmu Gnuplot uruchamiane w odpowiedniej kolejności przez program make. 3. Przebieg doświadczeń Pierwsza część badań polegała na wytrenowaniu klasyfikatora dla zbiorów Abalone Data Set, oraz Census Income Data Set. Wyniki klasyfikacji należy porównać z wnioskami z poprzedniego zadania. Druga część badań polegała na dokładniejszym zbadaniu wpływu, jaki wywierają różne metody redukcji zbioru atrybutów na skuteczność sieci wielowarstwowego perceptronu. Zestaw Abalone podzieliliśmy na siedem klas o równomiernie rozłożonych parametrach, a następnie dokonywaliśmy prób klasyfikacji z wykorzystaniem różnych zestawów parametrów. Dla zachowanie spójności z drugą częścią badawczą, przygotowany tu zestaw był wykorzystywany również w dalszym toku doświadczeń, do przeprowadzania redukcji i transformacji atrybutów. Sieć trenowana była aż uśredniony na czterdziestu epokach błąd zbioru walidacyjnego nie przewyższył któregoś z uśrednionych błędów epok zbioru walidacyjnego sprzed co najmniej czterdziestu epok. Zbiór testowy, sprawdzany po wytrenowaniu sieci, stanowił zawsze losową próbę % dostępnych danych. 4. Wyniki - część badawcza I Klasyfikacja zestawu Abalone - wysokie współczynniki nauki project/bin/app -u" 7" -n -m -b -d abalone/abalone.in -t abalone/abalone.test -a abalone/abalone.valid -r --lt,6. Podczas klasyfikacji z wykorzystaniem wysokich wartości współczynników nauki i momentum osiągnęliśmy następującą zależność numeru epoki od błędu: 2

3 Spośród 47 przypadków testowych, prawidłowo sklasyfikowanych zostało 273, natomiast błędnie, 44. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 65%. Klasyfikacja zestawu Abalone 2 - niskie współczynniki nauki project/bin/app -u" 7" -n. -m. -b -d abalone/abalone.in -t abalone/abalone.test -a abalone/abalone.valid -r --lt,. Podczas klasyfikacji z wykorzystaniem niskich wartości współczynników nauki i momentum osiągnęliśmy następującą zależność numeru epoki od błędu: Spośród 47 przypadków testowych, prawidłowo sklasyfikowanych zostało 277, natomiast błędnie, 4. Skuteczność klasyfikacji przy siedmiu klasach 3

4 wyniosła 66%. Klasyfikacja zestawu Adult - wysokie współczynniki nauki project/bin/app -u"5 2" -n -m -b -d adult/adult.in -t adult/adult.test -a adult/adult.valid -r --lt,6. Podczas klasyfikacji z wykorzystaniem wysokich wartości współczynników nauki i momentum osiągnęliśmy następującą zależność numeru epoki od błędu: Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 253, natomiast błędnie, 485. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 84%. Klasyfikacja zestawu Adult 2 - niskie współczynniki nauki project/bin/app -u"5 2" -n. -m. -b -d adult/adult.in -t adult/adult.test -a adult/adult.valid -r --lt,. Podczas klasyfikacji z wykorzystaniem niskich wartości współczynników nauki i momentum osiągnęliśmy następującą zależność numeru epoki od błędu: 4

5 Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 2536, natomiast błędnie, 48. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 84%. 5. Wyniki - część badawcza II Transformacja atrybutów zestawu Iris do pary atrybutów project/bin/app -u"4 2 4" -n. -m. -b -d iris/iris.in -a iris/iris.valid -r --reduce,.../workdir/reduce_iris_to_2.pdf Transformacja atrybutów zestawu Abalone do pary atrybutów project/bin/app -u" 2 " -n. -m. -b -d abalone/abalone.in -a abalone/abalone.valid -r --reduce,. 5

6 Transformacja atrybutów zestawu Abalone do siedmiu atrybutów project/bin/app -u" 7 " -n. -m. -b -d abalone/abalone.in -a abalone/abalone.valid -r --reduce, Transformacja atrybutów zestawu Adult do pary atrybutów project/bin/app -u"5 2 5" -n. -m. -b -d adult/adult.in -a adult/adult.valid -r --reduce,. 6

7 ../workdir/reduce_adult_to_2.pdf Transformacja atrybutów zestawu Adult do dziesięciu atrybutów project/bin/app -u"5 5" -n. -m. -b -d adult/adult.in -a adult/adult.valid -r --reduce,.../workdir/reduce_adult_to_.pdf Klasyfikacja zestawu Iris zredukowanego do pary atrybutów - duże współczynniki nauki project/bin/app -u"2 6 3" -n -m -b -d iris r2.in -t iris r2.test -a iris r2.valid -r -z iris r2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: 7

8 Setosa Versicolor Virginica Spośród 5 przypadków testowych, prawidłowo sklasyfikowanych zostało 5, natomiast błędnie,. Skuteczność klasyfikacji przy trzech klasach wyniosła %. Klasyfikacja zestawu Iris zredukowanego do pary atrybutów - niskie współczynniki nauki project/bin/app -u"2 6 3" -n. -m. -b -d iris r2.in -t iris r2.test -a iris r2.valid -r -z iris r2 2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: 8

9 Setosa Versicolor Virginica Spośród 5 przypadków testowych, prawidłowo sklasyfikowanych zostało 5, natomiast błędnie,. Skuteczność klasyfikacji przy trzech klasach wyniosła %. Klasyfikacja zestawu Iris obciętego do pary atrybutów - duże współczynniki nauki project/bin/app -u"2 6 3" -n -m -b -d iris t2.in -t iris t2.test -a iris t2.valid -r -z iris t2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: 9

10 Setosa Versicolor Virginica Spośród 5 przypadków, prawidłowo sklasyfikowanych zostało 5, natomiast błędnie,. Skuteczność klasyfikacji przy trzech klasach wyniosła %. Klasyfikacja zestawu Iris obciętego do pary atrybutów - niskie współczynniki nauki project/bin/app -u"2 6 3" -n. -m. -b -d iris t2.in -t iris t2.test -a iris t2.valid -r -z iris t2 2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres:

11 Setosa Versicolor Virginica Spośród 5 przypadków, prawidłowo sklasyfikowanych zostało 4, natomiast błędnie,. Skuteczność klasyfikacji przy trzech klasach wyniosła 93%. Klasyfikacja zestawu Abalone zredukowanego do pary atrybutów - duże współczynniki nauki project/bin/app -u"2 7" -n -m -b -d abalone r2.in -t abalone r2.test -a abalone r2.valid -r -z abalone r2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres:

12 Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 259, natomiast błędnie, 58. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 62%. Klasyfikacja zestawu Abalone zredukowanego do pary atrybutów - niskie współczynniki nauki project/bin/app -u"2 7" -n. -m. -b -d abalone r2.in -t abalone r2.test -a abalone r2.valid -r -z abalone r2 2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: 2

13 Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 258, natomiast błędnie, 59. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 62%. Klasyfikacja zestawu Abalone zredukowanego do siedmiu atrybutów - duże współczynniki nauki project/bin/app -u"7 7" -n -m -b -d abalone r7.in -t abalone r7.test -a abalone r7.valid -r -z abalone r7.wagi --lt, Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 287, natomiast błędnie, 3. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 69%. 3

14 Klasyfikacja zestawu Abalone zredukowanego do siedmiu atrybutów - niskie współczynniki nauki project/bin/app -u"7 7" -n. -m. -b -d abalone r7.in -t abalone r7.test -a abalone r7.valid -r -z abalone r7 2.wagi --lt, Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 293, natomiast błędnie, 24. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 7%. Klasyfikacja zestawu Abalone obciętego do siedmiu atrybutów - duże współczynniki nauki project/bin/app -u"7 7" -n -m -b -d abalone t7.in -t abalone t7.test -a abalone t7.valid -r -z abalone t7.wagi --lt,6. 4

15 Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 272, natomiast błędnie, 45. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 65%. Klasyfikacja zestawu Abalone obciętego do siedmiu atrybutów - niskie współczynniki nauki project/bin/app -u"7 7" -n. -m. -b -d abalone t7.in -t abalone t7.test -a abalone t7.valid -r -z abalone t7 2.wagi --lt, Spośród 47 przypadków, prawidłowo sklasyfikowanych zostało 268, natomiast błędnie, 49. Skuteczność klasyfikacji przy siedmiu klasach wyniosła 64%. 5

16 Klasyfikacja zestawu Adult zredukowanego do pary atrybutów - duże współczynniki nauki project/bin/app -u"2 2" -n -m -b -d adult r2.in -t adult r2.test -a adult r2.valid -r -z adult r2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: >5K <=5K Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 2267, natomiast błędnie, 749. Skuteczność klasyfikacji przy dwóch klasach wyniosła 75%. 6

17 Klasyfikacja zestawu Adult zredukowanego do pary atrybutów - niskie współczynniki nauki project/bin/app -u"2 2" -n. -m. -b -d adult r2.in -t adult r2.test -a adult r2.valid -r -z adult r2 2.wagi --lt, Obszary decyzyjne wytrenowanego klasyfikatora przedstawia ponadto poniższy wykres: >5K <=5K Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 237, natomiast błędnie, 645. Skuteczność klasyfikacji przy dwóch klasach wyniosła 79%. 7

18 Klasyfikacja zestawu Adult zredukowanego do dziesięciu atrybutów - duże współczynniki nauki project/bin/app -u" 2" -n -m -b -d adult r.in -t adult r.test -a adult r.valid -r -z adult r.wagi --lt, Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 2449, natomiast błędnie, 567. Skuteczność klasyfikacji przy dwóch klasach wyniosła 8%. Klasyfikacja zestawu Adult zredukowanego do dziesięciu atrybutów - niskie współczynniki nauki project/bin/app -u" 2" -n. -m. -b -d adult r.in -t adult r.test -a adult r.valid -r -z adult r 2.wagi --lt,. 8

19 Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 2457, natomiast błędnie, 559. Skuteczność klasyfikacji przy dwóch klasach wyniosła 8%. Klasyfikacja zestawu Adult obciętego do stu czterech atrybutów - duże współczynniki nauki project/bin/app -u"4 2" -n -m -b -d adult t4.in -t adult t4.test -a adult t4.valid -r -z adult t4.wagi --lt, Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 254, natomiast błędnie, 475. Skuteczność klasyfikacji przy dwóch klasach wyniosła 84%. 9

20 Klasyfikacja zestawu Adult obciętego do stu czterech atrybutów - niskie współczynniki nauki project/bin/app -u"4 2" -n. -m. -b -d adult t4.in -t adult t4.test -a adult t4.valid -r -z adult t4 2.wagi --lt, Spośród 36 przypadków, prawidłowo sklasyfikowanych zostało 2548, natomiast błędnie, 468. Skuteczność klasyfikacji przy dwóch klasach wyniosła 84%. 6. Dyskusja wyników i wnioski 6.. Błędy epok Błędy epok prezentowane na wykresach w sekcji Wyniki stanowią średnią sumy kwadratów błędów ze wszystkich wyjść sieci. Z tego powodu zachodzi dysproporcja, zwłaszcza w przypadku testów autoasocjacji zestawu Adult ze 5 wyjściami błędy wynoszą nawet 2%, podczas gdy w innych przypadkach testowych, stanowią po kilka procent. Nie jest to błąd, a jedynie różnica zestawów danych, na która trzeba wziąść poprawkę przy ocenie ich wyników Podział danych na klasy W zbiorze danych Abalone podziału dokonaliśmy równomiernie wg. ilości pierścieni, przez co niektóre z klas zawierały jedynie po kilka elementów. Te klasy zostały bardzo słabo rozpoznane przez sieć. Jak widać na wykresach Klasyfikacja zestawu Abalone i Klasyfikacja zestawu Abalone 2, sieć wysyca się osiągając średni błąd w zbiorze walidacyjnym ok. 3%. Nie jest to mało, zwłaszcza w porównaniu z błędem maksymalnym, który w tym 2

21 przypadku wynosi 9%. Działanie takiego klasyfikatora można łatwo wyjaśnić. Minimalizuje on błąd poprzez skuteczniejsze rozpoznawanie często występujących klas. Błędy wynikające się z pojawienia rzadziej występującej klasy są przez to skutecznie kompensowane. Perceptron wielowarstwowy minimalizuje błędy na swoich wyjściach nie biorąc pod uwagę ich współzależności takich jak na przykład korelacja, czy częstsze występowanie określonych wartości. W celu ich uniknięcia należy w odpowiedni sposób zbudować przetwarzane zbiory danych Współczynniki nauki, a obszary decyzyjne Choć prowadzenie nauki przy dwóch różnych wartościach współczynnika nauki i momentum miało na celu wprowadzenie pewnej redundantności niezbędnej przy badaniu zjawisk losowych, ujawniło ono jedną z cech powstałych w wyniku ich działania na kształt obszarów decyzyjnych. Obszary decyzyjne utworzone przy wyższych wartościach współczynników nauki, pomimo mniejszej liczby przebytych epok, miały wyraźną tendencję do ostrzejrzego rozgraniczania separowanych klas. Widać to na wykresach w postać większej stromizny i krzywizny powierzchni kreślonych przez neurony wyjściowe odpowiednich klas w sieciach uczonych przy dużych wartościach współczynnika nauki i momentum Adaptacyjna nauka sieci za pomocą zbioru walidującego W prezentowanych przypadkach długość nauki była kierowana za pomocą badania błędu zbioru walidacyjnego. Metoda ta posiada wyraźną przewagę w stosunku do liczenia epok i mierzenia średniego błędu zbioru testowego. Po pierwsze, dostosowuje się do zbioru danych. Oszacowanie z góry minimalnego błędu, jaki będzie w stanie osiągnąć sieć może być bardzo trudne. Jeszcze trudniejsze okazuje się takie samo oszacowanie, ale dla ilości epok jakiej sieć będzie potrzebować na naukę. Sytuacja komplikuje się tym bardziej, gdy pod uwagę weźmiemy zjawisko przeuczania. Osiągnięcie dostatecznie małego błędu na zbiorze treningowym może nie oznaczać lepiej uogólniającej sieci. Wprowadzenie zbioru walidującego pozwala w miarę jednorodny sposób decydować o dalszej nauce sieci w różnych przypadkach (wciąż pozostaje kwestia uodpornienia nowego wyznacznika na szumy i lokalne minima) Podział zbioru danych na zbiory treningowy, walidacyjny i testowy Mając do dyspozycji zbiór danych, odpowiedni podział na zbiory treningowy, walidacyjny i testowy wymaga jednorodnego podziału, w którym każda rozpoznawana klasa będzie reprezentowana we wszystkich zbiorach. Test Klasyfikacja zestawu Iris obciętego do pary atrybutów - niskie współczynniki nauki jest dobrym przykładem niedostatecznie dużej ilości danych w zbiorze walidacyjnym. Już od początku działania sieci widać, że osiąga on mniejsze błędy niż zbiór treningowy. Spowodowane jest to trudnymi przypadkami, które trafiły do zbioru treningowego, a których zabrakło w zbiorze 2

22 walidacyjnym. Radzi się by na zbiór walidacyjny wybierać, zależnie od wielkości danych, od 3%, do %. W naszym przypadku, zastosowaliśmy zbiory testowy i walidacyjny, każdy o rozmiarze % dostępnych danych. Obecność zbioru walidacyjnego może posłużyć w dwóch celach: do kontroli długości nauki, oraz do unikania przeuczania się sieci. Ocena na zbiorze testowym jest kolejnym potwierdzeniem, że sieć nie została przeuczona Redukcja, a odrzucanie atrybutów W badanych przez nas przypadkach redukcji dokonywaliśmy poprzez trenowanie trzywarstwowej sieci w trybie autoasocjacji, oraz poprzez odrzucenie niektórych atrybutów. W przypadku zbioru Iris, przeprowadziliśmy redukcję i odrzucenie dwóch atrybutów. Redukcji dokonała sieć 4-2-4, pozwalając zredukowany zbiór skutecznie klasyfikować (patrz: Klasyfikacja zestawu Iris zredukowanego do pary atrybutów - duże współczynniki nauki i Klasyfikacja zestawu Iris zredukowanego do pary atrybutów - niskie współczynniki nauki ). Odrzucając, zdecydowaliśmy się na odrzucenie pierwszych dwóch atrybutów, sepal length i sepal width, pozostawiając te, które przy pracach nad pierwszym zadaniem, zdawały się lepiej pokazywać różnicę między trzema klasami. W istocie, gdyby spojrzeć z góry na wykres Klasyfikacja zestawu Iris obciętego do pary atrybutów, przedstawiałby on fragment wykresu Petal Width x Petal Length. W przypadku zbioru Abalone, przeprowadziliśmy dwie redukcje, oraz jedno odrzucenie. Pierwsza z redukcji, do dwóch parametrów pokazuje obszary decyzyjne wytrenowanego klasyfikatora. Druga redukcja, do siedmiu parametrów służy jako porównanie z odrzuceniem trzech atrybutów. W tym przypadku odrzucono atrybuty zawierające informacje o płci małży. Wyniki klasyfikacji (testy Klasyfikacja zestawu Abalone zredukowanego do siedmiu atrybutów, oraz Klasyfikacja zestawu Abalone obciętego do siedmiu atrybutów ) pokazują wyższą skuteczność danych przetworzonych przez sieć perceptron: 7%, do 65%. W przypadku zestawu Adult, przeprowadziliśmy dwie redukcje, oraz jedno odrzucenie. Pierwsza z redukcji, do dwóch parametrów, pokazuje obszary decyzyjne wytrenowanego klasyfikatora. Druga redukcja, do dziesięciu parametrów pokazuje, że zbiór danych, nawet ponad dziesięciokrotnie zredukowany jest w stanie być tylko niewiele gorszy niż zbiór niezredukowany. Dużą rolę gra tutaj oczywiście redundantność wejść w zbiorze Adult, jednak pokazuje przy okazji skuteczność wielowarstwowego perceptronu w redukcji. Ostatni przypadek pokazuje działanie sieci przy odrzuceniu parametru informującego o wieku respondenta. Choć w przypadku zarobków, wiek może być dość istotny, sieć nauczyła się rozpoznawać właściwą klasę z dużą skutecznością (84%). Minimalnie wyższa skuteczność względem przypadku bez obciętych danych jest świadectwem losowości stanu początkowego sieci i jego wpływu na końcowe wyniki. Początkowe wartości wag mogą mieć duży wpływ na końcową skuteczność 22

23 sieci (zwłaszcza podczas autoasocjacji). Warto przetrenować sieć z kilku losowych stanów aby osiągnąć sieć o lepszej skuteczności. Literatura [] Ryszard Tadeusiewicz - Sieci neuronowe, Wyd. 2., Warszawa 993 [2] Learning and neural networks [ Learning_and_neural_networks] [3] UCI Machine Learning Repository Iris Data Set, Abalone Data Set, Census Income Data Set 23