Wydawnictwo Politechniki Poznanskiej

Transkrypt

1 Confusion matrix (test set): (a) (b) <-classified as 80 3 (a): class democrat 1 51 (b): class republican Credit > : bad (25.0/9.2) Credit <= : Status = 0DM: Duration <= 11 : good Uczenie (26.0/4.9) Duration > 11 : Age > 61 : good (8.0/2.4) Age <= 61 : Savings-account = less1000dm: maszynowe good (3.0/1.1) Savings-account = over1000dm: good (5.0/1.2) Savings-account = less100dm: Status = less-200dm: Job = unemployed-non-resident: i sieci good (5.0/1.2) IF A8 < AND A9 = T AND 5.50 < A11 < THEN DECISION = Y [68 0] IF A15 > THEN DECISION = Y [19 0] IF A2 > AND A4 = U AND A8 < AND A9 = T AND A14 < THEN DECISION = Y [ ] IF A3 > 1.79 AND A9 = T AND A15 > THEN DECISION = Y IF A6 = X AND 1.33 < A8 THEN DECISION = Y [1 IF A2 < AND A9 = T AND < A14 THEN DECISION = Y outlook temperature humidity sunny, 85,\ 85, false, no, age {young, prepresbyopic, spectacle -pr {myope, astigmatis ate {reduced, neuronowe Krzysztof Krawiec Jerzy Stefanowski Wydawnictwo Politechniki Poznanskiej

2 Spis tresci 3 Przedmowa Wybrane pojecia konstruowania systemów uczacych sie Wprowadzenie Na czym polega uczenie sie maszyn? Problemy rozwiazywane przez systemy uczace sie Reprezentacja przykladów uczacych Podzial metod maszynowego uczenia sie Uczenie nadzorowane oraz zasady konstruowania systemów klasyfikujacych Ocena systemów klasyfikujacych Miary oceny skutecznosci klasyfikowania obiektów Eksperymentalne oszacowanie skutecznosci klasyfikatora Uwagi literaturowe Indukcja drzew decyzyjnych Wprowadzenie Reprezentacja drzewa decyzyjnego Algorytm indukcji drzew decyzyjnych Konstruowanie drzew decyzyjnych dla zróznicowanych danych Inne miary wyboru atrybutów Binaryzacja drzew decyzyjnych Uwzglednianie niezdefiniowanych wartosci atrybutów Przebieg cwiczenia Tworzenie klasyfikatorów opartych na drzewach decyzyjnych Wprowadzenie Zjawisko przeuczenia Upraszczanie drzew decyzyjnych Konstruowanie drzew decyzyjnych z wykorzystaniem techniki okien Przebieg cwiczenia Indukcja regul Wprowadzenie Reprezentacja regul Algorytmy indukcji regul Strategie sekwencyjnego pokrywania Algorytm LEM Miary oceny regul Klasyfikowanie obiektów za pomoca regul Przebieg cwiczenia Klasyfikacja bayesowska Wprowadzenie Twierdzenie Bayesa Optymalny klasyfikator bayesowski... 68

3 Naiwny klasyfikator bayesowski Klasyfikacja dokumentów tekstowych Przebieg cwiczenia Wprowadzenie do sieci neuronowych Wprowadzenie Geneza sztucznych sieci neuronowych Reprezentacja wiedzy w sieciach neuronowych Architektury sieci neuronowych Sieci neuronowe jako narzedzia maszynowego uczenia sie Uczenie sieci neuronowych Uczenie pojedynczego neuronu liniowego Wlasciwosci neuronu liniowego Uczenie pojedynczego neuronu nieliniowego Przebieg cwiczenia Wsteczna propagacja bledu Wprowadzenie Algorytm wstecznej propagacji bledu Zjawisko przeuczenia w sieciach neuronowych Przebieg cwiczenia Uczenie warstwowych sieci neuronowych Parametryzacja algorytmu wstecznej propagacji bledu Odmiany algorytmu wstecznej propagacji bledu Interpretowanie decyzji podejmowanych przez siec Sieci z jednostkami o symetrii kolowej Przebieg cwiczenia Sieci neuronowe uczone przez wspólzawodnictwo Wprowadzenie Grupowanie przykladów kwantyzator wektorów Mapa odwzorowania cech istotnych (SOM) Inne modele sieci neuronowych Przebieg cwiczenia Dodatek A. Wykorzystywane oprogramowanie A.1. Oprogramowanie do indukcji drzew decyzyjnych A.2. Oprogramowanie do indukcji regul decyzyjnych A.3. Srodowisko maszynowego uczenia sie WEKA A.4. Srodowisko STATISTICA: Neural Networks Dodatek B. Stosowane formaty plików B.1. Pliki dla systemu C B.2. B.3. Pliki w formacie ISF Pliki w formacie ARFF Spis literatury...147

4 Przedmowa Niniejszy skrypt jest przewodnikiem do cwiczen i laboratorium z przedmiotu uczenie maszynowe i sieci neuronowe nauczanego na studiach magisterskich na kierunku informatyka. Ma on na celu pomóc studentom w zapoznaniu sie z wybranymi algorytmami uczenia sie z przykladów oraz z ich zastosowaniem do analizy problemów rzeczywistych i dydaktycznych. Zakres omawianych zagadnien obejmuje dwie podstawowe grupy metod, tj.: metody uczenia nadzorowanego tworzace symboliczna reprezentacje wiedzy (np. algorytmy automat ycznego konstruowania drzew lub regul decyzyjnych) oraz sztuczne sieci neuronowe. Realizacja cwiczen zawartych w skrypcie powinna takze przygotowac czytelnika do samodzielnego rozwiazywania praktycznych problemów z zakresu konstruowania i wdrazania systemów informatycznych zdolnych do automatycznego ulepszania swojego dzialania poprzez analize doswiadczenia w danej dziedzinie. Czesc omawianych zagadnien moze byc takze przydatna jako material uzupelniajacy do nauczania przedmiotów zwiazanych z metodami sztucznej inteligencji, analiza i eksploracja danych (ang. data mining) oraz odkrywaniem wiedzy w bazach danych. Nalezy tutaj zauwazyc, ze wlasnie algorytmy maszynowego uczenia sie stanowia czesto podstawe metodyczna dla algorytmów odkrywania wiedzy z danych, stosowanych w ostatnich latach w zaawansowanych systemach informatycznych. Kazdy rozdzial skryptu, z wyjatkiem pierwszego, bedacego rodzajem wstepu metodologicznego do realizacji cwiczen, jest skonstruowany z dwóch czesci. Pierwsza czesc zawiera syntetyczne przedstawienie podstawowych pojec zwiaz a- nych z wybrana metoda lub algorytmem. Druga czesc obejmuje propozycje realizacji cwiczenia w postaci zestawu zadan. Na ogól pierwsze z proponowanych zadan dotycza wykonania obliczen na prostych przykladach Ma to na celu ulatwienie zrozumienia omawianych pojec i algorytmów. Dalsze zadania wymagaja analizy rzeczywistych zbiorów danych reprezentujacych problemy z róznych dziedzin. Dane te sa dostepne w plikach zapisanych w odpowiednim formacie i powinny byc przetwarzane za pomoca oprogramowania zawierajacego gotowe implementacje potrzebnych algorytmów. W skrypcie krótko scharakteryzowano polecane opr o- gramowanie oraz podano informacje o formatach uzywanych plików. Skrypt sklada sie z dziewieciu rozdzialów i dwóch dodatków. Pierwszy rozdzial ma specjalny charakter, gdyz zawiera krótki wstep metodologiczny do konstruowania i eksploatacji systemów uczacych sie. Ma on dostarczyc wspólnych pojec dla algorytmów omawianych w kolejnych rozdzialach skryptu. W szczególnosci przedstawiono zasady tworzenia i eksperymentalnej oceny systemów klasyfikacyjnych, które sa wykorzystywane w dalszych cwiczeniach. Rozdzial 2 jest poswiecony najpopularniejszym algorytmom indukcji drzew decyzyjnych. Nastepnie w roz-

5 6 dziale 3 przedstawiono problemy zwiazane z tworzeniem klasyfikatorów opartych na drzewach decyzyjnych, w tym zjawisko przeuczenia oraz mechanizmy upras z- czania drzew. W rozdziale 4 omówiono algorytmy indukcji regul z przykladów oraz rózne miary oceny wygenerowanych regul. Rozdzial 5 jest poswiecony pr o- babilistycznym klasyfikatorom opartym na twierdzeniu Bayesa oraz ich zastos o- waniom do automatycznej klasyfikacji dokumentów tekstowych. W rozdzialach od 6 do 9 zaprezentowano mozliwosci wykorzystania sztucznych sieci neuronowych jako narzedzi uczenia maszynowego. W szczególnosci rozdzial 6 ma charakter wstepny i wprowadza czytelnika w tematyke, prezentujac podst a- wowa architekture sztucznego neuronu i sieci neuronowych oraz metody uczenia pojedynczego neuronu. W rozdziale 7 omówiono najbardziej popularny model sieci warstwowej i algorytm wstecznej propagacji bledu (ang. backpropagation). W rozdziale 8 zaprezentowano rózne odmiany algorytmu wstecznej propagacji bledu, a w rozdziale 9 architektury i algorytmy przeznaczone do nienadzorowanego uczenia sieci neuronowych, w tym siec odwzorowania cech istotnych (SOM).