Metody klasyfikacji i rozpoznawania wzorców

Transkrypt

1 Metody klasyfikacji i rozpoznawania wzorców Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki mbereta@pk.edu.pl beretam@torus.uck.pk.edu.pl

2 Rozpoznawanie wzroców Zaliczenie przedmiotu Egzamin Laboratorium kolokwia + zadania projektowe Wykład (obowiązkowy) Obecności

3 Program Zasady zaliczenia Egzamin Wykład obowiązkowy Laboratorium Kolokwia z dwóch ostatnich wykładów na początku zajęd Kolokwia praktyczne Małe projekty

4 Co jest na zdjęciu?

5 Iluzja Thatchera

6 Iluzja Thatchera

7 Rozpoznawanie obrazów INNE NAZWY Rozpoznawanie wzorców, obiektów Pattern recognition Klasyfikacja Klasteryzacja, segmentacja, grupowanie danych

8 Rozpoznawanie obrazów

9 Rozpoznawanie obrazów

10 Rozpoznawanie obrazów Grupowanie, klasteryzacja Ekstrakcja cech Sieci neuronowe Metoda PCA SVM Drzewa decyzyjne Statystyka Redukcja wymiarowości

11 Rozpoznawanie obrazów

12 Program

13 Program

14 Program

15 Literatura

16 Systemy uczące się Metody klasyfikacji i rozpoznawania wzorców są przykładami metod uczenia maszynowego.

17 Systemy uczące się

18 Systemy uczące się

19 Systemy uczące się

20 Systemy uczące się

21 Systemy uczące się

22 Systemy uczące się

23 Systemy uczące się

24 Systemy uczące się

25 Systemy uczące się

26 Systemy uczące się

27 Systemy uczące się

28 Systemy uczące się

29 Systemy uczące się

30 Systemy uczące się Systemy uczące się Uczenie maszynowe Machine learning "Generating an abstraction from examples and/or past experiences is a well-known paradigm in machine learning. "Machine learning is programming computers to optimize a performance criterion using example data or past experiance."

31 Systemy uczące się Uczenie maszynowe przydaje się gdy: Ciężko o ekspertów w danej dziedzinie lub są oni kosztowni, a dostępne są przykłady Eksperci nie są w stanie wyjaśnid swojej wiedzy Ciężko napisad program gotowy na każdy przypadek Środowisko/warunki ulegają zmianie po uruchomieniu programu musi on posiadad zdolnośd adaptacji Optymalizacja ruchu w sieci komputerowej Niekóre problemy ciężko modelowad bezpośrednio Rozpoznawanie mowy Rozpoznawanie pisma Rozpoznawanie twarzy

32 Systemy uczące się Machine learning terminy pokrewne Sztuczna inteligencja (AI) Pattern recognition (ropoznawanie wzorców) Data mining (drążenie danych) Sieci neuronowe Signal processing Sterowanie

33 Systemy uczące się Użytecznośd metod uczenia maszynowego spowodowana jest również łatwością gromadzenia danych, które cieżko analizowad ręcznie. Przykład: Dane transakcji sieci hipermaketów.

34 Systemy uczące się Przykład: Dane transakcji sieci hipermaketów. Interesujące jest wykrywanie zależności, np. klienci, którzy kupują pewien towar (np. piwo), kupują również inny towar (np. czipsy). Reguła taka nie musi sprawdzad się w 100%, lecz mimo tego może okazad się marketingowo użyteczna.

35 Systemy uczące się Zazwyczaj zakładamy, że istnieje pewien proces (nieznany nam), który odpowiada za zależności między obserwowanymi danymi. (np. Ludzie nie kupują produktów losowo) Zadaniem uczenia maszynowego jest często stworzyd model, który w przybliżony sposób wykryje oraz/lub wyjaśni te zależności (wzorce ang. patterns), czyli będzie pewną aproksymacją (przybliżeniem) rzeczywistego procesu.

36 Systemy uczące się Jeśli metody uczenia maszynowego stosowane są do bardzo dużej ilości danych, mamy wtedy do czynienia z metodami drążenia danych (Data Mining). Duża ilośd danych wprowadza nowe wyzwania, np. możliwe jest zaprezentowanie danych systemowi jedynie raz, podczas gdy niektóre algorytmy wymagają wielu iteracji np. sieci neuronowe Jak wybrad reprezentatywny podzbiór wszystkich dostępnych danych? Dane są rozposzone, np. różne bazy przechowują częśd rekordów częśd atrybutów częśd rekordów z jedynie częścią atrybutów

37 Systemy uczące się Data mining Transakcje konsumenckie Finanse (transakcje bankowe) wykrywanie oszustw Dane z linii produkcyjnej wykrywanie stanów awaryjnych Dane medyczne automatyczna diagnoza, wykrywanie nowych rodzajów chorób Telekomunikacja ruch sieciowy Dane z eksperymentów fizycznych Dane z obserwacji astronomicznych Analiza zawartości Internetu Dane biologiczne - bioinformatyka

38 Systemy uczące się Uczenie maszynowe jest również pokrewne ze sztuczną inteligencją Sztuczna inteligencja musi umied wykonywad czynności, o których powiedzielibyśmy, że wymagają użycia inteligencji, gdyby były wykonywane przez człowieka Zdolnośd uczenia się Zdolnośd adaptacji do zmian Jednak metody sztucznej inteligencji (np. systemy ekspertowe) uwzględniają duży udział wiedzy eksperckiej zakodowanej np. jako zbiór reguł decyzyjnych. W uczeniu maszynowym większy nacisk jest na uczenie się na przykładach.

39 Systemy uczące się Uczenie maszynowe jest również pokrewne pojęciu rozpoznawania wzorców (ang. pattern recognition) Przykład: rozpoznawanie twarzy nieznana twarz ma byd zaklasyfikowana jako należąca do danej osoby Wzorzec to nie tylko obraz 2D lub 3D; jest to dowolny obiekt, który możemy opisad za pomocą np. wektora zmierzonych wartości atrybutów Pattern recognition skupia się przede wszystkim na wykrywaniu wzorców, na podstawie których będzie można przyszłe dane klasyfikowad do znanych klas Wykrywaniu struktury w danych, w których jeszcze nie określono wyraźnie klas klasy te mają zostad określone w wyniku działania algorytmu, np. algorytmu grupowania

40 Systemy uczące się System uczący zazwyczaj startuje z pewnego przyjętego modelu, w którym podczas uczenia optymalizacji podlegad mają pewne parametry tego modelu (np. wagi połączeo między sztucznymi neuronami).

41 Systemy uczące się Tworzony model może mied na celu Predykcję (ang. predictive) chcemy klasyfikowad przyszłe dane Wyjaśnienie zależności w danych (ang. descriptive) zależy nam na zrozumieniu procesu odpowiadającego za dane

42 Systemy uczące się Uwaga: Celem uczenia maszynowego nie jest modelowanie czy też wyjaśnianie procesów uczenia u ludzi czy zwierząt.

43 Systemy uczące się Dopasowywanie modeli do dostępnych danych jest podstawową czynnością nauk przyrodniczych. Indukcja generowanie ogólnych reguł, praw na podstawie przykładów Dedukcja wnioskowanie o konkretnym (nowym) przypadku na podstawie dostępnej wiedzy ogólnej)

44 Systemy uczące się W statystyce mówi się o inferencji (ang. inference) w przypadku generowania ogólnych reguł na podstawie danych. Proces uczenia zwany jest estymacją. Klasyfikacja nazywana jest dyskryminacją. Data mining to często odkrywanie wiedzy w danych (ang. Knowledge discovery in databases, KDD)

45 Systemy uczące się Główne typy uczenia maszynowego Uczenie pod nadzorem (ang. supervised learning) Uczenie się pojęd (klas) Uczenie bez nadzoru (ang. unsupervised learning) Tworzenie pojęd (klas) Uczenie ze wzmocnieniem (ang. reinforcement learning)

46 Systemy uczące się Główne typy uczenia maszynowego Uczenie pod nadzorem (ang. supervised learning) Istnieje z góry zadany zbiór klas, do których należą przykłady Znane są prawidłowe etykiety przykładów w zbiorze uczącym, co można wykorzystad do pomiaru postępów procesu uczenia Cel : predykcja prawidłowych etykiet dla przyszłych, nieznanych przykładów Uwaga: minimalizacja błędu klasyfikacji na zbiorze trenującym nie jest celem sama w sobie Minimalizacja błędu klasyfikacji nie jest jedynym kryterium, które można wykorzystad

47 Systemy uczące się Główne typy uczenia maszynowego Uczenie bez nadzoru (ang. unsupervised learning) Zadany jest zbiór przykładów, jednak nie zbiór klas Celem uczenia jest odnalezienie struktury w danych, tzn. zdefiniowad klasy, które później mogą byd ewentualnei użyte do uczenia pod nadzorem Odnaleziona klas jest zdefiniowana przez podzbiór przykładów, które są wyraźnie bardziej podobne do siebie oraz niepodobne do innych przykładów

48 Główne typy uczenia maszynowego Systemy uczące się Uczenie ze wzmocnieniem (ang. reinforcement learning) Polega na uczeniu strategii postępowania, rozumianej jako ciąg akcji prowadzącej do celu Pojedyncza akcja nie podlega natychmiastowej ocenie, gdyż wynik działania zależy od koocowego rezultatu całej sekwencji akcji Przykład: gra w szachy pojedynczy ruch cieżko ocenid, jednak wygrana na koocu sprawia, że strategia gry jest oceniona pozytywnie Nadaje się również do bardziej ogólnych przypadków, np. nagrody/kary pojawiają się nie tylko po dotarciu do celu, lecz również w trakcie (np.błądzenie po labiryncie) W skrajnym przypadku ocena całej strategii może nie byd liczbowa, a jedynie dobrze / źle (np. odpowiedź środowiska - organizm przeżył lub nie). Środowisko często jest zmienne a nagrody / kary są często losowe wygodne podejście przy modelowaniu strategii w grach z elementami losowości. Można również uwzględniad strategie kooperujących agentów

49 Systemy uczące się Typowe zagadnienia uczenia maszynowego Uczenie asocjacji Klasyfikacja Dyskryminacja Predykcja Wykrywanie wzorców (ang. pattern recognition) Okrywanie wiedzy (ang. knowledge extraction) Kompresja Wykrywanie wartości nietypowych (ang. outlier detection) Regresja

50 Systemy uczące się Uczenie asocjacji Interesują nas reguły typu warunkowych prawdopodobieostw P(Y/X) Przykład: basket analysis (analiza koszyka) Ludzie, którzy kupują produkt X zazwyczaj kupują również produkt Y P(czipsy / piwo) = 0.8 Reguła: 80% kupujących piwo kupuje również czipsy Ogólnie: P(Y/D) gdzie D jest pewnym zestawem atrybutów opisujących klienta

51 Systemy uczące się Klasyfikacja Przykład: credit scoring ocena wiarygodności kredytowej Dwie klasy kredytobiorcy {wiarygodny, niewiarygodny} Kredytobiorca opisany za pomocą atrybutów takich jak: wiek, przychód, wydatki miesięczne, oszczędności, zawód, stan cywilny, liczba dzieci, itp. Dyskryminacja oddzielenie dwóch klas Cel: predykcja wiarygodności przyszłych klientów

52 Systemy uczące się Pattern recognition wykrywanie wzorców Face recognition Character recognition Speech recognition

53 Systemy uczące się Okrywanie wiedzy (ang. knowledge extraction) Najlepiej w postaci zrozumiałej przez ludzi reguły Sied neuronowa może dobrze działad (dobra predykcja), ale niczego nie wyjaśniad Kompresja Odkrycie wiedzy często prowadzi do kompresji danych Przykład: wiedząc, że pewien atrybut jest sumą dwóch innych, możemy z niego całkowicie zrezygnowad Wykrywanie wartości nietypowych (ang. outlier detection) Nietypowy przykład wśród np. transakcji finansowych może oznaczad próbę oszustwa

54 Systemy uczące się Regresja Odpowiedzią systemu jest wartośd rzeczywista Przykłady predykcja ceny nieruchomości, predykcja ceny samochodu Model może zakładad pewną zależnośd funkcyjną Cena = w1 * rocznik + w2 * przebieg + w0 Regresja liniowa

55 Systemy uczące się

56 Rozpoznawanie obrazów Pojęcie obrazu to niekoniecznie ilustracja dwuwymiarowa lub scena trójwymiarowa. Obrazy to również inne obiekty, które na pierwszy rzut oka nie wyglądają jak obrazy w klasycznym rozumieniu tego słowa.

57 obiektów, zdarzeo lub innych znaczących regularności za pomocą automatycznych lub półautomatycznych środków. Rozpoznawanie obrazów ROZPOZNAWANIE OBRAZÓW, ROZPOZNAWANIE WZORCÓW (pattern recognition, machine recognition) to: analizowanie opisywanie identyfikowanie klasyfikowanie

58 Rozpoznawanie obrazów Obrazem może byd: zarówno litera jak i linie papilarne, zapis sejsmografu, przebieg elektrokardiogramu, sygnał mowy lub rentgenowskie zdjęcie narządu w organizmie człowieka. zbiór ekonomicznych parametrów opisujących gospodarkę przedsiębiorstwa może byd analizowany jako opis pewnego obiektu, co pozwala go automatycznie zaliczyd do obrazu zakładów rozwojowych, wartych inwestowania albo bliskich bankructwa

59 Typowy problem Klasyfikacja Typowy problem rozpoznawania wzorców Mając zbiór trenujący zdecydowad, które atrybuty opisujące obiekty są wartościowe z punktu widzenia dyskryminacji klas ang. feature selection, feature extraction Zdecydowad jaki klasyfikator powinien byd użyty (jaki da najlepszy wyniki dla przyszłych danych, tzw. testowych, dla których klasa nie jest znana) jak ocenid czy różnice w działaniu klasyfikatorów są statystycznie istotne?

60 Typowy problem Klasyfikacja Typowy problem rozpoznawania wzorców Oszacowad jakiej wielkości błędu możemy się spodziewad po danym klasyfikatorze w przyszłości na nowych nieznanych danych Ocena za pomocą błędu na danych trenujących jest zazwyczaj zbyt optymistyczna

61 Typowy problem Analiza danych, wykrywanie grup / klas Typowy problem wykrywania grup / analizy danych Przykłady w zbiorze trenującym nie mają przypisanej etykiety klasy Celem jest wykrycie czy w całym zbiorze istnieją pewne podgrupy obiektów wyraźnie podobnych do siebie oraz wyraźnie odmiennych od innych przykładów Ponownie: Mając zbiór trenujący zdecydowad, które atrybuty opisujące obiekty są wartościowe z punktu widzenia dyskryminacji klas Zdecydowad jaki algorytm grupowania powinien byd użyty Ile grup szukamy? Jak ocenid jakośd wyników grupowania?

62 Typowy problem Analiza danych, wykrywanie grup / klas Przyszłe dane mogą byd analizowane poprzez sprawdzenie w jakim stopniu należą do wyszczególnionych grup. Przykłady: Mając do dyspozycji historie zakupów pewnej liczby klientów, znaleźd grupy podobnie zachowujących się osób. Grupy takie mogą stad się celem specjalnie przygotowanej akcji marketingowej. Mając do dyspozycji opisy przebiegu chorób wielu pacjentów, znaleźd grupy podobnych przypadków, wyraźnie odróżniających się od pozostałych. Może to sugerowad występowanie szczególnego podtypu danej choroby. Można wtedy próbowad opracowywad specjalne terapie.

63 Rozpoznawanie obrazów Obiekt Aby klasyfikowad obiekty muszą one byd w jakiś sposób opisane, zmierzone, itd. Mierzone cechy (atrybuty): szerokośd wysokośd

64 Rozpoznawanie obrazów Jak rozpoznawad prawdziwe obrazy, zdefiniowane jako zbiór wartości pikseli? (Sama zmiana oświetlenia przy obrazie tego samego obiektu wprowadza ogromne zmiany.) Co trzeba zrobid by proces klasyfikacji był możliwy? Jakich metod użyd?

65 Trudności w rozwiązywaniu problemów Problem Model Rozwiązanie Jak bardzo uproszczony może byd model, by rozwiązanie było wciąż użyteczne?

66 Trudności w rozwiązywaniu problemów Problem Model Rozwiązanie Co jest lepsze: -Dokładne rozwiązanie przybliżonego (czyli prostszego) modelu czy - Przybliżone rozwiązanie dokładnego modelu?

67 Trudności w rozwiązywaniu problemów Rozwiązania optymalne nie są wymagane! W praktyce priorytetem jest posiadanie dobrego, lecz niekoniecznie optymalnego rozwiązania, lecz odpowiednio szybko np. przed konkurencją

68 Rozpoznawanie wzorców Ludzie mają wielką zdolnośd dostrzegania zależności i wzorców. Była to, i jest nadal, zdolnośd warunkująca przetrwanie. Czasami jednak natrafiamy na pewne problemy w interpretacji faktów, używamy schematów myślenia, uproszczeo, nawyków, błędnego wnioskowania, dostrzegamy zależności tam gdzie ich nie ma.

69 Paradoksy W pewnym teleturnieju główną nagrodą jest samochód. Jest on ukryty za jedną z trzech bramek. Pozostałe dwie bramki są puste. Uczestnik obstawia jedną z bramek. Następnie prowadzący teleturniej otwiera jedna z pozostałych dwóch ujawniając, że jest ona pusta. Proponuje uczestnikowi zmianę wyboru bramki. Co powinien uczynid uczestnik teleturnieju, by prawdopodobieostwo wygranej było jak największe? Pozostad przy swoim poprzednim wyborze? Zamienid bramkę? Czy ma to jakiekolwiek znaczenie? A =? B =? C =?

70 Paradoksy Co powinien uczynid uczestnik teleturnieju, by prawdopodobieostwo wygranej było jak największe? Pozostad przy swoim poprzednim wyborze? Zamienid bramkę? Czy ma to jakiekolwiek znaczenie? Bramka C okazuje się byd pusta. A =? B =? C = puste Uczestnik wybiera bramkę A

71 Paradoksy Rozwiązanie: Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? C =? Prawdopodobieostwo wygranej = 1/3 Prawdopodobieostwo wygranej = 2/3

72 Paradoksy Rozwiązanie: Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? C = pusta Prawdopodobieostwo wygranej = 1/3 Prawdopodobieostwo wygranej = 2/3

73 Paradoksy Rozwiązanie: Paradoks Monty'ego Halla Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? Prawdopodobieośtwo wygranej = 1/3 Prawdopodobieośtwo wygranej = 2/3 Wybór większego prawdopodobieostwa wygranej.

74 Paradoksy W celi znajdują się trzej więźniowie. Dwóch z nich rano zostanie straconych. Strażnik wie jaka jest decyzja.

75 Paradoksy Jednym z więźniów jest matematyk Oblicza szanse na przeżycie i wychodzi mu 1/3 A B M 1 E E U 2 U E E 3 E U E

76 Paradoksy Matematyk pyta strażnika, który z jego towarzyszy umrze bo przecież wiadomo, że któryś z nich na pewno jest w dwójce skazanych. A B M 1 E E U 2 U E E 3 E U E Strażnik mówi, że umrze A (dla B jest sytuacja symetryczna)

77 Paradoksy Matematyk cieszy się i twierdzi, że jego szanse na przeżycie wzrosły i wynoszą teraz ½!! Czy Matematyk popełnił błąd w swoim rozumowaniu? A B M 1 E E U 2 U E E 3 E U E Strażnik mówi, że umrze A (dla B jest sytuacja symetryczna)

78 Paradoksy Przestrzeo wyników eksperymentu jest zdefiniowana w kategoriach tego, na kogo wskaże strażnik.

79 Paradoksy Wiemy, że strażnik nigdy nie wskaże na M; załóżmy że wskazał A, ograniczając możliwe przypadki do dwóch: p(egzekuja A + M) = 1/3 p(egzakuja A + B) = 1/3 * ½ = 1/6 Matematyka interesuje ten drugi przypadek szansa na jego zajście jest: 1/ 6 1 1/ 6 1/ 3 3

80 Paradoksy 1/3 1/3 1/3 A+M B+M A+B 1 1 1/2 1/2 A B A B

81 Paradoksy 1/3 1/3 A+M A+B A 1 1/2 A Matematyka interesuje to zdarzenie Strażnik wskazując na A eliminuje częśd możliwości. 1/ 6 1/ 6 1/ 3 1 3

82 Paradoksy A Starsi 2/10 30/90 Młodsi 48/90 10/10 Dwie metody leczenia: A i B Dwie grupy wiekowe: Starsi i Młodsi Ułamki pokazują jaka częśd pacjentów z danej grupy wiekowej leczonych daną metodą powróciła do zdrowia. Widad, że metoda B góruje na metodą A w każdej grupie wiekowej. B

83 Paradoksy Ogółem 50/100 40/100 A B Rezultat całościowy wskazuje na to, iż leczenie metodą A jest lepsze. Jest to tzw. paradoks Simpsona (1951).

84 Duża korelacja Korelacja a przyczynowośd

85 Słaba korelacja Korelacja a przyczynowośd

86 Brak korelacji Korelacja a przyczynowośd

87 Korelacja a przyczynowośd Bardzo łatwo nabrad błędnego przekonania o zależności przyczynowej między zmiennymi. Przykład: Wśród chorujących na raka płuc u 95% pacjentów zobserwowano żółtą skórę na palcach dłoni. Czy jest to przyczyna choroby? Czy jest to raczej współwystępowanie, a prawdziwą przyczyną jest inny, nieuwzględniony jeszcze czynnik? (Palenie papierosów).

88 Korelacja a przyczynowośd Duża korelacja między zmiennymi nie oznacza występowania między nimi związku przyczynowego.

89 Wnioskowanie Jeśli świeci słooce, to jest jasno Jeśli uznajemy prawdziwośd powyższej reguły, które z poniższych reguł są również logicznie prawdziwe? Jeśli jest jasno, to świeci słooce Jeśli nie świeci słooce, to nie jest jasno Jeśli nie jest jasno, to nie świeci słooce

90 Wnioskowanie Reguła wnoiskowania modus ponens Reguła wnioskowania modus tollens

91 Metoda NN Nearest Neighbor (Najbliższego sąsiada) x2 Zbiór uczący Przykłady z dwóch klas x1

92 Metoda NN Nearest Neighbor (Najbliższego sąsiada) x2 W metodzie NN, nieznany obiekt jest przyporządkowany do tej klasy, z której pochodzi najbliższy w sensie pewnej miary odległości przykład ze zbioru uczącego. Nieznany obiekt, który należy zaklasyfikowad do którejś z klas. x1

93 Metoda NN Nearest Neighbor (Najbliższego sąsiada) Cechy metody NN: Wielka czułośd na błędy i przekłamania w zbiorze uczącym. Brak prawdziwego uczenia, uogólnienia wiedzy Uczenie zastąpione zapamiętaniem zbioru uczącego Metody te są popularne ze względu na prostotę i intuicyjnośd oraz dają stosunkowo dobre wyniki. Metody oparte na minimalnej odległości są jednak kosztowne w realizacji ze względu na koniecznośd archiwizowania ciągu uczącego w pamięci oraz czasochłonnego obliczania odległości rozpoznawanego obiektu od wszystkich elementów ciągu uczącego, co sprawia, że konieczne jest zastosowanie dużych mocy obliczeniowych lub godzenie się z długim czasem rozpoznawania.

94 Metoda αnn Na początku określany jest parametr α, potem pojawia się obiekt rozpoznawania i obliczane są wartości jego odległości od wszystkich obiektów ciągu uczącego. Następnie dokonywane jest uporządkowanie ciągu uczącego według rosnących odległości. Później wybiera się α początkowych obiektów ciągu, tworząc podzbiór, który następnie rozbijany jest na podzbiory związane z poszczególnymi klasami. Funkcje przynależności mogą byd teraz wyznaczone na podstawie liczebności tych podzbiorów. Metoda ta zapobiega błędom wynikającym z pomyłek w ciągu uczącym ale ogranicza czułośd metody.

95 Metoda j N NN Określa się tu przynależnośd nieznanego obiektu do tej klasy, do której należy j N -ty w kolejności element uporządkowanego zbioru ciągu uczącego.

96 Metody wzorców 1. Z najprostszym przypadkiem rozpoznawania obrazów mamy do czynienia wtedy, gdy klasy podobieostwa są reprezentowane przez wektory wzorcowe. 2. Są one odpowiednikami klas, są to zbiory nieuporządkowane, a wektory wzorcowe są numerowane w poszczególnych klasach. 3. Założono, że każdą klasę reprezentuje co najmniej jeden wektor wzorcowy, lecz zbiory takich wektorów są skooczone.

97 Metody wzorców Metoda uogólnionych wzorców i otoczeń kulistych

98 Metody wzorców Metoda uogólnionych wzorców i otoczeń kulistych

99 Metody wzorców Metoda uogólnionych wzorców i otoczeń kulistych

100 Metody liniowe Funkcja decyzyjna

101 Metody liniowe Perceptron Działa, jeśli dane są liniowo separowalne (tzn. jeśli istnieje rozwiązanie). System liniowy uczy się uogólnia wiedzę. Cała wiedza zawarta jest w wartościach wag.

102 Metody liniowe Co jeśli granice między klasami nie dadzą się opisad w sposób liniowy?

103 Które atrybuty wybrad? Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji

104 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Co zrobid jeśli atrybutów jest bardzo dużo? (piksele w obrazach) Curse of dimentionality - Przekleostwo wymiarowości Im więcej wymiarów tym więcej potrzeba przykładów by stworzyd dobry klasyfikator. Odległośd rośnie wraz ze wzrostem liczby wymiarów! Przykład: Odległośd między punktami początku układu współrzęnych oraz (1,1,...) w 2D (0,0) oraz (1,1) dist = sqrt(2) < w 3D (0,0,0) oraz (1,1,1) dist = sqrt(3)

105 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Curse of dimentionality - Przekleostwo wymiarowości Z drugiej strony, zgodnie z twierdzeniem Cover a, dla złożonego problemu klasyfikacji w wielowymiarowej przestrzeni jest bardziej prawdopodobne, że będzie on liniowo separowalny w przestrzeni o większej ilości wymiarów niż w przestrzeni o mniejszej ilości wymiarów. Sied neuronowa robi użytek dokładnie z tej własności. Przy większej liczbie neuronów radialnych niż wymiarowości wektora wejciowego (co w praktyce często, jeśli nie zawsze, jest spełnione) w warstwie radialnej następuje zwiększenie wymiarowości, co zwiększa prawdopodobieostwo, że dane zostaną liniowo odseparowane przez liniowe powierzchnie decyzyjne generowane przez neurony wyjściowe. Geometrycznie działanie sieci RBF polega na podziale przestrzeni wejściowej na podobszary, w których działają poszczególne neurony radialne.

106 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Curse of dimentionality - Przekleostwo wymiarowości W celu zmniejszenia liczby wymiarów z jednoczesnym zachowaniem wartościowych informacji w danych, stosuje się różne transformacje oryginalnych danych. W wyniku tej operacji problem klasyfikacyjny jest przeniesiony do nowej przestrzeni, w której prawdopodobnie łatwiej go rozwiązad. Niektóre metody uczenia (sieci neuronowe, SVM) w trakcie uczenia klasyfikatora wyznaczają jednocześnie takie transformacje.

107 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Które przykłady spośród wszystkich dostępnych wybrad do uczenia klasyfikatora? GIGO Garbage In, Garbage Out Śmieci na wejściu, śmieci na wyjściu Problem ten jest szczególnie istotny jeśli jest bardzo dużo dostępnych przykładów lub jeśli istnieje niebezpieczeostwo, że niektóre z nich są błędne.

108 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Jak uzyskad dobre efekty nauki, jeśli przykładów jest zbyt mało? Jak uzyskad dobrą generalizację stworzonego systemu? Przykład: Jak nauczyd system diagnozowad rzadką chorobę?

109 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Inne problemy Duże bazy danych Przekłamania w danych Mieszanie się danych - nakładanie się klas

110 Rozpoznawanie obrazów Jakie są cele nauki? Minimalizacja błędów na zbiorze trenującym nie oznacza małej liczby przyszłych błędów na nieznanych danych, a to właśnie jest celem. Pożądane jest przyszłe dobre działanie klasyfikatora, tzn. dobra generalizacja nabytej wiedzy.

111 Rozpoznawanie obrazów Możliwośd osiągnięcia dobrej generalizacji jest związana z wielkością PRZESTRZENI HIPOTEZ. np. przestrzeo hipotez reprezentowanych przez klasyfikatory liniowe jest dużo mniejsza niż przestrzeo hipotez wielowarstwowych sieci neuronowych. Klasyfikatory liniowe nie są tak elastyczne jak sieci neuronowe, wiec nie będą w stanie nauczyd się niektórych problemów. Z drugiej strony sieci mogą się przeuczyd i źle generalizowad.

112 Vapnik-Chervonenkis dimension Wymiar VC Vapnik-Chervonenkis dimension Maksymalny rozmiar zbioru, na którego elementach można dokonad wszystkich możliwych dychotomicznych podziałów.

113 Generalizacja klasyfikatora liniowego x2 Słaba generalizacja x1

114 Generalizacja klasyfikatora liniowego x2 Dobra generalizacja x1

115 Metoda SVM Support Vector Machines W procesie nauki nie jest minimalizowany błąd na zbiorze uczącym, a raczej maksymalizowany margines co czasami dopuszcza popełnianie błędów.

116 Metoda SVM Support Vector Machines W procesie nauki nie jest minimalizowany błąd na zbiorze uczącym, a raczej maksymalizowany margines co czasami dopuszcza popełnianie błędów.

117 Metoda SVM Support Vector Machines W procesie nauki nie jest minimalizowany błąd na zbiorze uczącym, a raczej maksymalizowany margines co czasami dopuszcza popełnianie błędów.

118 Metoda SVM Support Vector Machines

119 Metoda SVM Support Vector Machines Problem optymalizacji z ograniczeniami.

120 Metoda SVM Support Vector Machines Równoważne sformułowanie w tzw. dualnej formie. Dużo wygodniejsze praktycznie.

121 Metoda SVM Support Vector Machines Wektory podpierające definiują granice decyzyjne pozostały dane są nieistotne.

122 Problemy nieliniowe Jak rozwiązywad problemy nieliniowe? Oryginalną przestrzeo 2D zastępujemy nową Tworzymy model który uwzględnia nieliniowe zależności między atrybutami, ale jest nadal liniowy względem parametrow w, więc można użyd znanych algorytmów do problemów liniowych by znaleźd odpowiednie wartości w.

123 Problemy nieliniowe XOR x y x xor y Nie istnieje jedna linia prosta, która oddziela te dwie klasy.

124 Problemy nieliniowe Wiele metod (sieci neuronowe, SVM) najpierw przenosi problem do przestrzeni gdzie zadanie klasyfikacji jest latwiejsze (liniowe), a potem rozwiązuje go w tej nowej przestrzeni. Takie jest między innymi zadanie kolejnych warstw w sieciach neuronowych.

125 Sieci radialne

126 Sieci radialne

127 Sieci radialne i problem XOR r2 Liniowa granica decyzyjna w nowej przestrzeni ,4 1 r1 Tu umieszczamy dwa neurony radialne r1 oraz r2 W tej przestrzeni problem jest liniowy!

128 SVM w problemach nieliniowe Przeniesienie do nowej przestrzeni przez użycie kernel function K

129 SVM w problemach nieliniowe

130 Komitety klasyfikatorów Czy grupa słabych klasyfikatorów może razem osiągnąd lepsze wyniki? Słaby klasyfikator to taki, który nie myli się w niewielu ponad 50% przypadkach działa niewiele lepiej niż klasyfikator losowy. Okazuje się, że tak. Na takiej zasadzie działają algorytmy BAGGING BOOSTING RANDOM FORESTS Aby działały dobrze, takie klasyfikatory powinny byd niezależne. W praktyce ciężko to spełnid klasyfikatory nie będą niezależne, jeśli zostały wytrenowane na tych samych danych.

131 Modele czarnej skrzynki Modele tzw. czarnej skrzynki nie objaśniają swego działania, nie wiadomo dlaczego klasyfikują tak a nie inaczej. Do takich metod należą sieci neuronowe wiedza nabyta w trakcie uczenia jest zaszyta w wartościach wag, ale one same nie wyjaśniają dlaczego decyzje są takie a nie inne, które atrybuty o tym decydują, itd. Jeśli celem jest nie tylko poprawna klasyfikacja ale również zrozumienie problemu, to użyteczne są inne metody, jak np. Reguły decyzyjne ( Jeśli coś jest takie i coś innego jest takie to wtedy...) Reguły lingwistyczne (logika rozmyta, Fuzzy Logic) Drzewa decyzyjne

132 Metody Bayesowskie

133 Data mining Data mining Drążenie danych Eksploracja danych Odkrywanie wiedzy w danych

134 Data mining Odkrywanie zależności w danych głównie w olbrzymich zbiorach danych, które to zależności charakteryzują się: Dużym zakresem, czyli zachodzą dla wielu rekordów Dużą dokładnością, czyli występują od nich co najwyżej niewielkie odchylenia dla rekordów, dla których zachodzą Dużym poziomem statystycznej istotności, czyli nie są przypadkowe

135 Data mining Problemy Duże zbiory danych Liczne atrybuty Liczne kategorie Nierównomierny rozkład kategorii Inkrementacyjna aktualizacja (wciąż uaktualniane bazy dancyh) Niekompletne dane Niepoprawne dane

136 Metody uczenia maszynowego Uczenie z nauczycielem Uczenie bez nadzoru Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning)

137 Metody uczenia maszynowego Uczenie z nauczycielem Nauczyciel: prezentuje przykłady, z którymi związana jest prawidłowa odpowiedź etykieta klasy (w przypadku klasyfikacji) wartośd rzeczywista (w przypadku zadania regresji) zna poprawną odpowiedź jest w stanie ukierunkowad naukę np. uczenie sieci neuronowych (algorytm backpropagation)

138 Metody uczenia maszynowego Uczenie bez nadzoru Do dyspozycji systemu uczącego się jest jedynie zbiór danych bez wskazania do jakich klas te dane należą Częstym zadaniem jest automatyczne wykrycie tych klas, jeśli one istnieją

139 Metody uczenia maszynowego Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning) Istnieje nauczyciel, ale udziela on odpowiedzi jedynie dobrze lub źle w odpowiedzi na zachowanie systemu Przykład: uczenie się strategi gry Wygrana = dobrze Przegrana = źle

140 Metody uczenia maszynowego Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning) Przykład: uczenie strategii gry w Backgammon (tryktrak)

141 Analiza danych Analiza danych ma za zadanie wykrycie istniejących w danych grup podobnych przykładów, sytuacji, itp. Każda grupa zawiera przykłady, które są podobne bardziej do siebie nawzajem niż do przykładów z innych grup. Częstym zadaniem jest również streszczenie danego zbioru danych.

142 Analiza danych Problemy: Ile grup szukamy? Jak mierzyd podobieostwo? Jak sobie radzied z danymi o dużej wymiarowości (duża liczba parametrów opisujących każdy przykład)? Jak sobie radzid w dużymi zbiorami danych?

143 Analiza danych Problemy: Dane niekompletne Dane zaszumione (z błędami) Problemy dynamiczne (zmieniające się w czasie) Dane rozproszone w wielu bazach danych Przykłady znajdują się w różnych miejscach Atrybuty znajdują się w różnych miejscach Rozproszone są zarówno przykłady jak i atrybuty

144 Analiza danych Problemy: Czego tak napradę szukamy? Innych danych podobnych do znanego nam przypadku? Najbardziej podobny przykład do naszego może byd mimo wszystko bardzo odmienny Wyróżniających się grup (np. klientów)? Zmian, nowości, informacji o łączenia się grup wcześniej wyraźnie oddzielonych?

145 Analiza danych Problemy z wizualizacją i weryfikacją wyników w problemach wielowymiarowych

146 Analiza danych Trzy wyraźnie grupy (rozkład sferyczny)

147 Analiza danych

148 Czy to są oddzielne grupy? Analiza danych

149 Grupy czy "szumy"? Analiza danych

150 Analiza danych Algorytm k-średnich (K-means) Określ liczbę szukanych grup Zainicjuj centra grup losowo lub za pomocą wybranych przykładów Powtarzaj dopóki centra ulegają zmianie: Dla każdego centrum określ zbiór przykładów, dla których jest to najbliższe centrum (przy danej mierze odległości) Wylicz nowe centrum jako średnia z przykładów z poprzedniego punktu

151 Analiza danych Problemy z algorytmem k-średnich Jak dobrad liczbę grup? Zastosowad współczynniki jakości grupowania Który współczynnik jakości wybrad? Algorytm może utknąd (centrum ustala się w miejscu gdzie nie ma żadnych danych) Dobrze działa dla danych, w których istnieją wyraźnie grupy sferyczne

152 Analiza danych Algorytm rozmytych k-średnich (fuzzy k- means) Każdy przykład może należed jednocześnie do więcej niż jednej grupy, ale z różnych stopniem przynależności Brak ostrego przydziału do wybranej grupy Może byd zaletą wykrycie wątpliwych przypadków na granicy Ostry podział łatwy do otrzymania z podziału rozmytego

153 Analiza danych Duża liczba innych algorytmów Possibility clustering Algorytmy grupowania hierachicznego Sieci Kohonena Algorytm gazu neuronowego Sztuczne systemy immunologiczne Sieci diotypowe