Rozpoznawanie wzorców. Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki

Transkrypt

1 Rozpoznawanie wzorców Dr inż. Michał Bereta p. 144 / 10, Instytut Informatyki mbereta@pk.edu.pl beretam@torus.uck.pk.edu.pl

2 Co jest na zdjęciu?

3 Iluzja Thatchera

4 Iluzja Thatchera

5 Rozpoznawanie obrazów Pojęcie obrazu to niekoniecznie ilustracja dwuwymiarowa lub scena trójwymiarowa. Obrazy to również inne obiekty, które na pierwszy rzut oka nie wyglądają jak obrazy w klasycznym rozumieniu tego słowa.

6 obiektów, zdarzeo lub innych znaczących regularności za pomocą automatycznych lub półautomatycznych środków. Rozpoznawanie obrazów ROZPOZNAWANIE OBRAZÓW, ROZPOZNAWANIE WZORCÓW (pattern recognition, machine recognition) to: analizowanie opisywanie identyfikowanie klasyfikowanie

7 Rozpoznawanie obrazów Obrazem może byd: zarówno litera jak i linie papilarne, zapis sejsmografu, przebieg elektrokardiogramu, sygnał mowy lub rentgenowskie zdjęcie narządu w organizmie człowieka. zbiór ekonomicznych parametrów opisujących gospodarkę przedsiębiorstwa może byd analizowany jako opis pewnego obiektu, co pozwala go automatycznie zaliczyd do obrazu zakładów rozwojowych, wartych inwestowania albo bliskich bankructwa

8 Rozpoznawanie obrazów INNE NAZWY Rozpoznawanie wzorców, obiektów Pattern recognition Klasyfikacja Klasteryzacja, segmentacja, grupowanie danych

9 Rozpoznawanie obrazów

11 Rozpoznawanie obrazów Grupowanie, klasteryzacja Ekstrakcja cech Sieci neuronowe Metoda PCA SVM Drzewa decyzyjne Statystyka Redukcja wymiarowości

13 Program

14 Program

15 Program

16 Literatura

17 Program Zasady zaliczenia Egzamin Wykład obowiązkowy Laboratorium Kolokwia z dwóch ostatnich wykładów na początku zajęd Kolokwia praktyczne Małe projekty

18 Typowy problem Klasyfikacja Typowy problem rozpoznawania wzorców Mając zbiór trenujący zdecydowad, które atrybuty opisujące obiekty są wartościowe z punktu widzenia dyskryminacji klas ang. feature selection, feature extraction Zdecydowad jaki klasyfikator powinien byd użyty (jaki da najlepszy wyniki dla przyszłych danych, tzw. testowych, dla których klasa nie jest znana) jak ocenid czy różnice w działaniu klasyfikatorów są statystycznie istotne?

19 Typowy problem Klasyfikacja Typowy problem rozpoznawania wzorców Oszacowad jakiej wielkości błędu możemy się spodziewad po danym klasyfikatorze w przyszłości na nowych nieznanych danych Ocena za pomocą błędu na danych trenujących jest zazwyczaj zbyt optymistyczna

20 Typowy problem Analiza danych, wykrywanie grup / klas Typowy problem wykrywania grup / analizy danych Przykłady w zbiorze trenującym nie mają przypisanej etykiety klasy Celem jest wykrycie czy w całym zbiorze istnieją pewne podgrupy obiektów wyraźnie podobnych do siebie oraz wyraźnie odmiennych od innych przykładów Ponownie: Mając zbiór trenujący zdecydowad, które atrybuty opisujące obiekty są wartościowe z punktu widzenia dyskryminacji klas Zdecydowad jaki algorytm grupowania powinien byd użyty Ile grup szukamy? Jak ocenid jakośd wyników grupowania?

21 Typowy problem Analiza danych, wykrywanie grup / klas Przyszłe dane mogą byd analizowane poprzez sprawdzenie w jakim stopniu należą do wyszczególnionych grup. Przykłady: Mając do dyspozycji historie zakupów pewnej liczby klientów, znaleźd grupy podobnie zachowujących się osób. Grupy takie mogą stad się celem specjalnie przygotowanej akcji marketingowej. Mając do dyspozycji opisy przebiegu chorób wielu pacjentów, znaleźd grupy podobnych przypadków, wyraźnie odróżniających się od pozostałych. Może to sugerowad występowanie szczególnego podtypu danej choroby. Można wtedy próbowad opracowywad specjalne terapie.

22 Rozpoznawanie obrazów Pokrewne pojęcia Data mining (drążenie danych) Machine learning (uczenie maszynowe) uczenie się pojęd (uczenie pod nadzorem, z nauczycielem) tworzenie pojęd (analiza skupieo, grupowanie) aproksymacja funkcji Metody sztucznej inteligencji Soft computing (obliczenia miękkie) Sieci neuronowe Algorytmy ewolucyjne

23 Rozpoznawanie obrazów Obiekt Aby klasyfikowad obiekty muszą one byd w jakiś sposób opisane, zmierzone, itd. Mierzone cechy (atrybuty): szerokośd wysokośd

24 Rozpoznawanie obrazów Jak rozpoznawad prawdziwe obrazy, zdefiniowane jako zbiór wartości pikseli? (Sama zmiana oświetlenia przy obrazie tego samego obiektu wprowadza ogromne zmiany.) Co trzeba zrobid by proces klasyfikacji był możliwy? Jakich metod użyd?

25 Trudności w rozwiązywaniu problemów Problem Model Rozwiązanie Jak bardzo uproszczony może byd model, by rozwiązanie było wciąż użyteczne?

26 Trudności w rozwiązywaniu problemów Problem Model Rozwiązanie Co jest lepsze: -Dokładne rozwiązanie przybliżonego (czyli prostszego) modelu czy - Przybliżone rozwiązanie dokładnego modelu?

27 Trudności w rozwiązywaniu problemów Rozwiązania optymalne nie są wymagane! W praktyce priorytetem jest posiadanie dobrego, lecz niekoniecznie optymalnego rozwiązania, lecz odpowiednio szybko np. przed konkurencją

28 Rozpoznawanie wzorców Ludzie mają wielką zdolnośd dostrzegania zależności i wzorców. Była to, i jest nadal, zdolnośd warunkująca przetrwanie. Czasami jednak natrafiamy na pewne problemy w interpretacji faktów, używamy schematów myślenia, uproszczeo, nawyków, błędnego wnioskowania, dostrzegamy zależności tam gdzie ich nie ma.

29 Paradoksy W pewnym teleturnieju główną nagrodą jest samochód. Jest on ukryty za jedną z trzech bramek. Pozostałe dwie bramki są puste. Uczestnik obstawia jedną z bramek. Następnie prowadzący teleturniej otwiera jedna z pozostałych dwóch ujawniając, że jest ona pusta. Proponuje uczestnikowi zmianę wyboru bramki. Co powinien uczynid uczestnik teleturnieju, by prawdopodobieostwo wygranej było jak największe? Pozostad przy swoim poprzednim wyborze? Zamienid bramkę? Czy ma to jakiekolwiek znaczenie? A =? B =? C =?

30 Paradoksy Co powinien uczynid uczestnik teleturnieju, by prawdopodobieostwo wygranej było jak największe? Pozostad przy swoim poprzednim wyborze? Zamienid bramkę? Czy ma to jakiekolwiek znaczenie? Bramka C okazuje się byd pusta. A =? B =? C = puste Uczestnik wybiera bramkę A

31 Paradoksy Rozwiązanie: Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? C =? Prawdopodobieostwo wygranej = 1/3 Prawdopodobieostwo wygranej = 2/3

32 Paradoksy Rozwiązanie: Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? C = pusta Prawdopodobieostwo wygranej = 1/3 Prawdopodobieostwo wygranej = 2/3

33 Paradoksy Rozwiązanie: Paradoks Monty'ego Halla Uczestnik powinien zmienid swój wybór na bramkę B. A =? B =? Prawdopodobieośtwo wygranej = 1/3 Prawdopodobieośtwo wygranej = 2/3 Wybór większego prawdopodobieostwa wygranej.

34 Paradoksy W celi znajdują się trzej więźniowie. Dwóch z nich rano zostanie straconych. Strażnik wie jaka jest decyzja.

35 Paradoksy Jednym z więźniów jest matematyk Oblicza szanse na przeżycie i wychodzi mu 1/3 A B M 1 E E U 2 U E E 3 E U E

36 Paradoksy Matematyk pyta strażnika, który z jego towarzyszy umrze bo przecież wiadomo, że któryś z nich na pewno jest w dwójce skazanych. A B M 1 E E U 2 U E E 3 E U E Strażnik mówi, że umrze A (dla B jest sytuacja symetryczna)

37 Paradoksy Matematyk cieszy się i twierdzi, że jego szanse na przeżycie wzrosły i wynoszą teraz ½!! Czy Matematyk popełnił błąd w swoim rozumowaniu? A B M 1 E E U 2 U E E 3 E U E Strażnik mówi, że umrze A (dla B jest sytuacja symetryczna)

38 Paradoksy Przestrzeo wyników eksperymentu jest zdefiniowana w kategoriach tego, na kogo wskaże strażnik.

39 Paradoksy Wiemy, że strażnik nigdy nie wskaże na M; załóżmy że wskazał A, ograniczając możliwe przypadki do dwóch: p(egzekuja A + M) = 1/3 p(egzakuja A + B) = 1/3 * ½ = 1/6 Matematyka interesuje ten drugi przypadek szansa na jego zajście jest: 1/ 6 1 1/ 6 1/ 3 3

40 Paradoksy 1/3 1/3 1/3 A+M B+M A+B 1 1 1/2 1/2 A B A B

41 Paradoksy 1/3 1/3 A+M A+B A 1 1/2 A Matematyka interesuje to zdarzenie Strażnik wskazując na A eliminuje częśd możliwości. 1/ 6 1/ 6 1/ 3 1 3

42 Paradoksy A Starsi 2/10 30/90 Młodsi 48/90 10/10 Dwie metody leczenia: A i B Dwie grupy wiekowe: Starsi i Młodsi Ułamki pokazują jaka częśd pacjentów z danej grupy wiekowej leczonych daną metodą powróciła do zdrowia. Widad, że metoda B góruje na metodą A w każdej grupie wiekowej. B

43 Paradoksy Ogółem 50/100 40/100 A B Rezultat całościowy wskazuje na to, iż leczenie metodą A jest lepsze. Jest to tzw. paradoks Simpsona (1951).

44 Duża korelacja Korelacja a przyczynowośd

45 Słaba korelacja Korelacja a przyczynowośd

46 Brak korelacji Korelacja a przyczynowośd

47 Korelacja a przyczynowośd Bardzo łatwo nabrad błędnego przekonania o zależności przyczynowej między zmiennymi. Przykład: Wśród chorujących na raka płuc u 95% pacjentów zobserwowano żółtą skórę na palcach dłoni. Czy jest to przyczyna choroby? Czy jest to raczej współwystępowanie, a prawdziwą przyczyną jest inny, nieuwzględniony jeszcze czynnik? (Palenie papierosów).

48 Korelacja a przyczynowośd Duża korelacja między zmiennymi nie oznacza występowania między nimi związku przyczynowego.

49 Wnioskowanie Jeśli świeci słooce, to jest jasno Jeśli uznajemy prawdziwośd powyższej reguły, które z poniższych reguł są również logicznie prawdziwe? Jeśli jest jasno, to świeci słooce Jeśli nie świeci słooce, to nie jest jasno Jeśli nie jest jasno, to nie świeci słooce

50 Wnioskowanie Reguła wnoiskowania modus ponens Reguła wnioskowania modus tollens

51 Metoda NN Nearest Neighbor (Najbliższego sąsiada) x2 Zbiór uczący Przykłady z dwóch klas x1

52 Metoda NN Nearest Neighbor (Najbliższego sąsiada) x2 W metodzie NN, nieznany obiekt jest przyporządkowany do tej klasy, z której pochodzi najbliższy w sensie pewnej miary odległości przykład ze zbioru uczącego. Nieznany obiekt, który należy zaklasyfikowad do którejś z klas. x1

53 Metoda NN Nearest Neighbor (Najbliższego sąsiada) Cechy metody NN: Wielka czułośd na błędy i przekłamania w zbiorze uczącym. Brak prawdziwego uczenia, uogólnienia wiedzy Uczenie zastąpione zapamiętaniem zbioru uczącego Metody te są popularne ze względu na prostotę i intuicyjnośd oraz dają stosunkowo dobre wyniki. Metody oparte na minimalnej odległości są jednak kosztowne w realizacji ze względu na koniecznośd archiwizowania ciągu uczącego w pamięci oraz czasochłonnego obliczania odległości rozpoznawanego obiektu od wszystkich elementów ciągu uczącego, co sprawia, że konieczne jest zastosowanie dużych mocy obliczeniowych lub godzenie się z długim czasem rozpoznawania.

54 Metoda αnn Na początku określany jest parametr α, potem pojawia się obiekt rozpoznawania i obliczane są wartości jego odległości od wszystkich obiektów ciągu uczącego. Następnie dokonywane jest uporządkowanie ciągu uczącego według rosnących odległości. Później wybiera się α początkowych obiektów ciągu, tworząc podzbiór, który następnie rozbijany jest na podzbiory związane z poszczególnymi klasami. Funkcje przynależności mogą byd teraz wyznaczone na podstawie liczebności tych podzbiorów. Metoda ta zapobiega błędom wynikającym z pomyłek w ciągu uczącym ale ogranicza czułośd metody.

55 Metoda j N NN Określa się tu przynależnośd nieznanego obiektu do tej klasy, do której należy j N -ty w kolejności element uporządkowanego zbioru ciągu uczącego.

56 Metody wzorców 1. Z najprostszym przypadkiem rozpoznawania obrazów mamy do czynienia wtedy, gdy klasy podobieostwa są reprezentowane przez wektory wzorcowe. 2. Są one odpowiednikami klas, są to zbiory nieuporządkowane, a wektory wzorcowe są numerowane w poszczególnych klasach. 3. Założono, że każdą klasę reprezentuje co najmniej jeden wektor wzorcowy, lecz zbiory takich wektorów są skooczone.

57 Metody wzorców Metoda uogólnionych wzorców i otoczeń kulistych

60 Metody liniowe Funkcja decyzyjna

61 Metody liniowe Perceptron Działa, jeśli dane są liniowo separowalne (tzn. jeśli istnieje rozwiązanie). System liniowy uczy się uogólnia wiedzę. Cała wiedza zawarta jest w wartościach wag.

62 Metody liniowe Co jeśli granice między klasami nie dadzą się opisad w sposób liniowy?

63 Które atrybuty wybrad? Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji

64 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Co zrobid jeśli atrybutów jest bardzo dużo? (piksele w obrazach) Curse of dimentionality - Przekleostwo wymiarowości Im więcej wymiarów tym więcej potrzeba przykładów by stworzyd dobry klasyfikator. Odległośd rośnie wraz ze wzrostem liczby wymiarów! Przykład: Odległośd między punktami początku układu współrzęnych oraz (1,1,...) w 2D (0,0) oraz (1,1) dist = sqrt(2) < w 3D (0,0,0) oraz (1,1,1) dist = sqrt(3)

65 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Curse of dimentionality - Przekleostwo wymiarowości Z drugiej strony, zgodnie z twierdzeniem Cover a, dla złożonego problemu klasyfikacji w wielowymiarowej przestrzeni jest bardziej prawdopodobne, że będzie on liniowo separowalny w przestrzeni o większej ilości wymiarów niż w przestrzeni o mniejszej ilości wymiarów. Sied neuronowa robi użytek dokładnie z tej własności. Przy większej liczbie neuronów radialnych niż wymiarowości wektora wejciowego (co w praktyce często, jeśli nie zawsze, jest spełnione) w warstwie radialnej następuje zwiększenie wymiarowości, co zwiększa prawdopodobieostwo, że dane zostaną liniowo odseparowane przez liniowe powierzchnie decyzyjne generowane przez neurony wyjściowe. Geometrycznie działanie sieci RBF polega na podziale przestrzeni wejściowej na podobszary, w których działają poszczególne neurony radialne.

66 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Curse of dimentionality - Przekleostwo wymiarowości W celu zmniejszenia liczby wymiarów z jednoczesnym zachowaniem wartościowych informacji w danych, stosuje się różne transformacje oryginalnych danych. W wyniku tej operacji problem klasyfikacyjny jest przeniesiony do nowej przestrzeni, w której prawdopodobnie łatwiej go rozwiązad. Niektóre metody uczenia (sieci neuronowe, SVM) w trakcie uczenia klasyfikatora wyznaczają jednocześnie takie transformacje.

67 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Które przykłady spośród wszystkich dostępnych wybrad do uczenia klasyfikatora? GIGO Garbage In, Garbage Out Śmieci na wejściu, śmieci na wyjściu Problem ten jest szczególnie istotny jeśli jest bardzo dużo dostępnych przykładów lub jeśli istnieje niebezpieczeostwo, że niektóre z nich są błędne.

68 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Jak uzyskad dobre efekty nauki, jeśli przykładów jest zbyt mało? Jak uzyskad dobrą generalizację stworzonego systemu? Przykład: Jak nauczyd system diagnozowad rzadką chorobę?

69 Rozpoznawanie obrazów Problemy w zadaniach rozpoznawania i klasyfikacji Inne problemy Duże bazy danych Przekłamania w danych Mieszanie się danych - nakładanie się klas

70 Rozpoznawanie obrazów Jakie są cele nauki? Minimalizacja błędów na zbiorze trenującym nie oznacza małej liczby przyszłych błędów na nieznanych danych, a to właśnie jest celem. Pożądane jest przyszłe dobre działanie klasyfikatora, tzn. dobra generalizacja nabytej wiedzy.

71 Rozpoznawanie obrazów Możliwośd osiągnięcia dobrej generalizacji jest związana z wielkością PRZESTRZENI HIPOTEZ. np. przestrzeo hipotez reprezentowanych przez klasyfikatory liniowe jest dużo mniejsza niż przestrzeo hipotez wielowarstwowych sieci neuronowych. Klasyfikatory liniowe nie są tak elastyczne jak sieci neuronowe, wiec nie będą w stanie nauczyd się niektórych problemów. Z drugiej strony sieci mogą się przeuczyd i źle generalizowad.

72 Vapnik-Chervonenkis dimension Wymiar VC Vapnik-Chervonenkis dimension Maksymalny rozmiar zbioru, na którego elementach można dokonad wszystkich możliwych dychotomicznych podziałów.

73 Generalizacja klasyfikatora liniowego x2 Słaba generalizacja x1

74 Generalizacja klasyfikatora liniowego x2 Dobra generalizacja x1

75 Metoda SVM Support Vector Machines W procesie nauki nie jest minimalizowany błąd na zbiorze uczącym, a raczej maksymalizowany margines co czasami dopuszcza popełnianie błędów.

78 Metoda SVM Support Vector Machines

79 Metoda SVM Support Vector Machines Problem optymalizacji z ograniczeniami.

80 Metoda SVM Support Vector Machines Równoważne sformułowanie w tzw. dualnej formie. Dużo wygodniejsze praktycznie.

81 Metoda SVM Support Vector Machines Wektory podpierające definiują granice decyzyjne pozostały dane są nieistotne.

82 Problemy nieliniowe Jak rozwiązywad problemy nieliniowe? Oryginalną przestrzeo 2D zastępujemy nową Tworzymy model który uwzględnia nieliniowe zależności między atrybutami, ale jest nadal liniowy względem parametrow w, więc można użyd znanych algorytmów do problemów liniowych by znaleźd odpowiednie wartości w.

83 Problemy nieliniowe XOR x y x xor y Nie istnieje jedna linia prosta, która oddziela te dwie klasy.

84 Problemy nieliniowe Wiele metod (sieci neuronowe, SVM) najpierw przenosi problem do przestrzeni gdzie zadanie klasyfikacji jest latwiejsze (liniowe), a potem rozwiązuje go w tej nowej przestrzeni. Takie jest między innymi zadanie kolejnych warstw w sieciach neuronowych.

85 Sieci radialne

86 Sieci radialne

87 Sieci radialne i problem XOR r2 Liniowa granica decyzyjna w nowej przestrzeni ,4 1 r1 Tu umieszczamy dwa neurony radialne r1 oraz r2 W tej przestrzeni problem jest liniowy!

88 SVM w problemach nieliniowe Przeniesienie do nowej przestrzeni przez użycie kernel function K

89 SVM w problemach nieliniowe

90 Komitety klasyfikatorów Czy grupa słabych klasyfikatorów może razem osiągnąd lepsze wyniki? Słaby klasyfikator to taki, który nie myli się w niewielu ponad 50% przypadkach działa niewiele lepiej niż klasyfikator losowy. Okazuje się, że tak. Na takiej zasadzie działają algorytmy BAGGING BOOSTING RANDOM FORESTS Aby działały dobrze, takie klasyfikatory powinny byd niezależne. W praktyce ciężko to spełnid klasyfikatory nie będą niezależne, jeśli zostały wytrenowane na tych samych danych.

91 Modele czarnej skrzynki Modele tzw. czarnej skrzynki nie objaśniają swego działania, nie wiadomo dlaczego klasyfikują tak a nie inaczej. Do takich metod należą sieci neuronowe wiedza nabyta w trakcie uczenia jest zaszyta w wartościach wag, ale one same nie wyjaśniają dlaczego decyzje są takie a nie inne, które atrybuty o tym decydują, itd. Jeśli celem jest nie tylko poprawna klasyfikacja ale również zrozumienie problemu, to użyteczne są inne metody, jak np. Reguły decyzyjne ( Jeśli coś jest takie i coś innego jest takie to wtedy...) Reguły lingwistyczne (logika rozmyta, Fuzzy Logic) Drzewa decyzyjne

92 Metody Bayesowskie

93 Data mining Data mining Drążenie danych Eksploracja danych Odkrywanie wiedzy w danych

94 Data mining Odkrywanie zależności w danych głównie w olbrzymich zbiorach danych, które to zależności charakteryzują się: Dużym zakresem, czyli zachodzą dla wielu rekordów Dużą dokładnością, czyli występują od nich co najwyżej niewielkie odchylenia dla rekordów, dla których zachodzą Dużym poziomem statystycznej istotności, czyli nie są przypadkowe

95 Data mining Problemy Duże zbiory danych Liczne atrybuty Liczne kategorie Nierównomierny rozkład kategorii Inkrementacyjna aktualizacja (wciąż uaktualniane bazy dancyh) Niekompletne dane Niepoprawne dane

96 Metody uczenia maszynowego Uczenie z nauczycielem Uczenie bez nadzoru Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning)

97 Metody uczenia maszynowego Uczenie z nauczycielem Nauczyciel: prezentuje przykłady, z którymi związana jest prawidłowa odpowiedź etykieta klasy (w przypadku klasyfikacji) wartośd rzeczywista (w przypadku zadania regresji) zna poprawną odpowiedź jest w stanie ukierunkowad naukę np. uczenie sieci neuronowych (algorytm backpropagation)

98 Metody uczenia maszynowego Uczenie bez nadzoru Do dyspozycji systemu uczącego się jest jedynie zbiór danych bez wskazania do jakich klas te dane należą Częstym zadaniem jest automatyczne wykrycie tych klas, jeśli one istnieją

99 Metody uczenia maszynowego Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning) Istnieje nauczyciel, ale udziela on odpowiedzi jedynie dobrze lub źle w odpowiedzi na zachowanie systemu Przykład: uczenie się strategi gry Wygrana = dobrze Przegrana = źle

100 Metody uczenia maszynowego Uczenie z krytykiem (ze wzmocnieniem, ang. reinforcement learning) Przykład: uczenie strategii gry w Backgammon (tryktrak)

101 Analiza danych Analiza danych ma za zadanie wykrycie istniejących w danych grup podobnych przykładów, sytuacji, itp. Każda grupa zawiera przykłady, które są podobne bardziej do siebie nawzajem niż do przykładów z innych grup. Częstym zadaniem jest również streszczenie danego zbioru danych.

102 Analiza danych Problemy: Ile grup szukamy? Jak mierzyd podobieostwo? Jak sobie radzied z danymi o dużej wymiarowości (duża liczba parametrów opisujących każdy przykład)? Jak sobie radzid w dużymi zbiorami danych?

103 Analiza danych Problemy: Dane niekompletne Dane zaszumione (z błędami) Problemy dynamiczne (zmieniające się w czasie) Dane rozproszone w wielu bazach danych Przykłady znajdują się w różnych miejscach Atrybuty znajdują się w różnych miejscach Rozproszone są zarówno przykłady jak i atrybuty

104 Analiza danych Problemy: Czego tak napradę szukamy? Innych danych podobnych do znanego nam przypadku? Najbardziej podobny przykład do naszego może byd mimo wszystko bardzo odmienny Wyróżniających się grup (np. klientów)? Zmian, nowości, informacji o łączenia się grup wcześniej wyraźnie oddzielonych?

105 Analiza danych Problemy z wizualizacją i weryfikacją wyników w problemach wielowymiarowych

106 Analiza danych Trzy wyraźnie grupy (rozkład sferyczny)

107 Analiza danych

108 Czy to są oddzielne grupy? Analiza danych

109 Grupy czy "szumy"? Analiza danych

110 Analiza danych Algorytm k-średnich (K-means) Określ liczbę szukanych grup Zainicjuj centra grup losowo lub za pomocą wybranych przykładów Powtarzaj dopóki centra ulegają zmianie: Dla każdego centrum określ zbiór przykładów, dla których jest to najbliższe centrum (przy danej mierze odległości) Wylicz nowe centrum jako średnia z przykładów z poprzedniego punktu

111 Analiza danych Problemy z algorytmem k-średnich Jak dobrad liczbę grup? Zastosowad współczynniki jakości grupowania Który współczynnik jakości wybrad? Algorytm może utknąd (centrum ustala się w miejscu gdzie nie ma żadnych danych) Dobrze działa dla danych, w których istnieją wyraźnie grupy sferyczne

112 Analiza danych Algorytm rozmytych k-średnich (fuzzy k- means) Każdy przykład może należed jednocześnie do więcej niż jednej grupy, ale z różnych stopniem przynależności Brak ostrego przydziału do wybranej grupy Może byd zaletą wykrycie wątpliwych przypadków na granicy Ostry podział łatwy do otrzymania z podziału rozmytego

113 Analiza danych Duża liczba innych algorytmów Possibility clustering Algorytmy grupowania hierachicznego Sieci Kohonena Algorytm gazu neuronowego Sztuczne systemy immunologiczne Sieci diotypowe