CLUSTERING METODY GRUPOWANIA DANYCH

Transkrypt

1 CLUSTERING METODY GRUPOWANIA DANYCH

2 Plan wykładu Wprowadzenie Dziedziny zastosowania Co to jest problem klastrowania? Problem wyszukiwania optymalnych klastrów Metody generowania: k centroidów (k - means clustering) Grupowanie hierarchiczne (hierarchical clustering) Probabilistyczne grupowanie (probability-based clustering)

3 Co to jest klastrowanie Klastrowanie (clustering): problem grupowania obiektów o podobnych właściwościach. Klaster: grupa (lub klasa) obiektów podobnych (powstająca w wyniku grupowania danych)

4 Clustering i Klasyfikacja Clustering = uczenie bez nadzoru Znaleźć naturalne skupienia dla zbioru obiektów nie etykietowanych Klasyfikacja=uczenie z nadzorem Uczenie metod przewidywania przynależności obiektów do klas decyzyjnych (dane etykietowane)

5 Jak należy dzielić następujące obiekty na grupy? Podział na grupy jest raczej subiektywny Rodzina Pracownicy Kobiety Mężczyźni

6 Dziedziny zastosowania Medycyna Grupowania chorób Grupowanie objaw u pacjentów np. paranoja, schizophrenia -> właściwa terapia Archeologia: taksonomie wydobytych narzędzi... Text Mining Grupowanie podobnych dokumentów -> lepsze wyniki wyszukiwań dokumentów

7 Opis klastrów a b c d e f g h g a c i e d k b j f h a d k g j h e i f c b a d k g j h e i f c b

8 Problem grupowania (clustering) Dane są: liczba klastrów k funkcja odległości d określona na zbiorze obiektów P. funkcja oceny jakości klastrów F (objective function) Problem: Podzielić zbiór P na k klastrów tak aby funkcja F przyjmowała maksymalną wartość.

9 Klasyfikacja metody Unsupervised learning: grupowanie obiektów bez wiedzy o ich kategorii (klasach decyzyjnych). Metody klasyfikują się według postaci generowanych klastrów: Czy są one rozłączne czy nierozłączne Czy mają strukturę hierarchiczną czy płaską Czy są określone deterministycznie czy probabilistycznie.

10 Podstawowe metody clusteringu k-centroidów (k-mean): Klastry mają strukturę płaską są określone deterministycznie Grupowanie hierarchiczne: Klastry mają strukturę drzewiastą są określone deterministycznie Grupowanie w oparciu o prawdopodobieństwo: Klastry mają strukturę płaską są określone probabilistycznie

11 Co to jest podobieństwo? The quality or state of being similar; likeness; resemblance; as, a similarity of features. Webster's Dictionary Podobieństwo jest trudne do definiowania, ale Poznajemy go, gdy go widzimy Czym jest podobieństwo jest raczej filozoficznym pytaniem. Będziemy stosować uproszczone metody

12 Podobieństwo a odleglość Peter Piotr

13 Miary odległości

14 Przykład: kwantyzacja wektorowa Mały 100x100 obraz kolorowy wymaga 10000*24 = 29.3 kb; (N=10000) Jeśli zdołamy reprezentować ten obraz używając jedynie k=32 kolorów => możemy kodować każdy punkt za pomocą 5 bitów => redukcja pamięci do 6.1 kb + 32*24 bitów na książkę kodową

15 Metoda k-centroidów (k-means, MacQueen, 1967) Dane: N punktów w przestrzeni R n Parametr k < N Szukane: D = {x 1, x 2 x N } k punktów c 1 c k (zwanych środkami lub centroidami) będących optymalnymi punktami ze względu na funkcję: Cost( c1,..., ck D) min N i1 j1,.., k x i c j 2

16 Złożoność problemu grupowania Twierdzenie: Problem grupowania minimalnego względem sumy kwadratów błędów jest NP-trudny nawet dla k=2

17 Algorytm Znaleźć k środków tak, aby suma odległości punktów do najbliższego centroida była minimalna. o Krok 1. Wybierz losowo k punktów (centroidów) będących środkami klastrów o Krok 2. Przydziel każdy obiekt do najbliższego centroida. o Krok 3. Wyznacz nowy układ centroidów o Krok 4. Powtórz krok 2 dopóty, póki poprawa jakości będzie zerowa lub nieistotna.

18 Metoda k centroidów (c.d.) Wyznaczanie nowego układu centroidów Idea: Nowy centroid jest środkiem ciężkości powstającego (w poprzednim przebiegu algorytmu) klastra. Współrzędne nowego centroida c: p1( xi )... pk ( xi ) c( xi ) k gdzie p 1,p 2,...,p k punkty należące do klastra. c(x i ), p 1 (x i ),..., p k (x i ) i-ta współrzędna.

19 Przykład k=3, Krok 1 Y Wybierz losowo 3 punkty jako początkowy zbiór środków. k 2 k 1 k 3 X

20 Przykład k=3, Krok 2 Y k 1 Przypisanie każdego z punktów do najbliższego środka k 2 k 3 X

21 Przykład k=3, Krok 3 Y k 1 k 1 Przesuwanie centroidów do środków klastrów. k 2 k 2 k 3 k 3 X

22 Przykład k=3, Krok 4 Znów przypisać punkty do najbliższych środków Y k 1 Pyt.: Które z tych punktów zmienia grupę? k 2 k 3 X

23 Przykład k=3, Krok 4a A: 3 zmiany Y k 1 k 2 k 3 X

24 Przykład k=3, Krok 4b re-compute cluster means Y k 2 k 3 k 1 X

25 Przykład k=3, Krok 5 k 1 Y Przesuwanie centroidów do środków nowych klastrów k 2 X k 3

26 Przykład k=2

27 Własciwości metody k-centroidów Jakości klastrów zależą od wyboru początkowego układu centroidów. Algorytm może trafić w lokalne minimum Aby unikać lokalne minimum: startować z różnymi układami losowo wybieranych centroidów.

28 Zbieżność algorytmu k-means Twierdzenie: dla dowolnego zbioru obiektów X R n oraz punktu z R n mamy Cost( z X ) Cost( mean( X ) X ) X mean( X ) z 2

29 Jak wybrać właściwą liczbę grup? Na ogół, problem jest nie rozwiązalny. Możemy stosować pewne heurystyki Rozpatrzmy przykładowe dane (pokazane obok): Widać, że najwłaściwsza liczba grup wynosi 2. Analizujmy zmianę funkcji jakości klastrów w zależności od liczby klastrów

30 Gdy k = 1, wartość funkcji wynosi

31 Gdy k = 2, wartość funkcji wynosi

32 Gdy k = 1, wartość funkcji wynosi

33 Jakość klastrów Możemy wyświetlić wykres fukcji jakości dla k =1,2,3, Przy k = 2, widoczna jest zmiana trendu, co sugeruje, że k=2 jest optymalną liczbą klastrów. Ta technika nazywa się knee finding albo elbow finding. 1.00E E E E E E E E E E E+00 k

34 Anomalie metody centroidów

35 Grupowanie hierarchiczne Przykład grupowania profili danych ekspresji RNA (Nugoli et al. BMC Cancer :13)

36 Algorytm Cel: Budować drzewo klastrów dla zbioru n obiektów. Jakość klastra: suma odległości pomiędzy obiektami w klastrze. 1. Na najniższym poziomie drzewa: n liści. Każdy liść (zawierający 1 obiekt) jest klastrem 2. Repeat oznajdź najbliższą parę klastrów (parę poddrzew) opołącz te klastry (poddrzewa) w jeden większy until STOP

37 Przykład

38 Odległość między klastrami 1. Single linkage (nearest neighbor) 2. Complete linkage (furthest neighbor) 3. Weighted (or unweighted) pair-group average 4. Weighted (or unweighted) pair-group centroid (median). 5. Wards Linkage: Minimalizacja wariancji połączonych grup

39 Single linkage Average linkage Wards linkage

40 Przykład perfekcyjnego grupowania hierarchicznego (Bovine: , (Spider Monkey 0.390, (Gibbon: ,(Orang: ,(Gorilla: ,(Chimp: , Human: ): ): ): ): );

41 Czasem hierarchia pokazują błędne relacje Sensowna grupa: Australia, Anguilla, St. Helena etc (poprzednie kolonie Wielkiej Brytanii). Grupa zawierająca Niger i India jest błędna: brak relacji między tymi krajami AUSTRALIA St. Helena & Dependencies ANGUILLA South Georgia & South Sandwich Islands U.K. Serbia & Montenegro (Yugoslavia) FRANCE NIGER INDIA IRELAND BRAZIL

42 Probabilisty czne grupowanie Obiekt należy do klastra z pewnym stopniem prawdopodobieństwa. Idea: Każdy klaster jest opisany jednym rozkładem prawdopodobieństwa. Założenie: Wszystkie rozkłady są rozkładami normalnymi. Rozkłady różnią się wartoścami oczekiwanymi () i odchyleniami standardowymi ().

43 Przykład: Trzy probabilistyczne klastry

44 Stopień należności obiektu do klastra Obiekt x należy do klastra A z prawdopodobieństwem: gdzie f(x; A ; A ) - rozkład normalny ] [ ). ; ; ( ] [ ] [ ]. [ ] [ x P p x f x P A P A x P x A P A A A ) ( 2 1 ) ; ; ( x e x f

45 Algorytm EM EM Expection - Maximization Dana jest liczba klastrów k. Cel: Dla każdego atrybutu rzeczywistego znaleźć k układów parametrów ( i, i, p i ) dla i =1,..,k (opisów k klastrów). Dla uproszczenia opisu, niech k = 2 Algorytm jest opisany dla wybranego atrybutu.

46 Algorytm EM Idea: adoptować algorytm k centroidów. Krok 1. Wybierz losowo 2 układy parametrów ( A, A, p A ) i ( B, B, p B ); Krok 2. Oblicz oczekiwane stopnie przynależności obiektów do klastrów ( expectation step) Krok 3. Wyznacz nowe układy parametrów w celu maksymalizacji funkcji jakości likelihood ( maximization step); Krok 4. Powtórz krok 2 dopóty, póki poprawa jakości będzie mała.

47 Funkcja oceny jakości Funkcja dopasowania likelihood : dla dwóch klastrów A i B: i ( p. P[ x A] p. P[ x B]) A i B i

48 Wyznaczanie nowych parametrów Szuka się dwóch układów parametrów: ( A, A, p A ) i ( B, B, p B ) Jeśli w i jest stopniem przynależności i tego obiektu do klastra A to : n n n A w w w x w x w w x n A n n A A A w w w x w x w x w... ) (... ) ( ) (

49 Bibliografia Brian S. Everitt (1993). Cluster analysis. Oxford University Press Inc. Ian H. Witten, Eibe Frank (1999). Data Mining. Practical ML Tools and Techniques with Java Implementations. Morgan Kaufmann Publishers.