SYSTEMY UCZĄCE SIĘ WYKŁAD 9. GRUPOWANIE DANYCH. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska.

Transkrypt

1 SYSTEMY UCZĄCE SIĘ WYKŁAD 9. GRUPOWANIE DANYCH Częstochowa 014 Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

2 INFORMACJE WSTĘPNE Grupowanie danych zwane inacze grupowaniem poęciowym, klasteryzacą lub analizą skupień (cluster analysis) to przykład uczenia bez nadzoru. Celem grupowania danych est wykrycie w zbiorze przykładów skupień i podział przykładów na grupy. Zbiór uczący składa się z przykładów nieetykietowanych. Uczeń dzieli przykłady na grupy/kategorie i konstruue opis każde grupy. Opis stanowi hipotezę pozwalaącą przydzielać do grup nowe przykłady. Przynależność do grupy opiera się na podobieństwie przykładów (dla atrybutów ciągłych i porządkowych podobieństwo opiera się na mierze odległości pomiędzy przykładami). W obrębie każde grupy przykłady powinny być do siebie maksymalnie podobne. Przykłady należące do różnych grup powinny być maksymalnie niepodobne.

3 ZASTOSOWANIA Grupowanie używane est zarówno ako wstępny krok analizy danych, ak i pełnoprawne narzędzie badawcze. Do naczęstszych zastosowań należy: eksploraca danych (data mining), gdzie grupowanie używane est np. do podziału klientów na pewne podgrupy segmentaca obrazu (image segmentation), czyli podział obrazu na regiony homogeniczne pod względem pewne własności obrazu (kolor, tekstura, intensywność). Taki uproszczony obraz est prostszy do obróbki np. przez algorytmy rozpoznawania obrazu rozpoznawanie obraz (pattern recognition) ekstrakca informaci (information retrieval), maąca za zadanie uporządkowanie i uproszczenie dostępu do informaci. Do klasycznych zastosowań należy stworzenie klasyfikaci książek, czy stron internetowych grupowanie zadań w problemie harmonogramowania tak, by zadania intensywnie ze sobą komunikuące się trafiły do te same grupy. Taka grupa zostanie w następnym kroku przypisana do wykonania na ednym procesorze 3

4 TYPY ALGORYTMÓW GRUPOWANIA Algorytmy grupowania danych dzieli się na kilka kategorii: Algorytmy oparte na podziałach (partitioning algorithms) konstruuą różne podziały i oceniaą e za pomocą funkci kryterialne. Zadanie sprowadza się do optymalizaci te funkci Algorytmy hierarchiczne tworzą hierarchiczną reprezentacę zbioru danych Algorytmy oparte na gęstościach (density-based algorithms) oparte na funkci gęstości i na lokalnych połączeniach; produkuą grupy o dowolnych kształtach Inne, np. sekwencyne, ądrowe, grafowe 4

5 KROKI ALGORYTMU GRUPOWANIA W algorytmie grupowania wyodrębnia się następuące kroki: 1. Wybór reprezentaci przykładów (włączaąc selekcę i ekstrakcę atrybutów (feature selection, feature extraction)). Wybór modelu reprezentaci klasterów i pewnych warunków, akie muszą być spełnione w wyniku (ograniczeń) 3. Zdefiniowanie funkci będące miarą podobieństwa pomiędzy klasterem a przykładem 4. Zdefiniowanie funkci oceny grupowania (i funkci oceny klastera, z które korzysta funkca oceny grupowania) 5. Grupowanie, czyli przeglądanie przestrzeni w akie opisane są klastery w celu znalezienia rozwiązania optymalnego z punktu widzenia funkci zdefiniowane w 4 6. Abstrakca rezultatów 7. Ocena rezultatów 5

6 6 Artybuty ciągłe miary podobieństwa/niepodobieństwa opieraą się na miarach odległości * lub na mierze korelaci: = = = = n b n a n b a b a x x x x x x x x 1, 1, 1,, ) ( ) ( ) )( ( ), ( x x ρ Artybuty porządkowe wymagaą konwersi na wartości numeryczne i zastosowania miar podobieństwa/niepodobieństwa takich ak dla atrybutów ciągłych. Atrybuty nominalne miara podobieństwa/niepodobieństwa opiera się na odległości Hamminga. Odległość Hamminga pomiędzy przykładami x a i x b z nominalnymi atrybutami równa est liczbie atrybutów o różnych wartościach w tych przykładach. * patrz wykład 8, slady 3 5 MIARY PODOBIEŃSTWA/NIEPODOBIEŃSTWA

7 FUNKCJA CELU W GRUPOWANIU Sumę kwadratów odległości pomiędzy parami punktów (przykładów) T możemy rozłożyć na sumę kwadratów odległości między parami punktów należących do te same grupy W oraz sumę kwadratów odległości między parami punktów należących do różnych grup B: T = W + B, gdzie : d ( i i' 1 T = 1 W = 1 B = K N N i= 1 i' = 1 d k = 1 C ( xi ) = k C ( xi ) = k K ( x, x d d k = 1 C ( xi ) = k C ( xi ) k i i' i ) ( x, x ( x, x x, x ) kwadrat odległości euklidesowe pomiędzy dwoma przykładami, C(x i ) numer grupy przypisane przykładowi x i, K liczba grup. Zmieniaąc podział punktów na K grup zmieniamy W i B. T pozostae stałe. Celem grupowania est minimalizaca W (rozrzutu wewnątrzgrupowego) lub, równoważnie, maksymalizaca B (rozrzutu międzygrupowego). i i' i' ) ) Koronacki J., Ćwik J.: Statystyczne systemy uczące się. WNT

8 ALGORYTM K-ŚREDNICH Jednym z nabardzie popularnych algorytmów grupowania danych est algorytm K-średnich (Kmeans), w którym reprezentantem k-te grupy est wektorowa średnia punktów należących do te grupy m k. Rozrzut wewnątrzgrupowy wyrażony est tu w postaci: W = K d k = 1 C ( x i ) = k ( x, m i k ) Algorytm k-średnich można zapisać w następuących krokach: 1. Zainicu k środków grup m k (np. losuąc k przykładów ze zbioru trenuącego). Przydziel każdy przykład trenuący do nabliższego środka m k. 3. Wyznacz nowe środki grup m k ako średnie wektorowe przykładów przydzielonych do tych grup. 4. Jeśli pozyce środków m k nie zmieniaą się, zakończ, w przeciwnym przypadku idź do punktu. 8

9 ALGORYTM K-ŚREDNICH 9

10 ALGORYTM K-ŚREDNICH Algorytm K-średnich est szybki, efektywny i zbieżny, ma małe wymagania pamięciowe, choć może dawać rozwiązania nieoptymalne. Aby tego uniknąć algorytm uruchamia się wielokrotnie z różnych punktów startowych. Podział przestrzeni w wyniku grupowania odpowiada mozaice Voronoia. Wady tego algorytmu: problem z atrybutami nominalnymi liczba grup K musi być podana a priori wrażliwy na punkt startowy wrażliwy na błędne dane (odstaące obserwace) problemy z grupowaniem, gdy grupy różnią się wielkością, gęstością lub nie są wypukłe (patrz rysunek na następnym sladzie) Podobne algorytmy grupowania: algorytm K-medoidów, w którym każda grupa est reprezentowana przez eden z przykładów algorytm K-median, w którym zamiast wektorów średnich stosuemy wektory median do reprezentaci grup 10

11 ALGORYTM K-ŚREDNICH 11

12 GRUPOWANIE HIERARCHICZNE Metody hierarchiczne należą do nabardzie popularnych algorytmów grupowania i eksploraci danych. W wyniku działania tworzą hierarchię podziałów punktów na grupy, w które grupy na poziomie l formowane są z grup utworzonych na poziomie l 1. Punkty zgrupowane razem na poziomie l, pozostaą w te same grupie na wyższych poziomach. Liczba grup nie musi być tuta zadawana a priori. Proces grupowania hierarchicznego przebiega naczęście według algorytmu aglomeracynego: 1. Przymue się, że każdy przykład stanowi odrębną grupę. Otrzymuemy więc N grup ednoelementowych.. Powtarzamy N-1 razy:.1. Wyznaczamy macierz odległości pomiędzy grupami (w pierwszym kroku będzie to macierz odległości pomiędzy przykładami D = [d i ], i, = 1,,, N)... Znaduemy parę nabliższych sobie grup..3. Grupy nabliże położone łączy się, redukuąc liczbę grup o eden. 1

13 GRUPOWANIE HIERARCHICZNE Po wykonaniu algorytmu wszystkie klastery zostaną połączone w eden. Proces grupowania można zwizualizować dendrogramem drzewem hierarchicznym, którego liście stanowią przykłady x, węzły grupy powstałe przez połączenie dwóch grup z niższego poziomu, a gałęzie obrazuą łączone klastery i odległości pomiędzy nimi. Proces grupowania przerywa się w momencie osiągnięcia założone liczby grup (eśli est znana), przekroczenia progowe wartości odległości pomiędzy łączonymi grupami lub spełnienia przyętego warunku akości grupowania. W tym ostatnim przypadku wykorzystue się miary warianci wewnątrzgrupowe i międzygrupowe. 13

14 GRUPOWANIE HIERARCHICZNE Proces grupowania hierarchicznego może zachodzić także wg algorytmu dzielącego, który wychodząc od edne grupy obemuące wszystkie przykłady, dzieli ą na dwie. Proces podziału powtarza się do momentu, gdy uzyskane grupy będą dostatecznie różne. Odległości pomiędzy klasterami G i H, o liczebnościach odpowiednio N G i N H, definiue się następuąco: metoda poedynczego wiązania (nabliższego sąsiada) minimalna odległość między przykładami należącymi do tych grup: d( G, H ) = min d( x, x ) i G, H metoda pełnego wiązania (nadalszego sąsiada) maksymalna odległość między przykładami należącymi do tych grup: d( G, H ) = max d( x, x ) i G, H metoda średniego wiązania (średnie międzygrupowe) średnia arytmetyczna odległości 1 między każdą parą przykładów należących do tych grup: d ( G, H ) = d( x i, x ) N N i i G H i G H 14

15 GRUPOWANIE HIERARCHICZNE PRZYKŁAD Dane są wskaźniki opisuące państwa europeskie: Państwo Powierzchnia PKB Inflaca Dług. życia Uzbroenie Wzrost populaci Bezrobocie Austria Belgium Bulgaria Croatia Czech Republic Denmark Estonia Finland Germany Greece Hungary Iceland Ireland Italy Latvia Lithuania Luxembourg Netherlands Norway Poland Portugal Slovakia Slovenia Spain Sweden Switzerland Ukraine United Kingdom

16 GRUPOWANIE HIERARCHICZNE PRZYKŁAD Wyznacz dendrogram grupuący państwa według ww. wskaźników. Przed utworzeniem dendrogramu wskaźniki (atrybuty) poddano standaryzaci Ukraine Greece Spain Poland Portugal Hungary Slovakia Lithuania Latvia Estonia Bulgaria Croatia Slovenia Czech Rep. Denmark Belgium Austria Netherlands Norway Germany Sweden Finland Italy United King. Ireland Iceland Switzerland Luxembourg PKB Wzrost populci Dług. życia Powierzchnia Inflaca Bezrobocie Uzbroenie 16

17 ALGORYTMY GRUPOWANIA OPARTE NA GĘSTOŚCIACH Główne cechy: bazuą na wyszukiwaniu punktów gęsto ułożonych (regiony pokrywaące grupy maą wyższą gęstość niż regiony na zewnątrz grup) tworzą grupy o dowolnych kształtach wyłapuą szum i punkty oddalone ednokrotnie przeglądaą zbór danych 17

18 ALGORYTMY GRUPOWANIA OPARTE NA GĘSTOŚCIACH Podstawowe poęcia: ε promień definiuący otoczenie punktu ε-otoczenie punktu p N ε (p): {q D d(p,q) ε}, gdzie d(p,q) est odległością pomiędzy p i q MinPts minimalna liczba punktów w ε-otoczeniu Rdzeń obiekt, który ma co namnie MinPts punktów w swoim ε-otoczeniu Punkt brzegowy punkt, który ma mnie niż MinPts punktów w swoim ε-otoczeniu. Punkty niepołączone z żadnym skupiskiem to tzw. punkty oddalone (outliers) Punkt p est bezpośrednio wyprowadzalny z punktu q, eśli: p N ε (q) N ε (q) MinPts 18

19 ALGORYTMY GRUPOWANIA OPARTE NA GĘSTOŚCIACH Punkt p est wyprowadzalny z punktu q, eśli istniee ciąg punktów r 1,, r n taki, że r 1 = q, r n = p i r i+1 est bezpośrednio osiągalny z r i Punkt p i q są połączone, eśli istniee punkt o taki, że p i q są wyprowadzalne z o Grupa maksymalny zbiór punktów połączonych 19

20 ALGORYTMY GRUPOWANIA OPARTE NA GĘSTOŚCIACH Przykład algorytmu opartego na gęstości: 1. Wybierz dowolny punkt p. Wyszukiwać zbiór G wszystkich punktów osiągalnych z punktu p dla ustalonych ε i MinPts 3. Jeśli p est rdzeniem, zwróć G (tworzymy grupę) 4. Jeśli p est punktem brzegowym, to sprawdź następny nieodwiedzony punkt 5. Jeśli p est punktem oddalonym, to zaznaczamy go ako takiego 6. Kontynuu, aż wszystkie punkty zostaną odwiedzone 0