Idea Analiza skupień Analiza skupień jest narzędziem analizy danych służącym do grupowania n obiektów, opisanych za pomocą wektora p-cech, w K niepustych, rozłącznych i możliwie jednorodnych grup skupień. Obiekty należące do danego skupienia powinny być podobne do siebie, a obiekty należące do różnych skupień powinny być z kolei możliwie mocno niepodobne do siebie. Głównym celem tej analizy jest wykrycie z zbiorze danych, tzw. naturalnych skupień, czyli skupień, które dają się w sensowny sposób interpretować.
Algorytm zachłanny Analiza skupień Zwróćmy uwagę, że pod tym terminem kryje się szereg różnych algorytmów. Koncepcyjnie, najprostszym byłby następujący. Ustalamy liczbę skupień K oraz kryterium optymalnego podziału obiektów. Przeszukujemy wszystkie możliwe podziały n obiektów na K skupień, wybierając najlepszy podział ze względu na przyjęte kryterium optymalności. Bezpośrednie sprawdzenie wszystkich możliwych podziałów jest jednak, nawet przy niewielkim n, praktycznie niemożliwe. Ich liczba bowiem jest równa 1 K! K ( K ( 1) K k k k=1 ) k n inp.dla n =100obiektówiK =4skupieńjestrzędu10 58.
Algorytmy hierarchiczne idea Najprostszą i zarazem najczęściej używaną metodą analizy skupień jest metoda hierarchiczna. Wspólną cechą krokowych algorytmów tej metody jest wyznaczanie skupień poprzez łączenie (aglomerację) powstałych, w poprzednich krokach algorytmu, mniejszych skupień. Inne wersje tej metody zamiast idei łączenia skupień, bazują na pomyśle ich dzielenia. Podstawą wszystkich algorytmów tej metody jest odpowiednie określenie miary niepodobieństwa obiektów. Miary niepodobieństwa, to semi-metryki(a często również metryki) na przestrzeni próby X.
Algorytmy hierarchiczne miary niepodobieństwa Niech x r i x s będą p-wymiarowymiwektoramiobserwacji r-tegoi s-tegoobiektu (r,s =1,2,...,n). Definicja Funkcję ρ : X X Rnazywamymiarąniepodobieństwajeśli: 1. ρ(x r,x s ) 0, 2. ρ(x r,x s ) =0wtedyitykowtedy,gdy x r = x s, 3. ρ(x r,x s ) = ρ(x s,x r ). Określona w ten sposób miara jest semi-metryką. Jak widać nie musi ona być(choć często jest) metryką, tzn. nie musi spełniać warunkutrójkąta: ρ(x r,x s ) ρ(x r,x t )+ρ(x t,x s ),któraniejest nam potrzebna do określenia kolejności odległości punktów od x, ponieważ nie interesują nas odległości pomiędzy pozostałymi punktami. Wybór miary niepodobieństwa obiektów jest arbitralny i zależy głównie od charakteru danych.
Algorytmy hierarchiczne miary niepodobieństwa(dane ilościowe) Dla danych ilościowych, jako miarę niepodobieństwa pomiędzy obiektami używa się często zwykłą odległość euklidesową ( p ) 1/2 ρ(x r,x s ) = ((x r x s ) (x r x s )) 1/2 = (x ri x si ) 2 lub jej kwadrat ρ(x r,x s ) = (x r x s ) (x r x s ) = i=1 p (x ri x si ) 2. Zwróćmy uwagę, że ta druga miara nie jest metryką. Jeżeli cechy wyrażone są w różnych jednostkach, to stosujemy ważoną odległość euklidesową ( p 1 ρ(x r,x s ) = ((x r x s ) W 1 (x r x s )) 1/2 = i=1 i=1 w 2 i (x ri x si ) 2 ) 1/2, gdzie W =diag{w 2 1,...,w2 p},awagi w i sąodchyleniamistand.
Algorytmy hierarchiczne miary niepodobieństwa(dane ilościowe) Aby miara uwzględniała również korelacje pomiędzy cechami stosujemy jako miarę niepodobieństwa odległość Mahalanobisa ρ(x r,x s ) = ((x r x s ) S 1 (x r x s )) 1/2, gdzie S jest estymatorem macierzy kowariancji. Czasami, choć rzadko, stosuje się również inne miary niepodobieństwa obiektów. Przykładowo odległość miejską(zwaną również taksówkową lub manhatańską) ρ(x r,x s ) = p x ri x si. i=1
Algorytmy hierarchiczne miary niepodobieństwa(dane jakościowe) W przypadku danych jakościowych, możemy w naturalny sposób zdefiniować miarę niepodobieństwa obiektów jako ρ(x r,x s ) = 1 p p I(x ri x si ). i=1 Miara ta nazywana jest współczynnikiem niepodobieństwa Sneatha.
Algorytmy hierarchiczne miary niepodobieństwa(dane binarne) Na szczególną uwagę zasługuje sytuacja danych binarnych, tzn. takich gdzie każda cecha może przyjmować tylko dwie wartości(0 albo1). Współczynnik Sneatha przyjmuje wtedy postać ρ(x r,x s ) = b +c p =1 a+d, p gdzie aidoznaczająliczbęcechzgodnych, bicniezgodnych. Miara ta nosi nazwę współczynnika dopasowania obiektów. Do innych, szczególnie często wykorzystywanych w tej sytuacji, miarniepodobieństwaobiektównależy,statystyka χ 2 ρ(x r,x s ) = p(ad bc) 2 (a+b)(c +d)(a+c)(b +d).
Algorytmy hierarchiczne algorytm aglomeracyjny W pierwszym kroku każdy z obiektów tworzy oddzielne skupienie. Zatemskupieńtychjest n.wkrokudrugimwjednoskupienie połączone zostają dwa najbardziej podobne do siebie obiekty w sensie wybranej miary niepodobieństwa obiektów. Otrzymujemy zatem n 1 skupień. Postępując analogicznie, tzn. łącząc (wiążąc) ze sobą skupienia złożone z najbardziej podobnych do siebie obiektów, w każdym następnym kroku, liczba skupień maleje o jeden. Obliczenia prowadzimy do momentu uzyskania zadeklarowanej, końcowej liczby skupień K lub do połączenia wszystkich obiektów w jedno skupienie.
Algorytmy hierarchiczne dendrogram Graficzną ilustracją algorytmu jest dendrogram, czyli drzewo binarne, którego węzły reprezentują skupienia, a liście obiekty. Liście są na poziomie zerowym, a węzły na wysokości odpowiadającej mierze niepodobieństwa pomiędzy skupieniami reprezentowanymi przez węzły potomki. 30 25 20 15 10 5 0 6 7 3 4 2 8 5 1
Algorytmy hierarchiczne metody wiązania skupień Algorytm ten wykorzystuje nie tylko miary niepodobieństwa pomiędzy obiektami, potrzebne są nam również metody wiązania skupień.niech Ri Soznaczająskupienia,aρ(R,S)oznaczamiarę niepodobieństwa pomiędzy nimi. Poniżej podano trzy najczęściej wykorzystywane sposoby jej określenia.
Algorytmy hierarchiczne metoda pojedynczego wiązania Metoda pojedynczego wiązania(najbliższego sąsiedztwa). Miara niepodobieństwa pomiędzy dwoma skupieniami jest określona jako najmniejsza miara niepodobieństwa między dwoma obiektami należącymi do różnych skupień, tzn. ρ(r,s) = min i R,j S ρ(x i,x j ). Zastosowanie tego typu odległości prowadzi do tworzenia wydłużonych skupień, tzw. łańcuchów. Pozwala na wykrycie obserwacji odstających, nie należących do żadnej z grup, i warto przeprowadzić klasyfikację za jej pomocą na samym początku, aby wyeliminować takie obserwacje i przejść bez nich do właściwej części analizy.
Algorytmy hierarchiczne metoda pojedynczego wiązania Metoda pełnego wiązania(najdalszego sąsiedztwa). Miara niepodobieństwa pomiędzy dwoma skupieniami jest określona jako największa miara niepodobieństwa między dwoma obiektami należącymi do różnych skupień, tzn. ρ(r,s) = max i R,j S ρ(x i,x j ). Metoda ta jest przeciwieństwem metody pojedynczego wiązania. Jej zastosowanie prowadzi do tworzenia zwartych skupień o małej średnicy.
Algorytmy hierarchiczne metoda pojedynczego wiązania Metoda średniego wiązania. Miara niepodobieństwa pomiędzy dwoma skupieniami jest określona jako średnia miara niepodobieństwa między wszystkimi parami obiektów należących do różnych skupień, tzn. ρ(r,s) = 1 n R n S i R j S ρ(x i,x j ), gdzie n R i n S sąliczbamiobiektówwchodzącychwskładskupień Ri Sodpowiednio. Metoda ta jest swoistym kompromisem pomiędzy metodami pojedynczego i pełnego wiązania. Ma ona jednak zasadniczą wadę. W odróżnieniu od dwóch poprzednich wykorzystywana w niej miara niepodobieństwa nie jest niezmiennicza ze względu na monotoniczne przekształcenia miar niepodobieństwa pomiędzy obiektami.
Algorytmy hierarchiczne inne metody wiązania skupień Omówione metody wiązania skupień, choć najczęściej stosowane, nie są jedyne. W przypadku gdy liczebności skupień są zdecydowanie różne, zamiast metodą średniego wiązania możemy posługiwać się jej ważonym odpowiednikiem. Wagami są wtedy liczebności poszczególnych skupień. Inna popularna metoda wiązania skupień pochodzi od Warda(1963). Do obliczania miary niepodobieństwa pomiędzy skupieniami wykorzystuje on podejście analizy wariancji. Metoda daje bardzo dobre wyniki (grupy bardzo homogeniczne), jednak ma skłonność do tworzenia skupień o podobnych rozmiarach. Często nie jest też w stanie zidentyfikować grup o szerokim zakresie zmienności poszczególnych cech oraz niewielkich grup.
Algorytmy hierarchiczne algorytm aglomeracyjny podsumowanie Algorytm aglomeracyjny jest bardzo szybki i uniwersalny w tym sensie, że może być on stosowany zarówno do danych ilościowych jak i jakościowych. Wykorzystuje on jedynie miary niepodobieństwa pomiędzy obiektami oraz pomiędzy skupieniami. Należy podkreślić zasadniczy wpływ wybranej miary niepodobieństwa na uzyskane w końcowym efekcie skupienia. Do ustalenia końcowej liczby skupień wykorzystać możemy wykresy rozrzutu(przy wielu wymiarach w układzie dwóch pierwszych składowych głównych). Pomocny może być także dendrogram. Ustalamy wtedy progową wartość miary niepodobieństwa pomiędzy skupieniami, po przekroczeniu której zatrzymany zostaje proces ich dalszego łączenia.
Algorytmy hierarchiczne taksonomia wrocławska Innym podobnie uniwersalnym algorytmem jest tzw. taksonomia wrocławska. Jej idea polega na rozpięciu na zbiorze n obiektów najkrótszego dendrytu(drzewa spinającego), zbudowanego na bazie wybranej odległości(miary niepodobieństwa) pomiędzy obiektami, a następnie na wydzieleniu skupień poprzez usunięcie najdłuższych jego krawędzi. Najkrótszym dendrytem nazywamy drzewo, dla którego suma wag przy krawędziach jest najmniejsza. W naszym przypadku wagami są odległości pomiędzy obiektami reprezentowanymi przez wierzchołki drzewa. W przypadku wielowymiarowych danych ilościowych, wykres przedstawiający minimalny dendryt wygodnie jest przedstawić w układzie dwóch pierwszych składowych głównych.
Algorytmy hierarchiczne taksonomia wrocławska algorytm Kruskala Istnieje prosta procedura konstrukcji najkrótszego dendrytu zwana algorytmem Kruskala. 1 Wybieramy krawędź o minimalnej wadze. 2 Z pozostałych krawędzi wybieramy tę o najmniejszej wadze, która nie prowadzi do cyklu(z krawędzi o jednakowych wagach wybieramy dowolną). 3 Powtarzamy krok drugi, aż do uzyskania najkrótszego dendrytu.
Algorytmy hierarchiczne taksonomia wrocławska Jeżeli w najkrótszym dendrycie usuniemy l krawędzi o maksymalnychwagach,torozpadniesięonna K = l +1części, odpowiadających K skupieniom. Końcowa liczba skupień wyznaczona jest przez progową wartość odległości pomiędzy obiektami. Do jej wyznaczenia zastosować można poniższe kryterium. Niech ρ i oznaczawagę i-tejkrawędzidendrytu (i =1,2,...,n 1).Obliczamyśrednią ρiodchylenie standardowe s ρ wagwszystkichjegokrawędzi,anastępnie usuwamyteznichdlaktórych ρ i > ρ+cs ρ, przyczymzastałą cprzyjmujemyzazwyczaj1lub2.
Algorytmy hierarchiczne przykład Załóżmy, że danych jest 8 obiektów. Miarę niepodobieństwa pomiędzy nimi zapisano w postaci macierzy D. Jako miarę niepodobieństwa obiektów przyjęto odległość euklidesową. D = 0.00 27.75 24.65 29.00 2.50 46.86 22.87 2.65 27.75 0.00 4.37 5.32 26.33 20.88 6.58 29.22 24.65 4.37 0.00 5.93 23.32 23.73 3.63 26.25 29.00 5.32 5.93 0.00 27.86 19.47 6.85 30.81 2.50 26.33 23.32 27.86 0.00 45.37 21.76 3.21 46.86 20.88 23.73 19.47 45.37 0.00 25.98 48.36 22.87 6.58 3.63 6.85 21.76 25.98 0.00 24.68 2.65 29.22 26.25 30.81 3.21 48.36 24.68 0.00.
Algorytmy hierarchiczne przykład Wyniki grupowania przy pomocy algorytmu aglomeracyjnego przedstawia poniższy rysunek. Przy łączeniu skupień wykorzystano metodę średniego wiązania. Przyjmując wartość progową odległości równą 10, obiekty zostały rozbite na trzy skupienia: {1,5,8}, {2,3,4,7}i{6}. 30 25 20 15 10 5 0 6 7 3 4 2 8 5 1
Algorytmy hierarchiczne przykład Te same obiekty pogrupowano przy pomocy algorytmu opartego na najkrótszym dendrycie. Przyjmując c = 1, progowa wartość odległości pomiędzy obiektami wynosi 16.87. Daje ona w konsekwencji, analogiczny jak w metodzie aglomeracyjnej, podział obiektów na trzy skupienia. 6 4 2 8 1 5 0-2 2 3 4-4 7-20 -10 0 10 20
Metoda hierarchiczna w R Analiza skupień Służy do tego funkcja hclust, której pierwszym argumentem jest macierz odległości, a drugim metoda wiązania skupień. Funkcja rect.hclust pozwala automatycznie przyciąć dendryt, a funkcja cutree pozwala wydzielić zadaną z góry liczbę skupień.
Metoda K-średnich idea Analiza skupień Najbardziej popularnym, niehierarchicznym algorytmem analizy skupień jest algorytm K-średnich. Przyporządkowanie n obiektów do zadanej liczby skupień K, odbywa się niezależnie dla każdej wartości K nie bazując na wyznaczonych wcześniej mniejszych lubwiększychskupieniach.niech C K oznaczafunkcję,która każdemu obiektowi(dokładnie jego numerowi), przyporządkowuje numer skupienia do którego jest on przyporządkowany(przy podziale na K skupień). Zakładamy, że wszystkie cechy są ilościoweowartościachrzeczywistych(przestrzeńpróbyto R p ). Główną ideą metody K-średnich jest taka alokacja obiektów, która minimalizuje zmienność wewnątrz powstałych skupień, a co za tym idzie maksymalizuje zmienność pomiędzy skupieniami.
Metoda K-średnich idea Analiza skupień Dlaustalonejfunkcji C K,przez W(C K )ib(c K )oznaczmy macierze zmienności odpowiednio wewnątrz i pomiędzy skupieniami. Poniższa, znana z analizy wariancji, zależność opisuje związek pomiędzy tymi macierzami. T = W(C K )+B(C K ), gdzie T jest niezależną od dokonanego podziału na skupienia macierzą zmienności całkowitej. Powszechnie stosowane algorytmy metody K-średnichminimalizująśladmacierzy W(C K ).
Metoda K-średnich algorytm 1 W losowy sposób rozmieszczamy n obiektów w K skupieniach. Niechfunkcja C (1) K opisujetorozmieszczenie. 2 DlakażdegozKskupieńobliczamywektoryśrednich x k, (k =1,2,...,K). 3 Rozmieszczamy ponownie obiekty w K skupieniach, w taki sposób że C (l) K (i) = arg min ρ 2(x i, x k ). 1 k K 4 Powtarzamykrokidrugiitrzeciażdomomentu,gdy przyporządkowanie obiektów do skupień pozostanie niezmienione,tzn.ażdomomentu,gdy C (l) K = C(l 1) K.
Metoda K-średnich prezentacja Wygenerowany zbiór danych bez etykiet. https:// www. naftaliharris. com/ blog/ visualizing-k-means-clustering/
Metoda K-średnich prezentacja Losowe umieszczenie średków.
Metoda K-średnich prezentacja Przypisanie danych do środków.
Metoda K-średnich prezentacja Przesunięcie(przeliczenie) środków.
Metoda K-średnich prezentacja Zakończenie działania algorytmu.
Metoda K-średnich modyfikacje Istnieje wiele modyfikacji powyższego algorytmu. Przykładowo, losowe rozmieszczenie elementów w skupieniach krok pierwszy algorytmu, zastąpione zostaje narzuconym podziałem, mającym na celu szybsze ustabilizowanie się algorytmu. Wszystkie wersje algorytmu K-średnich są zbieżne. Nie gwarantują onejednakzbieżnościdooptymalnegorozwiązania C K.Niestety,w zależności od początkowego podziału, algorytm zbiega do zazwyczaj różnych lokalnie optymalnych rozwiązań. W związku z tym, aby uzyskać najlepszy podział, zaleca się często wielokrotne stosowanie tego algorytmu z różnymi, wstępnymi rozmieszczeniami obiektów.
Metoda K-średnich przykład 30 30 20 20 10 10 0 0-10 -10-20 -20-30 -30-50 0 50-50 0 50 Skupieniawyznaczonemetodą K-średnich.a) K =3,b) K =4.
Metoda K-średnich wybór K Algorytm metody K-średnich bazuje na minimalizacji zmienności wewnątrz powstałych skupień, wyrażonej poprzez W K = log(tr(w(c K ))).Zwróćmyuwagę,żezmiennośćtamaleje wrazzewzrostemliczbyskupień(dla K = njestwręczzerowa). 11,4 10,8 10,2 9,6 9,0 1 2 3 4 5 6 7 8 9 10
Metoda K-średnich wybór K Wykres ten przypomina wykres osypiska stosowany w analizie składowychgłównych.analizującróżnicepomiędzy W K i W K+1 widzimywyraźnie,żewartości W 1 W 2 i W 2 W 3 (byćmoże również W 3 W 4 )sązdecydowaniewiększeodpozostałychróżnic. Sugeruje to, podział na trzy(lub cztery) skupienia. Trudno jest jednak precyzyjnie określić, którą z różnic uznać za istotnie małą.
Metoda K-średnich wybór K indeksch W literaturze znaleźć można wiele pomysłów na automatyczne wyznaczania końcowej liczby skupień. Dwa z nich zasługują na szczególną uwagę. Caliński i Harabasz(1974) zaproponowali aby końcową liczbę skupień wybierać w oparciu o wartości pseudo-statystyki F postaci: CH(K) = tr(b(c K))/(K 1) tr(w(c K ))/(n K). Optymalną wartość K dobieramy tak, aby ją zmaksymalizować.
Metoda K-średnich wybór K zarys Z powodu łatwej możliwości wizualizacji coraz popularniejsza staje się miara zwana zarysem. Dla każdej obserwacji i definiujemy a(i) jako średnią miarę niepodobieństwa pomiędzy nią, a wszystkimi obserwacjami z tego samego skupienia. Jest to więc miara, która mówi jak bardzo obiekt jest dopasowany do skupienia(im mniejsza wartość tym lepsze dopasowanie). Następnie znajdujemy średnie odległości obserwacji i do pozostałych skupień. Przez b(i) oznaczamy najmniejszą z tych średnich, czyli jest to w zasadzie średnia odległość do najbliższego skupienia, do którego i nie należy. Zarys definiujemy jako: s i = b(i) a(i) max(a(i),b(i)). Miarataprzyjmujewartościod-1do1.Obserwacje,dlaktórych s i jestbliskie1sąpoprawnieprzydzielone,jeśli s i jestbliskie0 obserwacjależynagranicyskupień,jeślinatomiast s i jestujemne obserwacja znajduje się w złym skupieniu.
Metoda K-średnich wybór K współczynnik zarysu Średniawartośćzarysu s k,dlakażdegoskupieniamówiotymjak dobrze dane są przydzielone do tego skupienia. Z tego względu średni zarys dla całego zbioru danych może służyć jako miara jakościpodziału.współczynnikzarysumapostaćsc = max k s k,i jego interpretacja została zawarta w poniższej tabeli. SC Interpretacja 0,71-1,00 Silna struktura 0,51-0,70 Istotna struktura 0,26-0,50 Słaba struktura 0,25 Brak struktury
Metoda K-średnich wykres zarysu Zarys podlega wizualizacji za pomocą wykresu zarysu.
Metody niehierarchiczne w R Metodę k-średnich realizuje funkcja kmeans, której pierwszym argumentem jest zbiór danych, a drugim liczba skupień. Do wizualizacji można użyć funkcji clusplot z pakietu cluster. W tym samym pakiecie znajdują się również funkcje pam oraz clara, które realizuję wydajniejsze metody poszukiwania skupień za pomocą metod niehierarchicznych(środkiem nie są średnie, ale centroidy). Wykres zarysu otrzymamy za pomocą funkcji silhouette również z pakietu cluster. Pakiet vegan zawiera funkcję cascadekm, która bazując na indeksie CH wyznacza optymalną liczbę skupień.
Metoda hierarchiczna, a niehierarchiczna Obie metody mają swoje wady i zalety. W przypadku metod hierarchicznych istnieje wiele algorytmów dających różne wyniki, z których nie jesteśmy w stanie określić, które rozwiązanie jest najlepsze. Poza tym nie ma możliwości korekty rozwiązania, obiekt raz przydzielony do klasy już w niej pozostaje. Ostatecznie metody hierarchiczne są mało wydajne w przypadku dużych zbiorów danych(duża czaso- i pamięciożerność). Główną wadą metod optymalizacyjnych jest konieczność zadania liczby klas z góry. Dodatkowo bardzo duże znaczenie ma wybór początkowych środków ciężkości. W praktyce często metoda hierarchiczna służy do wstępnej obróbki danych i wyznaczenia punktów startowych dla metody k-średnich(np. jako średnie w skupieniach). Analiza skupień nie jest odporna na zmiany skali, oznacza to, że jeśli różne zmienne mają różne skale, to te największe mogą zdominować odległości. Oczywiście może to być celowe, w takim przypadku pewne zmienne są ważniejsze od innych. W ogólności jednak warto wykonać wpierw skalowanie danych.