Co to jest grupowanie

Wielkość: px

Rozpocząć pokaz od strony:

Download "Co to jest grupowanie"

Kinga Dąbrowska
7 lat temu
Przeglądów:

1 Grupowanie danych

2 Co to jest grupowanie Szukanie grup, obszarów stanowiących lokalne gromady punktów

3 Co to jest grupowanie

4 Grupowanie danych czyli uczenie nienadzorowane analiza skupień, klasteryzacja, grupowanie danych Ucząc model nie wiemy nic o tym czego czego mamy się nauczyć przykład: sieci samoorganizujące się Kochonena, Przykład: Czytając różne książki nie wiemy co się na ich podstawi nauczymy ale na pewno czegoś się nauczymy. Przykład: Mając dane dotyczące różnych kwiatów np. irysów (długości i szerokości kielicha oraz długości i szerokości płatka) chcemy się dowiedzieć iloma różnymi odmianami irysa dysponujemy

5 Co to jest grupowanie - przykłady Analiza dokumentów np.. -> przykład Blachnik:

6 Podział metod grupowania danych Metody hierarchiczne Metody oparte o dekompozycję rozkładów prawdopodobieństwa Metody bazujące na minimalizacji skalarnego współczynnika jakości Metody oparte na teorii grafów,

7 Grupowanie chierarchiczne

8 Grupowanie chierarchiczne 30 x x 2 10 x 1 20 x 2 x x 2 x 1 x 2 x 3 x 4 5 x 3 x 4 x 3 x 4 x 3 x 4 avg(10,10) avg(30,20) x 1 x 2 x 3 x 4 x 1 x 2 x 3 x 4 x 1 x 2 x 3 x 4 x 1 x 2 x 3 x 4

9 Odległości pomiędzy skupiskami Minimum minimalna odległość pomiędzy elementami zbiorów x i x dmin ( i, j ) min x x' x Maksimum - x' j maksymalna odległość pomiędzy elementami zbiorów x i x d max (, ) j Norma różnicy wartości średnich d (, ) m m' m i i j j i max x i x' x x' x i d x j

10 Przykład

11 Metody oceny jakości grupowania Cophenetic correlation coefficien Z - wektor odległości drzewa (m-1)x3 Y - wektor odległości obiektów niezgrupowanych (m-1)m/2 x 1 Y ij odległość pomiędzy obiektami i oraz j w Y. Z ij odległość pomiędzy obiektami i oraz j w Z. y i z to odpowiednio wartości średnie Y i Z.

12 Grupowanie oparte o minimalizację skalarnego współczunnika jakości Algorytm K-średnich

13 Co to jest skalarny wsp. jakości Skalarny współczynnik jakości oznacza funkcję kosztu która informuje jak dobry jest dany podział na grupy. Najprostsza postać skalarnego współczynnika jakości to suma odległości środka centrum klastra w stosunku do wszystkich wektorów w danej grupie.

14 Przykład

15 Oznaczenia K liczba wektorów, obiektów C liczba klasterów na które chcemy dokonać podziału x(k); k=1..k k-aty element z wektora obiektów X i ; i=1..c i-ty element wektora klastrów v i centrum klastra = centrum grupy (grupy wektorów)

16 Założenia grupowania Zbudować macierz podziału U=[u ik ],dim(u)=ck) Warunki: 1 o każdy element macierzy u ik należy do zbioru u ik {0,1} 2 o w każdej kolumnie suma elementów równa C jest 1 u ik i1 1 3 o suma w wierszach należy K - obrazów C - Klastrów C - k K do przedziału uik 0, K k1

17 Algorytm k-średnich Wskaźnik jakości: J(U) K C k1i 1 2 u ik d ik gdzie: d x( k) v ik i v i zbiór (wektor) prototypów.

18 Algorytm k-średnich 1. Przyjmujemy macierz podziału U spełniającą trzy przedstawione uprzednio warunki K 2. Wyznacza się położenie prototypów: u 3. zwiększa się licznik iteracji z=z+1, 4. szukamy macierzy U tak, by wyznaczyć dla każdego elementu wektora danych x minimalną odległość od wzorców u 1 ik 1iC 1k K 0 x( k) v pozostaych 5. Sprawdzamy czy spełniony jest warunek U 1iC ik k 1 K 6. Jeśli różnica pomiędzy macierzami U w kolejnych iteracjach jest mniejsza od założonego to kończymy proces iteracji, jeśli nie to idź do 2 w min j U ( z) ( z 1) j v i x( k) v przypadkach i k 1 x( k) u ik

19 Przykład

20 Algorytm VQ

21 Algorytm VQ Algorytm kwantyzacji wektorów (VQ = ang. vector quantization) Podobna zasada działania do k-średnich ale aktualizacji położenia wektora odbywa się po każdej prezentacji wektora uczącego W sieciach VQ centrum klastra nazywane jest również wektorem kodującycm, które w terminologii sieci neuronowych nazywane są również neuronami. W sieciach VQ wagi neuronów określają położenie neuronu w przestrzeni wejściowej (podobnie jak w algorytmie k-średnich)

22 Formuła aktualizacji Formuła aktualizacji położenia wektorów kodujących: v = v x v i i j i Gdzie: v i wektor kodujący podlegający aktualizacji (wektor kodujący nażący najbliżej wektora x j ) Współczynnik uczenia maleje z każdą iteracją programu x j j-ty wektory uczący

23 Algorytm VQ 1. Zainicjuj położenie wektorów kodujących 2. Iteracyjnie l-razy 1. Dla każdego wektora treningowego 1. Znajdź najbliższy wektor kodujący (dla danej metryki) 2. Dokonaj aktualizacji położenia (wag) neuronu zgodnie z zależnością (1) 2. Dokonaj aktualizacji wsp. wg. zależności (2)

24 Algorytm VQ Inicjalizacja wektorów kodujących: 1. Przez wybór wektorów kodujących spośród wektorów uczących w tym celu najlepiej jest wykorzystać istniejące już wektory danych i losowo wybrać ze zbioru danych wektory których położenie będzie inicjowało położenie neuronów 2. Poprzez w pełni losową inicjalizację zbadaj przestrzeń zmienności zmiennych wejściowych i wylosuj położenia wektorów kodujących 3. Poprzez PCA dokonaj redukcji wymiarowości korzystając z PCA, wyznacz w zredukowanej przestrzeni położenia wektorów kodujących i przetransformuj je do przestrzeni oryginalnej

25 Algorytm VQ a k-średnich Który lepszy? Algorytm k-średnich większa złożoność pamięciowa konieczność przechowywania macierzy przynależności. Dla dużych danych i dużej liczby klasterów jest to istotne ograniczenie Algorytm VQ mniejsza złożoność pamięciowa ale większa złożoność obliczeniowa każdy wektor treningowy powoduje konieczność aktualizacji położenia prototypu Aktualizacja położenia prototypu powoduje konieczność aktualizacji ponownego liczenia odległości. Czuły na kolejność prezentacji wzorców dlatego zalecane jest na wstępie losowe poukładanie wektorów. Z doświadczenia algorytm VQ jest lepszy od k- Średnich dzięki pozytywnemu wpływowi chaosu!!!

26 Sieci SOM

27 Sieci SOM SOM samoorganizujące mapy Kochonena Idea podobna do VQ z pewnymi dodatkami Dodatki to narzucenie wymogów sąsiedztwa na wektory kodujące Strategia typu WTM Winner Take Most, w sieciach VQ strategia WTA Winner Take All

28 Strategia WTM

Podobne dokumenty

Algorytm grupowania danych typu kwantyzacji wektorów

Algorytm grupowania danych typu kwantyzacji wektorów Wstęp Definicja problemu: Typowe, problemem często spotykanym w zagadnieniach eksploracji danych (ang. data mining) jest zagadnienie grupowania danych