Michał Kozielski Łukasz Warchał. Instytut Informatyki, Politechnika Śląska

Transkrypt

1 Michał Kozielski Łukasz Warchał Instytut Informatyki, Politechnika Śląska

2 Algorytm DBSCAN Algorytm OPTICS Analiza gęstego sąsiedztwa w grafie Wstępne eksperymenty Podsumowanie

3 Algorytm DBSCAN Analiza gęstości danych Wyznaczenie grup o dowolnym kształcie Wskazanie obiektów danych nie należących do żadnej grupy (szum)

4 Algorytm DBSCAN M. Ester, H. P. Kriegel, J. Sander, and X. Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining (KDD 96), pages , 1996.

5 Algorytm DBSCAN Parametry wejściowe Promień ε określający sąsiedztwo Liczba obiektów danych m stanowiąca o gęstości sąsiedztwa

6 Algorytm DBSCAN 1. for każdy obiekt o nie należący do żadnej grupy 2. wyznacz sąsiedztwo(o,ε) 3. if sąsiedztwo(o,ε) < m 4. o szum 5. else 6. utwórz grupę z sąsiedztwa o 7. for każdy obiekt p należący do gęstego sąsiedztwa 8. wyznacz sąsiedztwo(p,ε) 9. if sąsiedztwo(p,ε) >= m 10. for każdy obiekt należący do gęstego sąsiedztwa 11. if obiekt nie należy do grupy 12. dodaj obiekt do grupy 13. if obiekt nie jest szumem 14. dodaj obiekt do analizowanego dalej gęstego sąsiedztwa

7 Algorytm DBSCAN 1. for każdy obiekt o nie należący do żadnej grupy 2. wyznacz sąsiedztwo(o,ε) 3. if sąsiedztwo(o,ε) < m 4. o szum 5. else

8 Algorytm DBSCAN 1. for każdy obiekt o nie należący do żadnej grupy 2. wyznacz sąsiedztwo(o,ε) 3. if sąsiedztwo(o,ε) < m 4. o szum 5. else

9 Algorytm DBSCAN 1. for każdy obiekt o nie należący do żadnej grupy 2. wyznacz sąsiedztwo(o,ε) 3. if sąsiedztwo(o,ε) < m 4. o szum 5. else

10 Algorytm DBSCAN 5. else 6. utwórz grupę z sąsiedztwa o

11 Algorytm DBSCAN 5. else 6. utwórz grupę z sąsiedztwa o 7. for każdy obiekt p należący do gęstego sąsiedztwa 8. wyznacz sąsiedztwo(p,ε)

12 Algorytm DBSCAN 9. if sąsiedztwo(p,ε) >= m 10. for każdy obiekt należący do gęstego sąsiedztwa 11. if obiekt nie należy do grupy 12. dodaj obiekt do grupy

13 Algorytm DBSCAN 9. if sąsiedztwo(p,ε) >= m 10. for każdy obiekt należący do gęstego sąsiedztwa 11. if obiekt nie należy do grupy 12. dodaj obiekt do grupy

14 Algorytm DBSCAN 13. if obiekt nie jest szumem 14. dodaj obiekt do analizowanego dalej gęstego sąsiedztwa

15 Algorytm DBSCAN 13. if obiekt nie jest szumem 14. dodaj obiekt do analizowanego dalej gęstego sąsiedztwa

16 Algorytm DBSCAN M. Ester, H. P. Kriegel, J. Sander, and X. Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining (KDD 96), pages , 1996.

17 Algorytm DBSCAN M. Ester, H. P. Kriegel, J. Sander, and X. Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining (KDD 96), pages , 1996.

18 Algorytm DBSCAN

19 Algorytm DBSCAN

20 Algorytm DBSCAN

21 Algorytm DBSCAN

22 Algorytm DBSCAN

23 Algorytm DBSCAN

24 Algorytm OPTICS

25 Algorytm OPTICS

26 Algorytm DBSCAN Podsumowanie Parametry wejściowe Promień ε określający sąsiedztwo Liczba obiektów danych m stanowiąca o gęstości sąsiedztwa Wynik grupowania Podział na grupy Grupa zawierająca szum Złożoność O(n logn)

27 Definicja gęstego sąsiedztwa w grafie Wysoki stopień węzła Wysoka wartość współczynnika grupowania dla węzła dla krawędzi Duża liczba powiązanych trójkątów

28 Przegląd istniejących rozwiązań Falkowski T., Barth A., Spiliopoulou M. DENGRAPH: A Density-based Community Detection Algorithm, IEEE/WIC/ACM International Conference on Web Intelligence, 2008, pp Zastosowanie DBSCAN do analizy grafu Odległość węzłów definiowana poprzez intensywność relacji

29 Przegląd istniejących rozwiązań Bródka, P.; Musial, K.; Kazienko, P.; A Method for Group Extraction in Complex Social Networks, CCIS Vol. 111, 2010, pp Zastosowanie operacji union i intersect wykorzystywanych także w analizie gęstości danych o wielu reprezentacjach Wykorzystanie współczynnika grupowania

30 Przegląd istniejących rozwiązań Günnemann S., Boden B. and Seidl T., DB-CSC: A Density-Based Approach for Subspace Clustering in Graphs with Feature Vectors. LNCS, Vol. 6911, 2011, pp Analiza grafu i jego reprezentacji w podprzestrzeniach atrybutów Zastosowanie operacji union i intersect wykorzystywanych także w analizie gęstości danych o wielu reprezentacjach

31 DBSCAN dla grafu Modyfikacja algorytmu Rozszerzanie grupy na podstawie struktury Macierz odległości Wyznaczenie odległości na podstawie struktury

32

33

34

35

36

37

38

39

40

41 Algorytm Girvan-Newman

42 Algorytm Clasuet et al.

43 Analiza ewolucji społeczności Adaptacja metody IncrementalDBSCAN Identyfikacja społeczności opisanych w dziedzinie atrybutów Modyfikacja DB-CSC

44 Ankerst M., Breunig M., Kriegel H.P., Sander J.: OPTICS: ordering points to identify the clustering structure, SIGMOD Rec., 1999, Vol. 28, No 2, pp M. Ester, H. P. Kriegel, J. Sander, and X. Xu. A density-based algorithm for discovering clusters in large spatial databases with noise. Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining (KDD 96), pages , 1996.