Algorytmy analizy skupień / Sławomir Wierzchoń, Mieczysław Kłopotek. wyd. 1, 1. dodr. (PWN). Warszawa, Spis treści

Transkrypt

1 Algorytmy analizy skupień / Sławomir Wierzchoń, Mieczysław Kłopotek. wyd. 1, 1. dodr. (PWN). Warszawa, 2017 Spis treści Lista ważniejszych oznaczeń 5 Przedmowa 7 1. Analiza skupień Formalizacja problemu Miary podobieństwa/odmienności Porównywanie obiektów o cechach ilościowych Odległość Minkowskiego Odległość Mahalanobisa Dywergencja Bregmana Odległość kosinusowa Odległość potęgowa Porównywanie obiektów o cechach jakościowych Hierarchiczne metody analizy skupień Metody kombinatoryczne Kryteria grupowania oparte na odmienności Zadanie analizy skupień w przestrzeni euklidesowej Minimalizacja śladu macierzy kowariancji wewnątrzgrupowych Aproksymacja macierzy danych Iteracyjny algorytm znajdowania skupień Grupowanie według objętości skupień Uogólnienia zadania grupowania Inne metody analizy skupień Metody relacyjne Metody grafowe i spektralne Metody gęstościowe Metody funkcji potencjalnych (jądrowych) Rodziny grupowań Grupowanie jako zadanie optymalizacji submodularnej Podział na dwie grupy Metoda pojedynczego wiązania Grupowanie z użyciem informacji wzajemnej Przypadek większej liczby grup Wyznacznikowe procesy punktowe (DPP) Podstawowe pojęcia Grupowanie na podstawie DPP Czy i kiedy grupowanie jest trudne? 84

2 2. Algorytmy kombinatorycznej analizy skupień Algorytm k-średnich Klasyczny (wsadowy) wariant algorytmu k-średnich Iteracyjny wariant algorytmu k-średnich Metody inicjowania algorytmu k-średnich Algorytm k-średnich Algorytm k-średnich D Usprawnienia algorytmu k-średnich Warianty algorytmu k-średnich Wariant on line algorytmu k-średnich Bisekcyjny wariant algorytmu k-średnich Sferyczny algorytm k-średnich KHM: algorytm k-średnich harmonicznych Jądrowy algorytm k-średnich Algorytm k-medoid Algorytm k-mod Algorytm EM FCM: algorytm k-średnich rozmytych Podstawowe sformułowanie Podstawowy algorytm FCM Miary jakości rozmytego podziału Sformułowanie alternatywne Modyfikacje algorytmu FCM Algorytm FCM z metryką Minkowskiego Algorytm Gustafsona-Kessela (GK) Algorytm FCV: Fuzzy c-varietes Algorytm FCS: Fuzzy c-shells SFCM: Sferyczny algorytm FCM Jądrowe warianty algorytmu FCM 147 Algorytm KFCM-X 147 Algorytm KFCM-F PCM: possibilistyczny algorytm grupowania Relacyjny wariant algorytmu FCM Grupowanie na podstawie funkcji alokacji prawdopodobieństwa Podziały fiducjarne Od podziałów fiducjarnych do ostrych Propagacja powinowactwa Ocena jakości skupień i stosowalności algorytmów Przygotowanie danych Wybór liczby skupień Proste heurystyki Metody wykorzystujące kryteria informacyjne Klastergramy 171

3 3.3. Miary jakości podziału Porównywanie podziałów Proste metody porównywania podziałów Metody pomiaru części wspólnych podziałów Metody wykorzystujące wzajemną informację Miary jakości pokrycia Analiza dużych zbiorów danych Proste usprawnienia FFCM: szybki algorytm FCM 183 PFCM: równoległy algorytm FCM 184 WFCM: ważony algorytm FCM 184 mrfcm: algorytm FCM z wieloetapowym próbkowaniem Metody spektralne w analizie i redukcji danych Notacja Spektralna analiza danych Optymalizacja spektralna Przypadek dwóch klas Dalsze zastosowania wektora Fiedlera Przypadek wielu klas Alternatywne funkcje kryterialne Zadanie rozcinania grafu jako uogólniony problem własny Metody rozwiązywania uogólnionego problemu własnego Spektralne algorytmy grupowania danych Algorytm normalizowanych cięć Shi i Malika (SM) Algorytm normalizowanych cięć Vermy i Meili (VM) Spektralne odwzorowanie Ng, Jordana i Weissa (NJW) Algorytm DaSpec Maksymalizacja spójności grup Przykłady Dostrajanie algorytmu Wybór parametru ω Wzmacnianie struktury blokowej Błądzenie losowe w grafach Błądzenie losowe w grafach nieskierowanych Proste interpretacje Grupowanie węzłów według ich potencjału Odległość rezystancyjna Grupowanie węzłów według czasu pochłonięcia Zastosowanie idei błądzenia po grafie: algorytm MCL Podstawowa wersja algorytmu Problemy z algorytmem Metody lokalne Algorytm Nibble Algorytm PageRank-Nibble 263

4 4.5. Uczenie częściowo nadzorowane Usprawnienia i inne metody Grupowanie z wykorzystaniem p-laplasjanu Grupowanie stochastyczne Zastosowanie algorytmu SVD Algorytm PIC Algorytm PRC Metody redukcji wymiarowości Zbiory danych 286 Dodatek A. Uzasadnienie algorytmu FCM 288 Dodatek B. Rachunek macierzowy 290 B.1. Wektory i ich własności 290 B.2. Macierze i ich własności 291 B.3. Wartości i wektory własne 294 B.3.1. Podstawowe fakty 294 B.3.2. Lewo- i prawostronne wektory własne 299 B.3.3. Wyznaczanie wartości i wektorów własnych 301 В Metoda potęgowa 301 B Wyznaczanie par własnych laplasjanu 303 B.4. Normy wektorów i macierzy 305 Dodatek C. Teoria grafów 307 C.1. Podstawowe definicje 307 C.1.1. Grafy nieskierowane 308 C.1.2. Grafy skierowane 309 C.2. Macierze grafów 310 C.2.1. Macierz sąsiedztwa/podobieństwa 310 C.2.2. Laplasjan 312 C Laplasjan grafu nieskierowanego 312 С Pseudoodwrotność laplasjanu 315 C Laplasjan grafu skierowanego 316 Dodatek D. Błądzenie losowe w grafie 318 D.1. Błądzenie losowe w grafach nieskierowanych 318 D.1.1. Podstawowe fakty 318 D.1.2. Charakterystyki błądzenia losowego 322 D Średni czas dostępu 322 D Czas komutacji 323 D Czas pokrycia 324 D Czas mieszania 324 D.2. Błądzenie losowe w grafach skierowanych 324

5 Dodatek E. Personalizowany wektor PageRank 326 E.1. Podstawowe określenia i zależności 326 E.2. Przybliżony algorytm wyznaczania personalizowanego wektora PageRank 330 Dodatek F. Entropia 334 F.1. Podstawowe definicje 334 F.2. Entropia gaussowskiego wektora losowego 336 Dodatek G. Teoria Dempstera-Shafera 338 G.1. Funkcje charakteryzujące sądy 338 G.2. Reguła Dempstera 341 G.3. Sprowadzanie przekonań do prawdopodobieństw 342 Dodatek H. Optymalizacja 344 H.1. Submodularne funkcje zbioru 344 H.2. Uczenie funkcji submodularnych 347 H.3. Optymalizacja submodularnych funkcji zbioru 348 H.3.1. Minimalizacja funkcji submodularnych 348 H Podstawowe narzędzia 351 Drzewo maksymalnych przepływów 351 Dobre pary 354 H Algorytm Queyranne'a 356 H.3.2. Maksymalizacja submodularnych funkcji 359 Bibliografia 361 Wykaz algorytmów 389 Skorowidz 391 oprac. BPK