Statystyczna analiza danych z pakietem SAS Analiza skupień metody hierarchiczne Czym jest analiza skupień? wielowymiarowa technika pozwalająca wykrywać współzależności między obiektami; ściśle związana z zagadnieniami klasyfikowania i porządkowania otaczającej rzeczywistości; Definicja ANALIZA SKUPIEŃ to grupa metod służących do utworzenia (oby) sensownej i interpretowalnej klasyfikacji początkowo niesklasyfikowanego zbioru danych z wykorzystaniem wartości zmiennych obserwowanych na poziomie każdego indywidualnego obiektu. B. S. Everitt (1998), The Cambridge Dictionary of Statistics
Jak działa analiza skupień? nie zakładamy a priori żadnej informacji o właściwościach grup ani o ich liczbie; podział w oparciu o informację zawartą w samych obiektach; dzielimy obiekty tak, aby podobne do się siebie znalazły się w tej samej grupie, a znacznie różniące się znalazły się w innych grupach; Cele analizy skupień eksploracja danych grupowanie obiektów lub ustalenie określonej struktury hierarchicznej z zbiorze obiektów w postaci drzewa binarnego; porównanie istniejącej typologii obiektów (opartej na podstawach teoretycznych) z wynikami grupowania empirycznego; dokonanie agregacji danych w jednorodne grupy również do dalszej analizy (zastąpienie obiektów przez obiekty uśrednione dla poszczególnych grup); Podstawowy podział metody hierarchiczne; metody niehierarchiczne (dzielące);
Rodzaje metod hierarchicznych Iteracja Aglomeracyjne Podziałowe 1 3 4 Grupowanie hierarchiczne w praktyce metody hierarchiczne są kręgosłupem analizy skupień najpowszechniej stosowane; niedoskonałości: trudno wskazać jednoznacznie najlepszą metodę hierarchiczną; przenoszenie / nawarstwianie błędów; Czaso- i zasobochłonne przy dużych zbiorach danych; Alternatywa = metody dzielące Metody dzielące (nazywane również grupowaniem optymalizacyjnym) dzielą zbiór obserwacji na określoną liczbę skupień minimalizując pewne kryterium (funkcję celu); Dwa popularne kryteria to: podobieństwo wewnątrz skupień; oddzielenie/separacja skupień;
Problemy z metodami dzielącymi narzucają pewne założenia dotyczące kształtu skupień; wymagają założenia liczby skupień przed rozpoczęciem analizy; wyniki mogą być uzależnione od: wyboru początkowych środków ciężkości, obecności obserwacji nietypowych; kolejności obserwacji w zbiorze; Wsadowe struktury danych - przykłady Macierz danych Macierz odległości (niepodobieństwa) lub macierz korelacji Własności dobrej miary podobieństwa 1. Symetria: d(x,y) = d(y,x). Nierówność trójkątna: d(x,y) d(x,z) + d(y,z) 3. Rozróżnialność innych: jeśli d(x,y) 0 to x y 4. Nierozróżnialność identycznych: jeśli x = y, to d(x,y) = 0. Czasem najprostsze stosowane miary podobieństwa, (np. współczynnik korelacji liniowej Pearsona) nie spełniają jednego lub więcej z powyższych kryteriów.
Odległość euklidesowa Przypomnijmy twierdzenie Pitagorasa: (x 1, x ) (0, 0) h = x 1 + x x 1 Odległość euklidesowa między punktami x i w w przestrzeni p-wymiarowej dana jest wzorem: x h= p E = k w k ) k= 1 d (x i= 1 ( x i = x 0) i= 1 i Miary oparte na odległości euklidesowej d kwadrat odległości euklidesowej; standaryzowana odległość euklidesowa; = x w ( ) x +... + ( w ) p x w = ( 1 1 p p k k SE ) s1 sp k= 1 sk Odległość miejska (w 1,w ) (x 1,x ) = x Odległość miejska (Manhattan) między dwoma punktami jest mierzona wzdłuż prostopadłych osi. d M p k= 1 k w k
Miary podobieństwa dla zmiennych nominalnych Pary obserwacji mogą być porównywane przez występowanie lub brak pewnych charakterystyk. Wtedy podobne elementy będą miały więcej wspólnych charakterystyk niż elementy niepodobne. Przykłady miar dla zmiennych nominalnych: Odległość Hamminga; Odległość Levenshteina (tzw. odległość edycyjna); Efekt kolejności W niektórych przypadkach kolejność obserwacji może mieć wpływ na wyniki; Ta sama analiza zastosowana na tym samym zbiorze danych jedynie o zmienionej kolejności obserwacji może dać całkowicie różne skupienia!; Aglomeracyjna metoda hierarchiczna 1. Zacznij od liczby skupień równej liczbie obserwacji (N) oraz symetrycznej macierzy odległości (albo podobieństw) - N N.. Znajdź w macierzy odległości parę skupień będących najbliżej siebie. 3. Połącz skupienia z punktu (.) w jedno nowe skupienie. Uaktualnij macierz odległości dla liczby skupień zmniejszonej o 1. 4. Powtórz kroki (.) i (3.) N-1 razy.
Dendrogram grupowania hierarchicznego Cel praktyczny W praktyce większość badaczy stosujących analizę skupień jest zainteresowanych podziałem analizowanej grupy obserwacji na określoną jako optymalną liczbę grup. Sprowadza się to do obcięcia dendrogramu na jakimś określonym poziomie. Rodzaje analizy hierarchicznej Wielość technik hierarchicznej analizy skupień bierze się z wielu istniejących metod mierzenia odległości między skupieniem jednoelementowym (pojedynczą obserwacją) a skupieniem zawierającym kilka obserwacji, lub między dwoma grupami wieloelementowymi.
Metoda najbliższego sąsiedztwa (single linkage) Odległość między skupieniami to odległość między dwoma najbliższymi obiektami. Cluster K Cluster L D KL D KL = min i CK min j CL d( xi, x j ) (METHOD=SINGLE) Metoda najbliższego sąsiedztwa Ma wiele teoretycznie pożądanych własności, ale wypada słabo w symulacjach Monte Carlo; Nie narzucając żadnych ograniczeń na kształt skupień jest w stanie odkryć zwarte grupy o kształcie rozciągniętym i nieregularnym; Metoda najdalszego sąsiedztwa (complete linkage) Odległość między skupieniami to odległość między dwoma najdalszymi obiektami. Cluster K D KL (METHOD=COMPLETE) DKL = max i CKmax j CL d( xi, xj) Cluster L
Metoda najdalszego sąsiedztwa Mocno obciążona w stronę uzyskiwania zwartych grup o w przybliżeniu równych średnicach; Nawet nieskrajne obserwacje odstające mogą w dużym stopniu zaburzać wynik; Metoda średniej grupowej (average linkage) Odległość między skupieniami to średnia arytmetyczna odległości między wszystkimi parami obiektów należącymi do różnych skupień. Cluster K d(x i,x j ) (METHOD=AVERAGE) d( xi x j ) D 1 KL = n n, K L i C K j C L Cluster L Metoda średniej grupowej Ma tendencję do łączenia grup z małą wariancją i jest nieznacznie obciążona w kierunku uzyskiwania skupień o równej wariancji; Ponieważ bierze ona pod uwagę wszystkie elementy skupienia, a nie pojedyncze obserwacje, jest bardziej od innych metod odporna na występowanie obserwacji nietypowych;
Metoda środka ciężkości (centroid linkage) Odległość między skupieniami jest zdefiniowana jako kwadrat odległości euklidesowej między środkami ciężkości obu skupień ( x i x ). Cluster K X D KL K L (METHOD=CENTROID) D KL K L = x x Cluster L X Metoda środka ciężkości Ponieważ porównuje środki ciężkości jest również dość odporna na występowanie obserwacji nietypowych; W innych aspektach może nie dawać tak dobrych wyników jak metoda Warda lub średniej grupowej; Przy łączeniu dwóch grup nierównej wielkości mniejsza z nich staje się w znacznym stopniu zdominowana przez większą; Metoda mediany (median method) Odległość między skupieniami to odległość środkowa (w sensie mediany) między obiektami z różnych skupień. Cluster K D KL Cluster L Cluster M D JK Cluster J D JL D JM (METHOD=MEDIAN) D = JK + D JL D 4 KL
Metoda mediany Wypada słabo w symulacjach Monte Carlo; Ma mało (jeśli w ogóle) zalet w porównaniu z pozostałymi metodami; Grupa powstała z połączenia dwóch innych może być interpretowana jako pośrednia pozycja między połączonymi skupieniami; Metoda Warda (minimalnej wariancji) Znajdowane są środki ciężkości skupień i odległości od nich, które następnie są sumowane (jako miarę należy w tej metodzie wybrać kwadrat odległości euklidesowej wtedy interpretacją metody Warda jest minimalizacja wewnątrzgrupowej wariancji) ANOVA ANOVA D (METHOD=WARD) KL x K x L = 1 1 + n K n L Metoda Warda ma tendencję do łączenia grup o małej liczbie obserwacji i jest mocno obciążona w kierunku uzyskiwania skupień o zbliżonym kształcie i mniej więcej równej liczbie obserwacji; Jest również bardzo wrażliwa na obserwacje nietypowe;
Problemy z metodami hierarchicznymi Nie ma metody zawsze dającej lepsze rezultaty niż inne metody Symulacje: najlepsze Warda, średniej grupowej, najdalszego sąsiedztwa; Efektywność i czytelność metod hierarchicznych maleje wraz ze wzrostem liczby obserwacji; Nie umożliwiają korekty już utworzonych skupień, w związku z tym błędne przypisanie do skupienia nie może zostać skorygowane w kolejnym kroku; Określenie liczby skupień Odpowiedzi na pytanie Ile mamy segmentów? można szukać stosując różne kryteria: dendrogram; cubic clustering criterium Sarle a; statystyka pseudo-f; test pseudo-t ; Interpretowanie dendrogramu
Cubic Clustering Criterion Sarla Cubic clustering criterion Sarla (CCC) testuje następującą hipotezę: H 0 = dane pochodzą z rozkładu jednostajnego; H 1 = dane pochodzą z mieszanych wielowymiarowych rozkładów normalnych o równych wariancjach i prawdopodobieństwie wylosowania. Dodatnie wartości CCC oznaczają, że uzyskana wartość R jest większa niż oczekiwana w przypadku rozkładu jednostajnego (wtedy odrzucamy H 0 ). Graficzna interpretacja CCC Sarla Statystyka Pseudo-F Statystyka pseudo-f statistic (lub PSF) mierzy rozdzielenie między grupami na bieżącym poziomie hierarchii; Wysokie wartości wskazują, że średnie wartości rozpatrywanych zmiennych różnią istotnie się między grupami; Nie ma rozkładu F Snedecora;
Kryterium Pseudo-F Potencjalne rozwiązania Statystyka Pseudo-T Statystyka pseudo-t jest wariantem testu T Hotellinga. jeśli wartość statystyki pseudo-t jest duża, rozpatrywane w danym kroku dwa skupienia nie powinny być połączone, ponieważ średnie wartości rozpatrywanych zmiennych różnią się istotnie między nimi; jeśli wartość statystyki jest mała, rozpatrywane w danym kroku dwa skupienia mogą być bezpiecznie połączone; Kryterium Pseudo-T Potencjalne rozwiązania
Dziękuję za uwagę