Wykrywanie anomalii w zbiorze danych o dużym wymiarze

Transkrypt

1 Wykrywanie anomalii w zbiorze danych o dużym wymiarze Piotr Kroll Na podstawie pracy: Very Fast Outlier Detection In Large Multidimensional Data Set autorstwa: A. Chandhary, A. Shalay, A. Moore

2 Różne rozwiązania zagadnienia detekcji anomalii w zależności od rozmiaru danych Duża ilość danych o małym wymiarze (małej ilości cech) Przykładowe rozwiązanie: Dopasować model probabilistyczny do danych i wybrać te dane o małym prawdopodobieństwie wystąpienia Duża ilość danych o dużym wymiarze Rozwiązanie zaproponowane w pracy: Very Fast Outlier Detection In Large Multidimensional Data Set autorstwa: A. Chandhary, A. Shalay, A. Moore Mała ilość danych o dużym wymiarze Rozwiązanie zaproponowane w pracy: Outlier Detection for High Dimensional Data autorstwa: C. Aggarwal, P. Yu

3 Algorytm wykrywający anomalie w dużym zbiorze danych o dużym wymiarze Algorytm składa się z dwóch podstawowych etapów: Podział zbioru danych na podzbiory składające się z elementów, o których można powiedzieć, że są w tym samym stopniu anomalią. Wyliczenie, dla każdego z podzbioru współczynnika mierzącego w jakim stopniu dana grupa elementów jest anomalią w stosunku do całego zbioru danych (współczynnik anomalii). A nasępnie wybranie tych podzbiorów, które mają najwyższy współczynnik.

4 Miara anomalii Gęstość obszaru wokół danego elementu jako jego miara anomalii gęstość = (ilość elementów w obszarze V) / (objetość obszaru V) Mówimy, że dany zbiór zawiera elementy będące w równym stopniu anomaliami jeżeli dany zbiór jest jednostajnie gęsty.

5 Podział zbioru na obszary zawierające elementy będące w równym stopniu anomalią Wykorzystanie metody podziału zaczerpniętej z K-d drzew (k-dimensional trees) Algorytm: 1)Załóżmy, że rozpatrywany zbiór elementów S zawiera się w obszarze R będącym hiperkostką 2)Wybieramy i-ty wymiar (i-tą oś) przestrzeni danych i prostopadłą do niego hiperpłaszczyznę T przechodzącą przez R 3)Dzielimy przy pomocy hiperpłaszczyzny T obszar R na dwa obszary Rl i Rp (hiperkostki), a następnie kurczymy je tak, aby ściśle przylegały do danych 4)Wykonujemy algorytm dla obszarów Rl i Rp i odpowiadającym im podzbiorom Sl i Sp zbioru S. Algorytm powtarzamy o ile Sl >c i Sp >c dla utalonego c.

6 Przykład podziału

7 Sposoby wyboru osi Wybór cykliczny (np. na przemian oś OX, OY, OX ). Metoda nie wymaga obliczeń i przez to szybsza Wybór tej osi, na której rzut danych jest najszerszy. Wymaga obliczeń.

8 Wybór hiperpłaszczyzny dzielącej na dwa obszary Cel: taki podział, aby zmniejszyć różnorodność charakteru danych w wyliczonych obszarach, w stosunku do danych, na których odbywa się podział. Inaczej: podział na obszary danych o mniejszej gęstości i większej gęstości Dwa sposoby podziału podczas wykonywania algorytmu. Zwykły podział według mediany rzutu elementów na wybraną oś Podział za pomocą specjalnych cięć.

9 Wybór hiperpłaszczyzny dzielącej na dwa obszary: specjalne cięcia Specjalne cięcia są wykonywane gdy w i-tym wymiarze większość danych skupia się (ich gęstość jest duża) po jednej stronie, a reszta po drugiej. Mówimy wtedy, że dane mają dużą skośność. Prosty test na skośność danych: Cm środek masy danych (mediana) Cv środek obszaru danych V - szerokość obszaru danych SK = Cm-Cv / V Wykonanie specjalnych cięć (wykresy)

10 Wybór hiperpłaszczyzny dzielącej na dwa obszary: specjalne cięcia Specjalne cięcia wykonujemy na osi, na której wartość SK jest największa i o ile jest ona większa od ustalonej stałej. W przeciwnym wypadku wykonuje się zwykły podział. Specjalne cięcia są wykonywane tylko na ostatnich k poziomach podziału (dzięki temu algorytm jest szybszy, bo drzewo podziału jest zbalansowane)

11 Wyliczenie zbioru anomalii Po podzieleniu przestrzeni na obszary składające się z elementów będących w tym samym stopniu anomaliami, wyliczamy ich współczynnik gęstości i wybieramy te, których wartość współczynnika jest najmniejsza. Elementy zawarte w wyliczanych obszarach są szukanymi anomaliami

12 Przykład działania algorytmu Dane astronomiczne Solan Digital Sky Survey (SDSS) Wykres danych. Podział przestrzeni danych. 10% spośród obszarów mających najmniejszą gęstość

13 Inna metoda wyliczania specjalnych cięć i współczynnika anomalii. Definicja zbioru anomalii. Definicja zbioru anomalii Niech: - I będzie zbiorem danych - D:P(I)->R+ 0 będzie funkcją różnorodności danych - C:P(I)->R+ 0 będzie funkcją kardynalną (I1 c I2=>C(I1)<C(I2)) Definiujemy dla każdego zbioru Ij funkcję: SF(Ij) = C(I - Ij) * (D(I) - D(I-Ij)) Mówimy, że Ix jest zbiorem anomalii zbioru I jeżeli funkcja SF przyjmuje wartość największą dla zbioru Ix

14 Inna metoda wyliczania specjalnych cięć i współczynnika anomalii. Definicja zbioru anomalii. C miara wielkości zbioru Wartość D(Ij) jest tym większa im dane w zbiorze Ij są bardziej różnorodne (definicja bardzo nieformalna). Stąd jeżeli Ij jest zbiorem anomalii to wartość D(I) - D(I-Ij) jest stosunkowo duża. Z kolei jeżeli ta różnica jest taka sama dla dwóch zbiorów Ii i Ij to wartość SF powinna być większa dla zbioru mniejszego (co gwarantuje współczynnik C(I-Ij) ) Przykłady funkcji D: - wariancja zbioru - odwrotność współczynnika gęstości danych (im dane są rzadsze tym bardziej różnorodne)

15 Wykonywanie specjalnych cięć i wybór zbiorów anomalii przy pomocy funkcji SF Załóżmy, że i-ty wymiar jest tym, w którym dane mają maksymalną skośność i że rzadki obszar danych jest z lewej strony (obszar anomalii). Niech l będzie punktem dzielącym zrzutowane dane (na i-tą oś) na obszar lewy i prawy. Wtedy specjalne cięcie zostanie wykonane w punkcie l, dla którego elementy z lewego obszaru mają maksymalną wartość SF Po podziale całej przestrzeni danych wybieramy te podzbiory danych, które znajdują się w obszarach mających największą wartość funkcji SF

16 Jakość wykrytych anomalii i czas wykonania algorytmu Test poprawności algorytmu został przeprowadzony dla wygenerowanych danych (z rozkładu Gaussian mixture) Zbiór wyliczonych anomalii został porównany ze zbiorem anomalii wyliczonych za pomocą algorytmu EM i algorytmu FastMix (wariacja algorytmu EM) Algorytm został wykonany w ciągu 39 sekund i był tak samo dobry co algorytm EM wykonywany w czasie 2560 sekund i FastMix wykonany w ciagu 396 sekund. Ale już nie tak dobry jak algorytm FastMix wykonany w ciągu 749 sekund (im dłużej algorytm FastMix działa tym precyzyjniej może obliczyć zbiór anomalii).