Synteza i eksploracja danych sekwencyjnych

Transkrypt

1 Synteza i eksploracja danych sekwencyjnych Definicja problemu i wstępne wyniki eksperymentalne Projekt finansowany z grantu nr DEC-2011/03/D/ST6/01621 otrzymanego z Narodowego Centrum Nauki

2 Plan prezentacji Motywacja i cel realizowanych badań Wprowadzenie do problemu Definicja problemu Własności Pierwsze wyniki eksperymentalne SyCoMiE 2/29

3 Motywacja Integracja informacji z różnych mediów (monitoring) Nagranie video 2 Sekwencja zdarzeń Nagranie video 1 Nagranie audio Połączony zapis zdarzeń Opis tekstowy Wątki uzupełnione informacją z wielu źródeł SyCoMiE 3/29

4 Motywacja Analiza danych biomedycznych (diagnostycznych) EEG KTG Stymulacja Temperatura Zapis zachowania się organizmu Ciśnienie Opis zdarzeń uzupełniony informacją z różnych rejestratorów SyCoMiE 4/29

5 Motywacja Zbieranie danych przez agentów (zwiad, uzgodnienie relacji) Agent 1 Proces Agent 2 Połączona informacja o zdarzeniach Agent 3 Opis zdarzeń w procesie obserwowanych z różnych perspektyw SyCoMiE 5/29

6 Własności zbioru danych Kilka źródeł informacji generujących strumienie danych opisujące aktywny proces z kilku perspektyw Strumienie danych mogą zawierać różne atrybuty np. wynikać może to z faktu, że obserwacja jest dokonywana przez różne urządzenia Dane opisują zjawiska są zależne od czasu, lecz może istnieć niepewność, co do oceny momentu zajścia zdarzenia lub do wartości atrybutów opisujących zdarzenie Dane mogą mieć nieprawidłową kolejność, mogą pojawiać się braki w dostarczonej informacji SyCoMiE 6/29

7 Cel prowadzonych badań Opracowanie metody, która pozwoli dokładnie wyrazić i scalić informację pochodzącą z kilku strumieni danych Metoda powinna pozwolić na powiązanie podobnych lub współwystępujących prawidłowości w kilku strumieniach na podstawie ich podobieństwa lub współwystępowania Metoda powinna być odporna na braki w danych, szum, dane niepewne i nieprawidłowe, w tym nieprawidłową kolejność dostarczania danych o zdarzeniach Metoda powinna przetworzyć dane dostarczane w strumieniu na bieżąco SyCoMiE 7/29

8 Reprezentacja danych Podstawowa informacja rejestrowana w strumieniu opisuje zdarzenia (atrybuty nominalne lub liczbowe) Sekwencja zbiorów przedmiotów nie pozwala wyrazić precyzyjnie interakcji prowadzących do wystąpienia zdarzenia (jednowymiarowość) z1 z2 z3 z4 Bardziej precyzyjnym sposobem zapisu jest graf określający związki między czynnościami i aktorami (acykliczny, skierowany (czas!)) t z1 z2 z3 z SyCoMiE 8/29 t

9 Reprezentacja danych Wyrażanie procesu przez graf acykliczny skierowany jest popularną metodą np.: w informatyce - diagram sekwencji UML 1.x w fizyce assembler przyrody: diagramy Feynmana (np. tworzenie cząstki Higgsa) g t h t t g Istnieje literatura opisująca znajdowanie wzorców w grafach ewoluujących (strumień zbudowany grafów) SyCoMiE 9/29

10 I have no data yet. It is a capital mistake to theorise before one has data. Insensibly one begins to twist facts to suit theories, instead of theories to suit facts. Sherlock Holmes Arthur Conan Doyle, The Adventures of Sherlock Holmes, SyCoMiE 10/29

11 Eksperyment naukowy Eksperyment ma na celu uwiarygodnienie przyjętej hipotezy dotyczącej badanego zjawiska fizycznego Eksperyment może być kontrolowany lub niekontrolowany (studium z obserwacji) Badane zjawisko ma charakter przyczynowoskutkowy, nie jest spontanicznym rezultatem istnienia przypadkowego szumu Eksperyment można powtórzyć - spełnieniu tych samych warunków początkowych i procedury otrzymując taki sam (lub zbliżony) wynik SyCoMiE 11/29

12 Prawidłowość Prawidłowość to wzorzec (powtarzalny podgraf) znaleziony w danych W przypadku zaproponowanej reprezentacji prawidłowość opisuje podgraf powiązanych ze sobą zdarzeń Szum też jest częścią strumienia i można z elementów szumu utworzyć podgraf! Jak odróżnić szum od wzorca opisującego fakt? z1 z2 z3 z4 t SyCoMiE 12/29

13 Prawidłowość - jak zidentyfikować? Prawidłowość jest to połączona krawędziami (zwarta) grupa węzłów opisująca przebieg zdarzeń, którą można wyodrębnić, ponieważ powtarza się w strumieniu Aby wyróżnić podobne zdarzenia należy zdefiniować funkcje podobieństwa (wiedza zewnętrzna o procesie!) Powtórzenia wymaga pojawienia się wybranego podgrafu wielokrotnie w strumieniu (znajdowanie powtórzeń nie wymaga wiedzy zewnętrznej!) Ile razy podgraf powinien się pojawić w strumieniu aby mógł być uważany za prawidłowość? SyCoMiE 13/29

14 Prawidłowość czy przypadek? Graf opisuje macierz kwadratowa k x k, gdzie każdy wierzchołek z k może posiadać jedną z s wartości Wierzchołki są posortowane względem czasu wystąpienia zdarzenia Liczba możliwych grafów do utworzenia to: Załóżmy, że mamy n węzłów w strumieniu, które dzielimy na n/k ramek Jakie jest prawdopodobieństwo przypadkowego pojawienia się w strumieniu wzorca m razy w kolejnych n/k ramkach? n/ k m pm 1 p n/ k m p= 1 s k 2 k k s k 2 k k SyCoMiE 14/29

15 Prawidłowość czy przypadek? s 2 p 1,56E-002 9,54E-007 2,12E-022 1,32E-082 m N k , , ,69E-021 5,27E , ,09E-010 1,26E-042 1,04E , ,51E-021 1,41E , ,81E ,90E-021 Prawdopodobieństwo, że powtórzenie podgrafu jest szumem maleje znacząco wraz z: liczbą powtórzeń rozmiarem podgrafu (większy wpływ!) Nie potrzeba wielu powtórzeń podgrafu o wielu wierzchołkach, aby uznać go z dużą dozą prawdopodobieństwa za prawidłowość SyCoMiE 15/29

16 Monotoniczność wyst. prawidłowości Przypadkowe występowanie prawidłowości, na którą składają się dwie lub więcej prawidłowości o mniejszej złożoności lub mniejszej częstości występowania jest mniej prawdopodobna od występowania każdej z nich osobno (własność iloczynu ułamków). P A B =P A/ B P B P A B =P A P B SyCoMiE 16/29

17 Definicja problemu Problem syntezy i eksploracji zbioru grafów/sekwencji w danym przedziale czasu polega na znalezieniu prawidłowości R w postaci zbioru zwartych podgrafów i zastąpieniu nimi wierzchołków K w sekwencjach tak, aby prawdopodobieństwo spontanicznego (losowego) wystąpienia złożonej prawidłowości było minimalne. t 1,t 2 T ;t 2 t 1 : min{p R t1, t 2 }: NG t1, t 2 =G t 1, t 2 K t1, t 2 R t 1, t SyCoMiE 17/29

18 Rodzaje prawidłowości Oparte na podobieństwie Oparte na współwystępowaniu SyCoMiE 18/29

19 Rodzaje prawidłowości Posiadające nietypowy rozkład danych (zaburzenie rozkładu) Sporadyczne nietypowe zdarzenia SyCoMiE 19/29

20 Ograniczenia Acykliczność wiązań powiązane prawidłowości nie mogą tworzyć paradoksów czasowych Horyzont powiązań nie należy tworzyć prawidłowości odległych znacząco w czasie SyCoMiE 20/29

21 Eksploracja Eksploracja polega na określeniu kontekstu dla prawidłowości łączących grafy/sekwencje prawidłowość SyCoMiE 21/29

22 Powiązane pomysły Zwiastuny wystąpienia prawidłowości w połączonych strumieniach Prognoza zachowania się połączonego strumienia po wystąpieniu prawidłowości prawidłowość SyCoMiE 22/29

23 Podobne problemy optymalizacyjne W literaturze znane są algorytmy pozwalające na powiązanie łańcuchów danych należących do kilku sekwencji (Multiple Sequence Alignment) Algorytmy dopasowują fragmenty sekwencji do siebie o tak, aby zmaksymalizować liczbę pasujących fragmentów Problem (dla N sekwencji) należy do klasy problemów optymalizacyjnych NP-zupełnych Koszt obliczeniowy wzrasta geometrycznie do liczby dopasowywanych sekwencji Rozwiązywany jest przy pomocy heurystyk SyCoMiE 23/29

24 Ogólny algorytm i eksploracji Predyskretyzacja danych Grafy/sekwencje zawierające informację symboliczną Identyfikacja odpowiadających sobie wzajemnie symboli w strumieniach Grafy/sekwencje zawierające informację symboliczną Selekcja częstych przedmiotów Agregacja danych z grafów/strumieni Odkryte prawidłowości Identyfikacja podobnych prawidłowości Identyfikacja współwystępujących prawidłowości Identyfikacja zdarzeń sporadycznych Identyfikacja nietypowych rozkładów Zastąpienie odkrytych wzorców zgodnie z f. Kosztów (synteza) SyCoMiE 24/29

25 Algorytm syntezy i eksploracji Zastąpienie odkrytych wzorców zgodnie z f. Kosztów (synteza) Odkryte prawidłowości Odkrycie okoliczności wystąpienia prawidłowości Analiza kolejności Występowania prawidłowości SyCoMiE 25/29

26 Dane syntetyczne - model SyCoMiE 26/29

27 Przykładowy graf przejść (fragment) SyCoMiE 27/29

28 Pattern (support=5): Przykładowy wynik (<0050:spd:::0:::3>[43.93]-><0011:pos:::1::10>[49.31]) (<0011:pos:::1::10>[49.31]-><0010:pos:::0:::7>[61.09]) (<0010:pos:::0:::7>[61.09]-><0011:pos:::1::10>[65.82]) (<0011:pos:::1::10>[65.82]-><0050:spd:::0:::3>[65.82]) (<0050:spd:::0:::3>[65.82]-><0011:pos:::1::10>[65.82]) (<0011:pos:::1::10>[65.82]-><0010:pos:::0:::7>[74.44]) Pattern (support=16): (<0050:spd:::0:::3>[43.93]-><0011:pos:::1:::5>[48.46]) (<0011:pos:::1:::5>[48.46]-><0052:spd:::2:::3>[52.66]) (<0052:spd:::2:::3>[52.66]-><0012:pos:::2:::0>[67.36]) SyCoMiE 28/29

29 Podsumowanie Metoda ma szerokie zastosowania praktyczne Zakłada ona syntezę informacji z eksploracją danych Problem jest trudny obliczeniowo (możliwość wykazania się pomysłowością przy budowaniu algorytmów) Przy pewnych założeniach co do przetwarzanych struktur danych problem można rozwiązać przy pomocy heurystyk Istnieje szereg dodatkowych tematów badawczych powiązanych z głównym wątkiem SyCoMiE 29/29