Koncepcja wnioskowania w hierarchicznej bazie wiedzy

Transkrypt

1 Koncepcja wnioskowania w hierarchicznej bazie wiedzy Agnieszka Nowak Alicja Wakulicz-Deja Instytut Informatyki, Uniwersytet Śląski, ul. Będzinska 39, Sosnowiec, Polska Tel (32) , Fax (32)

2 Plan referatu 1 Motywacja prowadzonych badań. 2 Analiza skupień a efektywność wnioskowania. 3 Model hierarchicznej Bazy Wiedzy. 4 Wnioskowanie klasyczne (nie hierarchiczne): Wnioskowanie sterowane danymi (ang. data-driven). Wnioskowanie sterowane celem (ang. goal-driven). 5 Wnioskowanie hierarchiczne (w złożonej BW): Wnioskowanie sterowane danymi (ang. data-driven). Wnioskowanie sterowane celem (ang. goal-driven). 6 Efektywność wnioskowania hierarchicznego. 7 Podsumowanie, wnioski. 8 Bibliografia.

3 Motywacja prowadzonych badań Systemy wspomagania decyzji stosują procesy wnioskowania do wydobywania nowej wiedzy (nowych faktów) z danych zgromadzonych w zbiorach: reguł oraz faktów. Stosowane są dwie metody wnioskowania:w przód oraz wstecz. Rozmiar Bazy Wiedzy (liczba reguł) ma ogromny wpływ na wyniki wnioskowania, gdyż w klasycznym algorytmie stosuje się przegląd zupełny całego zbioru. Jak wiele zależy od wybranej strategii sterowania wnioskowaniem? Jeśli w danej bazie wiedzy istnieje więcej niż jedna reguła pokrywająca dane (fakty lub hipotezę), wówczas przydatne jest użycie jednej z wybranych strategii sterowania wnioskowaniem: kolejności (textual order), blokowania (refractoriness), świeżości (recency), specyficzności (specificity)i przypadkowości (randomize). Theorem Pytanie: Czy efektywność wnioskowania pogorszy się jeśli będziemy przeglądać tylko pewną część całej bazy wiedzy?

4 Motywacja prowadzonych badań Cel systemów wyszukiwania informacji... Systemy wyszukujące informacje z dużych zbiorów danych skupiają się zwykle na tym, aby szybko uzyskać prawdziwą informację. Nie jest przy tym tak ważna kompletność wyniku jak jego dokładność. Duża liczba reguł we współczesnych bazach wiedzy. Większe oczekiwania co do efektywności wnioskowania. Większe możliwości obliczeniowe maszyn. Istnieje silna potrzeba wykorzystania wszelkich możliwych technik SI dla wspomagania prowadzonych badań. Uporządkowanie i hierarchia wśród reguł pozwala dodatkowo na strukturalizowanie zgromadzonej wiedzy i wyprowadzenie z tej wiedzy nowych, istotnych, dotąd nieznanych zależności. Istnieją szybkie i efektywne algorytmy przeglądania struktur hierarchicznych nie ma więc ryzyka utraty kompletności czy dokładności wyszukiwania reguł potencjalnie interesujących z punktu widzenia celu wnioskowania czy posiadanych faktów wejściowych.

5 Motywacja prowadzonych badań Teza pracy: Zastosowanie grupowania reguł do budowy hierarchicznej bazy wiedzy przyspiesza procesy wnioskowania w stosunku do klasycznych baz wiedzy Etap badań: Powstała struktura pozwala oczekiwać wysokiej efektywności proponowanego rozwiązania, gdyż: 1 Wybrano najlepszą metodę grupowania (AHC,mAHC), kosztem większej złożoności ale wysokiej dokładności. 2 Miara Gowera do łączenia reguł podobnych jest jakby stworzona do analizy danych wielowymiarowych i danych niepełnych. 3 Kryterium stopu, odcięcia pozwala na regulowanie kompletności wyszukiwania reguł relewantnych w całej hierarchii bazy wiedzy. Teraz potrzebujemy efektywnych algorytmów przeszukiwania reguł w strukturze, zanim zaczniemy na nich przeprowadzać procesy wnioskowania. Skoro nie będziemy przeszukiwać całej BW potrzebujemy też metod badania precyzji takiego przeszukiwania niepełnego.

6 Analiza skupień a efektywność wnioskowania J.Koronacki oraz J.Ćwik w pracy: Statystyczne systemy uczące się twierdzą, że analiza skupień ma na celu wykrycie w zbiorze obserwacji (reguł) skupień czyli rozłącznych podzbiorów zbioru obserwacji, wewnątrz których obserwacje są sobie w jakimś określonym sensie bliskie, natomiast różne podzbiory są od siebie - w porównaniu z elementami wewnątrz każdego pozbioru - odległe. Wybraliśmy grupowanie hierarchiczne aglomeracyjne, czego efektem jest drzewo reguł podobnych do siebie bądź to ze względu na atrybuty warunkowe bądź decyzyjne. Wiemy jednak, że własność wybranych algorytmów (AHC bądź mahc) sprawia, że jeżeli w zbiorze istnieje pewna grupa reguł relewantnych to będą one tworzyły ten sam węzeł w drzewie. Zatem jeśli mamy dotrzeć do pewnej reguły to dotrzemy jednocześnie do innych reguł, do niej relewantnych. Dodatkowo zaufanie do struktury podpieramy analizą wielu, a ostatecznym dobrem miary podobieństwa proponowanej przez Gowera - dedykowaną dla danych wielowymiarowych. Teraz - mając pewne struktury podobne (grupy, skupienia) musimy efektywnie je przeszukiwać, aby zgodnie z założonym celem szybciej wnioskować na takich zbiorach reguł.

7 Zadanie maszyny wnioskującej: Rysunek: Koncepcja wnioskowania w systemach z dziedzinowymi bazami wiedzy Do zadań maszyny wnioskującej należy: Znaleźć w zbiorze wszystkich reguł - reguły relewantne, Przeprowadzić wnioskowanie na znalezionych regułach stosując wybraną strategię doboru reguł.

8 Koncepcja wnioskowania hierarchicznego Klasyczne wnioskowanie 1 Szukaj reguł relewantnych względem podanych faktów bądź zadanej hipotezy. Wnioskowanie hierarchiczne 1 Przeszukaj skupienia reguł stosując kryterium maksymalnej relewantności, w celu znalezienia grupy reguł do uaktywnienia. 2 Wnioskuj wybraną metodą dla znalezionej w kroku 1 grupy reguł. Wstępna ocena: 1 Złożoność obliczeniowa: T (n) = O(log 2 n) + O(m) gdzie m << n. 2 Zaskakująca może się wydać nowa możliwość wnioskowania sterowanego danymi oraz podobieństwem. W klasycznym wnioskowaniu, tylko reguły w pełni relewantne są uaktywniane, przeszukiwanie struktury hierarchicznej, może pozwalać na próbę uaktywniania reguł o dużym stopniu podobieństwa. (Będzie się to wiązało jedynie z koniecznością zadania użytkownikowi dodatkowych pytań w celu weryfikacji prawdziwości przesłanek.)

9 Model hierarchicznej Bazy Wiedzy gdzie: S HC =< X, A, V, dec, F sim, Tree > X = {x 1,.., x n} zbiór reguł (klauzul Horn a), A = {a 1,.., a m} gdzie A = C D (atrybuty warunkowe i decyzyjne). V i = ai Av i zbiór wartości atrybutu a i. x i V i, dla 1 i n X = V 1 V 2... V n dec : X V dec, gdzie V dec = {d 1,.., d m} F sim : X X R [0..1] 2n 1 Tree = {w 1,.., w 2n 1} = w i i=1 w i = {d i, c i, f, i, j}, gdzie f = F sim(x i, x j ) [0..1], i, j (1, 2,.., 2n 1), d i V dec, c i = X.

10 Złożona Baza Wiedzy Theorem Własności złożonej bazy wiedzy: duża liczba reguł, różny typ danych, zagnieżdżanie reguł. Rysunek: Złożona Baza Wiedzy

11 Wnioskowanie klasyczne (nie hierarchiczne) Wnioskowanie w przód generuje nowe fakty. W przypadku dużej liczby reguł liczba nowych faktów może rosnąć lawinowo. Powoduje to dwa problemy: Merytoryczny jak interpretować nowe fakty, których jest potencjalnie dużo? Czy wszystkie nowe fakty są użyteczne? Techniczny generowanie wszystkich możliwych faktów może być czasochłonne. Rysunek: Własność wnioskowania klasycznego w przód Aby ograniczyć zachłanność algorytmu wnioskowania w przód, można wprowadzić cel wnioskowania. Jeżeli w trakcie wnioskowania wygenerowany zostanie fakt zgodny z celem, wnioskowanie jest kończone. Cel wnioskowania reprezentuje zatem informację, jaką chcemy od systemu uzyskać.

12 Wnioskowanie klasyczne (nie hierarchiczne) Modyfikacja algorytmu wnioskowania w przód

13 Wnioskowanie klasyczne (nie hierarchiczne) Modyfikacja algorytmu wnioskowania w przód

14 Wnioskowanie klasyczne w przód

21 Wnioskowanie klasyczne (nie hierarchiczne) Wnioskowanie sterowane celem (ang. goal-driven) Wnioskowanie wstecz ma potwierdzić prawdziwość postawionej hipotezy. Hipoteza ta staje się głównym celem wnioskowania.

22 Wnioskowanie klasyczne (nie hierarchiczne) Modyfikacja algorytmu wnioskowania wstecz

23 Wnioskowanie hierarchiczne Proces wnioskowania w przód dla hierarchicznej Bazy Wiedzy Będziemy przeglądać tylko pewną część całej Bazy Wiedzy - nie tracąc przy tym kompletności i utrzymując dokładność - jak przy przeglądzie zupełnym. Rysunek: Drzewo skupień reguł

24 Proces wnioskowania w przód dla hierarchicznej Bazy Wiedzy Rysunek: Drzewo skupień reguł

28 Algorytmy przeszukiwania skupień reguł ang. Cluster based retrieval. zaczynamy od korzenia i na każdym poziomie wyszukiwaniem kieruje reguła decyzyjna, która oblicza podobieństwo (dopasowanie) i wybiera węzeł do dalszego przeszukiwania, konieczne jest zdefiniowanie tzw. reguły stopującej, która przerywa wyszukiwanie i wymusza przegląd wybranego węzła. 1 Metoda węzła najbardziej relewantnego, 2 Metoda minimalnej wartości progowej.

29 Algorytmy przeszukiwania skupień Metoda węzła najbardziej relewantnego Rysunek: Method: Metoda węzła najbardziej relewantnego INPUT: F =observations, n- the number of nodes, Tree[i]=i-th node; While(L,R 1){ counts1 = sim(f, Tree[L]); counts2 = sim(f, Tree[R]); If(s1 > s2) search Tree[L]; Else If (s1 < s2) search Tree[R]; Else If (s1 = s2) { search Tree[R]; search Tree[L]; } } OUTPUT: Tree[i] -skupienie reguł relewantnych

30 Algorytmy przeszukiwania skupień Metoda minimalnej wartości progowej Rysunek: Metoda: Minimalna wartość progowa np. s min = 0.7. INPUT: F =observations, n- the number of nodes, Tree[i]=i-th node; T min - threshold While (L, R T min ){ count s1 = sim(f, Tree[L]); count s2 = sim(f, Tree[R]); If (s1 T min ) search Tree[L] Else If (s2 T min ) search Tree[R] OUTPUT: Tree[i] -skupienie reguł relewantnych

31 Porównanie metod Węzeł najbardziej relewantny v. Minimalna wartość progowa Zalety Węzeł najbardziej relewantny Minimalna wartość progowa duża dokładność & duża kompletność krótszy czas O(log 2 n) O(log 2 n) wyższa kompletność Wady Węzeł najbardziej relewantny Minimalna wartość progowa możliwa utrata kompletności możliwa utrata dokładności jak ustawić threshold? zwykle dłuższy czas

32 Wnioskowanie klasyczne w przód Zadanie faktów inicjujących i pełne wnioskowanie Załóżmy, że chcemy wnioskować w przód dla zadanych dwóch faktów inincjujących. Widzimy, że pełne klasyczne wnioskowanie wiązałoby się z próbą uaktywnienia każdej kolejnej reguły.

33 Wnioskowanie hierarchiczne w przód Zadanie faktów inicjujących wnioskowanie hierarchiczne metodą węzła najbardziej relewantnego Wybierając metodę węzła najbardziej relewantnego, drzewo przeszukiwane jest możliwie najszybciej i jak się okazuje, system wyszukuje wówczas reguły - faktycznie relewantne - bo reguła nr 3 jest również uznana za relewantną gdy przeszukiwaliśmy zupełnie zbiór.

34 Wnioskowanie hierarchiczne w przód Wyniki wnioskowania hierarchicznego w przód dla zadanego progu relewantności Przy określeniu wartości progu relewantności musimy się liczyć z tym, że albo system wyszuka conajwyżej jedną regułę (wysoki próg), albo w odpowiedzi reguł do dalszego wnioskowania będzie dużo (niski próg). Po zadaniu T min = 1 - okazuje się, że w naszym systemie są 2 reguły pokrywające zadane fakty: reguła 3 i 20.

35 Wnioskowanie klasyczne w przód Fakty inicjujące i nowe fakty Widzimy wyraźnie, że prócz podanych na wejściu faktów, tzw. inicjujących, do bazy faktów dopisano nowy fakt, będący konkluzją uaktywnionej reguły.

36 Wnioskowanie klasyczne w przód Objaśnienie procesu wnioskowania w przód dla zadanych faktów inicjujących

37 Eksperymenty złożona baza wiedzy KB (dziedzina: ekonomia), 46atrybutów, 702 reguł. Im większa baza wiedzy tym lepsze wyniki końcowe. reguł węzłów analizowanych % BW efektywność BW nr BW nr BW nr BW nr węzłów % BW węzłów % BW zysk AHC AHC mahc mahc BW nr t [7] % BW nr 1 [16] % BW nr 2 [199] % BW nr 3 [480] % BW nr 4 [702] %

38 Eksperymenty 2 - krzywe ROC ROC (ang. Receiver Operating Characteristic) Często miarą trafności klasyfikacji jest budowanie macierzy pomyłek dla klasyfikacji binarnej, która powstaje przez sprowadzenie problemu wieloklasowego do problemu binarnego. oryginalne klasy pozytywne negatywne (relewantne) (nierelewantne) pozytywne TP FN (wyszukane) niegatywne FP TN (niewyszukane) gdzie: TP (ang. true positive)- liczba poprawnie sklasyfikowanych obiektów, FN (ang. false negative)- liczba błędnie sklasyfikowanych obiektów. Wówczas: wrażliwość (ang. sensitivity) = TP/(TP + FN), czułość (ang. specificity) = TN/(FP + TN).

39 Eksperymenty 2 - krzywe ROC metoda TP FP FN TN N TPF FPF a ,25 1 b ,11 1 c ,058 1 d ,05 1 a b c d a ,75 1 b , c , d ,35 1 a ,96 b , , c , , d ,75 0, gdzie: a - klasyczne, b - klasyczne pełne, c - hierarchiczne - metoda najbliższego węzła, d - hierarchiczne - metoda progowa.

40 Eksperymenty 2 - krzywe ROC Rysunek: Krzywe ROC dla analizowanych metod

41 Podsumowanie, wnioski Zalety: Wady: Koszt algorytmu to T (n) = O(m) + O(log 2 n), gdzie m << n. Metoda efektywna - gdyż tylko wiedza poszukiwana zostanie wyszukana. Metoda dokładna - gdyż własność zastosowanego algorytmu grupowania pozwala mieć nadzieję, że dokładność wyniesie 100%. Kompletność metody będzie uzależniona od spełnienia dodatkowych warunków, jakimi jest tzw. reguła stopująca, która zatrzyma algorytm na pewnym poziomie drzewa. Możliwa utrata kompletności, gdy nie stosujemy żadnej reguły stopującej drzewo skupień reguł. Naszym zdaniem, analiza skupień reguł pozwoli na znaczne zwiększenie efektywności procesów wnioskowania w złożonych, hierarchicznych bazach wiedzy, dostarczając znacznie krótszego czasu wnioskowania, utrzymując zwykle pełną dokładność wyszukiwania, oraz kompletność na poziomie wysokim, o ile zakładamy, że szukamy stosując kryterium progowej relewantności.

42 Bibliografia 1 Kaufman L., Rousseeuw P.J. (1990) Finding Groups in Data: An Introduction to Cluster Analysis. John Wiley Sons, New York. 2 Koronacki J., Ćwik J. (2005) Statystyczne systemy uczące się.wnt, Warszawa. 3 Nowak A., Wakulicz-Deja A., Bachliński S.(2006) Optimization of Speech Recognition by Clustering of Phones, Fundamenta Informaticae 72, IOS Press, pp Nowak A., Simiński R., Wakulicz-Deja A., Towards modular representation of knowledge base, Springer-Verlag Berlin Heidelberg - Advances in Soft Computing 5, 2006, pp Nowak A., Wakulicz-Deja A.,The inference processes on clustered rules, Springer-Verlag Berlin Heidelberg - Advances in Soft Computing 5, 2006, pp Reichgelt H., Knowledge Representation: An AI Perspective, Norwood N.J., Ablex Publishing Corp., Salton G., (1975), Automatic Information Organization and Retreival, McGraw-Hill, New York 8 Jardine N., van Rijsbergen C.J., The use of hierarchic clustering in information retrieval, Inforamtion Storage and Retrieval 7,