Analiza wielokryterialna wiedzy reprezentowanej ontologicznie

Transkrypt

1 Analiza wielokryterialna wiedzy reprezentowanej ontologicznie Zastosowanie metod analizy semantycznej do zwiększenia efektywności wykorzystania gridu Studia Doktoranckie IBS PAN Techniki informacyjne - teoria i zastosowania

2 Zakres i cel pracy Zadanie badawcze Zaproponowanie metod wspomagających użytkownika przy efektywnym wykorzystywaniu zasobów gridu z zastosowanie agentów programowych, ontologicznej reprezentacji wiedzy oraz wielokryterialnej oceny przy podejmowaniu decyzji. Cele badawcze 1 Opracowanie metody reprezentacji wiedzy dziedzinowej opartej na ontologii. 2 Zastosowanie analizy wielokryterialnej do wsparcia użytkownika przy definiowaniu zadania oraz w określaniu ograniczeń dotyczących wymaganego zasobu. 3 Wsparcie użytkownika przy wyborze optymalnej oferty (kontraktu) określającej warunki wykonania zadania.

3 Motywacja Grid jako narzędzie do rozwiązywania problemów obliczeniowych dużej skali Problemy z wykorzystaniem udostępnionych zasobów: luka w komunikacji pomiędzy twórcami narzędzi a użytkownikami ciągłe wykorzystywanie jednej metody / algorytmu / biblioteki do rozwiązania danego problemu Integracja gridu z biznesem Zastosowanie ontologii oraz agentów programowych w celu dostarczenia inteligentnej infrastruktury Wsparcie użytkownika o małej wiedzy technicznej w jego współdziałaniu z gridem - jak wybrać odpowiednie narzędzie do rozwiązania problemu? Mechanizmy integrujące z warstwą ekonomiczną

4 Kontekst Agents in Grid inteligentne zarządzanie zasobami udostępnianymi w gridzie z wykorzystaniem agentów programowych oraz semantycznego przetwarzania danych. Scenariusz: wyszukiwanie zasobu do wykonania zadania Założenia: grid jako środowisko otwarte, do którego może się przyłączyć dowolny zasób, wszyscy użytkownicy oraz udostępnione zasoby reprezentowane są przez agenty programowe, agenty działają w zespołach reprezentowanych przez liderów, użytkownik ma do wykonania zadanie obliczeniowe, do którego chce wykorzystać zasób dostępny na gridzie, użytkownik ma wiedzę dotyczącą problemu oraz posiada ogólną wiedzę na temat metody, natomiast nie jest pewien, które narzędzie oraz konfiguracja zasobu będzie optymalna.

5 Kontekst Agents in Grid inteligentne zarządzanie zasobami udostępnianymi w gridzie z wykorzystaniem agentów programowych oraz semantycznego przetwarzania danych. Scenariusz: wyszukiwanie zasobu do wykonania zadania Założenia: grid jako środowisko otwarte, do którego może się przyłączyć dowolny zasób, wszyscy użytkownicy oraz udostępnione zasoby reprezentowane są przez agenty programowe, agenty działają w zespołach reprezentowanych przez liderów, użytkownik ma do wykonania zadanie obliczeniowe, do którego chce wykorzystać zasób dostępny na gridzie, użytkownik ma wiedzę dotyczącą problemu oraz posiada ogólną wiedzę na temat metody, natomiast nie jest pewien, które narzędzie oraz konfiguracja zasobu będzie optymalna.

6 Kontekst Agents in Grid inteligentne zarządzanie zasobami udostępnianymi w gridzie z wykorzystaniem agentów programowych oraz semantycznego przetwarzania danych. Scenariusz: wyszukiwanie zasobu do wykonania zadania Założenia: grid jako środowisko otwarte, do którego może się przyłączyć dowolny zasób, wszyscy użytkownicy oraz udostępnione zasoby reprezentowane są przez agenty programowe, agenty działają w zespołach reprezentowanych przez liderów, użytkownik ma do wykonania zadanie obliczeniowe, do którego chce wykorzystać zasób dostępny na gridzie, użytkownik ma wiedzę dotyczącą problemu oraz posiada ogólną wiedzę na temat metody, natomiast nie jest pewien, które narzędzie oraz konfiguracja zasobu będzie optymalna.

7 Kontekst Agents in Grid inteligentne zarządzanie zasobami udostępnianymi w gridzie z wykorzystaniem agentów programowych oraz semantycznego przetwarzania danych. Scenariusz: wyszukiwanie zasobu do wykonania zadania Założenia: grid jako środowisko otwarte, do którego może się przyłączyć dowolny zasób, wszyscy użytkownicy oraz udostępnione zasoby reprezentowane są przez agenty programowe, agenty działają w zespołach reprezentowanych przez liderów, użytkownik ma do wykonania zadanie obliczeniowe, do którego chce wykorzystać zasób dostępny na gridzie, użytkownik ma wiedzę dotyczącą problemu oraz posiada ogólną wiedzę na temat metody, natomiast nie jest pewien, które narzędzie oraz konfiguracja zasobu będzie optymalna.

8 Kontekst Agents in Grid inteligentne zarządzanie zasobami udostępnianymi w gridzie z wykorzystaniem agentów programowych oraz semantycznego przetwarzania danych. Scenariusz: wyszukiwanie zasobu do wykonania zadania Założenia: grid jako środowisko otwarte, do którego może się przyłączyć dowolny zasób, wszyscy użytkownicy oraz udostępnione zasoby reprezentowane są przez agenty programowe, agenty działają w zespołach reprezentowanych przez liderów, użytkownik ma do wykonania zadanie obliczeniowe, do którego chce wykorzystać zasób dostępny na gridzie, użytkownik ma wiedzę dotyczącą problemu oraz posiada ogólną wiedzę na temat metody, natomiast nie jest pewien, które narzędzie oraz konfiguracja zasobu będzie optymalna.

9 Przykładowy scenariusz Krok 1 Użytkownik szuka zasobu o wskazanej konfiguracji (np. dostępna pamięć większa niż 1024MB) do rozwiązania zadania z jego dziedziny (np. znalezienie najmniejszej wartości własnej dla macierzy symetrycznej). użytkownik definiuje problem / własności danych /konfigurację zasobu zgodnie ze swoim stanem wiedzy (różny poziom szczegółowości) wielokryterialna ocena poprawności wymagań użytkownika Krok 2 Użytkownik chce określić warunki współpracy z dostawcą zasobu. wielokryterialna ocena ofert kontraktów otrzymanych w wyniku negocjacji

10 Wspomaganie użytkownika w ramach AiG I Wyszukiwanie zasobu do wykonania zadania 1 Użytkownik wprowadza wymagania dotyczące zasobu oraz zadania. 2 Agent użytkownika przeszukuje repozytorium z wiedzą ekspercką i wybiera pasujące opinie eksperckie (analiza wielokryterialna). 3 Bazując na opiniach eksperckich można wyróźnić trzy sytuacje: 1 użytkownik prawidłowo i w pełni zdefiniował zadanie i konfigurację zasobów (bez zmian) 2 można precyzyjniej określić metodę rozwiązania i/lub optymalną konfigurację zasobów (rozszerzenie/modyfikacja) 3 wiedza ekspercka wskazuje na to, że należałoby zastosować inną metodę i/lub inaczej skonfigurować zasoby (wskazanie alternatyw) 4 Użytkownik akceptuje lub odrzuca zmodyfikowane wymagania.

11 Wspomaganie użytkownika w ramach AiG II Wyszukiwanie zasobu do wykonania zadania 5 Agent użytkownika odpytuje system, o zarejestrowane zespoły, które posiadają zasób o wskazanej konfiguracji. 6 Użytkownik wprowadza wymagania dotyczące kontraktu. 7 Agent użytkownika przystępuje do negocjacji z wybranymi liderami zespołów. 8 Agent użytkownika wybiera optymalną ofertę kontraktu (analiza wielokryterialna). 9 Następuje etap przesłania i wykonania zadania.

12 Wiedza ekspercka Ontologia Formalna, jawna specyfikacja współdzielonej konceptualizacji. Ontologię specyfikuje się używając następujących konstruktów: pojęcia opisujące elementy dziedziny, własności opisujące cechy poszczególnych pojęć, ograniczenia nałożone na wartości, jakie mogą przyjmować cechy danego pojęcia, związki miedzy pojęciami i aksjomaty (np. używając aksjonamtu subclass można wskazać, że klasa sparsesymmetricmatrix jest podklasą klasy SymmetricMatrix).

13 Ontologia dziedzinowa I Podstawowe pojęcia - model koncepcyjny Domain - identyfikuje dziedzinę wiedzy Problem - hierarchia problemów

14 Ontologia dziedzinowa II Podstawowe pojęcia - model koncepcyjny Algorithm - hierarchia algorytmów / metod, które można wykorzystać do rozwiązania problemów Data Element - typ danych, które stanowią wejście dla algorytmów Data Property - hierarchia własności danych wejściowych; dla dziedziny obliczeniowej algebry liniowej własności są podklasami Matrix Property lub Matrix Element Property Domain Expert - eksperci (ludzi bądź systemy), którzy wprowadzają do systemu opinie (rekomendacje) w ramach przypisanych do nich dziedzin Job Profile - profil zadania stanowiący powiązanie instancji klas Problem, Algorithm, Data Element, Expert Opinion Expert Opinion - opinie eksperckie wiążące instancje klasy Domain Expert oraz Grid Entity

15 Ontologia dziedzinowa III Podstawowe pojęcia - model koncepcyjny Testowe zastosowanie dla dziedziny: obliczeniowa algebra liniowa W ontologii OWL można wyróźnić: T-Box (terminologia - syntaktyka) model koncepcyjny tj. aksjomaty definiujące i opisujące pojęcia A-Box (asercje - semantyka) zawiera asercje dotyczące instancji A-Box + T-Box = baza wiedzy

16 Ontologia dziedzinowa IV Podstawowe pojęcia - model koncepcyjny

17 Wsparcie przy wyborze zasobu I Definiowanie wstępnych wymagań Profil zadania ograniczenia na kombinację problemu, algorytmu, oraz własności danych wejściowych, ew. konfiguracji zasobu. Kluczowy element przy wyszukiwaniu opinii eksperckiej. Opinie ekspertów powinny zostać zagregowane i skonfrontowane z tym co określił użytkownik. Można wyróżnić dwie sytuacje: 1 użytkownik niedookreślił tego co chce zrobić 2 użytkownik zaproponował sformułowanie zagadnienia, które nie jest optymalne

18 Wsparcie przy wyborze zasobu II

19 Wsparcie przy wyborze zasobu III Opinie eksperckie Opinie eksperckie wyrażone są semantycznie co pozwala na ich reprezentację w postaci drzewa. < owl:namedindividual rdf:about =" AiGExpInst ; eigenvaluejobprofile " > < rdf:type rdf:resource =" AiGExpOnto ; JobProfile "/ > < AiGExpOnto:forProblem rdf:resource =" AiGExpInst ; smallesteigenvalueproblem "/ > < AiGExpOnto:forMatrix rdf:resource =" AiGExpInst ; sparsesymmetricmatrix "/ > < AiGExpOnto:hasAlgorithm rdf:resource =" AiGExpInst ; eigensolverjacobimethod "/ > < AiGExpOnto:hasexpertOpinion rdf:resource =" AiGExpInst ; Opinion1ForEigenvalueProblem "/ > </ owl:namedindividual > < owl:namedindividual rdf:about =" AiGExpInst ; Opinion1ForEigenvalueProblem " > < rdf:type rdf:resource =" AiGExpOnto ; ExpertOpinion "/ > < AiGExpOnto:hasExpert rdf:resource =" AiGExpInst ; HPCExpert1 "/ >

20 Wsparcie przy wyborze zasobu IV < AiGExpOnto:hasRecommendedResource rdf:resource =" AiGExpInst ; computingelement "/ > < AiGExpOnto:forJobProfile rdf:resource =" AiGExpInst ; eigenvaluejobprofile "/ > </ owl:namedindividual > < owl:namedindividual rdf:about =" AiGExpInst ; computingelement " > < rdf:type rdf:resource =" AiGExpInst ; DefinedCompElement "/ > </ owl:namedindividual >

21 Wsparcie przy wyborze zasobu V

22 Wsparcie przy wyborze zasobu VI Analiza wielokryterialna Powinna pozwolić na wybranie zagregowanej opinii wyrażającej pogląd na temat tego jaki zasób byłby najlepszy dla wykonania zadania. wielu ekspertów (decydentów), którzy mogą mieć różne wagi wiele kryteriów ilościowych i jakościowych, które mogą mieć wagi istotnościowe możliwość naturalnego / prostego uwzględnienia drzewiastej struktury kryteriów ograniczenia na kryteria mogą stanowić konkretne wartości lub przedziały

23 Wsparcie przy wyborze zasobu Rekomendacje Wynik Maksymalnie precyzyjne określenie tego, jakie zasoby (sprzęt i oprogramowanie) są potrzebne aby rozwiązać zadanie oraz ewentualnie zasugerowanie metody rozwiązania problemu. W tej sytuacji może okazać się, że: 1 użytkownik prawidłowo i w pełni zdefiniował zadanie i konfigurację zasobów (bez zmian), 2 wiedza ekspercka wskazuje na to, że można precyzyjniej określić metodę rozwiązania i/lub optymalną konfigurację zasobów (rozszerzenie / modyfikacja), 3 wiedza ekspercka wskazuje na to, że należałoby zastosować inną metodę i/lub inaczej skonfigurować zasoby (wskazanie alternatyw).

24 Wsparcie przy wyborze kontraktu I Definiowanie wstępnych wymagań W tym przypadku jeden ekspert (agent reprezentujący użytkownika), wybiera najlepszą ofertę kontraktu spośród otrzymanych ofert (lub stwierdza, że żadna z otrzymanych ofert nie jest dostatecznie dobra ). Struktura problemu decyzyjnego generowana jest na podstawie wymagań użytkownika.

25 Wsparcie przy wyborze kontraktu II

26 Wsparcie przy wyborze kontraktu III Wymagania oraz oferty kontraktów wyrażone są semantycznie co pozwala na ich reprezentację w postaci drzewa.

27 Wsparcie przy wyborze kontraktu IV Analiza wielokryterialna jeden ekspert wiele kryteriów ilościowych i jakościowych, które mogą mieć wagi istotnościowe możliwość naturalnego / prostego uwzględnienia drzewiastej struktury kryteriów

28 Metody analizy wielokryterialnej Analytical Hierarchy Process (AHP; Thomas Saaty, 1970+) PROMETHEE (B. Mareschal, J. P. Brans, C. Macharis, 1998) Technique for Order Preference by Similarity to Ideal Solution (TOPSIS; H.-S. Shih, H.-J. Shyur, E. S. Lee, 2008) i Ontological Matchmaking

29 Analytical Hierarchy Process (AHP) AHP analiza wielokryterialna w przypadku złożonego problemu z licznymi, antagonistycznymi oraz podlegającymi subiektywnej ocenie kryteriami (o hierarchicznej strukturze), wspierająca analizę skończonej ilości wariantów (alternatyw) przez wielu ekspertów; możliwość oceny poziomu spójności dla wyrażonych preferencji.

30 Wsparcie przy wyborze zasobu I AHP 1 Wybór kryteriów. C 1,..., C M zbiór kryteriów służących do oceny wariantów 2 Wybór ekspertów. E = {e i } i=1,...,k zbiór ekspertów 3 Numeryczna ocena i stworzenie rankingu wariantów. Tworzenie hierarchicznej struktury problemu decyzyjnego.

31 Wsparcie przy wyborze zasobu II AHP Definicja preferencji oraz obliczanie ocen ważności dla wszystkich elementów hierarchii. 1 c c 1m c c 2m (1) c m1 c m2... c mm

32 Wsparcie przy wyborze zasobu III AHP c ij = 1 c ji, c ii = 1 oceny ważności kryteriów z danego poziomu względem rodzica to współczynniki znormalizowanego wektora własnego c dla maksymalnej wartości własnej λ max (posiadającej wektor własny c z dodatnimi współczynnikami c i > 0, i = 1,..., m) c i = c i m c, i=1 i m c i = 1 hascpu hasmemory isrunningos 1 hascpu hasmemory isrunningos 1 3 i= lokalne wagi: hascpu 0.2, hasmemory 0.68, isrunningos 0.12 hasclockspeed hascores 1 hasclockspeed 1 3 hascores 3 1

33 Wsparcie przy wyborze zasobu IV AHP lokalne wagi: hasclockspeed 0.25, hascores 0.75 hastotalsize hasavailablesize 1 hastotalsize 1 7 hasavailablesize 7 1 lokalne wagi: hastotalsize 0.12, hasavailablesize 0.88 oceny wyliczone na każdym poziomie są wykorzystywane do wyliczenia ważonych ocen na poziomie bezpośrednio pod danym elementem - globalne oceny ważności dla każdego c i, i = 1,..., M c hasclockspeed = c computingelement c CPU c hasclockspeed = c hascores = c computingelement c CPU c hascores = c hastotalsize = c computingelement c Memory c hastotalsize = c hasavailablesize = c computingelement c Memory c hasavailablesize = 0.3 c isrunningos = c computingelement c isrunningos = 0.06 c hasalgorithm = c JobProfile c hasalgorithm = 0.5 Badania spójności macierzy preferencji. Wyznaczenie ocen ważności dla ekspertów.

34 Wsparcie przy wyborze zasobu V AHP HPCExpert1 HPCExpert2 HPCExpert3 1 HPCExpert HPCExpert HPCExpert wagi: HPCExpert1 0.28, HPCExpert2 0.07, HPCExpert Tworzenie rankingu końcowego. macierz ocen, gdzie xij n, i = 1,..., M, j = 1,..., K oceną n-tego wariantu przez j-tego eksperta (o ważności w j, j = 1,..., K) mając na uwadze i-te kryterium e 1 e 2... e K C 1 x n 11 x n x n 1K C 2 x n 21 x n x n 2K C M x n M1 x n M2... x n MK

35 Wsparcie przy wyborze zasobu VI AHP Ocena M n n-ego wariantu jest wyliczana jako: M n = M K (c i xij n w j ) i=1 j=1

36 Wsparcie przy wyborze zasobu VII AHP Alternatywa 1 HPCExpert1 HPCExpert2 HPCExpert3 hasclockspeed hascores hastotalsize hasavailablesize isrunningos hasalgorithm M 1 = ( ) ( ( 1) ( 1)) +... = 1.3 Alternatywa 2 HPCExpert1 HPCExpert2 HPCExpert3 hasclockspeed hascores hastotalsize hasavailablesize isrunningos hasalgorithm 3 1 3

37 Wsparcie przy wyborze zasobu VIII AHP Alternatywa 3 HPCExpert1 HPCExpert2 HPCExpert3 hasclockspeed hascores hastotalsize hasavailablesize isrunningos hasalgorithm M 2 = 2.87, M 3 = 4.2

38 Podsumowanie - AHP popularna metoda uwzględniająca wielu decydentów oraz kryteria ilościowe i jakościowe agregacja możliwa na poziomie wyrażania preferencji odnośnie kryteriów oraz ocen dla alternatyw hierarchiczna struktura problemu decyzyjnego - intuicyjna dekompozycja problemu skala werbalna pozwalająca ocenę wartości dla kryteriów ilościowych i jakościowych metoda sprawdzania spójności preferencji wprowadzonych przez użytkownika / eksperta problem rank reversal krytyka odnośnie naukowości metody

39 PROMETHEE I Metoda do grupowego podejmowania decyzji z grupy Outranking methods. Kroki obejmują: 1 Wybór decydentów E = {e r } r=1,...,r 2 Wybór kryteriów C 1,..., C M (wspólnych oraz indywidualnych dla danego decyndenta) 3 Konstrukcja tabeli ewaluacji (evaluation table) - wartości f i (.) wyrażone numerycznie w odpowiednich jednostkach C i hasclockspeed hascores hastotalsize... w i f i (.) f 1 (.) f 2 (.) f 3 (.)... a f 1 (a) f 2 (a) f 3 (a)... b f 1 (b) f 2 (b) f 3 (b)... 4 Ocena alternatyw przez każdego z decydentów

40 PROMETHEE II wyznaczenie wag kryteriów oraz minimalizacja/maksymalizacja w1 r, w 2 r,..., w M r, M i=1 w i r = 1 przypisanie funkcji preferencji do kryteriów P i (a, b) = G i (f i (a) f i (b)), i = 1,..., M - porównania parami G i - niemalejąca funkcja wyrażająca odchylenie pomiędzy f i (a), f i (b) ustalenie indywidualnego rankingu alternatyw π r (a, b) = M i=1 P i(a, b)wi r φ +r (a) = x A πr (a, x) - moc alternatywy a φ r (a) = x A πr (x, a) - słabość alternatywy a φ r (a) = φ +r (a) φ r (a) - net flow alternatywy a 5 Wyznaczenie globalnego rozwiązania wagi ekspertów ω 1, ω 2,..., ω r,..., ω R, R r=1 ω r = 1 ustalenie globalnego rankingu alternatyw Φ G (a) = R r=1 φr (a)ω r

41 Podsumowanie - PROMETHEE metoda zaprojektowana do grupowego podejmowania decyzji nie wykorzystywany jest fakt, że dane są reprezentowane ontologicznie wagi dla wszystkich kryteriów wyznaczanie są bezpośrednio - problem nie jest dekomponowany

42 TOPSIS + Dopasowanie ontologiczne I Technique for order preference by similarity to ideal solution Metoda bazująca na wyznaczeniu idealnej (PIS) oraz anty-idealnej (NIS) alternatywy (najlepsza oraz najgorsza oferta). Celem jest wybranie alternatywy najbliżej idealnej oraz najdalszej od alternatywy negatywnie idealnej. Alternatywa idealna (PIS) wybór zasobu - alternatywy danego eksperta wybór kontraktu - oferta z najlepszymi otrzymanymi wartościami Alternatywa anty-idealna (NIS) wybór zasobu - wprowadzona przez danego eksperta wybór kontraktu - oferta z najgorszymi otrzymanymi wartościami

43 TOPSIS + Dopasowanie ontologiczne II Dopasowanie ontologiczne Wyznaczanie odległości pomiędzy ontologicznie wyrażonymi alternatywami (instancjami), gdzie ontologia jest reprezentowana w postaci grafu. Odległości jest liczona w dwóch etapach: 1 dystans pomiędzy pojęciami w modelu koncepcyjnym - opcjonalnie definiowany przez ekspertów, 2 dystans semantyczny pomiędzy instancjami - skalowanie dystansów eksperckich wartościami wprowadzonymi przez użytkownika.

44 TOPSIS + Dopasowanie ontologiczne I Grupowa decyzja S i + Si Ci = S i S + i +S i - odległość i tej alternatywy od alternatywy idealnej - odległość i tej alternatywy od alternatywy anty-idealnej - odległość od alternatywy idealnej Grupowe podejmowanie decyzji: Kroki: Agregacja zewnętrzna - operacje na wyznaczonych wagach i ocenach poza procedurą TOPSIS Agregacja wewnętrzna - agregacja indywidualnych preferencji w ramach TOPSIS 1 Dla każdego k ego eksperta wyznaczamy PIS V k+ i NIS V k 2 Dla każdego eksperta liczymy odległość i ej alternatywy od PIS Si k+ i NIS Si k

45 TOPSIS + Dopasowanie ontologiczne II Grupowa decyzja 3 Dla grupy liczymy zagregowaną odległość i ej alternatywy od PIS S i + = Si Si K+ i NIS Si = Si 1... Si K 4 Dla grupy liczymy odległość i ej alternatywy od idealnej Ci = S i S + i +S i 5 Wybieramy alternatywę o maksymalnej C i

46 Podsumowanie - TOPSIS + dopasowanie ontologiczne globalna alternatywa idealna i negatywnie idealna wyznaczana na podstawie zagregowanych alternatyw ekspertów metoda dopasowania ontologicznego jest wygodna gdy informacje są reprezentowane ontologicznie nieznaczny problem rank reversal w porównaniu do innych metod eksperci poza opinią idealną powinni wprowadzić również negatywnie idealną eksperci powinni zdefiniować dystanse dla modelu koncepcyjnego nie ma możliwości sprawdzenia spójności wprowadzonych danych

47 Inne rozpatrywane metody I Generalized Regression with Intensities of Preference (GRIP) intuicyjna metoda wskazywania preferencji przez decydenta (holistyczne porównanie parami alternatyw referencyjnych) - częściowy porządek na podzbiorze alternatyw referencyjnych decydent wskazuje tylko preferencje, których jest pewny, nie musi oceniać wszystkich kombinacji alternatyw względem kryteriów budowanie modelu preferencji - zbiór liniowych ograniczeń wynik - necessary/possible relations na zbiorze alternatyw jak skonstruować zbiór alternatyw referencyjnych? wsparcie dla wielu decydentów?

48 Podsumowanie Problem dopasowania metody analizy wielokryterialnej do wiedzy reprezentowanej ontologicznie okazał się nietrywialny. Proponowane rozwiązanie poza wyborem najlepszej alternatywy powinno również uwzględniać: pomoc przy ulepszeniu specyfikacja wymagań, wybór spośród wielu alternatyw, które spełniają wymagania użytkownika. AHP wydaje być się metodą najlepiej dopasowaną natomiast wzbudza wiele kontrowersji. Dalsza praca ma na celu zidentyfikowanie oraz zastosowanie metody alternatywnej dla AHP.

49 Dziękuję