Inteligentne systemy wspomagania decyzji oparte na wiedzy odkrytej z danych. Roman Słowiński

Transkrypt

1 Inteligentne systemy wspomagania decyzji oparte na wiedzy odkrytej z danych Roman Słowiński Roman Słowiński

2 Motywacje Wzrasta przepaść między generowaniem danych a ich zrozumieniem Odkrywanie wiedzy z danych (ang. Knowledge Discovery, Data Mining) OWD jest procesem identyfikowania przez indukcję: prawdziwych, nietrywialnych, potencjalnie użytecznych, bezpośrednio zrozumiałych wzorców w danych Wzorzec = reguła, trend, zjawisko, prawidłowość, anomalia, hipoteza, funkcja, itp. Wzorce są użyteczne dla wyjaśniania sytuacji opisanych przez dane oraz do predykcji przyszłych sytuacji 2

3 Motywacje rzykład danych diagnostycznych 176 autobusów (obiektów) 8 symptomów (atrybutów) Globalny stan techniczny: 3 dobry(użytkować) 2 do przeglądu 1 do remontu (wycofać) Odkryć wzorce = znaleźć zależności między symptomami a stanem technicznym Wzorce wyjaśniają decyzje eksperta i wspomagają diagnozowanie nowych przypadków 3

4 Motywacje Szukanie wzorców wymaga uwzględnienia wiedzy dziedzinowej (bacground knowledge), czyli semantyki danych Rodzaje wiedzy dziedzinowej: (i) dziedziny atrybutów, czyli zbiory wartości atrybutów mających sens dla ludzkiej percepcji (ii) podział na atrybuty warunkowe i decyzyjne (iii) porządek preferencji w dziedzinie atrybutów i semantyczna korelacja między parami atrybutów, wymagająca, by wzorce przestrzegały zasadę areto-dominacji Atrybuty z dziedziną uporządkowaną według preferencji = kryteria Wzorce: funkcyjne, relacyjne, logiczne (regułowe) 4

5 Wpływ wiedzy dziedzinowej na odkrywanie wzorców Semantyczna korelacja między kryterium a decyzją oznacza, że poprawa oceny obiektu na tym kryterium nie powinna pogarszać decyzji rzykład Obiekty = uczniowie Mat = ocena z matematyki Fiz = ocena z fizyki OG = ocena ogólna kryteria decyzja oprawa oceny z Mat lub Fiz (przy drugiej ocenie nie zmienionej) nie powinna pogarszać ogólnej oceny ucznia OG, lecz raczej polepszać ją 5

6 Wpływ wiedzy dziedzinowej na odkrywanie wzorców Reguła decyzyjna: jeżeli Mat=dostat. i Fiz=dostat., to OG=dobry Reguły niespójne z zasadą areto-dominacji : reguła #1: jeżeli Mat= dostat. i Fiz=dostat., to OG=dobry reguła #2: jeżeli Mat=dobry i Fiz=dostat., to OG=dostat. owodem jest niespójność w zbiorze danych 6

7 Niespójność w zbiorze danych Niespójność w opisie obiektów: Niespójność ma wiele źródeł, np.: brakujące atrybuty (kryteria) niestały charakter preferencji przy podejmowaniu decyzji Informacji o niespójnościach nie można traktować jak szumu, czy błędu 7

8 Teoria zbiorów przybliżonych oparta na dominacji (DRSA) Zbiór kryteriów (C) jest semantycznie skorelowany z decyzją (d) f q relacja słabej preferencji (przewyższania) na U względem kryterium q {C D} x q f q y q : x q jest co najmniej tak dobry jak y q na kryterium q xd y : x -dominuje y ze względu na C, jeśli x q f q y q dla wszystkich kryteriów q Relacja -dominacji jest zwrotna (xd x) Analogicznie, xd d y ze względu na decyzję d 8

9 Teoria zbiorów przybliżonych oparta na dominacji (DRSA) Obliczenia granularne na stożkach dominacji względem decyzji U = s t Cl t Cl s U = s t Cl t Cl s unia klas w górę, t=2,...,n ( co najmniej klasa Cl t ) unia klas w dół, t=1,...,n-1 ( co najwyżej klasa Cl t ) Granule wiedzy są stożkami w przestrzeni ocen ( C) D + (x)= {y U: yd x} : stożek -dominujący D - (x) = {y U: xd y} : stożek -zdominowany Odkrywane wzorce są funkcjami logicznymi reprezentującymi granule Cl t,cl t za pomocą granul D + (x), D- (x) 9

10 DRSA ilustracja formalnych definicji rzykład Symptom 1 Symptom 2 Stan techniczny f f 17,8 Dobry Dobry Dobry Dobry Dobry Dobry 22.5 Dobry Średni Średni Średni Średni Średni Średni Zły 11 2 Zły 10 9 Zły 5 13 Zły Np. Symptom 1 = (wibracje osiowe) -1 Symptom 2 = (poziom hałasu) -1 10

11 DRSA ilustracja formalnych definicji Obiekty w przestrzeni ocen Symptom 1 0 Symptom 2 11

12 DRSA ilustracja formalnych definicji Obliczenia granularne na stożkach dominacji Symptom 1 D + ( x) = { y U : yd x} x D ( x) = { y U : xd y} 0 Symptom 2 12

13 DRSA ilustracja formalnych definicji Obliczenia granularne na stożkach dominacji Symptom 1 D + ( x) = { y U : yd x} x D ( x) = { y U : xd y} 0 Symptom 2 13

14 DRSA ilustracja formalnych definicji Dolne przybliżenie unii klas Co najmniej dobrych Symptom 1 ( ) x U : D + ( x) Cl t { Cl } = t 0 Symptom 2 14

15 DRSA ilustracja formalnych definicji Górne przybliżenie i brzeg unii klas Co najmniej dobrych Symptom 1 Bn ( ) = ( ) ( ) Cl t Cl t Cl t - ( ) = x U : D ( x) Cl { } + Cl D ( x) = t t U x Cl t 0 Symptom 2 15

16 DRSA ilustracja formalnych definicji Dolne = górne przybliżenie unii klas Co najmniej średnich Symptom 1 ( ) x U : D + ( x) Cl t { Cl } = t 0 - ( ) = x U : D ( x) { } + Cl D ( x) = t t U x Cl t Symptom 2 Cl 16

17 DRSA ilustracja formalnych definicji Dolne = górne przybliżenie unii klas Co najwyżej złych Symptom 1 ( ) x U : D ( x) Cl t { Cl } = t 0 ( ) ( ) { } D ( x) + = t = x U : D x Clt U x Cl t Symptom 2 Cl 17

18 DRSA ilustracja formalnych definicji Dolne przybliżenie unii klas Co najwyżej średnich Symptom 1 ( ) x U : D ( x) Cl t { Cl } = t 0 Symptom 2 18

19 DRSA ilustracja formalnych definicji Górne przybliżenie i brzeg unii klas Co najwyżej złych Symptom 1 Bn ( ) = ( ) ( ) Cl t Cl t Cl t + ( ) = x U : D ( x) Cl { } Cl D ( x) = t t U x Cl t 0 Symptom 2 19

20 orównanie klasycznej TZ i TZ opartej na dominacji Symptom 1 Symptom 1 0 Symptom 2 0 Symptom 2

21 DRSA indukcja reguł decyzyjnych z przybliżeń unii klas Indukowane reguły decyzyjne: pewne D -reguły, podpierane przez spójne obiekty Cl : jeżeli x q1 f q1 r q1 i x q2 f q2 r q2 i x qp f qp r qp, to x Clt ( ) możliwe D -reguły, podpierane przez nie koniecznie spójne obiekty Cl : jeżeli x q1 f q1 r q1 i x q2 f q2 r q2 i x qp f qp r qp, to x być może Clt t ( ) t 21

22 DRSA indukcja reguł decyzyjnych z przybliżeń unii klas Indukowane reguły decyzyjne: pewne D -reguły, podpierane przez spójne obiekty Cl : jeżeli x q1 p q1 r q1 i x q2 p q2 r q2 i x qp p qp r qp, to x Clt ( ) możliwe D -reguły, podpierane przez nie koniecznie spójne obiekty Cl : jeżeli x q1 p q1 r q1 i x q2 p q2 r q2 i x qp p qp r qp, to x być może Clt t ( ) t przybliżone D -reguły, podpierane przez obiekty Cl s Cl s+1 Cl t bez możliwości rozróżnienia, do której z klas, z uwagi na niespójność: jeżeli x q1 f q1 r q1 i... x qk f qk r qk i x qk+1 p qk+1 r qk+1 i... x qp p qp r qp, to x Cl s Cl s+1 Cl t. 22

23 DRSA reguły decyzyjne ewne D -reguły dla unii klas Co najmniej dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) 35, to x należy do klasy Dobrych 0 Symptom 2 23

24 DRSA reguły decyzyjne Możliwe D -reguły dla unii klas Co najmniej dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) 22.5 i f(x,s 2 ), to x być może należy do klasy Dobrych 0 Symptom 2 24

25 DRSA reguły decyzyjne rzybliżone D -reguły dla klasy Średnich lub Dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) [22.5, 27] if(x,s 2 ) [, 25], to x należy do klasy Średnich lub Dobrych 0 Symptom 2 25

26 DRSA reguły decyzyjne Reguła decyzyjna z hiperpłaszczyzną nieortogonalną Symptom 1 Jeżeli f(x,s 1 ) 9.75 i f(x,s 2 ) 9.5 i 1.5 f(x,s 1 )+1.0 f(x,s 2 ) 22.5, 0 to x jest w klasie Co najmniej średnich Symptom 2 26

27 Zastosowanie reguł decyzyjnych do wspomagania decyzji Zastosowanie reguł decyzyjnych: przekrój reguł dopasowanych do x Końcowa decyzja: 27

28 Zbiór reguł decyzyjnych jako model preferencji Zbiór (D D D )-reguł wyindukowanych z przybliżeń unii klas decyzyjnych reprezentuje model preferencji Model preferencji jest niezbędnym składnikiem systemu wspomagania decyzji dla problemów z wielowymiarową przestrzenią ocen Wielowymiarowość przestrzeni ocen wynika z: D : Ocen wielu decydentów K : Ocen wielokryterialnych R : Ocen w warunkach ryzyka i niepewności (wiele możliwych stanów natury z różnym prawdopodobieństwem) 28

29 α - wybór, β - klasyfikacja, γ -porządkowanie α β γ α β γ α β γ α β γ α β γ α β γ α β γ α β γ D 1 m 1 1 m m 1 m K 1 1 n 1 n 1 n n R ryz 1 ryz ryz ryz Optymalizacja Klasyfikacja orządkowanie Teoria społecznego wyboru (TSW) Wielokryterialne podejmowanie decyzji (WD) odejmowanie decyzji w warunkach ryzyka (DR) Rozwiązanie jest filozoficznie proste Zachodzi konflikt między wymiarami D, K, R, wobec czego problem na tym etapie nie ma rozwiązania (ill-posed problem) 29

30 Równoważność wielowymiarowych problemów decyzyjnych Teoria społecznego wyboru Wielokryterialne podejmowanie decyzji odejmowanie decyzji w warunkach ryzyka Element zbioru A (alternative) Kandydat (candidate) Wariant decyzyjny (action) Akt (act) Wymiar przestrzeni ocen (performance) Wyborca (voter) Kryterium (criterion) rawdopodobieństwo konsekwencji (probability of outcome) Obiektywna informacja o wyniku porównania elementów z A Relacja dominacji (dominance) Relacja dominacji (dominance) Relacja dominacji stochastycznej (stochastic dominance) 30

31 TSW WD DR Wyborcy Kryteria r. konsekwencji Kand. V 1 V 2 Wariant Czas Koszt Akt Zysk>Z 1 Zysk>Z 2 a 3 1 a 3 1 a b 1 2 b 1 2 b c 2 3 c 2 3 c V 2 V 1 : b f c f a V 2 : a f b f c Koszt niezdominowany zdominowany Zysk>Z 2 Z 1 <Z 2 3 c 3 c 2 1 b a 2 1 b a.6 a.5.4 c b V Czas Zysk>Z 1 31

32 Modele preferencji podstawy aksjomatyczne Trzy grupy modeli preferencji: Funkcja użyteczności (wartości), np. addytywna U n ( a) u [ g ( a) ] = i = 1 i i (także multiplikatywna, asocjatywna, całka Choquet lub Sugeno, OWA, OWM...) System relacyjny, np. relacja przewyższania S lub relacja rozmyta, asb = a jest co najmniej tak dobry jak b Zbiór reguł decyzyjnych, np. Jeżeli g i (a) r i i g j (a) r j i... g h (a) r h, to a Klasa t lub wyższa Jeżeli i (a,b) r i i j (a,b) r j i... h (a,b) r h, to asb W wyniku badań podstaw aksjomatycznych tych modeli udowodniono, że model preferencji w postaci reguł decyzyjnych jest najogólniejszym modelem preferencji, a najogólniejsza nawet funkcja użytecznośći, w tym całki Sugeno i Choquet, oraz relacja przewyższania istnieją wtedy i tylko wtedy, gdy istnieje model regułowy 32

33 33

34 Kierunki dalszych badań Algorytmiczny rocedury indukcji reguł decyzyjnych i drzew decyzyjnych Testowanie procedur na danych rzeczywistych Aksjomatyzacyjny Badanie podstaw aksjomatycznych metod stosowanych w ISWD Metodologiczny Badanie baysowskich miar konfirmacji i zastosowanie ich do oceny reguł decyzyjnych Metodyka indukcji reguł gradualnych według modelu fuzzy-rough i wnioskowanie przybliżone z udziałem tych reguł Wdrożeniowy Implementacja systemów wspomagania decyzji opartych na modelu regułowym np. system MET dla medycyny 34

35 DRSA example of technical diagnostics 176 vehicles (objects) 8 attributes with preference scale decision = technical state: 3 good state (in use) 2 minor repair 1 major repair (out of use) all criteria are semantically correlated with the decision inconsistent objects: 11, 12, 39 35

36 36

37 37

38 38