Inteligentne systemy wspomagania decyzji oparte na wiedzy odkrytej z danych Roman Słowiński Roman Słowiński
Motywacje Wzrasta przepaść między generowaniem danych a ich zrozumieniem Odkrywanie wiedzy z danych (ang. Knowledge Discovery, Data Mining) OWD jest procesem identyfikowania przez indukcję: prawdziwych, nietrywialnych, potencjalnie użytecznych, bezpośrednio zrozumiałych wzorców w danych Wzorzec = reguła, trend, zjawisko, prawidłowość, anomalia, hipoteza, funkcja, itp. Wzorce są użyteczne dla wyjaśniania sytuacji opisanych przez dane oraz do predykcji przyszłych sytuacji 2
Motywacje rzykład danych diagnostycznych 176 autobusów (obiektów) 8 symptomów (atrybutów) Globalny stan techniczny: 3 dobry(użytkować) 2 do przeglądu 1 do remontu (wycofać) Odkryć wzorce = znaleźć zależności między symptomami a stanem technicznym Wzorce wyjaśniają decyzje eksperta i wspomagają diagnozowanie nowych przypadków 3
Motywacje Szukanie wzorców wymaga uwzględnienia wiedzy dziedzinowej (bacground knowledge), czyli semantyki danych Rodzaje wiedzy dziedzinowej: (i) dziedziny atrybutów, czyli zbiory wartości atrybutów mających sens dla ludzkiej percepcji (ii) podział na atrybuty warunkowe i decyzyjne (iii) porządek preferencji w dziedzinie atrybutów i semantyczna korelacja między parami atrybutów, wymagająca, by wzorce przestrzegały zasadę areto-dominacji Atrybuty z dziedziną uporządkowaną według preferencji = kryteria Wzorce: funkcyjne, relacyjne, logiczne (regułowe) 4
Wpływ wiedzy dziedzinowej na odkrywanie wzorców Semantyczna korelacja między kryterium a decyzją oznacza, że poprawa oceny obiektu na tym kryterium nie powinna pogarszać decyzji rzykład Obiekty = uczniowie Mat = ocena z matematyki Fiz = ocena z fizyki OG = ocena ogólna kryteria decyzja oprawa oceny z Mat lub Fiz (przy drugiej ocenie nie zmienionej) nie powinna pogarszać ogólnej oceny ucznia OG, lecz raczej polepszać ją 5
Wpływ wiedzy dziedzinowej na odkrywanie wzorców Reguła decyzyjna: jeżeli Mat=dostat. i Fiz=dostat., to OG=dobry Reguły niespójne z zasadą areto-dominacji : reguła #1: jeżeli Mat= dostat. i Fiz=dostat., to OG=dobry reguła #2: jeżeli Mat=dobry i Fiz=dostat., to OG=dostat. owodem jest niespójność w zbiorze danych 6
Niespójność w zbiorze danych Niespójność w opisie obiektów: Niespójność ma wiele źródeł, np.: brakujące atrybuty (kryteria) niestały charakter preferencji przy podejmowaniu decyzji Informacji o niespójnościach nie można traktować jak szumu, czy błędu 7
Teoria zbiorów przybliżonych oparta na dominacji (DRSA) Zbiór kryteriów (C) jest semantycznie skorelowany z decyzją (d) f q relacja słabej preferencji (przewyższania) na U względem kryterium q {C D} x q f q y q : x q jest co najmniej tak dobry jak y q na kryterium q xd y : x -dominuje y ze względu na C, jeśli x q f q y q dla wszystkich kryteriów q Relacja -dominacji jest zwrotna (xd x) Analogicznie, xd d y ze względu na decyzję d 8
Teoria zbiorów przybliżonych oparta na dominacji (DRSA) Obliczenia granularne na stożkach dominacji względem decyzji U = s t Cl t Cl s U = s t Cl t Cl s unia klas w górę, t=2,...,n ( co najmniej klasa Cl t ) unia klas w dół, t=1,...,n-1 ( co najwyżej klasa Cl t ) Granule wiedzy są stożkami w przestrzeni ocen ( C) D + (x)= {y U: yd x} : stożek -dominujący D - (x) = {y U: xd y} : stożek -zdominowany Odkrywane wzorce są funkcjami logicznymi reprezentującymi granule Cl t,cl t za pomocą granul D + (x), D- (x) 9
DRSA ilustracja formalnych definicji rzykład Symptom 1 Symptom 2 Stan techniczny f f 17,8 Dobry 35 30 Dobry 32.5 39 Dobry 31 35 Dobry 27.5 17.5 Dobry 24 17.5 Dobry 22.5 Dobry 30.8 19 Średni 27 25 Średni 21 9.5 Średni 18 12.5 Średni 10.5 25.5 Średni 9.75 17 Średni 17.5 5 Zły 11 2 Zły 10 9 Zły 5 13 Zły Np. Symptom 1 = (wibracje osiowe) -1 Symptom 2 = (poziom hałasu) -1 10
DRSA ilustracja formalnych definicji Obiekty w przestrzeni ocen Symptom 1 0 Symptom 2 11
DRSA ilustracja formalnych definicji Obliczenia granularne na stożkach dominacji Symptom 1 D + ( x) = { y U : yd x} x D ( x) = { y U : xd y} 0 Symptom 2 12
DRSA ilustracja formalnych definicji Obliczenia granularne na stożkach dominacji Symptom 1 D + ( x) = { y U : yd x} x D ( x) = { y U : xd y} 0 Symptom 2 13
DRSA ilustracja formalnych definicji Dolne przybliżenie unii klas Co najmniej dobrych Symptom 1 ( ) x U : D + ( x) Cl t { Cl } = t 0 Symptom 2 14
DRSA ilustracja formalnych definicji Górne przybliżenie i brzeg unii klas Co najmniej dobrych Symptom 1 Bn ( ) = ( ) ( ) Cl t Cl t Cl t - ( ) = x U : D ( x) Cl { } + Cl D ( x) = t t U x Cl t 0 Symptom 2 15
DRSA ilustracja formalnych definicji Dolne = górne przybliżenie unii klas Co najmniej średnich Symptom 1 ( ) x U : D + ( x) Cl t { Cl } = t 0 - ( ) = x U : D ( x) { } + Cl D ( x) = t t U x Cl t Symptom 2 Cl 16
DRSA ilustracja formalnych definicji Dolne = górne przybliżenie unii klas Co najwyżej złych Symptom 1 ( ) x U : D ( x) Cl t { Cl } = t 0 ( ) ( ) { } D ( x) + = t = x U : D x Clt U x Cl t Symptom 2 Cl 17
DRSA ilustracja formalnych definicji Dolne przybliżenie unii klas Co najwyżej średnich Symptom 1 ( ) x U : D ( x) Cl t { Cl } = t 0 Symptom 2 18
DRSA ilustracja formalnych definicji Górne przybliżenie i brzeg unii klas Co najwyżej złych Symptom 1 Bn ( ) = ( ) ( ) Cl t Cl t Cl t + ( ) = x U : D ( x) Cl { } Cl D ( x) = t t U x Cl t 0 Symptom 2 19
orównanie klasycznej TZ i TZ opartej na dominacji Symptom 1 Symptom 1 0 Symptom 2 0 Symptom 2
DRSA indukcja reguł decyzyjnych z przybliżeń unii klas Indukowane reguły decyzyjne: pewne D -reguły, podpierane przez spójne obiekty Cl : jeżeli x q1 f q1 r q1 i x q2 f q2 r q2 i x qp f qp r qp, to x Clt ( ) możliwe D -reguły, podpierane przez nie koniecznie spójne obiekty Cl : jeżeli x q1 f q1 r q1 i x q2 f q2 r q2 i x qp f qp r qp, to x być może Clt t ( ) t 21
DRSA indukcja reguł decyzyjnych z przybliżeń unii klas Indukowane reguły decyzyjne: pewne D -reguły, podpierane przez spójne obiekty Cl : jeżeli x q1 p q1 r q1 i x q2 p q2 r q2 i x qp p qp r qp, to x Clt ( ) możliwe D -reguły, podpierane przez nie koniecznie spójne obiekty Cl : jeżeli x q1 p q1 r q1 i x q2 p q2 r q2 i x qp p qp r qp, to x być może Clt t ( ) t przybliżone D -reguły, podpierane przez obiekty Cl s Cl s+1 Cl t bez możliwości rozróżnienia, do której z klas, z uwagi na niespójność: jeżeli x q1 f q1 r q1 i... x qk f qk r qk i x qk+1 p qk+1 r qk+1 i... x qp p qp r qp, to x Cl s Cl s+1 Cl t. 22
DRSA reguły decyzyjne ewne D -reguły dla unii klas Co najmniej dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) 35, to x należy do klasy Dobrych 0 Symptom 2 23
DRSA reguły decyzyjne Możliwe D -reguły dla unii klas Co najmniej dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) 22.5 i f(x,s 2 ), to x być może należy do klasy Dobrych 0 Symptom 2 24
DRSA reguły decyzyjne rzybliżone D -reguły dla klasy Średnich lub Dobrych Symptom 1 -obiekt bazowy Jeżeli f(x,s 1 ) [22.5, 27] if(x,s 2 ) [, 25], to x należy do klasy Średnich lub Dobrych 0 Symptom 2 25
DRSA reguły decyzyjne Reguła decyzyjna z hiperpłaszczyzną nieortogonalną Symptom 1 Jeżeli f(x,s 1 ) 9.75 i f(x,s 2 ) 9.5 i 1.5 f(x,s 1 )+1.0 f(x,s 2 ) 22.5, 0 to x jest w klasie Co najmniej średnich Symptom 2 26
Zastosowanie reguł decyzyjnych do wspomagania decyzji Zastosowanie reguł decyzyjnych: przekrój reguł dopasowanych do x Końcowa decyzja: 27
Zbiór reguł decyzyjnych jako model preferencji Zbiór (D D D )-reguł wyindukowanych z przybliżeń unii klas decyzyjnych reprezentuje model preferencji Model preferencji jest niezbędnym składnikiem systemu wspomagania decyzji dla problemów z wielowymiarową przestrzenią ocen Wielowymiarowość przestrzeni ocen wynika z: D : Ocen wielu decydentów K : Ocen wielokryterialnych R : Ocen w warunkach ryzyka i niepewności (wiele możliwych stanów natury z różnym prawdopodobieństwem) 28
α - wybór, β - klasyfikacja, γ -porządkowanie α β γ α β γ α β γ α β γ α β γ α β γ α β γ α β γ D 1 m 1 1 m m 1 m K 1 1 n 1 n 1 n n R 1 1 1 ryz 1 ryz ryz ryz Optymalizacja Klasyfikacja orządkowanie Teoria społecznego wyboru (TSW) Wielokryterialne podejmowanie decyzji (WD) odejmowanie decyzji w warunkach ryzyka (DR) Rozwiązanie jest filozoficznie proste Zachodzi konflikt między wymiarami D, K, R, wobec czego problem na tym etapie nie ma rozwiązania (ill-posed problem) 29
Równoważność wielowymiarowych problemów decyzyjnych Teoria społecznego wyboru Wielokryterialne podejmowanie decyzji odejmowanie decyzji w warunkach ryzyka Element zbioru A (alternative) Kandydat (candidate) Wariant decyzyjny (action) Akt (act) Wymiar przestrzeni ocen (performance) Wyborca (voter) Kryterium (criterion) rawdopodobieństwo konsekwencji (probability of outcome) Obiektywna informacja o wyniku porównania elementów z A Relacja dominacji (dominance) Relacja dominacji (dominance) Relacja dominacji stochastycznej (stochastic dominance) 30
TSW WD DR Wyborcy Kryteria r. konsekwencji Kand. V 1 V 2 Wariant Czas Koszt Akt Zysk>Z 1 Zysk>Z 2 a 3 1 a 3 1 a 0.7 0.6 b 1 2 b 1 2 b 1.0 0.5 c 2 3 c 2 3 c 0.8 0.4 V 2 V 1 : b f c f a V 2 : a f b f c Koszt niezdominowany zdominowany Zysk>Z 2 Z 1 <Z 2 3 c 3 c 2 1 b a 2 1 b a.6 a.5.4 c b 1 2 3 V 1 1 2 3 Czas.7.8 1 Zysk>Z 1 31
Modele preferencji podstawy aksjomatyczne Trzy grupy modeli preferencji: Funkcja użyteczności (wartości), np. addytywna U n ( a) u [ g ( a) ] = i = 1 i i (także multiplikatywna, asocjatywna, całka Choquet lub Sugeno, OWA, OWM...) System relacyjny, np. relacja przewyższania S lub relacja rozmyta, asb = a jest co najmniej tak dobry jak b Zbiór reguł decyzyjnych, np. Jeżeli g i (a) r i i g j (a) r j i... g h (a) r h, to a Klasa t lub wyższa Jeżeli i (a,b) r i i j (a,b) r j i... h (a,b) r h, to asb W wyniku badań podstaw aksjomatycznych tych modeli udowodniono, że model preferencji w postaci reguł decyzyjnych jest najogólniejszym modelem preferencji, a najogólniejsza nawet funkcja użytecznośći, w tym całki Sugeno i Choquet, oraz relacja przewyższania istnieją wtedy i tylko wtedy, gdy istnieje model regułowy 32
33
Kierunki dalszych badań Algorytmiczny rocedury indukcji reguł decyzyjnych i drzew decyzyjnych Testowanie procedur na danych rzeczywistych Aksjomatyzacyjny Badanie podstaw aksjomatycznych metod stosowanych w ISWD Metodologiczny Badanie baysowskich miar konfirmacji i zastosowanie ich do oceny reguł decyzyjnych Metodyka indukcji reguł gradualnych według modelu fuzzy-rough i wnioskowanie przybliżone z udziałem tych reguł Wdrożeniowy Implementacja systemów wspomagania decyzji opartych na modelu regułowym np. system MET dla medycyny 34
DRSA example of technical diagnostics 176 vehicles (objects) 8 attributes with preference scale decision = technical state: 3 good state (in use) 2 minor repair 1 major repair (out of use) all criteria are semantically correlated with the decision inconsistent objects: 11, 12, 39 35
36
37
38